JP3403865B2 - ストリーム多重装置およびストリーム多重方法 - Google Patents
ストリーム多重装置およびストリーム多重方法Info
- Publication number
- JP3403865B2 JP3403865B2 JP14214195A JP14214195A JP3403865B2 JP 3403865 B2 JP3403865 B2 JP 3403865B2 JP 14214195 A JP14214195 A JP 14214195A JP 14214195 A JP14214195 A JP 14214195A JP 3403865 B2 JP3403865 B2 JP 3403865B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- stream
- unit
- data
- packets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
トリームを多重するストリーム多重装置、ストリーム多
重方法に関する。また、本発明は多重されたストリーム
が蓄積された蓄積メディアに関する。
ィオストリームを多重して単一ストリーム(システムス
トリーム)化する際の多重方式、及び各ストリーム間の
復号時における同期確立方式を規定するものに、ディジ
タル蓄積メディアを対象としたMPEG2 のSYSTEMパート(I
SO/IEC 13818-1)のプログラムストリーム(MPEG2/PS)が
ある。
ムを所定の長さに分割するとともに、その分割されたデ
ータの先頭にパケットヘッダと呼ばれる付随情報を付加
してパケットを構成し、このパケットを単位として各ス
トリームの多重を行うものとされている。パケットヘッ
ダには、復号・再現時に必要となるパケットスタートコ
ード、ストリーム識別符号、復号時刻・再現時刻等が記
述される。通常、このパケットのデータ長は、蓄積メデ
ィアのセクタ長に整合されるように定められる。 一
方、MPEG2/PSの同期確立方式は、エンコーダで意図した
時刻をデコーダで再現するためのSCR(System Clock
Reference)と呼ばれる参照基準時刻と、DTS(Decodi
ng Time Stamp) 、PTS(Presentation Time Stamp)
と呼ばれる各ストリームの復号・再現時刻をSCR相対
で示す時刻情報の伝送により行われる。 図7はMPEG2/
PSのデータ構造をパックレイヤ及びパケットレイヤの階
層に分けて示す図である。同図に示すように、データは
パックの単位で構成される。パックはパックヘッダ、シ
ステムヘッダ及びパケットからなる。パックヘッダには
パックスタートコード、SCR、システムストリームの
ビットレート等が記述されている。システムヘッダには
ストリーム全体のパラメータが記述されている。このシ
ステムヘッダは少なくとも最初のパックに付加される。
またパケットはパケットヘッダと1つの単位ストリーム
のパケットデータから構成される。パケットヘッダには
パケットスタートコード、パケット長、PTS、DTS
等が記述されている。
めるために用いる、STD(SystemTarget Decoder)と
呼ばれる理想復号器の構成を示す図である。MPEG2/PS規
格では、このSTDを定義することにより、同期やバッ
ファ管理を規定している。以下にこのSTDの動作を説
明する。
(i)は、時刻tm(i)にSTDに入力される。この
時刻tm(i)は、そのバイトが属するパックのパック
ヘッダに記述されるSCR、すなわちSCRフィールド
の最終バイトM(i´)がSTDに入力される時刻tm
(i´)とビットレートから算出することができる。ま
た、STDに入力されたシステムストリーム中の単位ス
トリームnのパケットデータは。入力バッファBnに瞬
時に入力される。この入力バッファnの大きさBSnは
シンタックス上に記述されている。
も長い期間蓄積されている、単位ストスリーム中j番目
のアクセスユニットAn(j)が、時刻tdn(j)に
おいて瞬時に除去されるとともに、デコーダDnにより
瞬時にデコードされて1つのk番目に再現されるプレゼ
ンテーションユニットPn(k)として出力される。こ
こでアクセスユニットとは、例えば、ISO/IEC 11172-2
により規格化されているMPEG1ビデオあるいは、IS
O/IEC 13818-2 により規格化されているMPEG2ビデ
オの場合、I、P、Bピクチャであり、オーディオの場
合、デコード最小単位であるオーディオフレームであ
る。
は、時刻tpn(k)において瞬時に再現される。この
際、ストリームnがMPEGビデオの場合、STDより
出力される前に順序再編用バッファOnによりIまたは
Pピクチャを遅延させることにより、アクセスユニット
順からプレゼンテーションユニット順への順序入れ替え
を行う。
CRフィールドの最終バイトのSTDへの入力時刻tm
(i´)を記述し、各パケットのPTS、DTSには、
それぞれ各パケット中の最初のアクセスユニットのデコ
ード時刻tdn(j)及び再現時刻tpn(k)を記述
する。このデコード時刻tdn(j)と再現時刻tpn
(k)が同じ場合にはDTSは省略できる。
ーム上に記述されている時刻情報に基づいてデコード、
再現を行うことにより各ストリーム間の復号器における
同期を確立することができる。
ムを作成する際にシンタックスを遵守することはもちろ
ん、上記STDを仮想復号器とし、図9に示すように、
STDにおける各入力バッファの全ての時刻tにおいて
オーバーフロー、アンダーフローしない、すなわち各入
力バッファのフルネスFn(t)が、0以上かつ入力バ
ッファサイズBSn以下であるようなバッファ管理に基
づき、システムストリームを作成する必要がある。ま
た、STDのバッファでの蓄積時間はビデオ(動画)、
オーディオともに1秒以下と定められている。
図である。このエンコーダは、1本のMPEGビデオス
トリームとこれと同時に再生される1本の固定レートで
符号化されたオーディオストリームを、それぞれ所定の
長さのパケットデータに分割し多重してシステムストリ
ームを作成し、ディスクやテープ等の蓄積メディアに記
録する。なお、ここでいうパケットとは、パケットデー
タ、パケットヘッダ及びそれに先行するパックヘッダを
示すこととし、そのパケット長は、蓄積メディアのセク
タ長に整合させるため、ビデオ、オーディオともに一定
長としている。このシステムエンコーダにおいて、MP
EGビデオストリームは、入力端子1より入力され、ス
トリーム記録部2に一時的に記録される。また、所定の
符号化方式により圧縮符号化された固定レートのオーデ
ィオストリームは、入力端子3より入力され、ストリー
ム記録部4に一時的に記録される。多重部5は、制御部
6からの多重制御情報に基づき、各ストリーム記録部
2、4より選択的に各ストリームのパケットデータを読
み込み、パケットデータに同期情報等のヘッダデータを
それぞれ付加してストリーム記録部7に記録する。これ
により、時分割多重されたシステムストリームが得られ
る。さらにこのシステムストリームは、蓄積メディア記
録部8によって、誤り訂正符号の付加等、蓄積メディア
に依存した形式に変換され、蓄積メディア9に記録され
る。
びストリーム記録部4より各ストリームのデータを得る
とともに前述のSTDを仮想デコーダとしてバッファ管
理を行いながら多重部5を制御する。この際、ビデオ符
号化時のバッファ管理に基づいてビデオパケットの多重
位置を管理することにより、STDバッファ管理を行う
ことができる。
るビデオ符号化時のバッファ管理について説明する。
ffer Verifier)と呼ばれる、MPEG2/PSにおけるSTDの
ような仮想復号器によるバッファ管理を行っている。こ
れはデコーダの入力バッファをモデリングし、これをオ
ーバーフロー及びアンダーフローさせないように符号量
制御を行うことによって、ビデオデコーダでのデコード
の連続性を保証するものである。
ピクチャヘッダ中の vbv_delayフィールドに、各ピクチ
ャがデコードされる直前のVBVバッファの蓄積量を記
述する場合と、そうでない場合と異なっているが、ここ
では例として後者の場合についてのVBVの振る舞いを
図11に示す。
ち、その初期値は0である。VBVバッファの蓄積量が
BSvbv未満であれば最大ビットレートRvmaxで
データがバッファに入力され、蓄積量がBSvbvであ
ればデータは入力されない。最初のピクチャは、VBV
バッファの初期値0の状態から、最大ビットレートRv
maxでピクチャスタートコード以降のデータが蓄積さ
れ、その蓄積量がVBVバッファ容量BSvbvとなっ
た瞬間にデコードされる。以降のピクチャがデコードさ
れる時刻は、フレームレート、そのピクチャ及び過去の
ピクチャのピクチャ構造(フレーム構造/フィールド構
造)、ピクチャタイプ(I/P/B)、表示フィールド
数等のストリーム上の情報により求めることができる。
トを多重する位置を決定する。すなわち、j番目のピク
チャがデコードされる直前の、ビデオSTDバッファの
蓄積量が、同時刻におけるMPEG2ビデオ規定のVB
Vバッファの蓄積量以上、かつビデオのSTDバッファ
サイズ以下となるようにする。これにより、全ての時刻
においてビデオのSTDバッファがオーバーフローある
いはアンダーフローしないように、ビデオパケットを多
重することができる。
ット多重制御の手順を説明する。
ビデオ及びオーディオのSTDバッファをクリアする
(ステップ1)。ここでシステム時刻とは、STDにお
ける基準時刻をエンコード側で仮想したものである。
いるMPEG2ビデオストリームより、必要なヘッダデ
ータ(パックヘッダ、パケットヘッダ)を読込み、フレ
ームレート、最大ビットレート、VBVサイズ等のシー
ケンス全体に関する情報を得るとともに、最初のピクチ
ャのデコード時刻及び再現時刻及び、最初のピクチャが
デコードされる直前のVBVバッファ蓄積量を算出す
る。続いて同様に、ストリーム記録手段4に記録されて
いるオーディオストリームのヘッダを読込み、ビットレ
ート、1オーディオフレームのサイズ等の情報を得る
(ステップ2)。
御を行う。まずビデオのSTDバッファの蓄積量が、次
のピクチャのデコード時刻直前のVBVバッファの蓄積
量未満であり、かつビデオパケットのSTDへの入力が
可能、すなわちビデオのSTDバッファの空き容量が所
定のビデオパケットデータサイズ以上であり、そのパケ
ット中のピクチャデータのデコード時刻とSTDへの入
力時刻との差が1秒以内であるかどうかの判定を行う
(ステップ3)。ビデオのSTDバッファの蓄積量が次
のピクチャのデコード時刻直前のVBVバッファ蓄積量
未満ということは、次のピクチャ以降のデコードによっ
てアンダーフローが生じないという保証がないことを意
味し、さらなるデータの転送を行う必要がある。
重部5に対しビデオパケットを多重するように制御する
とともに、システム時刻、先頭データを含む最初のピク
チャのデコード時刻あるいは再現時刻に基づいた再生同
期情報を、ヘッドデータ中に記述する値として多重部5
に供給する(ステップ4)。さらにビデオのSTDバッ
ファ蓄積量をビデオパケットデータのサイズ分増加し
(ステップ5)、システム時刻を多重バイト数相当の時
間分更新する(ステップ6)。これにより、STDに、
今多重したパケットが仮想的に入力されたことになる。
には、オーディオパケットのSTDへの入力が可能かど
うか、すなわちオーディオのSTDバッファの空き容量
が所定のオーディオパケットデータ長以上であり、その
パケット中のオーディオフレームデータのデコード時刻
とSTDへの入力時刻との差が1秒以上であるか判定を
行う(ステップ7)。この判定結果が真であれば、制御
部6は多重部5に対しオーディオパケットを多重するよ
うに制御するとともに、ビデオパケットと同様に、シス
テム時刻、先頭データを含む最初のオーディオフレーム
の再現時刻に基づいた再生同期情報を、ヘッダデータ中
に記述する値として多重部5に供給する(ステップ
8)。さらに、オーディオのSTDバッファの蓄積量
を、オーディオパケットデータのサイズ分増加し(ステ
ップ9)、システム時刻を多重バイト数相当の時間分更
新する(ステップ10)。
ち転送可能なオーディオパケットが無い場合には、ビデ
オパケットが転送可能であるかどうかの判定を行い(ス
テップ11)、真であれば、前述のビデオ多重制御を行
う。つまり、多重できるビデオパケットがあれば前倒し
で多重しておくことにより、後にオーディオパケットを
多重することのできる時間を増加することができる。ま
たステップ11の判定結果が偽である場合は、ビデオ、
オーディオのパケットのどちらも多重せずに、システム
時刻の更新のみを行う(ステップ12)。
パケット多重制御が行われた後、STDにおける仮想デ
コード処理を行う。すなわち、システム時刻が次のピク
チャのデコード時刻以上であれば(ステップ13)、ビ
デオのSTDバッファの蓄積量より、そのピクチャサイ
ズを減算(仮想的にデコード)するとともに(ステップ
14)、次のピクチャがデコードされる直前のVBVバ
ッファの蓄積量を算出する(ステップ15)。また、シ
ステム時刻が次のオーディオフレームのデコード時刻以
上であれば(ステップ16)、オーディオのSTDバッ
ファの蓄積量より、オーディオフレームサイズを減算す
る(ステップ17)。
ーディオいずれかのSTDバッファの蓄積量が負となれ
ば、すなわちこのストリームをデコードするとバッファ
がアンダーフローすることになり、システムストリーム
の規定を満たさない。したがって、この場合、エラー終
了となる(ステップ18)。またビデオ、オーディオの
全てのパケットの多重が完了したら正常終了となり(ス
テップ19)、未多重パケットがあれば、ステップ3の
判定に戻る。
御を行うことにより、デコードの連続性を保証するシス
テムストリームを作成することができる。
り作成されたシステムストリーム(a)とビデオSTD
バッファの蓄積量の変移(b)を示す図である。同図
(a)において、0〜21は第0番目から第21番目ま
でのピクチャデータの位置(STDへの入力時刻)を示
し、斜線部はオーディオデータの位置を示している。こ
こで、例えば第12ピクチャは、STDへ入力されてか
らデコードされるまでに5Tの時間を要することがわか
る。
が、MPEG1 として考えてもよい。
トリーム多重方式では、ビデオ、オーディオともにST
Dバッファに空きがあればできる限りストリームをST
Dに入力するように意図されているため、STDへの入
力時刻とデコーダ時刻との差が平均して大きくなり、そ
のストリームに対してのランダムアクセス時に、再生復
帰時間が長くなるという問題がある。
オのパケットを優先して多重しているため、オーディオ
パケットを多重できる時刻が制約を受ける。このため、
各ストリームの符号化レートがシステムストリームの符
号化レートに占める割合が高い場合、オーディオのST
Dバッファのアンダーフローが生じやすくなり、多重が
不可となる恐れがある。このような事態を避けるために
は、ビデオあるいはオーディオの符号化レートを低くす
る必要があり、画質、音質の劣化をもたらす。さらに、
上記ストリーム多重方式では、ビデオ、オーディオの各
ストリームがその全体を通して多重可能である保証の下
に多重を行うことができない。
もので、ランダムアクセス時における再生復帰時間を短
縮することのできるストリーム多重装置及びストリーム
多重方法の提供を目的とする。
大化を図れるストリーム多重装置、ストリーム多重方法
の提供を目的とする。
重を行う前に、各ストリームがその全体を通して多重可
能であることの保証を得たり、或いは多重不可であるこ
とを知ることのできるストリーム多重装置、ストリーム
多重方法の提供を目的とする。
達成するために、例えば音声ストリーム等の第1の単位
ストリーム中の所定長の第3のデータ単位を第1パケッ
トのデータ部として、それぞれの第1パケットの単一ス
トリーム上の多重位置を、これら第1パケットがこれに
含まれる最初のアクセスユニットである第1のデータ単
位の復号開始時刻にほぼ最も近い位置に後ろより詰めて
配置されるように、第1の単位ストリームの最後の第1
パケットから順にそれぞれ特定する。また、ビデオスト
リーム等の第2の単位ストリーム中の所定長の第3のデ
ータ単位を第2パケットのデータ部として、それぞれの
第2パケットの単一ストリーム上の多重位置を、これら
第2パケットがこれに含まれる最初のアクセスユニット
である第2のデータ単位の復号開始時刻にほぼ最も近い
位置に後ろより詰めて配置されるように、第2の単位ス
トリームの最後の第2パケットから順にかつ第1パケッ
トの配置位置を避けてそれぞれ特定する。そして、第1
記録手段及び第2記録手段からそれぞれ第3のデータ単
位を読み出し、それぞれに再生時刻等のヘッダ情報を付
加して第1パケット及び第2パケットとなし、これら第
1パケット及び第2のパケットを前記特定された位置に
従って多重する。
れぞれ第1パケットまたは第2パケット中に含まれる最
初の第1のデータ単位または第2のデータ単位の復号時
刻に当たる位置の直前に、第1パケットまたは第2パケ
ットが配置されるように、第1パケット及び第2パケッ
トの位置を特定することを特徴とする。
れぞれ第1パケットまたは第2パケット中に含まれる最
初の第1のデータ単位または第2のデータ単位の復号時
刻に当たる位置と第1パケットまたは第2パケットとの
間の連続する無データ期間が1パケット分未満となるよ
うに、第1パケット及び第2パケットの位置を特定する
ことを特徴とする。
ケットのサイズをほぼ同一とし、単一ストリーム上に配
置される全ての第1パケット及び第2パケットが復号器
に入力される時刻が、1つのパケットの復号器への転送
に要する時刻の倍数となるように、第1パケット及び第
2パケットの位置を特定することを特徴とする。
時刻との差が平均して小さい多重化ストリームを作成す
ることができる。したがって、ランダムアクセス時にお
ける再生復帰時間を短縮することができる。
配置を特定した後にビデオストリームの配置を特定する
ことにより、容量の比較的小さい音声ストリーム用の入
力バッファにおいてアンダーフローが生じる危険が減
り、多重不可の確率を低減でき、また結果的に多重でき
るデータ量の増大を図れる。
配置を特定する処理の段階で、各ストリームがその全体
を通して多重可能であることの保証を得たり、或いは多
重不可であることを知ることができる。
び第2パケットのサイズをほぼ同一とし、単一ストリー
ム上に配置される全ての第1パケット及び第2パケット
が復号器に入力される時刻が1つのパケットの復号器へ
の転送に要する時刻の倍数となるように第1パケット及
び第2パケットの位置を特定することで、無駄なくデー
タを多重することができ、より多くのデータ多重が可能
になる。
ンコーダの構成を示す図である。
Gビデオストリームは入力端子11より入力され、スト
リーム記録部12に一時的に記録される。また、所定の
符号化方式により圧縮符号化された固定レートのオーデ
ィオストリームは、入力端子13より入力され、ストリ
ーム記録部14に一時的に記録される。多重部15は、
制御部16からの多重制御情報に基づき、各ストリーム
記録部12、14より選択的に各ストリームのパケット
データを読み込み、パケットデータに同期情報等のヘッ
ダデータをそれぞれ付加してストリーム記録部17にシ
ステムストリームとして記録する。さらにこのシステム
ストリームは、蓄積メディア記録部18によって、誤り
訂正符号の付加等、蓄積メディアに依存した形式に変換
され、蓄積メディア19に記録される。また、システム
エンコーダは、多重部15を制御するために必要な多重
制御情報を記録する制御情報記録部20を有している。
を作成する前に、ビデオ、オーディオの全パケットの多
重位置(配置位置)を決定し、その多重制御情報を制御
情報記録部20に記録する。そして実際にシステムスト
リームを作成する際に、制御情報記録部20より順次パ
ケットの多重制御情報を読み出してこれを多重部16に
供給する。
を満たすのに要する時間とストリームをデコードしてい
る期間中、間断無くパケットが多重されているとした場
合の、パケット数分の情報を十分記録できるものとし、
記録位置が何番目であるかにより、その多重時刻が決ま
るものとする。すなわち、第k番目の位置に多重制御情
報が記録されたパケットは、1パケットの転送時間×k
の多重時刻に多重される(その時刻にデコーダに入力さ
れる)ように、ヘッダデータ中の参照基準時刻を記述す
るようにする。制御部16は、各パケット毎に配置位置
を求め、制御情報記録部20の対応するアドレスに、ス
トリームID及びヘッダ用の同期情報を記録する。
び多重の制御手順を示すフローチャートである。
から始める。制御部16は、まずオーディオパケットの
配置を決めるために、オーディオストリームのヘッダデ
ータをストリーム記録手段14より読み込み、ビットレ
ート、1オーディオフレームのサイズ等の情報を得る
(ステップ1)。
ケット中の最後のパケット(仮に第1のパケットと呼
ぶ。)の最も後ろの配置可能位置、すなわち、そのパケ
ットに含まれる最初のオーディオフレームデータのデコ
ード時刻までにそのオーディオフレームデータを転送す
ることができる最も後ろの位置を求め(ステップ2)、
これに対応する制御情報記録部20の記録位置にオーデ
ィオストリームIDと同期情報を記録する(ステップ
3)。
ット(第1のパケットの1つ前のパケット;仮に第2の
パケットと呼ぶ。)中でオーディオフレームが切り替わ
るかどうかを判断する(ステップ4)。オーディオフレ
ームが切り替わらない場合、第2のパケットのデコード
時刻は第1のパケットのそれと同じであることから、第
1のパケットの配置位置の1つ前の位置を第2のパケッ
トの配置位置として決定し(ステップ5)、またオーデ
ィオフレームが切り替わる場合、ステップ2の最終配置
可能位置の算出に戻る。そして全てオーディオパケット
の配置が完了するまでこれを繰り返す。
3を用いて具体的に説明する。
フレーム1〜フレーム3は、所定長のパケットデータA
P1〜AP5に分割される。いま、次に配置するパケッ
トがAP4であるとする。パケットAP4中には、フレ
ームの切り替わりがあるため、まずその最も後ろの配置
可能位置、すなわちパケットAP4のデータ中に含まれ
る最初のオーディオフレームであるフレーム2のデコー
ド時刻までにそのデータを転送することのできるパケッ
ト位置を求める。図では、配置位置15がこれに当た
り、パケットAP4をここに配置、すなわち制御情報記
録部20にこのパケットの多重制御情報を記録する。次
に、1つ前のパケットAP3の配置を行う。このパケッ
トAP3中にはフレームの切り替わりがなく、全てフレ
ーム2のデータである。したがって、パケットAP3
は、既にパケットAP4が配置された位置15の1つ前
の位置14に配置される。次のパケットAP2中には、
フレームの切り替わりがあるため、パケットAP4の場
合と同様に最終配置可能位置を求め、そこに配置する。
パケットAP1・・・についても同様に配置する。
ら、次にビデオパケットの配置位置を決める。まず制御
部16はビデオストリームのヘッダデータをストリーム
記録手段12より読み込み、最大ビットレート等の全体
情報を得る(ステップ7)。次に制御部16は、ビデオ
の未配置パケット中の最後のパケット(仮に第1のパケ
ットと呼ぶ。)の最も後ろの配置可能位置、すなわち、
その第1のパケット中に含まれる最初のピクチャデータ
のデコード時刻までにそのピクチャデータを転送するこ
とができる最も後ろの位置を求める(ステップ8)。但
し、そのパケット位置に他のパケット(オーディオパケ
ット)が配置済みである場合には、未配置パケット位置
が見つかるまで、パケット位置を一つずつ前にしていく
(ステップ9、10)。未配置パケット位置が見つかれ
ば、次に、そのパケット位置にパケットを配置可能、す
なわちSTDへの入力時刻とバッファの蓄積量が規定を
満たしているかどうを判断する(ステップ11)。配置
可能であれば、制御情報記録部20の対応する位置にビ
デオストリームID及びヘッダ情報等の多重制御情報を
書き込む(ステップ12)。また配置不可能であればエ
ラー終了する。ここで、バッファの蓄積量の規定を満た
しているかどうかは、あるピクチャjがデコードされる
時刻において未配置であるピクチャj以降のデータ量
が、ビデオSTDバッファサイズ以内かどうかにより判
定できる。すなわち、ビデオSTDバッファサイズより
大きい場合はSTD規定を満たすストリームが作成でき
ないことを意味する。
ット(第1のパケットの1つ前のパケット;仮に第2の
パケットと呼ぶ。)中でピクチャが切り替わるかどうか
を判断する(ステップ13)。ピクチャが切り替わらな
い場合、第2のパケットのデコード時刻は第1のパケッ
トのそれと同じであることから、第1のパケットの配置
位置の1つ前の位置を第2のパケットの配置位置として
決定し(ステップ10)、またピクチャが切り替わる場
合、ステップ8の最終配置可能位置の算出に戻る。そし
て全てビデオパケットの配置が完了するまでこれを繰り
返す。
用いて具体的に説明する。
チャ1〜ピクチャ3は、所定長のパケットデータVP1
〜VP9に分割される。いま、次に配置するパケットが
VP9であるとする。パケットVP9中にはピクチャの
切り替わりがあるため、その最も後ろの配置可能位置、
すなわちパケットVP9のデータ中に含まれる最初のピ
クチャであるピクチャ2のデコード時刻までにそのデー
タを転送することのできるパケット位置を求める。図で
は、配置位置17がこれに当たり、パケットVP9をこ
こに配置、すなわち制御情報記録部20にこのパケット
の多重制御情報を記録する。次に、1つ前のパケットV
P8の配置を行う。このパケットVP8中にはピクチャ
の切り替わりがなく、全てピクチャ2のデータである。
したがって、パケットVP8は、既にパケットVP9が
配置されている位置17の1つ前の位置16に配置され
る。同様にパケットVP7中にもピクチャの切り替わり
はないが、配置位置15及び14には、既にオーディオ
パケットが配置済みであるため、パケットVP7はその
手前の位置13に配置される。パケットVP6〜パケッ
トVP3については全てピクチャ2のデータのみにより
構成されているので、配置位置12〜9に後ろから続け
て配置する。次のパケットVP2にはフレーム1とフレ
ーム2との切り替わりがあるので、パケットVP9と同
様に最終配置可能位置(位置8)を求め、そこにパケッ
トVP2を配置する。パケットVP1・・・についても
同様に配置する。
が終了した後、制御部16は、配置情報記録部20より
多重制御情報を最初から読み出して、これを多重部15
に与え、多重制御を行う。
ストリーム(a)とビデオSTDバッファの蓄積量の変
移(b)を示す図である。同図(a)において、0〜2
1は第0番目から第21番目までのピクチャデータの位
置(STDへの入力時刻)を示し、斜線部はオーディオ
データの位置を示している。ここで、例えば第12ピク
チャデータがSTDに入力されてからデコードされるま
でに要する時間は、1.5Tとなり、図13に示した従
来例の場合の5Tに比べ大幅に短縮できたことがわか
る。したがって、本実施例のストリーム多重方式によれ
ば、アクセスから再生復帰までの時間を短縮することが
できる。
オパケットの配置を行うことによって、オーディオパケ
ットを配置する際の制約を削減できる。もちろんこの場
合、ビデオパケットの配置においてオーディオパケット
の配置位置による制約が生じることになるが、ビデオデ
コーダは比較的大きな容量の入力バッファを有し、また
本実施例においてはVBVバッファ管理に拠らずに配置
位置を決定できるので、そのバッファを有効に使用すれ
ば、ビデオパケットを配置する際の制約は実質的に問題
のない程度に抑制できる。したがって、本実施例のスト
リーム多重方式によれば、従来の方式に比べ、オーディ
オ及びビデオともに、パケット配置におけるフレキシビ
リティが向上し、結果的により多くのデータ多重が可能
となる。よって、高画質化、高音質化あるいは多チャン
ネル化を図ることができる。
刻の差が、1パケットのデコーダへの転送に要する時間
の倍数となるように各パケットの配置位置を制御するこ
とにより、無駄無くデータを多重することができ、更に
より多くのデータ多重が可能となる。
は、実際にシステムストリームを作成する前に、ビデ
オ、オーディオの全パケットの多重位置を決定する、つ
まり、大量のストリームデータの読み書きは全てのパケ
ットの配置が完了した後に行うので、システムストリー
ム化が可能かどうかの判定を迅速に行うことができる。
ことによって、再度同じシステムストリームを作成する
際、あるいは、このシステムストリームに他のデータを
多重する際に、多重制御情報を利用でき、配置位置計算
時間を短縮することができる。 次に、本発明の他の実
施例を説明する。
ム多重方式で作成されたシステムストリームを記録媒体
に記録するのではなく、伝送部61を通じて伝送するよ
うに構成した場合の例である。伝送部61は、ストリー
ム記録部17に得られたシステムストリームを伝送メデ
ィア固有の信号形態に適合させるように再編成するとと
もに変調し、ケーブル等の伝送路に出力する。
TDへの入力時刻と復号時刻との差が平均して小さい多
重化ストリームを作成することができる。したがって、
ランダムアクセス時における再生復帰時間を短縮するこ
とができる。
置を特定した後にビデオストリームの配置を特定するこ
とにより、容量の比較的小さい音声ストリーム用の入力
バッファにおいてアンダーフローが生じる危険が減り、
多重不可の確率を低減でき、また結果的に多重できるデ
ータ量の増大を図れる。
置を特定する処理の段階で、各ストリームがその全体を
通して多重可能であることの保証を得たり、或いは多重
不可であることを知ることができる。
第2パケットのサイズをほぼ同一とし、単一ストリーム
上に配置される全ての第1パケット及び第2パケットが
復号器に入力される時刻が1つのパケットの復号器への
転送に要する時刻の倍数となるように第1パケット及び
第2パケットの位置を特定することで、無駄なくデータ
を多重することができ、より多くのデータ多重が可能に
なる。
構成を示す図
示すフローチャート
方法を説明するための図
を説明するための図
ーム及びビデオSTDバッファの蓄積量の変移を示す図
ファ状態を示す図
(仮想復号器)の動作を示す図
チャート
たシステムストリーム及びビデオSTDバッファの蓄積
量の変移を示す図
Claims (7)
- 【請求項1】 復号時におけるアクセス単位である第1
のデータ単位よりなる第1の単位ストリームと、復号時
におけるアクセス単位である第2のデータ単位よりなる
第2の単位ストリームを含む、少なくとも2つ以上の符
号化された単位ストリームを、それぞれ所定長の第3の
データ単位に分割するとともに、この第3のデータ単位
毎に再生時刻等のヘッダ情報を付加してパケット化し、
該パケットを単位として単一ストリーム上に多重化する
ストリーム多重装置において、 入力された前記第1の単位ストリームを記録する第1記
録手段と、 入力された前記第2の単位ストリームを記録する第2記
録手段と、 前記第1記録手段に記録された第1の単位ストリーム中
の前記第3のデータ単位を第1パケットのデータ部とし
て、それぞれの前記第1パケットの前記単一ストリーム
上の多重位置を、これら第1パケットがこれに含まれる
最初の前記第1のデータ単位の復号開始時刻にほぼ最も
近い位置に後ろより詰めて配置されるように、前記第1
の単位ストリームの最後の第1パケットから順にそれぞ
れ特定する第1のパケット位置特定手段と、 前記第2記録手段に記録された第2の単位ストリーム中
の前記第3のデータ単位を第2パケットのデータ部とし
て、それぞれの前記第2パケットの前記単一ストリーム
上の多重位置を、これら第2パケットがこれに含まれる
最初の前記第2のデータ単位の復号開始時刻にほぼ最も
近い位置に後ろより詰めて配置されるように、前記第2
の単位ストリームの最後の第2パケットから順にかつ前
記第1パケットの配置位置を避けてそれぞれ特定する第
2のパケット位置特定手段と、 前記第1記録手段及び前記第2記録手段からそれぞれ前
記第3のデータ単位を読み出し、それぞれに再生時刻等
のヘッダ情報を付加して前記第1パケット及び第2パケ
ットとなし、これら第1パケット及び第2パケットを前
記第1及び第2のパケット位置特定手段によって特定さ
れた位置に従って多重する多重手段とを具備することを
特徴とするストリーム多重装置。 - 【請求項2】 請求項1記載のストリーム多重装置にお
いて、 前記第1の単位ストリームが音声ストリームであり、前
記第2の単位ストリームがビデオストリームであること
を特徴とするストリーム多重装置。 - 【請求項3】 請求項1または2記載のストリーム多重
装置において、 前記第1のパケット位置特定手段及び前記第2のパケッ
ト位置特定手段は、前記単一ストリーム上の、それぞれ
前記第1パケットまたは第2パケット中に含まれる最初
の前記第1のデータ単位または前記第2のデータ単位の
復号時刻に当たる位置の直前に、前記第1パケットまた
は前記第2パケットが配置されるように、前記第1パケ
ット及び前記第2パケットの位置を特定することを特徴
とするストリーム多重装置。 - 【請求項4】 請求項1または2記載のストリーム多重
装置において、 前記第1のパケット位置特定手段及び前記第2のパケッ
ト位置特定手段は、前記単一ストリーム上の、それぞれ
前記第1パケットまたは第2パケット中に含まれる最初
の前記第1のデータ単位または前記第2のデータ単位の
復号時刻に当たる位置と前記第1パケットまたは前記第
2パケットとの間の連続する無データ期間が1パケット
分未満となるように、前記第1パケット及び前記第2パ
ケットの位置を特定することを特徴とするストリーム多
重装置。 - 【請求項5】 請求項1または2記載のストリーム多重
装置において、 前記第1のパケット位置特定手段及び前記第2のパケッ
ト位置特定手段によってそれぞれ特定されたパケット配
置位置に関する情報を記録するパケット位置記録手段を
さらに有し、 前記多重手段は、第1の単位ストリーム及び第2の単位
ストリームのすべてのパケットの配置位置に関する情報
が前記パケット位置記録手段に記録された後、該パケッ
ト位置記録手段に記録された情報に基づいて前記第1パ
ケット及び第2パケットを多重することを特徴とするス
トリーム多重装置。 - 【請求項6】 請求項1乃至5記載のいずれかのストリ
ーム多重装置において、 前記第1パケット及び前記第2パケットのサイズをほぼ
同一とし、前記第1のパケット位置特定手段及び前記第
2のパケット位置特定手段は、前記単一ストリーム上に
配置される全ての前記第1パケット及び前記第2パケッ
トが復号器に入力される時刻が、1つのパケットの前記
復号器への転送に要する時刻の倍数となるように、前記
第1パケット及び前記第2パケットの位置を特定するこ
とを特徴とするストリーム多重装置。 - 【請求項7】 復号時におけるアクセス単位である第1
のデータ単位よりなる第1の単位ストリームと、復号時
におけるアクセス単位である第2のデータ単位よりなる
第2の単位ストリームを含む、少なくとも2つ以上の符
号化された単位ストリームを、それぞれ所定長の第3の
データ単位に分割するとともに、この第3のデータ単位
毎に再生時刻等のヘッダ情報を付加してパケット化し、
該パケットを単位として単一ストリーム上に多重化する
ストリーム多重方法において、 前記第1の単位ストリーム中の前記第3のデータ単位を
第1パケットのデータ部として、それぞれの前記第1パ
ケットの前記単一ストリーム上の多重位置を、これら第
1パケットがこれに含まれる最初の前記第1のデータ単
位の復号開始時刻にほぼ最も近い位置に後ろより詰めて
配置されるように、前記第1の単位ストリームの最後の
第1パケットから順にそれぞれ特定する工程と、 前記第2の単位ストリーム中の前記第3のデータ単位を
第2パケットのデータ部として、それぞれの前記第2パ
ケットの前記単一ストリーム上の多重位置を、これら第
2パケットがこれに含まれる最初の前記第2のデータ単
位の復号開始時刻にほぼ最も近い位置に後ろより詰めて
配置されるように、前記第2の単位ストリームの最後の
第2パケットから順にかつ前記第1パケットの配置位置
を避けてそれぞれ特定する工程と、 前記第1の単位ストリーム及び第2の単位ストリームを
それぞれ所定長の第3のデータ単位に分割し、分割した
データそれぞれに再生時刻等のヘッダ情報を付加して前
記第1パケット及び第2パケットとなし、これら第1パ
ケット及び第2パケットを前記特定された位置に従って
前記単一ストリーム上に多重化する工程とを有すること
を特徴とするストリーム多重方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14214195A JP3403865B2 (ja) | 1995-06-08 | 1995-06-08 | ストリーム多重装置およびストリーム多重方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14214195A JP3403865B2 (ja) | 1995-06-08 | 1995-06-08 | ストリーム多重装置およびストリーム多重方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08335371A JPH08335371A (ja) | 1996-12-17 |
JP3403865B2 true JP3403865B2 (ja) | 2003-05-06 |
Family
ID=15308326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14214195A Expired - Fee Related JP3403865B2 (ja) | 1995-06-08 | 1995-06-08 | ストリーム多重装置およびストリーム多重方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3403865B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1134004C (zh) * | 1997-11-21 | 2004-01-07 | 日本胜利株式会社 | 音频信号的编码装置、唱盘以及盘重放装置 |
WO2004034654A1 (ja) * | 2002-10-08 | 2004-04-22 | Matsushita Electric Industrial Co., Ltd. | 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム |
JP4717452B2 (ja) * | 2005-01-31 | 2011-07-06 | ルネサスエレクトロニクス株式会社 | データ多重化装置 |
JP5046907B2 (ja) * | 2007-12-17 | 2012-10-10 | キヤノン株式会社 | 記録装置、その制御方法、プログラム |
-
1995
- 1995-06-08 JP JP14214195A patent/JP3403865B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH08335371A (ja) | 1996-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6807363B1 (en) | Digital moving picture data player system having a time-based access list | |
JP3605826B2 (ja) | ビデオおよびオーディオ信号処理システムにおける補助情報のための合理的入力バッファの回路配列 | |
JP3240017B2 (ja) | Mpeg信号記録方法およびmpeg信号再生方法 | |
KR100821575B1 (ko) | 디지털 비디오 기록물의 데이터 처리 장치 및 방법과, 데이터 처리 방법에 의해 생성되는 기록물을 기록한 컴퓨터가 판독할 수 있는 기록매체와, 데이터 재생장치 및 데이터 재생방법 및, 데이터 재생방법에 의해 편집된 데이터 시퀀스를 재생하는 신호를 기록한 컴퓨터로 판독할 수 있는 기록매체 | |
JP4294090B2 (ja) | Mpeg情報信号変換システム | |
US6754276B1 (en) | System stream creating apparatus which adjusts system clock reference based on total number of pictures to be stored and decoded during certain time period | |
US5838876A (en) | Frame-accurate edit and playback in digital stream recording | |
US8208797B2 (en) | Transport stream generating apparatus, recording apparatus having the same, and transport stream generating method | |
US8233780B2 (en) | Reproducing apparatus and method, and recording medium | |
JP2003046949A (ja) | データ多重化方法、データ記録媒体、データ記録装置及びデータ記録プログラム | |
EP1995731B1 (en) | Method to guarantee seamless playback of data streams | |
JP2003169292A (ja) | アフレコ装置、コンピュータプログラム、記録媒体、伝送方法及び再生装置 | |
JPH09509036A (ja) | エンコーダシステムのレベルバッファ管理 | |
CN100380959C (zh) | 信息处理装置、信息处理方法 | |
US20050108773A1 (en) | Information storage medium with AV data including non-multiplexed streams recorded thereon, and method of and apparatus for recording and reproducing the same | |
JP3403865B2 (ja) | ストリーム多重装置およびストリーム多重方法 | |
CN100450168C (zh) | 数据记录方法和数据解码方法 | |
JP2001043616A (ja) | 記録方法、記録媒体及び記録装置 | |
EP1383321A1 (en) | Av data recording/reproducing apparatus and method and recording medium on which data is recorded by the av data recoridng/reproducing apparatus or method | |
JPH0898160A (ja) | データ多重化装置 | |
JP2005198350A (ja) | アフレコ信号再生方法 | |
JP2000339860A (ja) | データ記録再生装置 | |
JPH11213564A (ja) | 情報符号化装置および情報復号化装置および情報符号化復号化記録再生装置 | |
JP2001268513A (ja) | 動画像再生装置および動画像記録再生システム | |
JP2005198349A (ja) | 記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030212 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080229 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090228 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100228 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100228 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |