JP3536493B2 - オーサリングシステム，このシステムで使用される符号化装置及び多重化装置並びに多重ビットストリームを生成する方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばＭＰＥＧ２
のようなディジタル動画像符号化標準に沿って多重ビッ
トストリームを生成して蓄積メディアに記録するための
オーサリングシステムに関し、並びにこのシステムで使
用される符号化装置及び多重化装置並びに多重ビットス
トリームを生成する方法に関する。

【０００２】更に具体的には、例えば映画ビデオ，音楽
ビデオ等のあらゆる種類のビデオ素材を対象にして、そ
のビデオ素材の映像及び映像に対応した背景音（所望に
より、サラウンドを含める。），複数の言語の吹き替
え，複数の言語の字幕等の関連情報をＭＰＥＧ２標準，
ＭＰＥＧオーディオ標準等に沿って夫々生成した個別符
号化ビットストリームを、多重化して多重ビットストリ
ーム形式に生成し、光ディスク，光磁気ディスク，磁気
テープ等の蓄積メディアに対してディジタル記録する際
に利用されるオーサリングシステム，このシステムで使
用される符号化装置及び多重化装置並びに多重ビットス
トリームを生成する方法に関する。

【０００３】このようなオーサリングシステムは、概し
て、符号化装置，多重化装置等から構成されており、符
号化装置により映像，背景音，音声等のソースデータを
ＭＰＥＧ２に沿って夫々圧縮符号化し、多重化装置によ
りこれら圧縮符号化データを１本の多重ビットストリー
ムに生成して蓄積メディアに記録するものである。

【０００４】

【従来の技術】〔マルチメディアを多重化するＭＰＥＧ
システム〕最初に、本発明を容易に理解出来るようにす
るため、本発明に関連するマルチメディアを多重化する
ＭＰＥＧ２（Moving Picture Experts Group２）システ
ム及び最終的に生成される多重ビットストリームの概要
に関して説明する。このよな多重ビットストリームに関
する刊行物としては、安田浩編著：“マルチメディア符
号化の国際標準”，丸善株式会社（１９９１）、マルチ
メディア通信研究会編：“最新ＭＰＥＧ教科書”アスキ
ー出版局（１９９５）、テレビジョン学会編：“画像情
報圧縮”オーム社（１９９１）等があり、以下のＭＰＥ
Ｇシステムの説明に関してこれらを適宜引用している。

【０００５】（ＭＰＥＧシステム）ＭＰＥＧビデオやＭ
ＰＥＧオーディオの符号化されたストリーム（ビット
列）、更に他の符号化ストリームを、同期を含めて統合
し１本化すると共に、そのストリームを蓄積メディア等
がもつ固有のフォーマットに適合したデータ形式にする
必要がある。更に、アプリケーションで使用するデータ
を付加することも求められる。このように、ビデオ，オ
ーディオ等を同期化して多重化するのがＭＰＥＧシステ
ムの役割である。

【０００６】ＭＰＥＧ標準には、主にＣＤ−ＲＯＭ等の
蓄積メディアのための標準であるＭＰＥＧ１と、ＭＰＥ
Ｇ１のアプリケーションも含む広い範囲のアプリケーシ
ョンのための標準であるＭＰＥＧ２とがある。本発明
は、主にＭＰＥＧ２を利用している。また、ＭＰＥＧ２
システムの多重化に関しては、一つのプログラム（番
組）を構成するプログラム・ストリーム（program stre
am、ＭＰＥＧ２−ＰＳ）と、複数プログラムを同時に構
成できるトランスポート・ストリーム（transportstrea
m、ＭＰＥＧ２−ＴＳ）の２種類の方式があるが、この
内、本発明は、主にＭＰＥＧ２−ＰＳを対象としてい
る。

【０００７】図６に、本発明に関係するＭＰＥＧ２シス
テムの基本的な機能を理解するためのシステム構成図を
示す。このシステムは、ビデオ符号器（エンコーダ）３
及びオーディオ符号器（エンコーダ）５からなる符号化
装置１と、ビデオ符号器及びオーディオ符号器の出力を
多重化する多重化装置（ＭＵＸ Multiplexier）２１
と、この多重化装置からの多重ビットストリームを記録
する蓄積メディア５３と、蓄積メディアに記録された多
重ビットストリームを分離する分離装置（ＤＭＵＸ De
multiplexer ）５５と、分離された符号化データを夫々
復号するビデオ復号器５７及びオーディオ復号器（デコ
ーダ）５９からなる復号装置６０とを備えている。

【０００８】このシステムの動作に関しては、符号化装
置１のビデオ符号器３及びオーディオ符号器５は、ビデ
オ及びオーディオの個別素材を、例えばＭＰＥＧ標準に
従って、夫々の連携を保ちながら個別に符号化圧縮す
る。符号化された各個別のストリーム（データ列）を多
重化装置２１でアプリケーションに合わせて、ストリー
ムの蓄積メディアのフォーマットに適合した多重化を行
い、記録する。即ち、複数の個別符号化ストリームを時
分割多重して１本のストリームにする。

【０００９】多重ストリームが記録された蓄積メディア
５３は、分離装置５５で、ビデオ，オーディオ等の各個
別のストリーム（データ列）部分を分離して、夫々の復
号装置６０に送る。復号装置６０のビデオ復号器５７，
オーディオ復号器５９等は、多重化装置側で意図したよ
うに、復号装置側で個別ストリームを同期復号する。各
復号器５７，５９では個別に符号化ビットストリームを
復号して、出力装置（テレビ・モニタ，スピーカ等）に
出力する。

【００１０】近年、符号化・多重化装置１，２１から分
離・復号化装置５５，５９に多重ビットストリームを伝
達する伝達メディア５３として、記録媒体として光ディ
スク，光磁気ディスク等を利用したＤＶＤ（Digital Vi
deo Disc）が検討されている。本発明は、このＤＶＤに
関連して成された発明である。

【００１１】（多重，分離及び同期の方式）次に、多
重，分離及び同期の方式に付いて概略的に説明する。多
くの時分割多重方式で用いられているパケット（Packe
t）による多重方式を、ＭＰＥＧ２システムでも取り入
れている。図７に、基本的なパケットによる１プログラ
ムの多重・分離方式を取り入れたＭＰＥＧ２−ＰＳ（プ
ログラム・ストリーム）の基準復号器を示す。詳細に関
しては、後述する。

【００１２】このパケットによる多重化とは、例えば、
ビデオ，オーディオ等のデータを多重する場合、ビデ
オ，オーディオ等の夫々をパケットと呼ばれる適当な長
さのビットストリーム（ビット列）に分割し、ヘッダ等
の付加情報を付けて、適宜、ビデオ，オーディオ等のデ
ータのパケットを切り換えて時分割記録する方式であ
る。図８（１）に示すように、これらのパケットには、
ヘッダと称される先頭部分にビデオ，オーディオ等の属
性を識別する情報等がある。また、必要に応じて、最後
尾にビット・エラーを検出するためのＣＲＣ（Cyclic R
edundancy Check 、巡回冗長検査）と称される符号を追
加する。

【００１３】パケット長は、蓄積メディアに強く依存す
る。例えば、光ディスク・システムのように長い（４０
９６バイトのパケット長）ものもあり、ＭＰＥＧでは上
限を約２¹⁶（６４Ｋバイト）とし、フレキシビリティを
もたせるために、各パケットは固定長でも可変長でも良
いことになっている。ヘッダ等の固定的に必要な部分
は、パケット長に依存しないため、短いパケットはオー
バヘッド（多重化のための追加データ）が大きく、記録
効率が低下するが、時分割多重の切替時間が短いため
に、多重に起因する遅延とバッファ・メモリ量が少なく
て済むというメリットもある。

【００１４】図８（２）に示すように、ＭＰＥＧ２−Ｐ
Ｓ（プログラム・ストリーム）では、ビデオやオーディ
オやその他のデータのパケットの上位にパック・レイヤ
と称する階層がある。通常は複数個のパケットを束ねた
パック（Pack）と称される構成単位で取り扱われる。図
８（２）にパックの構成を示すが、パック・ヘッダ部分
に、後述する同期再生用の時間基準参照用の付加情報等
がある。パックの主目的は、ストリームの途中から復号
再生することを可能にすることにある。

【００１５】（タイムス・スタンプによるＡＶ同期方
式）復号装置において、個別ストリームの復号は、アク
セク・ユニット単位で行われる。例えば、ビデオでは１
フレーム，オーディオでは１オーディオ・フレームが、
アクセス・ユニットとなる。ＭＰＥＧ２の同期方式に関
しては、ビデオ，オーディオ，他のデータの各アクセス
・ユニットに、何時復号再生すべきかを示すタイム・ス
タンプと称される情報が付加される。このタイム・スタ
ンプに対しては、ＳＣＲ（System Clock Reference、シ
ステム時刻基準参照値）と称される情報によって時間基
準が与えられる。

【００１６】タイム・スタンプは、各アクセス・ユニッ
ト毎に付けられる復号再生処理の時刻管理のタグ（札）
に相当する。ＭＰＥＧオーディオの符号化方式に起因し
て、２種類のタイム・スタンプがあり、一つはＰＴＳ
（Presentation Time Stamp ）と称される「再生出力の
時刻管理情報」で、他方はＤＴＳ（Decoding Time Stam
p ）と称される「復号の時刻管理情報」である。これら
のタイム・スタンプは、パケットの中にアクセス・ユニ
ットの先頭がある場合には、パケット・ヘッダに付加す
る。しかし、パケットの中にアクセス・ユニットの先頭
がない場合には、パケット・ヘッダにタイム・スタンプ
は付加しない。また、パケットの中に二つ以上のアクセ
ス・ユニットの先頭があっても、最初のアクセス・ユニ
ットに対応するタイム・スタンプだけをパケットヘッダ
に付加する。

【００１７】図７に示すＭＰＥＧ２−ＰＳ（プログラム
・ストリーム）の基準復号器に関して説明する。蓄積メ
ディアに記録された多重ビットストリームが、分離装置
５５により個別ストリームに分離される。ビデオのビッ
トストリームは、ビデオのＳＴＤ（System Target Deco
der 、システムに対応したデコーダ）バッファ５７′に
蓄積され、オーディオのビットストリームは、オーディ
オのＳＴＤバッファ５９′に蓄積される。タイム・スタ
ンプ（ＰＴＳ，ＤＴＳ）に時間基準を与えるＳＣＲ（シ
ステム時刻基準参照値）は、システム・デコーダ６１に
蓄積される。

【００１８】ＰＴＳ（再生出力の時刻管理情報）は、図
７に示されたＭＰＥＧ２−ＰＳの基準復号器の内部のＳ
ＴＣ（System Time Clock 、基本となる同期信号。基本
的には、ＳＣＲと一致している。）がＰＴＳに一致した
時に、そのアクセス・ユニット を再生出力する。ＰＴ
Ｓの精度は、９０ｋＨｚのクロックで計測した値を３３
ビ ット長で表す。９０ｋＨｚの理由は、ＮＴＳＣ，Ｐ
ＡＬ両方のビデオ方式のフレ ーム周波数の公倍数であ
ることと、オーディオの１サンプル周期よりも高い精度
を得るためである。３２ビット長の理由は、９０ｋＨ
ｚのクロックの計測値で、 ビデオのＳＭＰＴＥ（Soci
ety of Motion Picture and TelevisionEngineers、
アメリカ映画・テレビ技術協会）タイム・コードと同様
に１日の２４時間の範囲 を表現できるようにするため
である。

【００１９】ＤＴＳ（復号の時刻管理情報）は、ＭＰＥ
Ｇ２ではビデオの特殊な符号化ストリームの送出順序が
あることから設けられている。即ち、Ｉピクチャ（Intr
a-Picture 、フレーム内符号化画像）とＰピクチャ（Pr
edictive-Picture、フレーム間順方向予測符号化画像）
は、Ｂピクチャ（Bidirectinally Predictive-Picture
、双方向予測符号化画像）よりも先行して符号化スト
リームに送出するために、復号する順序と再生出力する
順序が異なることに対応したものである。ＰＴＳとＤＴ
Ｓが異なる場合には、両方のタイム・スタンプを付け、
一致する場合にはＰＴＳだけを付けることになってい
る。具体的には、Ｂピクチャのあるビデオ符号化ストリ
ームでは、ＩピクチャとＰピクチャでＰＴＳ及びＤＴＳ
を付け、Ｂピクチャや、ＢピクチャのないＩピクチャと
ＢピクチャではＰＴＳだけでよいことになる。

【００２０】ＳＣＲ（System Clock Referenceシステム
時刻基準参照値）は、ビデオ，オーディオの復号器を含
むＭＰＥＧシステム復号装置において、時刻基準となる
ＳＴＣ（基準となる同期情報）の値を符号器側で意図し
た値にセット・校正するための情報である。また、ＳＣ
Ｒの利用に際しては、単にＳＣＲの値だけでは不十分
で、ＳＣＲの値を運んでいるストリーム中のバイトのタ
イミング（復号器への到達時刻）の精度が必要となる。
ＳＣＲは、ＭＰＥＧ２では６バイト（実データは４２ビ
ット）で送られるが、復号器側では、その最終段の到達
の瞬間に、ＳＴＣはＳＣＲの値をセットすることが求め
られる。

【００２１】このＳＣＲに対して、復号装置側はＳＴＣ
と一体になったＰＬＬ（位相ロック・ループ）を構成し
て、符号器のシステム・クロックと完全に周波数の一致
したＳＴＣを復号器でもつことが出来る。

【００２２】分離装置５５及び復号装置６０を更に説明
すると、分離装置５５で多重ビットストリームを映像の
個別ストリーム，音声の個別ストリーム等に分離して、
夫々のＳＴＤバッファ５７′，５９′に逐次記録され
る。夫々の復号器では、対応するＳＴＤバッファから所
定のタイミングで１アクセス・ユニット分（ビデオでは
１フレーム分、オーディオでは１オーディオ・フレーム
分）のビットストリームを読み出し、復号化処理を行
う。

【００２３】図９は、ＳＴＤバッファに蓄積される状態
及び所定のタイミングで読み出し、復号化するタイミン
グを説明する図である。最初、ＳＴＤバッファは空であ
ったと仮定する。分離装置から個別ビットストリームが
順次蓄積される。１フレーム分蓄積された時、復号化装
置は蓄積されたビットストリームを１アクセス・ユニッ
ト分だけ一度に読み出し、読み出されたビットストリー
ムの復号化処理を開始する。読み出しタイミングが所定
のタイミングより遅れたり又はビットレートが早過ぎる
と、ＳＴＤバッファはオーバフローを生ずる。所定のタ
イミングより早すぎたり又はビットレートが遅過ぎる
と、アンダーフローを生じて、いずれにしてもバッファ
は破綻する。

【００２４】更に、多重ビットストリームは、ビデオに
対し、対応するオーディオ等が適当な順序・割合で送ら
れて同期を取ることが必要である。例えば、ビデオのみ
送られて来てそれに対応するオーディオ等が送られて来
ないと、ビデオとオーディオ等の同期が取れず、再現で
きなくなる。

【００２５】従って、予め、多重化装置においてビデオ
データとオーディオデータ等とを多重化する際に、ＳＴ
Ｄバッファが破綻しないように、またビデオとオーディ
オ等の同期が取れて復号が行われるように、スケジュー
リングを行いながら多重ビットストリームを生成するこ
とが必要になる。

【００２６】従来、図１０に示すようなビデオＣＤ等に
使用されるリアルタイム・オーサリングシステムが知ら
れている。図１０のリアルタイム・オーサリングシステ
ムは符号化装置１と、多重化装置２１からなり、符号化
装置１は、一般に、ディジタル・ビデオソース信号（個
別素材）を符号化するビデオ符号化器３と、ディジタル
・オーディオソース信号（個別素材）を符号化するオー
ディオ符号化器５とを有する。

【００２７】多重化装置２１は、前段に、ビデオ符号化
器３に接続されたバッファメモリ６５と、オーディオ符
号化器５に接続されたバッファメモリ６７とを有し、更
に後段に、これらバッファメモリ６５，６７に接続され
た多重化器回路６９とを有している。

【００２８】図１０のリアルタイム・オーサリングシス
テムの動作は、ビデオ符号化器３及びオーディオ符号化
器５は、ビデオソース信号，オーディオソース信号等の
個別素材を、夫々の連携を保ちながら、個別に圧縮符号
化する。符号化ビデオ・ビットストリームはバッファメ
モリ６５に逐次蓄積され、同様に符号化オーディオ・ス
トリームはバッファメモリ６７に逐次蓄積される。

【００２９】多重化回路６９は、バッファメモリ６５に
蓄積されたビデオデータと、バッファメモリ６７に蓄積
されたオーディオデータとを、所定の順序で多重化し
て、ビデオビットストリームとオーディオビットストリ
ームが時分割多重化された多重ビットストリームを生成
する。多重ビットストリームは、適当な蓄積メディアに
記録される。

【００３０】

【発明が解決しようとする課題】このような従来のリア
ルタイム・オーサリングシステムを使用して、多重ビッ
トストリームを生成する場合、大別して３つの問題が生
じてきた。即ち、多重化スケジューリングに関する問
題，同一エレメンタリー・ストリームを用いて複数回多
重化を行う場合の問題及び参照画像位置情報に関する問
題がある。

【００３１】（１）多重化スケジューリングに関する問
題 従来は個別素材としてビデオとオーディオのみを多重し
ていたが、適用範囲が拡大するにつれ、映画ソース，音
楽ビデオ等を含むあらゆるビデオソースが対象となって
いる。例えば、１つの映像に対応して、オーディオに関
してはサラウンドを付加して蓄積したり、数カ国の言語
で吹き替えし、また数カ国語の言語の字幕を含んだ多重
ビットストリームを生成し、蓄積メディアに記録したい
場合が生じる。

【００３２】この場合、動画像信号，音声信号，字幕信
号等を夫々の所定の符号化装置により圧縮して得られた
個別ビットストリームと、その他非圧縮のビットストリ
ーム等を多重化装置（ＭＵＸ）で多重化し、１本のＭＰ
ＥＧ２標準の多重ビットストリームとして所定の記録媒
体に記録する必要がある。

【００３３】ＭＰＥＧ２標準の多重ビットストリーム
は、分離・復号化装置の前段にある分離装置（ＤＭＵ
Ｘ）により複数種の個別ビットストリームに分離され、
各個別ビットストリームはその後段にある各々の復号化
装置により復号・再生される。分離装置から分離・送出
された各個別ビットストリームは各々のＳＴＤバッファ
に蓄積され、各々の復号化装置によりアクセス・ユニッ
ト分のビットストリームが読み出されてデコードされ
る。

【００３４】この場合に、分離装置から分離・送出され
る各エレメンタリー・ストリームは、そのＳＴＤバッフ
ァをオーバフロー又はアンダフローして破綻させてはな
らない。また、ビデオに対してオーディオ等が同期が取
れた割合で組み合わせてあることが必要である。従っ
て、各復号化装置のＳＴＤバッファが破綻しないよう
に、予め多重化装置において、個別ビットストリームを
多重化するに際して、個別ビットストリームの適切な組
み合わ及び適切な個別ビットストリーム長の決定等のス
ケジューリング処理を行わなければならない。

【００３５】多重化のスケジューリング処理を行う場合
に、現在まさに多重化（パケット化）しようとする部分
の大きさを決めるために、多重化すべきエレメンタリー
・ストリーム（素ビット列）を先読みしてそれより先の
部分（ＤＴＳが遅い部分）のアクセス・ユニットの大き
さを観察することにより、現在の多重化を決定すること
が可能となる。

【００３６】このため、従来のリアルタイム・オーサリ
ングシステムのように、符号化と多重化をリアルタイム
で実行する場合には、多重化スケジューリングの先読み
のために多重化装置にバッファメモリを備える必要があ
る。

【００３７】このバッファメモリに関して、オーサリン
グシステムでは、適用範囲の拡大にともない多数のエレ
メンタリー・ストリームを多重化する場合が生じる。実
際、このような場合を想定して、ＭＰＥＧ２では音声は
最大３２本のエレメンタリー・ストリームの多重化を許
容している。このような多数のエレメンタリー・ストリ
ームの多重化をリアルタイム処理するには、当然のよう
に、莫大な容量のバッファメモリが必要になる。

【００３８】また、そのように多重化するエレメンタリ
ー・ストリームの個数が多くなればなるほど、前述のよ
うに夫々の復号装置のＳＴＤバッファの破綻が起こらな
いように多重化スケジューリングを行うために、先読み
の範囲を相当広げなければならなくなる。この点から
も、多重化装置には莫大な容量のバッファメモリが必要
とされる。

【００３９】更に、エレメンタリー・ストリームの個数
が増加する毎に、その分だけ解析の量も増加し、多重化
装置の負担が大きくなる。

【００４０】（２）同じ映像のエレメンタリー・ストリ
ームを用いて、複数回多重化を繰り返す問題 ＭＰＥＧ２の多重化の仕様から、音声のエレメンタリー
・ストリームは最大３２個まで多重化可能である。この
音声多重化の許容範囲を利用して、映画やビデオソース
に対し、１つの映像に対して多数国の言語で吹き替えし
たり、多数国の言語の字幕を挿入して多重ビットストリ
ームを生成し、これを蓄積した蓄積メディアを作成する
こと望まれる。

【００４１】言い換えれば、１つのプログラム（番組）
の映像のエレメンタリー・ストリームに対して、複数個
の音声のエレメンタリー・ストリームと、複数の字幕の
エレメンタリー・ストリームとから、組み合わせを変え
た複数個の多重ビットストリームを作成したい場合であ
る。

【００４２】例えば、或る映画に対し、英語音声及び日
本語音声を多重化し、且つ英語字幕及び日本語字幕で多
重化したソフトウェアと、英語音声及びスペイン語音声
で且つ英語字幕及びスペイン語字幕で多重化したソフト
ウェアとの２種類のソフトウェアを作成したい場合があ
る。

【００４３】このような場合、１つのプログラムに対し
異なる種類の多重ビットストリームを作成するために、
各多重ビットストリームを生成する毎に別個に、同一の
映像，音声，字幕を符号化してこれらのエレメンタリー
・ストリームを多重化スケジューリングのために解析を
行うことは、重複した作業が発生し、全体としては無駄
であり、非常に効率が悪い。

【００４４】（３）参照画像位置情報に関する問題 ＭＰＥＧ２多重ストリームは、パック単位に、後で説明
するＰＳＩ（プログラム仕様情報）であるＰＳＤ（プロ
グラム・ストリーム・ディレクトリ）とＰＳＭ（プログ
ラム・ストリーム・マップ）と呼ぶ特別のパケットが、
パック・ヘッダの後に挿入される。ＰＳＤには、そのパ
ックの前後に位置する参照すべきＩピクチャへのオフセ
ット値が入る。ＰＳＭには、主に多重化されているエレ
メンタリー・ストリームを説明し、またそれらの相互関
係を説明するものであるが、その他に自由に情報を織り
込むことが可能であり、例えば音楽ビデオや映画等にあ
るトラックの先頭のＩピクチャへのオフセット値等が入
ることが出来る。

【００４５】ＰＳＤにおいて、過去に向かって参照する
より未来に向かって参照するＩピクチャの範囲を拡大す
ると、その分だけエレメンタリー・ストリームの先読み
の範囲を広げなければ、ＰＳＤの内容を決定し多重ビッ
トストリームに対して書き込むことは出来ない。

【００４６】トラックは、通常、数分〜数十分の時間単
位となるため、現実には、多重化しながらその莫大なデ
ータを先読みしてトラックの先頭のＩピクチャのアドレ
ス等の情報を決定し、ＰＳＭのデータとして書き込むこ
とは不可能である。

【００４７】本発明は、上述のような問題を解決し、且
つ多数の個別データを効率良く多重化するオーサリング
システムを提供することを目的とする。

【００４８】更に本発明は、このようなオーサリングシ
ステムに使用される符号化手段と、多重化手段を提供す
るものである。

【００４９】

【課題を解決するための手段】本発明にかかるオーサリ
ングシステムは、例えばＭＰＥＧ２，ＭＰＥＧオーディ
オ等に沿って、複数の個別ソース信号を夫々符号化して
得られた各エレメンタリー・ストリームとその他のディ
ジタル信号列とを多重化して多重ビットストリームを生
成するオーサリングシステムであって、前記符号化時に
各エレメンタリー・ストリームをファイルとして夫々生
成すると同時に符号化付随情報を中間ファイルとして夫
々生成する符号化装置と、前記各エレメンタリー・スト
リームのファイルと前記中間ファイルとから、前記エレ
メンタリー・ストリームを分析することなしに多重化の
スケジューリングを行って多重ビットストリームを生成
する多重化装置とを備えている。

【００５０】更に本発明にかかるオーサリングシステム
は、上述のオーサリングシステムにおいて、前記多重化
装置は、スケジューリング器と、参照画像位置情報生成
器と、多重ビットストリーム生成器とを有し、前記スケ
ジューリング器は、多重化を行う各エレメンタリー・ス
トリームのスケジューリングを行いその結果をスケジュ
ールデータの中間ファイルとして生成し、前記参照画像
位置情報生成器は、前記スケジュールデータの中間ファ
イルから多重ビットストリームを構成する全てのパック
毎に挿入する参照画像位置情報の中間ファイルを生成
し、前記多重ビットストリーム生成器は、前記スケジュ
ールデータの中間ファイル及び前記参照画像位置情報の
中間ファイルの情報に基づき各エレメンタリー・ストリ
ームから多重ビットストリームを生成している。

【００５１】更に本発明にかかるオーサリングシステム
は、上述のオーサリングシステムにおいて、前記符号化
付随情報の中間ファイルに、少なくとも多重化の最小単
位であるアクセス・ユニット毎のサイズ，ＤＴＳ及びＰ
ＴＳが記述されている。

【００５２】更に本発明にかかる多重ビットストリーム
を生成する方法は、ビデオソース信号，オーディオソー
ス信号，字幕ソース信号を含む複数の個別ソース信号を
夫々符号化して得られた各々のエレメンタリー・ストリ
ームとその他のディジタル信号列とを多重化して多重ビ
ットストリームを生成する方法であって、前記符号化す
る段階において、各々のエレメンタリー・ストリームの
ファイルを生成すると同時に夫々の符号化付随情報を中
間ファイルとして生成し、前記多重化する段階におい
て、前記中間ファイルを取り込むことにより、前記エレ
メンタリー・ストリームを分析することなしに多重化ス
ケジューリングを行って多重化する。

【００５３】更に本発明にかかる多重ビットストリーム
を生成する方法は、上述の多重ビットストリームを生成
する方法において、前記多重化する段階は、スケジュー
リングする段階，参照画像位置情報を生成する段階及び
多重ビットストリーム生成する段階を有し、前記スケジ
ューリングする段階は、前記符号化付随情報の中間ファ
イルに基づき各エレメンタリー・ストリームのスケジュ
ーリングを行いその結果をスケジュールデータの中間フ
ァイルとして生成し、前記参照画像位置情報を生成する
段階は、前記スケジュールデータの中間ファイルから多
重ビットストリームを構成する全てのパック毎に挿入す
る参照画像位置情報の中間ファイルを生成し、前記多重
ビットストリームを生成する段階は、前記スケジュール
データの中間ファイル及び前記参照画像位置情報の中間
ファイルの情報に基づき各エレメンタリー・ストリーム
から多重ビットストリームを生成する。

【００５４】以上のような本発明にかかる符号化・多重
化装置及び多重ビットストリームを生成する方法によれ
ば、符号化処理段階と、スケジューリング処理段階と、
多重化処理段階に分離され、各エレメンタリ・ストリー
ムを分析すること無く、多重化処理できる。

【００５５】また、各個別ソース信号の符号化処理にお
いて、各エレメンタリ・ストリーム・ファイルと各符号
化付随情報ファイルと生成してあるので、後で任意の組
み合わせの多重ビットストリームを生成出来る。

【００５６】

【発明の実施の形態】以下、本発明にかかる実施例に関
し、添付の図面を参照しながら説明する。なお、同一要
素に付いては同一符号を付与して、説明の重複を省略す
る。

【００５７】〔ＭＰＥＧシステムのデータ構造とビット
ス・トリーム構成〕最初に、本実施例のオーサリングシ
ステムにより生成される多重ビットストリームのデータ
構造に関して説明し、次にＰＳＩ（Program Specific I
nformation、プログラム仕様情報）に関して説明する。

【００５８】本実施例の多重ビットストリームのデータ
構造は、ＭＰＥＧ２−ＰＳ（Program Stream）に準じて
おり、そのデータ構造とビットストリームは、以下のよ
うに階層的構造になっている。このＭＰＥＧストリーム
は、１ビットのフラグ等も多数あるが、ヘッダ等の各単
位毎にバイト整列されたバイトス・トリームとなってい
て、固定長でないデータ部分には、長さを示す情報が先
行して置かれ、不要な場合はその部分をスキップしたり
出来るようになっている。

【００５９】（ＭＰＥＧ２−ＰＳのデータ構造）多重ビ
ットストリーム（ＭＰＥＧ２−ＰＳ）のデータ構造を上
位レイヤ（パック・レイヤ）と下位レイヤ（パケット・
レイヤ）に分けて図１と図２に示す。図１に示す上位レ
イヤ（パック・レイヤ）に関して、１つのプログラム
は、シーケンスと称されることもあるが、先頭の「パッ
ク・ヘッダ」に始まり、「終了コード」で終わる。前述
のように、パックは、一般に複数個のパケットから構成
され、プログラムの先頭のパックには、「システム・ヘ
ッダ」と称されるストリーム全体の概要を記述（パラメ
ータ情報）した情報グループがある。このシステム・ヘ
ッダは、先頭のパックには、付加することが義務づけら
れているが、２番目以降のパックではオプションとなっ
ている。

【００６０】パック・ヘッダは、可変長で、３２ビット
（４バイト）の「パック開始コード」の後に、「01」の
２ビットが続き、これがＭＰＥＧ１との識別コードにな
っている。その後に、合計で６バイト長の前述の「ＳＣ
Ｒ（システム時刻基準参照値）」と、このストリームの
「プログラム多重化レート」（可変ビットレートの場合
は時々刻々の値）を５０バイト／秒単位で表す情報が続
く。

【００６１】最大７バイトまでのスタッフィング・バイ
トを置くことが出来るので、このスタッフィング・バイ
トに先行して「パック・スタッフィング・バイト長」で
長さを示す。これに続いて、Ｍバイト（最大７）の「パ
ック・スタッフィング・バイト」が置かれている（スタ
ッフィング・バイトに付いては、後で説明する。）。以
上のことから、パックヘッダ長は１４バイト乃至２１バ
イトの可変長となる。

【００６２】システム・ヘッダには、３２ビットの「シ
ステム・ヘッダ開始コード」に続いて、このシステム・
ヘッダ自身の長さを示す情報項目（フィールド）として
「ヘッダ長」が含まれる。実データ部分には、「ビット
・レート」，「オーディオ・チャネル数」，４種類の
「フラグ類」，「ビデオ・チャネル数」（１プログラム
でも複数個のビデオ，オーディオをもつことが出来
る。）と、そして各個別ストリム毎に必要なバッファ・
メモリ量を示すフィールド「Ｐ−ＳＴＤバッファ領域ス
ケール」，「Ｐ−ＳＴＤバッファ領域サイズ」が含まれ
る。フラグには、次の４つの項目がある。 「固定レート・フラグ」…一定ビット・レートであるこ
との識別。 「ＣＳＰＳフラグ（Constrained System Parameter Str
eam 、制限的なシステム・パラメータ・ストリーム）」
…システム・ストリームのパラメータに制限を設けて、
実際の復号器での互換性を実現を意図したもの。 「オーディオ・ロック・フラグ」…システム・ストリー
ム中のオーディオがシステム・クロック（９０ｋＨｚ）
とフェイズ・ロックしているかどうかを示すフラグ。 「ビデオ・ロック・フラグ」…システム・ストリーム中
のビデオがシステム・クロック（９０ｋＨｚ）とフェイ
ズ・ロックしているかどうかを示すフラグ。

【００６３】次に、システム・ヘッダ中の「Ｎ回ルー
プ」中に示す「ストリームＩＤ」は、下表にその一例を
示すように、３２ビットのパケット開始コードの最後の
８ビット部分である。この８ビットでストリームを区別
して、各個別ストリーム毎にパラメータ（必要なバッフ
ァ・メモリ容量）を示す。

【００６４】 ストリームＩＤテーブル（一部） ストリームＩＤ ストリーム種別 1011 1100 プログラム・ストリーム・マップ（ＰＳＭ） 1011 1101 プライベート・ストリーム１ 1011 1110 パディング・ストリーム 1011 1111 プライベート・ストリーム２ 110X XXXX ＭＰＥＧオーディオ・ストリーム 1110 XXXX ＭＰＥＧビデオ・ストリーム 1111 0010 ＤＳＭ^* コントロールコマンド 1111 1111 プログラム・ストリーム・ディレクトリ（ＰＳＤ） （＊）ＤＳＭ：Digital Storage Media ，ディジタル蓄積メディア

【００６５】下位レイヤ（パケット・レイヤ） ＭＰＥＧのパケットはＰＥＳパケット（Peckeized Elem
entary Stream Packet）と称され、この構造はＭＰＥＧ
２−ＴＳと共用して用いられるため、ヘッダの部分が複
雑になっているが、階層的に理解し易くなっている。最
初の部分にフラグ類がまとめて置かれ、それらのフラグ
に対応してオプション的に条件符号化された項目がそれ
に続いている。更にそのオプション項目に２次的なオプ
ション項目がある。

【００６６】３２ビットの「パケット開始コード」は、
２４ビットの固定部分の「パケット開始プレフィック
ス」と８ビットの「ストリームＩＤ（識別）」部分から
なる。ＭＰＥＧ２−ＰＳでは、最大で、ビデオ１６チャ
ネル、オーディオ３２チャネルまで可能となるようにス
トリームＩＤが定義されている。

【００６７】「パケット長」は、このフィールドに続く
パケットのデータ長を示す。

【００６８】システム制御情報として、次のようなもの
がある。パケット長に続く２ビットの制御コード「10」
は、前述したようにＭＰＥＧ１の“00”，“01”又は
“11”との識別用に利用されている。「スクランブル制
御フラグ」は、データにスクランブル（データ列の組み
替え等）をかけて、守秘情報や商用システムなどに用い
ることが出来る。通常、“00”とされている。「ＰＥＳ
優先度フラグ」は、重要なパケットと、そうでないパケ
ット（場合によっては捨て去ることが出来るパケット）
に区別出来るようにしている。通常、“0 ”とされてい
る。次に、「データ整列」が続き、「コピー・ライト」
は、ビデオやオーディオの符号化ストリームの著作権を
示す情報である。「オリジナル／コピー」は、原本か複
写かを示す。「ＰＥＳヘッダ長」は、ＰＥＳパケットの
ヘッダの長さを示す。

【００６９】「オプション・フィールド」として、次の
ものがある。 「ＰＴＳ」…前述したＰＴＳ（Presentation Time Stam
p ）と称される「再生出力の時刻管理情報」である。 「ＤＴＳ」…前述したＤＴＳ（Decoding Time Stamp ）
と称される「復号の時刻管理情報」である。 その他「ＥＳＣＲ」，「ＥＳレート」等が続くが、本実
施例に直接関係が無いため省略する。

【００７０】最大７バイトまでの「スタッフィング・バ
イト」及び「パディング・バイト」は、ダミーのバイト
で、符号には意味の無いデータです。用途としては例え
ば、ＰＴＳやＤＴＳの有無に拘らずパケット・データ長
を一定にするために、ＰＴＳやＤＴＳが無いパケットに
おいて、これらの代わりにスタッフィング・バイトを置
くこと等がある。

【００７１】（ＰＳＩ（プログラム仕様情報）のデータ
構造と）ＭＰＥＧ２−ＰＳには、複数個のビデオ，オー
ディオ，その他のデータの個別ストリームを１本に多重
化しているため、分離・復号化装置においてどのパケッ
トを取り出して、どのように復号すればよいか等の情報
が必要になる。これらのプログラム仕様情報を総称して
ＰＳＩ（Program Stream Information、プログラム仕様
情報）と称している。ＭＰＥＧ２−ＰＳには、２つのＰ
ＳＩ（プログラム仕様情報）用パケットが定義されてい
る。一つはＰＳＭ（Program Stream Map）で、他の一つ
はＰＳＤ（Program Stream Directory）の各パケットで
ある。こら等のデータ構造を図１１ー１５に示し、前述
のＰＥＳパケットとの違いを解説する。

【００７２】ＰＳＭ（プログラム・ストリーム・マッ
プ）パケットは、プログラムの付加情報や各個別ストリ
ームの付加情報を記述するパケットである。例えば、ビ
デオのスケーラビリティ符号化に付いての情報やオーデ
ィオの言語識別情報などを記述できる。

【００７３】ＰＳＤ（プログラム・ストリーム・ディレ
クトリ）パケットは、蓄積メディアで用いられるランダ
ム・アクセスのためのディレクトリ情報で、個別のスト
リーム毎にランダム・アクセスのためのエントリー・ポ
イント（例えば、ビデオならＩピクチャの先頭アドレ
ス）を、ストリーム先頭からのバイト数表現で示してい
る。このパケットのデータ構造は、前半部分は通常のＰ
ＥＳパケットと同じで、後半部分（オプション・データ
とパケット・データに相当する部分）が異なっている。

【００７４】〔実施例１〕本オーサリングシステムが目
的としている映画やビデオを数カ国語の音声で、数カ国
語の字幕で、多重化されたソフトウェアを作成するよう
な場合、即ち多数のエレメンタリー・ストリームを符号
化し、これらを時分割多重化する場合に、符号化から多
重化までの処理をリアルタイムで行うことは、多重化の
スケジューリングや参照画像位置情報（ＰＳＭ情報，Ｐ
ＳＤ情報）の生成に必要となる先読みのバッファメモリ
容量の問題で非現実的である。

【００７５】また、多重化する映像と音声と字幕の組み
合わせを変えて複数種類のソフトウェアを作成する場
合、その度毎に同じ符号化をし、且つそのエレメンタリ
ー・ストリームの多重化装置での解析を行うことは冗長
であり、効率が悪い。

【００７６】そこで、これらの問題を考慮して、本実施
例のオーサリングシステムでは、符号化処理と多重化処
理とを時間的に完全に分けるものとしている。

【００７７】図４は、実施例１にかかるオーサリングシ
ステムのシステム構成を示す図であり、このオーサリン
グシステムにより上述のような多重ビットストリームが
生成され蓄積メディアに蓄積される。このオーサリング
システムは、基本的には、符号化装置１と、多重化装置
２１とを備えている。しかし、従来技術に関連して説明
したリアルタイム・オーサリングシステムの構成と比較
すると、実施例１の構成はリアルタイム方式ではなく、
符号化処理と、スケジューリングに必要な情報の生成処
理と、多重化処理とを時間的に完全に分けるものとして
いる。

【００７８】即ち、ビデオ，オーディオ及び字幕データ
を夫々の符号化装置で符号化して生成された各エレメン
タリー・ストリーム（素ビット列）のファイルと共に符
号化の過程で得られる符号化付随情報の中間ファイルを
生成し、次にこの符号化付随情報ファイルから多重化装
置のスケジューリング器で生成されたスケジュールデー
タの中間ファイルを生成し、更にこのスケジュールデー
タの中間ファイルから参照画像位置情報生成器で生成さ
れた参照画像位置情報の中間ファイルとを生成してお
き、その後、多重ビットストリーム生成器でこれら中間
ファイルを用いて多重ビットストリームを生成する。

【００７９】（符号化装置）符号化装置１は、例えばビ
デオ符号化器３と、オーディオ符号化器５と、字幕デー
タ符号化器７とを有する。

【００８０】ビデオ符号化器３に対してビデオカメラ等
から出力されるディジタル形式のビデオソース信号が入
力され、ビデオ符号化器３はこのビデオソース信号を例
えばＭＰＥＧ２システムのような動画像符号化標準を利
用して圧縮符号化する。このビデオ圧縮データはエレメ
ンタリー・ストリーム（素ビット列）として、ハードデ
ィスク等の蓄積メディアに蓄積され、ビデオ・エレメン
タリー・ストリーム・ファイル９が生成される。

【００８１】同時に、符号化工程で得られる符号化付随
情報が、ハードディスク等の記録メディアに蓄積され符
号化付随情報ファイル１１が生成される。この符号化付
随情報ファイルは従来のオーサリングシステムでは使用
されていなかったものであり、本実施例において初めて
生成された新規なものである。符号化付随情報は、従来
技術で説明した後段の分離・復号装置で多重ビットスト
リームをビデオ，オーディオ，字幕データ等の個別のス
トリーム部分に分離する分離装置で必要とされる情報で
あり、多重化の最小単位であるアクセス・ユニットのサ
イズ，ＤＴＳ（復号の時刻管理情報），ＰＴＳ（再生出
力の時刻管理情報）からなる。

【００８２】同様に、オーディオ符号化装置５に対して
ディジタル形式のオーディオソース信号が入力され、オ
ーディオ符号化装置５はこのオーディオソース信号を例
えばＭＰＥＧオーディオシステムのようなオーディオ符
号化方式を利用して圧縮符号化する。このオーディオ圧
縮データはエレメンタリー・ストリーム（素ビット列）
として、ハードディスク等の蓄積メディアに蓄積され、
オーディオ・エレメンタリー・ストリーム・ファイル１
３が生成される。

【００８３】同時に、符号化工程で得られる符号化付随
情報が、ハードディスク等の記録メディアに蓄積され、
符号化付随情報ファイル１５が生成される。符号化付随
情報は、後段の分離・復号装置で多重ビットストリーム
をビデオ，オーディオ，字幕データ等の個別ビットスト
リームを分離する分離装置で必要とされる情報であり、
アクセス・ユニットのサイズ，ＰＴＳからなる。

【００８４】同様に、字幕符号化装置７に対してディジ
タル形式の字幕ソース信号が入力され、字幕符号化装置
７はこの字幕ソース信号を符号化する。この字幕符号化
データはエレメンタリー・ストリーム（素ビット列）と
して、ハードディスク等の蓄積メディアに蓄積され、字
幕エレメンタリー・ストリーム・ファイル１７が生成さ
れる。

【００８５】同時に、符号化工程で得られる符号化付随
情報が、ハードディスク等の記録メディアに蓄積され、
符号化付随情報ファイル１９が生成される。符号化付随
情報は、後段の分離・復号部で多重ビットストリームを
ビデオ，オーディオ，字幕データ等の個別ビットストリ
ームを分離する分離装置で必要とされる情報であり、ア
クセス・ユニットのサイズ，ＰＴＳ，表示終了時刻から
なる。

【００８６】なお、図４は例示であり、オーディオソー
ス信号及び字幕ソース信号は夫々１個に限定されるもの
でなく、複数の言語による吹き替えのソース信号，複数
の言語による字幕ソース信号を追加することが出来、更
にこれ以外のソース信号も考えられる。これらのソース
信号に関し、夫々の符号化器によりエレメンタリー・ス
トリーム及び符号化付随情報ファイルが生成される。な
お、説明を簡単にするため、以下ビデオ，オーディオ，
字幕の３つの場合に付いて説明を続ける。

【００８７】ここで注意すべきことは、従来のオーサリ
ングシステムでは、上述のような符号化付随情報ファイ
ルの生成は行わず、各エレメンタリー・ストリームを先
読みして分析しながら多重化に必要な情報を集めて、ビ
デオ，オーディオ，字幕データの多重化が行われていた
ことである。しかし、本オーサリングシステムが目的と
しているように映画やビデオを数カ国語の音声で、数カ
国語の字幕で、多重化されたソフトウェアを作成するよ
うな場合、即ち多数のエレメンタリー・ストリームを符
号化し、多重化する場合に、符号化から多重化までの処
理をリアルタイムで行うことは、多重化のスケジューリ
ングや参照画像位置情報の生成に必要となる先読みのバ
ッファメモリの問題で非現実的である。

【００８８】そこで、本実施例においては、リアルタイ
ムの多重化作業は行わず、１プログラム（番組）のビデ
オ，オーディオ，字幕データを最後まで符号化して、各
エレメンタリー・ストリームを生成すると同時にこの過
程で収集される各符号化付随情報を符号化付随情報ファ
イルとして生成している。このような処理を行うことに
より、後で、１つのビデオ情報に対し、複数のオーディ
オ情報，字幕情報等の内から任意の組み合わせの多重化
処理が、既に生成済みの各エレメンタリ・ストリーム及
び符号化付随情報ファイルを利用することにより可能に
なる。

【００８９】（多重化装置）多重化装置２１は、スケジ
ューリング器２３と、参照画像位置情報生成器２９と、
多重ビットストリーム生成器３７とを有している。

【００９０】（スケジューリング器）スケジューリング
器２３は、符号化付随情報ファイル１１，１５，１９を
読み込み、スケジューリング処理を行い、その結果をス
ケジュールデータ２８の中間ファイルとして生成する。
このスケジュールデータ２８は、主にパックに関するパ
ック情報ファイル２５と、主にパケットに関するパケッ
ト情報２７である。

【００９１】スケジューリング器２３に読み込まれる符
号化付随情報ファイル１１，１５，１９には、スケジュ
ーリングに必要な情報であるアクセス・ユニットのサイ
ズ，ＰＴＳ，また特にビデオではＤＴＳが蓄積されてい
る。このため、スケジューリング器２３は、各エレメン
タリー・ストリーム９，１３，１７を分析すること無し
に、ビデオ，オーディオ，字幕データのパックの長さ，
組み合わせ順序等のスケジューリン処理が可能になる。

【００９２】スケジューリング器２３のスケジューリン
グ処理を通じて、これら符号化付随情報ファイル１１，
１５，１９からスケジュールデータ２８が生成される。
スケジュールデータ２８としては、パック情報ファイル
２５とパケット情報ファイル２７がある。この内、パッ
ク情報ファイル２５としては、各パックに関する「ＳＣ
Ｒ（システム時刻基準参照値）」，「プログラム多重化
レート」，「スタッフィングビット長」，「パック内の
パケット個数Ｎ」等の情報が記述される。上述したパッ
ク・レイヤのデータ構造のパック・ヘッダ，システム・
ヘッダの情報項目の内、これらが決定されると、他の情
報項目は基本的にはシステムの仕様により一義的に決定
される。

【００９３】これら符号化付随情報ファイル１１，１
５，１９から生成されるパケット情報ファイル２７とし
ては、各パケットに関する「ストリームＩＤ」（ストリ
ーム・タイプ（エレメンタリー・ストリームの種類を表
す。）とバッファ・ナンバ（同じストリームタイプをも
つストリームが複数種ある時、夫々に付けられる番号）
からなる。），「パケット長」，「ＰＥＳヘッダ長」，
「ＰＴＳ（再生出力の時刻管理情報）」，「ＤＴＳ（復
号の時刻管理情報）」等の情報が記述される。更に、字
幕に関しては、「ＰＴＳ」とともに「表示終了時刻」の
情報が記述される。同様に、上述したＰＥＳパケット・
レイヤのデータ構造のパケット・ヘッダの情報項目の
内、これらが決定されると、他の情報項目は基本的には
システムの仕様により一義的に決定される。

【００９４】（参照画像位置情報生成器）参照位置情報
生成器２９は、スケジューリング器２３から出力される
スケジュールデータ２８であるパック情報ファイル２５
及びパケット情報ファイル２７を読み込み、参照画像位
置情報３２を生成する。参照画像位置情報３２は、多重
ビットストリームを構成する全てのパック毎に挿入する
情報で、上述のＰＳＩ（プログラム仕様情報）であり、
参照画像位置情報ファイルも中間ファイルの１つであ
る。この参照画像位置情報ファイルは、ＰＳＤ（プログ
ラム・ストリーム・ディレクトリ）情報ファイル３３
と、ＰＳＭ（プログラム・ストリーム・マップ）情報フ
ァイル３５とからなる。ＰＳＤ情報ファイル３３は、上
述のＰＳＤパケット生成に関する情報である。同様に、
ＰＳＭ情報ファイル３３は、上述のＰＳＭパケット生成
に関する情報である。これにより、基本的に、ＰＳＤパ
ケット及びＰＳＭパケットが決定される。

【００９５】（多重ビットストリーム生成器）多重ビッ
トストリーム生成器３７は、ビデオ，オーディオ，字幕
データ等の各符号化装置３，５，７で生成された各エレ
メンタリー・ストリームのファイル９，１３，１７を、
多重化スケジューリング器２３で生成されたスケジュー
ルデータの中間ファイルであるパック情報ファイル２５
及びパケット情報ファイル２７と、参照画像位置情報生
成器２９で生成されたで中間ファイルであるＰＳＤ情報
ファイル３３及びＰＳＭ情報ファイル３５とを用いて組
み合わせ、１本の多重ビットストリームを生成する。

【００９６】なお、ＰＳＭパケットには、エレメンタリ
ー・ストリームの説明を与える記述や、例えば想定して
いるトラックの先頭アドレスやそれ以外に様々な情報を
記述できるが、そのために必要情報を多重ビットストリ
ーム生成器３７に入力する必要があることを承知された
い。

【００９７】実施例１の動作をまとめて述べると、符号
化処理では、符号化を行いエレメンタリー・ストリーム
をファイル９，１３，１７として生成すると共にその後
段の多重化のスケジューリングに必要となるアクセス・
ユニットのサイズ，ＤＴＳ（decoding time stamp 、復
号の時刻管理情報），またビデオの場合はＰＴＳ（pres
entation time stamp 、生出力の時刻管理情報）等の情
報を中間ファイル１１，１５，１９として生成する。

【００９８】符号化処理段階が終わった後、多重化装置
２１のスケジューリング器２３はビデオや音声や文字の
各エレメンタリー・ストリームのアクセス・ユニット情
報の中間ファイル１１，１５，１９からスケジューリン
グ処理を行い、その多重ビットストリームを構成するパ
ックやパケットのスケジュールデータ２８の中間ファイ
ル２５，２７を生成する。

【００９９】スケジュールデータ２８の中間ファイル２
５，２７から参照画像位置情報生成器２９が、多重ビッ
トストリームの全てのパックにおかれているＰＳＤ，Ｐ
ＳＭに記述される参照画像位置情報を中間ファイル３
３，３５として生成する。

【０１００】多重ビットストリーム生成器３７は、これ
ら中間ファイル２５，２７，３３，３５の情報に基づ
き、パック，ＰＥＳパケット，ＰＳＤパケット，ＰＳＭ
パケットに情報を記述しながら、各エレメンタリ・スト
リームを所定の順序で組み合わせて時分割多重化処理を
行う。

【０１０１】実施例１によれば、各符号化装置でエレメ
ンタリ・ストリーム自体だけでなく、その全アクセス・
ユニットの情報を符号化付随情報ファイルとして別個に
生成することにより、多重化装置側では各エレメンタリ
・ストリームの解析をすることなく、アクセス・ユニッ
ト情報の中間ファイルからスケジューリング処理を行う
ことが出来る。

【０１０２】従って、多数のエレメンタリー・ストリー
ムを多重化する場合であっても、各符号化付随情報ファ
イルに個々のエレメンタリー・ストリームの先頭から最
後までのアクセス・ユニット情報が蓄積されているの
で、符号化付随情報ファイルのみでスケジューリング処
理が可能になり、スケジューリングが非常に容易にな
る。

【０１０３】〔実施例２〕次に、符号化装置で符号化し
たエレメンタリー・ストリームと、そのアクセス・ユニ
ットのサイズ，ＤＴＳ，ＰＴＳを記述した符号化付随情
報を、夫々のファイルとして管理することにより、最初
の符号化のみで、それらのファイルを用いてその後は符
号化を繰り返さずに、所望により何度でも多重化のみを
行い多重ビットストリームを生成することが出来ること
になる。

【０１０４】図３に示すシステムは、１つのビデオ素材
に対して、オーディオソース信号として日本語音声と英
語音声がある場合を示している。最初に、ビデオと日本
語の音声と英語の音声の多重ビットストリームを作る。
その後に、必要に応じて、映像と日本語音声のみの多重
ビットストリームを作成したり、或いは映像と英語音声
のみの多重ビットストリームを作成する場合を示してい
る。

【０１０５】図３に示す本実施例２にかかるオーサリン
グシステムのシステム構成図を示す図である。このオー
サリングシステムは、符号化装置１′と、２個の音声多
重化装置２１-1，２１-2とを備えている。

【０１０６】符号化装置１′は、ビデオ符号化装３と、
音声符号化装置４１，４３とを有している。

【０１０７】ビデオ符号化装置３に対してディジタル形
式のビデオソース信号が入力され、ビデオ符号化装置３
はこのビデオソース信号を例えばＭＰＥＧ２システムを
利用して圧縮符号化する。このビデオ圧縮データはエレ
メンタリー・ストリームとして、ハードディスク等の蓄
積メディアに蓄積され、ビデオ・エレメンタリー・スト
リーム・ファイル９が生成される。

【０１０８】同時に、符号化工程で得られる符号化付随
情報が、ハードディスク等の記録メディアに蓄積され、
符号化付随情報ファイル１１が生成される。符号化付随
情報は、後段の分離装置で多重ビットストリームから個
別のストリーム部分を分離する分離装置で必要とされる
情報であり、アクセス・ユニットのサイズ，ＤＴＳ，ま
た特にビデオではＰＴＳからなる。

【０１０９】音声符号化装置４１に対してディジタル形
式の日本語音声ソース信号が入力され、音声符号化装置
４１はこの日本語音声ソース信号をＭＰＥＧオーディオ
システムを利用して圧縮符号化する。この日本語音声圧
縮データはエレメンタリー・ストリーム（素ビット列）
として、ハードディスク等の蓄積メディアに蓄積され、
オーディオ・エレメンタリー・ストリーム・ファイル４
５が生成される。

【０１１０】同時に、符号化工程で得られる符号化付随
情報が、ハードディスク等の記録メディアに蓄積され、
符号化付随情報ファイル４７が生成される。

【０１１１】音声符号化装置４３に対してディジタル形
式の英語音声ソース信号が入力され、音声符号化装置４
３はこの英語音声ソース信号をＭＰＥＧオーディオシス
テムを利用して圧縮符号化する。この英語音声圧縮デー
タはエレメンタリー・ストリーム（素ビット列）とし
て、ハードディスク等の蓄積メディアに蓄積され、字幕
・エレメンタリー・ストリーム・ファイル４９が生成さ
れる。

【０１１２】同時に、符号化工程で得られる符号化付随
情報が、ハードディスク等の記録メディアに蓄積され、
符号化付随情報ファイル５１が生成される。

【０１１３】以上は例示であり、日本語音声，英語音声
の他に他の言語による吹き替え、更に他の言語による字
幕ソース信号等も用意できる。この場合、各個別ソース
信号に符号化器を用意し、各エレメンタリー・ストリー
ム及び符号化付随情報のファイルを生成する。以下、説
明を簡単にするため、図に示すビデオ，日本語音声，英
語音声に関して説明する。

【０１１４】多重化装置２１-1と２１-2は、実施例１の
多重化装置２１と実質的に同じである。多重化装置２１
-1は、これら全ての情報を多重化し、映像・日本語音声
・英語音声の多重ビットストリームを生成する。即ち、
多重化装置２１-1は、スケジューリング器，参照画像位
置情報生成器及び多重ビットストリーム生成器を有し、
スケジュールデータ及び参照画像位置情報を用いて、ビ
デオ・エレメンタリー・ストリーム，日本語エレメンタ
リー・ストリーム，英語エレメンタリー・ストリームを
多重化する。

【０１１５】これとは別に、ビデオと日本語音声のみの
多重ビットストリームを生成することも出来る。この場
合には、既に符号化済みの映像と、日本語音声のファイ
ルとを使用して、多重化装置２３-2で多重化すれば良
い。この多重化装置２３-2も、実施例１で説明した多重
化装置と実質的に同じものであり、即ち多重化装置２１
-1の入力を選択的に変更することにより、多重化装置２
３-2とすることが出来る。

【０１１６】従って、多重化装置２３-2もスケジューリ
ング器，参照画像位置情報生成器及び多重ビットストリ
ーム生成器を有し、スケジュールデータ及び参照画像位
置情報生成器を用いて、ビデオ・エレメンタリー・スト
リーム及び日本語エレメンタリー・ストリームを多重化
する。

【０１１７】このように、ここのエレメンタリー・スト
リームとアクセス・ユニット情報を中間ファイルとして
管理することにより、例えば１つの映画素材やビデオ素
材に対する複数のオーディオ，複数の言語による吹き替
え，複数の言語による字幕等を予め符号化して、各エレ
メンタリ・ストリームファイルと共に各符号化付随情報
ファイルを生成しておくことにより、後で任意の組み合
わせにより多重ビットストリームを生成することが出来
る。符号化処理の重複を避けることが出来、全体とし
て、非常に効率的になる。

【０１１８】

【発明の効果】本発明によれば、多数の個別データを効
率良く多重化するオーサリングシステムを提供すること
が出来る。

【０１１９】更に本発明によれば、このようなオーサリ
ングシステムに使用される符号化手段と、多重化手段を
提供することが出来る。

【図面の簡単な説明】

【図１】本実施例が準用しているＭＰＥＧ２−ＰＳのパ
ック（上位）レイヤのデータ構造を説明する図である。

【図２】本実施例が準用しているＭＰＥＧ２−ＰＳのＰ
ＥＳパケット（下位）・レイヤのデータ構造を説明する
図である。

【図３】本実施例が参照画像位置情報ファイルとして使
用するＭＰＥＧ２−ＰＳのＰＳＭパケット及びＰＳＤパ
ケットのデータ構造を説明する図である。

【図４】実施例１にかかるオーサリングシステムの構成
を示す図である。

【図５】実施例２にかかるオーサリングシステムの構成
を示す図である。

【図６】本実施例に関連するＭＰＥＧシステムの基本シ
ステムの構成を説明する図である。

【図７】ＭＰＥＧ２−ＰＳの基準復号器を説明する図で
ある。

【図８】ビデオ及びオーディオ情報のパケットによる多
重化の状態並びにパックによるパケットのグループ化を
説明する図である。

【図９】復号装置のＳＴＤバッファのデータ蓄積状態及
び読み出しタイミングを説明する図である。

【図１０】従来技術のリアルタイム・オーサリング・シ
ステムの構成を示す図である。

【符号の説明】

１，１′符号化装置 ３ ビデオ符号器 ５ オーディオ符号器 ９，１３，１７ エレメンタリー・ストリーム・ファイ
ル １１，１５，１９, ４７，５１ 符号化付随情報ファイ
ル ２１，２１-1，２１-2 多重化装置（ＭＵＸ） ２３ スケジューリング器 ２５ パック情報 ２７ パケット情報 ２９ 参照画像位置情報生成器 ３３ ＰＳＤ情報ファイル ３５ ＰＳＭ情報ファイル ３７ 多重ビットストリーム生成器 ５１ 蓄積メディア ５５ 分離装置（ＤＭＵＸ） ５７′，５９′ ＳＴＤバッファ ５７ ビデオ・デコーダ（復号器） ５９ オーディオ・デコーダ（復号器） ６０ 復号装置 ６１ システム・デコーダ ６３ ピクチャ遅延メモリ ６５，６７ バッファメモリ ６９ 多重化回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田原 勝己 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (56)参考文献 特開 平５−236009（ＪＰ，Ａ) 特開 平５−236466（ＪＰ，Ａ) 特開 平６−252876（ＪＰ，Ａ) 特開 平６−343065（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04J 3/00 H04N 7/025 H04N 7/03 H04N 7/035 H04N 7/24

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 ディジタル符号化標準に沿って、複数の
   個別ソース信号を夫々符号化して得られた各エレメンタ
   リー・ストリームとその他のディジタル信号列とを多重
   化して多重ビットストリームを生成するオーサリングシ
   ステムにおいて、 前記符号化時に各エレメンタリー・ストリームをファイ
   ルとして夫々生成すると同時に符号化付随情報を中間フ
   ァイルとして夫々生成する符号化装置と、 前記各エレメンタリー・ストリームのファイルと前記中
   間ファイルとから、前記エレメンタリー・ストリームを
   分析することなしに多重化のスケジューリングを行って
   多重ビットストリームを生成する多重化装置とを備えた
   オーサリングシステム。
2. 【請求項２】 請求項１に記載のオーサリングシステム
   において、 前記ディジタル符号化標準は、動画像に関してはＭＰＥ
   Ｇ２システムであり、オーディオに関してはＭＰＥＧオ
   ーディオであるオーサリングシステム。
3. 【請求項３】 請求項１に記載のオーサリングシステム
   において、 前記符号化装置は、少なくともビデオソース信号を受け
   取りこれを符号化して、ビデオデータのエレメンタリー
   ・ストリームのファイル及び符号化付随情報の中間ファ
   イルを生成するビデオ符号化器と、 複数のオーディオソース信号を夫々受け取ってこれを符
   号化して、各々のオーディオデータのエレメンタリー・
   ストリームのファイル及び符号化付随情報の中間ファイ
   ルを生成する複数個のオーディオ符号化器とを有するオ
   ーサリングシステム。
4. 【請求項４】 請求項３に記載のオーサリングシステム
   において、 前記符号化装置は、更に少なくとも１つの字幕ソース信
   号を受け取ってこれを符号化して、字幕データのエレメ
   ンタリー・ストリームのファイル及び符号化付随情報の
   中間ファイルを生成する字幕符号化器とを有するオーサ
   リングシステム。
5. 【請求項５】 請求項１に記載のオーサリングシステム
   において、 前記多重化装置は、スケジューリング器と、参照画像位
   置情報生成器と、多重ビットストリーム生成器とを有
   し、 前記スケジューリング器は、多重化を行う各エレメンタ
   リー・ストリームのスケジューリングを行いその結果を
   スケジュールデータの中間ファイルとして生成し、 前記参照画像位置情報生成器は、前記スケジュールデー
   タの中間ファイルから多重ビットストリームを構成する
   全てのパック毎に挿入する参照画像位置情報の中間ファ
   イルを生成し、 前記多重ビットストリーム生成器は、前記スケジュール
   データの中間ファイル及び前記参照画像位置情報の中間
   ファイルの情報に基づき各エレメンタリー・ストリーム
   から多重ビットストリームを生成するオーサリングシス
   テム。
6. 【請求項６】 請求項５に記載のオーサリングシステム
   において、 前記符号化付随情報の中間ファイルに、少なくとも多重
   化の最小単位であるアクセス・ユニット毎のサイズ，Ｄ
   ＴＳ及びＰＴＳが記述されているオーサリングシステ
   ム。
7. 【請求項７】 少なくともビデオソース信号，オーディ
   オソース信号を含む複数の個別ソース信号を、ディジタ
   ル動画像符号化標準に沿って夫々符号化して得られた各
   エレメンタリー・ストリームを多重化して多重ビットス
   トリームを生成するオーサリングシステムで使用される
   符号化装置において、 前記複数の個別信号を夫々符号化する複数の符号化器を
   有し、各々の該符号化器は個別信号を圧縮符号化してエ
   レメンタリー・ストリームのファイルを生成すると共
   に、対応する符号化付随情報のファイルを生成する符号
   化装置。
8. 【請求項８】 少なくともビデオ信号，オーディオ信号
   を含む複数の個別信号を夫々符号化して得られた各エレ
   メンタリー・ストリームを多重化してディジタル動画像
   符号化標準に沿って多重ビットストリームを生成するオ
   ーサリングシステムで使用される多重化装置において、 多重化を行う各エレメンタリー・ストリームのスケジュ
   ーリングを行いスケジュールデータの中間ファイルを生
   成するスケジューリング器と、 前記スケジュールデータの中間ファイルから参照画像位
   置情報の中間ファイルを生成する参照画像位置情報生成
   器と、 前記参照画像位置情報の中間ファイル及び前記スケジュ
   ールデータの中間ファイルの情報に基づき各エレメンタ
   リー・ストリームから多重ビットストリームを生成する
   ビットストリーム生成器とを備えた多重化装置。
9. 【請求項９】 個別ストリームを夫々符号化し、各符号
   化ビットストリームを多重化して多重ビットストリーム
   を生成するオーサリングシステムにおいて、該オーサリ
   ングシステムは符号化装置及び多重化装置を備え、 前記符号化装置は、符号化時にエレメンタリー・ストリ
   ームをファイルとして生成すると同時に符号化付随情報
   を中間ファイルとして生成し、 前記多重化装置は、多重化スケジューリング器，参照画
   像位置情報生成器及び多重ビットストリーム生成器とを
   有し、 前記多重化スケジューリング器は、前記符号化付随情報
   の中間ファイルから、前記エレメンタリー・ストリーム
   を分析することなしに、多重化のスケジュールデータを
   中間ファイルとして生成し、 前記参照画像位置情報生成器は、前記スケジュールデー
   タの中間ファイルから参照画像位置情報を生成し、 前記多重ビットストリーム生成器は、該参照位置情報の
   中間ファイル，前記スケジュールデータの中間ファイル
   及び各エレメンタリー・ストリームから多重ビットスト
   リームを生成するオーサリングシステム。
10. 【請求項１０】 ビデオソース信号，オーディオソース
    信号，字幕ソース信号を含む複数の個別ソース信号を夫
    々符号化して得られた各々のエレメンタリー・ストリー
    ムとその他のディジタル信号列とを多重化して多重ビッ
    トストリームを生成する方法において、 前記符号化する段階において、各々のエレメンタリー・
    ストリームのファイルを生成すると同時に夫々の符号化
    付随情報を中間ファイルとして生成し、 前記多重化する段階において、前記中間ファイルを取り
    込むことにより、前記エレメンタリー・ストリームを分
    析することなしに多重化スケジューリングを行って多重
    化する、多重ビットストリームを生成する方法。
11. 【請求項１１】 請求項１０に記載の多重ビットストリ
    ームを生成する方法において、 前記多重化する段階は、スケジューリングする段階，参
    照画像位置情報を生成する段階及び多重ビットストリー
    ム生成する段階を有し、 前記スケジューリングする段階は、前記符号化付随情報
    の中間ファイルに基づき各エレメンタリー・ストリーム
    のスケジューリングを行いその結果をスケジュールデー
    タの中間ファイルとして生成し、 前記参照画像位置情報を生成する段階は、前記スケジュ
    ールデータの中間ファイルから多重ビットストリームを
    構成する全てのパック毎に挿入する参照画像位置情報の
    中間ファイルを生成し、 前記多重ビットストリームを生成する段階は、前記スケ
    ジュールデータの中間ファイル及び前記参照画像位置情
    報の中間ファイルの情報に基づき各エレメンタリー・ス
    トリームから多重ビットストリームを生成する多重ビッ
    トストリームを生成する方法。
12. 【請求項１２】 請求項１１に記載の多重ビットストリ
    ームを生成する方法において、 前記符号化付随情報の中間ファイルに、少なくとも多重
    化の最小単位であるアクセス・ユニット毎のサイズ，Ｄ
    ＴＳ及びＰＴＳが記述される多重ビットストリームを生
    成する方法。