JP2000228768A

JP2000228768A - デジタル信号伝送装置および方法、並びに提供媒体

Info

Publication number: JP2000228768A
Application number: JP2937799A
Authority: JP
Inventors: Katsumi Tawara; 勝己田原; Yoshihiro Murakami; 芳弘村上
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-02-05
Filing date: 1999-02-05
Publication date: 2000-08-15

Abstract

(57)【要約】【課題】所定のスタジオと他のスタジオの両方におい
て、画像データを迅速に処理できるようにする。【解決手段】 MPEGビデオエンコーダ４２Ａは、エンコ
ードしたビデオデータのエレメンタリストリームに、画
像の符号化順序と表示順序を表すPicture OrderInforma
tionを重畳し、SDTI-CPインタフェース４６を介して、
同一スタジオ内のSDTI-CPネットワークに伝送する。TS
MUX/DEMUX６１は、SDTI-CPインタフェース４６，５１を
介して、エレメンタリストリームの供給を受けたとき、
そこに含まれているPicture Order Informationを抽出
し、それに基づいてタイムスタンプを生成し、トランス
ポートストリームに重畳して、他のスタジオに伝送す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル信号伝送
装置および方法、並びに提供媒体に関し、特に、異なる
スタジオ間で画像を送受信し、処理する場合において、
送受信する画像信号のシステム全体における遅延量をで
きるだけ少なくするようにした、デジタル信号伝送装置
および方法、並びに提供媒体に関する。

【０００２】

【従来の技術】画像信号または音声信号を符号化して伝
送する場合、ISO/IEC11172(MPEG-１)もしくはISO/IEC13
818(MPEG-2)に示されている符号化方式が用いられるこ
とが多い。画像信号を、MPEG（Moving Picture Experts
Group）方式で符号化する場合の技術として、コーディ
ングフェーズ（coding phase）と両方向予測があげられ
る。

【０００３】coding phaseとは、図１に示すように、１
枚の画像の画素エリア１のうち、符号化が行われる範囲
としての有効画素エリア２を規定するためのコードであ
り、具体的には、全てのラインのうち、有効画素エリア
２の最初のライン（図１のV-phase［line］の矢印で示
されたライン）、および、全てのサンプル（画素）のう
ち、有効画素エリア２の最初のラインの最初のサンプル
（図１のH-phase[sample]の矢印で示されたサンプル
（画素））を示すものである。画素エリア１の最後のラ
インを、V-Phase[Lmax]とし、画素エリア１のラインの
最後のサンプル（画素）を、H-Phase[Smax]とすると
き、符号化は、例えば、垂直方向に、V-Phase[line]か
ら、（V-Phase[Lmax] - V-Phase[line]+1）までの範囲
で行われ、水平方向に、H-Phase[sample]から、（H-Pha
se[Smax]-H - Phase[sample]+1）までの範囲で行われ
る。

【０００４】また、一般の例えば、NTSC方式のテレビジ
ョン受像機などの画像信号において、図１の画像信号の
フレームは、図２に示すように、２枚のフィールド（図
２のフィールド１およびフィールド２）から構成されて
いる。フィールド１には、例えば、奇数ラインのデータ
が表示され、フィールド２には偶数ラインのデータが表
示される。２枚のフィールドは、それぞれ、補助データ
（ancillary data）と、画像（イメージ）データ（imag
e data）から構成されている。

【０００５】補助データは、耳の不自由な人のための文
字放送用のテレテキストデータ、タイムコード、または
映画などの字幕のクローズドキャプションデータに利用
され、ブランキング区間（例えば、各フィールドの第１
０ライン乃至第２２ライン）（図２においては、いずれ
のフィールドも、そのフィールド内の上から順番の番号
でラインが表されている）のうちの所定のラインに挿入
されている。一般に、各フィールドの第２３ラインより
図中下に位置するラインの部分（実際に、画像として表
示される部分）は、画像データとして、MPEG方式などに
より符号化される。

【０００６】前述したMPEG符号化方式は、画像データに
のみ適用され、coding phase、および補助データについ
ては、MPEGの規格には、特に明確に記述（規定）されて
いない。そのため、coding phaseは、自由度を有し、様
々なアプリケーションによって異なっている。

【０００７】このような画像信号を、符号化または復号
するときのシステム構成を、図３を参照して説明する。
アプリケーションＡの画像データは、アプリケーション
Ａ用MPEGエンコーダ１１で符号化され、エレメンタリス
トリーム（ES）として出力され、アプリケーションＡ用
MPEGデコーダ１２で復号される。アプリケーションＢの
画像データは、アプリケーションＢ用MPEGエンコーダ１
３で符号化され、エレメンタリストリーム（ES）として
出力され、アプリケーションＢ用MPEGデコーダ１４で復
号される。

【０００８】つまり、あるアプリケーションの画像デー
タは、そのアプリケーション専用のエンコーダ（例え
ば、アプリケーションＡ用MPEGエンコーダ１１）で符号
化され、エレメンタリストリーム（ES）として、そのア
プリケーションに対応した専用のデコーダ（例えば、ア
プリケーションＡ用MPEGデコーダ１２）に出力される。
専用デコーダに入力されたエレメンタリストリーム（E
S）は、そのデコーダが有している、そのアプリケーシ
ョンのcoding phaseに関する情報に基づき、復号され
る。

【０００９】次に、現在主流となっている補助データの
伝送方式について、図４を参照して説明する。画像信号
は、MPEGエンコーダ２１に入力され、分離部２１におい
て、画像データと補助データに分離される。MPEGエンコ
ード部２３は、画像データをMPEG符号化する。補助デー
タは、可変長符号化部２４で、MPEGエンコード部２３よ
り出力されたMPEG方式のトランスポートストリーム中の
user dataに挿入される。このトランスポートストリー
ム中のuser dataは、符号化された画像データ（ピクチ
ャ）単位に挿入（記述）できるため、補助データは、対
応する各符号化画像データのフレームのuser dataごと
に挿入される。

【００１０】補助データが挿入されたuser dataを含む
トランスポートストリームは、所定の伝送路を介して伝
送され、MPEGデコーダ２５に入力される。MPEGデコーダ
２５内の可変長復号部２６は、補助データと画像データ
とを分離する。画像データはMPEGデコード部２７で復号
され、合成部２８で補助データと合成されて、画像信号
として、図示せぬ表示装置に出力される。

【００１１】次に、MPEG方式の予測について説明する。
両方向予測に基づいて生成された符号化画像データのピ
クチャはＢピクチャと称される。Ｂピクチャは、時間的
に前または後に位置する２枚の参照画像データから予測
されて生成される。前方予測に基づいて生成された符号
化画像データのピクチャはＰピクチャと称される。Ｐピ
クチャは、時間的に前に位置する１枚の参照画像データ
から予測されて生成される。予測が行われず、そのまま
画像データが符号化（イントラ符号化）された符号化画
像データのピクチャはＩピクチャと称される。つまり、
入力された画像データは、Ｂピクチャ、Ｐピクチャ、ま
たはＩピクチャのいずれかの符号化画像データに符号化
される。

【００１２】両方向予測および前方予測について、図５
を参照して説明する。図５の例では、１つのGOP（Group
of Picture）が、９枚のピクチャから構成されてい
る。図５の上段は、符号化画像データが生成されるとき
の、予測の方向（依存関係）を示す予測構造を表してお
り、図５の下段は、実際に画像データが符号化される順
序を示す符号化構造を表している。Ｂピクチャ、または
Ｐピクチャは、時間的に前または後の画像データから予
測されて生成されるために、Ｂピクチャ、またはＰピク
チャだけでは、符号化を行うことはできない。すなわ
ち、Ｂピクチャ、またはＰピクチャは、参照画像データ
との差分をデータとする符号化画像データであるので、
Ｂピクチャ、またはＰピクチャだけでは、画像データを
復号することもできない。

【００１３】予測の依存関係について詳細に説明する
と、例えば、GOP(N-1)において、表示順序が先頭のＢピ
クチャは、先頭から３番目のＩピクチャと、図示されて
いないGOP(N-2)（GOP(N-1)の直前のGOP）の最後のＰピ
クチャから予測されて符号化される。先頭から２番目の
Ｂピクチャも同様に、先頭から３番目のＩピクチャと、
図示されていないGOP(N-2)の最後のＰピクチャから予測
されて符号化される。先頭から３番目のＩピクチャは、
そのまま符号化（イントラ符号化）される。先頭から４
番目、および５番目のＢピクチャは、先頭から３番目の
Ｉピクチャと先頭から６番目のＰピクチャから予測され
て符号化される。先頭から６番目のＰピクチャは、先頭
から３番目のＩピクチャから予測されて符号化される。

【００１４】つまり、予測構造において、Ｂピクチャ
（例えば、先頭のＢピクチャと先頭から２番目のＢピク
チャ）が符号化されるには、予測の参照画像データ（例
えば、３番目のＩピクチャとGOP(N-2)の最後のＰピクチ
ャ）が、先に符号化されている必要がある。すなわち、
図５の下段に示すような、符号化構造の順番で符号化さ
れなければならない。そのため、MPEGエンコーダは、符
号化（エンコード）時、ＩピクチャとＰピクチャの間に
存在する、２枚の連続したＢピクチャを符号化するため
に必要な参照画像データ（先頭から３番目のＩピクチ
ャ）が入力されるまで、２枚のＢピクチャをバッファリ
ングする（Ｉピクチャが入力されるまで、符号化の開始
を遅延させる）必要がある。このバッファリングによ
り、MPEGエンコーダにおいて、入力された画像信号を符
号化するとき、参照画像データに挟まれたＢピクチャの
枚数（＝２）＋１枚（合計３枚）の遅延時間が発生す
る。

【００１５】このMPEGエンコーダにおいて発生する遅延
について、図６を参照して、さらに詳細に説明する。図
６の上段はMPEGエンコーダ３１における、入力画像（画
像データ）の入力順番（表示順序）とその種別を表して
おり、図６の中段は、入力画像（画像データ）が符号化
された符号化画像データの順番を表している。

【００１６】MPEGエンコーダ３１は、時刻ｔ４のＰピク
チャが入力されるまで（Ｂピクチャの枚数（＝２）＋１
枚分の時間だけ）、時刻ｔ１に入力されたＩピクチャの
符号化を遅延させる（前述のバッファリングを行う）。
すなわち、MPEGエンコーダ３１は、時刻ｔ４で時刻ｔ１
に入力されたＩピクチャを符号化し、時刻ｔ５で時刻ｔ
４に入力されたＰピクチャを符号化し、時刻ｔ６で時刻
ｔ２に入力されたＢピクチャを符号化し、時刻ｔ７で時
刻ｔ３に入力されたＢピクチャを符号化する。その後、
MPEGエンコーダ３１は、入力画像を図６の中段の符号化
画像データの順番で、順次、符号化する。

【００１７】このように、MPEGエンコーダ３１は、入力
画像に対して、予測に必要な参照画像データから順次符
号化する。つまり、MPEGエンコーダ３１において、入力
画像（画像データ）は、入力画像の順番から、符号化さ
れる画像の順番に並べ変えられ、図６の中段に示すよう
に、入力画像が符号化された順番にビットストリームと
して、MPEGデコーダ３２に出力される。

【００１８】このように、入力画像が符号化される順番
と表示される順番は一致しないので、MPEGにおいては、
符号化順序を表すDTS（Decoding Time Stamp）と、表示
順序を表すPTS（Presentation Time Stamp）が、トラン
スポートストリーム中に挿入されるようになされてい
る。入力画像の符号化順序と表示順序の関係をさらに説
明すると、いま、符号化順序をフレーム単位で表すもの
とすると、図６に示すように、入力画像は符号化される
順番で付番され、時刻ｔ４で符号化されたＩピクチャの
符号化順序の値は”１”となり、時刻ｔ５で符号化され
たＰピクチャの符号化順序の値は”２”となり、時刻ｔ
６で符号化されたＢピクチャの符号化順序の値は”３”
となる。以下、同様に符号化される順番に符号化順序が
付番される。DTSはフレーム単位で符号化順序を表して
いるわけではないが、ほぼ、この符号化順序に対応す
る。DTSはまた、ビットストリームを音声信号などと多
重化して出力するとき、MPEGデコーダ３２において、復
号する順番として使用される。

【００１９】表示順序は、画像データが復号されて表示
される順番（入力画像データの順番と同じ）となる。具
体的には、時刻ｔ４で符号化されるＩピクチャ（符号化
順序＝１）の表示順序は、時刻ｔ５でＰピクチャ（符号
化順序＝２）が符号化されるときに表示されなければな
らないので、そのＰピクチャの符号化順序と同じ値”
２”となる。時刻ｔ５で符号化されるＰピクチャ（符号
化順序＝２）の表示順序は、時刻ｔ８でＰピクチャ（符
号化順序＝５）が符号化されるとき表示されなければな
らないので、そのＰピクチャの符号化順序と同じ値”
５”となる。時刻ｔ６で符号化されるＢピクチャ（符号
化順序＝３）は、符号化されると、直ちに復号されて表
示されなければならないので、符号化順序と表示順序は
同一となり、表示順序の値は”３”となる。時刻ｔ７で
符号化されるＢピクチャ（符号化順序＝４）も同様に、
表示順序＝符号化順序＝４となる。PTSはフレーム単位
で表示順序を表しているわけではないが、ほぼ、この表
示順序に対応する。PTSはまた、MPEGデコーダ３２にお
いて、復号後、出力（表示）する順番として使用され
る。

【００２０】MPEGデコーダ３２では、符号化順序が連続
する２枚のＩピクチャもしくはＰピクチャのうち、最初
の１枚目は、２枚目が復号されるとき、表示される。例
えば、MPEGエンコーダ３１が出力したビットストリーム
中の符号化画像データの１枚目のＩピクチャ（符号化順
序＝１，表示順序＝２）と、２枚目のＰピクチャ（符号
化順序＝２，表示順序＝５）は、符号化順序が連続して
おり、２枚目のＰピクチャが符号化されるとき（時刻ｔ
５のとき）、１枚目のＩピクチャが復号されて表示され
る。

【００２１】このように、MPEGエンコーダ３１は、入力
画像（画像データ）の予測構造（参照画像データに挟ま
れているＢピクチャの枚数）を知っているので、画像デ
ータに符号化順序（DTS）と表示順序（PTS）を付番する
ことができる。

【００２２】放送局などのスタジオ内で、図７に示すシ
ステム構成で、MPEG符号化されたビットストリームを伝
送することが考えられている。スタジオ４１内のMPEGエ
ンコーダ４２、MPEGエンコーダ４３、MPEGデコーダ４
４、およびMPEGデコーダ４５は、それぞれ、SDTI-CP（S
erial Data Transfer Interface - Content Package）
インタフェース４６乃至４９を介して、SDTI-CPネット
ワーク（例えば、同軸ケーブルにより構成されるネット
ワーク）５０に接続される。SDTI-CPネットワーク５０
は、SDI（Serial Data Interface）をベースとした２７
０Mbpsの伝送速度を有し、MPEG方式のエレメンタリスト
リーム（ES）をそのまま伝送することが可能であり、ス
タジオ内のような閉じたネットワークに適している。

【００２３】スタジオ４１において、例えば、MPEGエン
コーダ４２は、MPEG符号化されたエレメンタリストリー
ム（ES）を、SDTI-CPネットワーク５０を介して、MPEG
デコーダ４４、MPEGデコーダ４５に伝送することができ
る。

【００２４】このSDTI-CPネットワーク５０で伝送され
るエレメンタリストリーム（ES）は、図８に示す構造と
なっており、画像信号のフレーム単位で、画像データ
（図８において薄い影を付けた部分）と音声データ（図
８において濃い影を付けた部分）がパッキングされてお
り、フレームシンク（図８の点線）により区切られたフ
レーム境界で、簡単に編集を行うことができる。このエ
レメンタリストリーム（ES）における画像データと音声
データは、イントラ（フレーム内符号化）処理されたデ
ータである。

【００２５】図７に示すスタジオ４１のシステムは、そ
のMPEGエンコーダ４２，４３とMPEGデコーダ４４，４５
が、SDTI-CPインタフェース４６乃至４９を介して、SDT
I-CPネットワーク５０に接続されており、図３に示した
ような、アプリケーションごとに専用のエンコーダ（例
えば、アプリケーションＡ用MPEGエンコーダ１１）とデ
コーダ（例えば、アプリケーションＡ用MPEGデコーダ１
２）が１対１に対応するシステムとは構成が異なってい
る。すなわち、デコーダ（例えば、図７のMPEGデコーダ
４４）は、エンコーダ（例えば、図７のMPEGエンコーダ
４２またはMPEGエンコーダ４３）で、様々なアプリケー
ションの画像信号が符号化された、エレメンタリストリ
ーム（ES）を受け取ることができる。

【００２６】図７のシステム構成を、図３のシステム構
成に対応させた図９を参照して説明すると、アプリケー
ションＡ用MPEGエンコーダ４２で符号化されたエレメン
タリストリーム（ES）と、アプリケーションＢ用MPEGエ
ンコーダ４３で符号化されたエレメンタリストリーム
（ES）は、それぞれSDTI-CPインタフェース４６，４７
に入力される。SDTI-CPインタフェース４６，４７は、
それぞれMPEG符号化されたエレメンタリストリーム（E
S）を、SDTIフォーマットのエレメンタリストリーム（E
S）に変換して、SDTI-CPネットワーク５０を介して伝送
する。SDTI-CPインタフェース４８は、SDTIフォーマッ
トのエレメンタリストリーム（ES）を、MPEG符号化され
たエレメンタリストリーム（ES）に変換し、MPEGデコー
ダ４４に出力する。

【００２７】MPEGデコーダ４４は、それぞれ入力された
アプリケーションＡ用のエレメンタリストリーム（ES）
とアプリケーションＢ用のエレメンタリストリーム（E
S）を復号する。

【００２８】ところで、補助データがトランスポートス
トリーム中のuser dataに挿入される場合、補助データ
は、対応する符号化画像のフレーム単位で挿入されるた
め、その挿入は１フレーム（２フィールド）ごととな
る。

【００２９】符号化される信号が、３−２プルダウン処
理（例えば、２４Hzのフレームレートを持つ映画の画像
信号を、３０Hzのフレームレートを持つNTSC方式の画像
信号に変換する処理）された信号である場合、その信号
は、図１０に示すように、２４Hzの各フレームを、交互
に、リピートフィールドが作成されていない２フィール
ドのフレーム、またはリピートフィールドが作成されて
いる３フィールドのフレームとすることで、３０Hzの信
号とされている。

【００３０】例えば、図４のMPEGエンコーダ２１は、３
−２プルダウン処理により３０Hzのフレームレートに変
換された画像信号が入力されたとき、フィールドの繰り
返しを検出して、元の２４Hzの符号化フレーム単位で符
号化を行い、その処理に対応して、フラグ（Repeat_fir
st_field，Top_field_first）を生成する。

【００３１】Repeat_first_fieldのフラグの”１”は、
リピートフィールドが作成されたことを意味し、Repeat
_first_fieldのフラグの”０”は、リピートフィールド
が作成されていないことを意味する。Top_field_first
のフラグは、フレームを構成するフィールドのうち、最
初のフィールドがトップフィールドであるのか、または
ボトムフィールドであるのかを表している。Top_field_
firstのフラグの”１”は、トップフィールドがボトム
フィールドより時間的に早いフレーム構造であることを
表しており、Top_field_firstのフラグの”０”は、ボ
トムフィールドがトップフィールドより時間的に早いフ
レーム構造であることを表している。

【００３２】図１０に示すように、原信号のフレームが
３フィールドのフレームである場合、対応する１つの符
号化フレームには、同一位相の２枚のフィールド（３−
２プルダウン処理によりコピーにより生成されたフィー
ルドとそのコピー元のフィールド）が存在する。しかし
ながら、この元の１つのフレームを構成する３フィール
ドが符号化フレーム単位で符号化されるとき、各符号化
フレームごとの補助データは、符号化フレーム単位で、
１つの補助データとして、user dataに記述されるた
め、原信号の同一位相のフィールドに異なった補助デー
タが記述されていても、その異なった補助データを区別
することができなくなってしまう。

【００３３】

【発明が解決しようとする課題】例えば、所定のスタジ
オで、MPEG方式でエンコードした画像を処理し、他のス
タジオにトランスポートストリームとして伝送し、他の
スタジオでも処理するような場合、画像データの伝送
は、符号化された順序で行う必要があるが、トランスポ
ートストリームとして画像データを伝送する装置は、通
常、符号化順序を知らないので、入力された画像データ
を一旦バッファリングし、符号化順序を知る必要があ
る。その結果、バッファリングのために画像データの供
給を受けてから、それを伝送するまでに時間がかかり、
迅速な処理、特に、リアルタイム処理が困難となる課題
があった。

【００３４】本発明はこのような状況に鑑みてなされた
ものであり、画像データを迅速に処理することができる
ようにするものである。

【００３５】

【課題を解決するための手段】請求項１に記載のデジタ
ル信号伝送装置は、画像信号の符号化順序と、画像信号
の表示順序に関する順序情報が、画像信号のアクセスユ
ニット単位で挿入されている第１のビットストリームを
受信する第１の受信手段と、第１の受信手段により受信
された第１のビットストリームから順序情報を抽出し、
抽出した順序情報に基づいてタイムスタンプを生成し、
第２のビットストリームに挿入して出力する第１の出力
手段とを含むことを特徴とする。

【００３６】請求項４に記載のデジタル信号伝送方法
は、画像信号の符号化順序と、画像信号の表示順序に関
する順序情報が、画像信号のアクセスユニット単位で挿
入されている第１のビットストリームを受信する受信ス
テップと、受信ステップの処理で受信された第１のビッ
トストリームから順序情報を抽出し、抽出した順序情報
に基づいてタイムスタンプを生成し、第２のビットスト
リームに挿入して出力する出力ステップとを含むことを
特徴とする。

【００３７】請求項５に記載の提供媒体は、画像信号の
符号化順序と、画像信号の表示順序に関する順序情報
が、画像信号のアクセスユニット単位で挿入されている
第１のビットストリームを受信する受信ステップと、受
信ステップの処理で受信された第１のビットストリーム
から順序情報を抽出し、抽出した順序情報に基づいてタ
イムスタンプを生成し、第２のビットストリームに挿入
して出力する出力ステップとを含む処理をデジタル信号
伝送装置に実行させるコンピュータが読み取り可能なプ
ログラムを提供することを特徴とする。

【００３８】請求項１に記載のデジタル信号伝送装置、
請求項４に記載のデジタル信号伝送方法、および請求項
５に記載の提供媒体においては、受信された第１のビッ
トストリームから順序情報が抽出され、抽出した順序情
報に基づいてタイムスタンプが生成され、第２のビット
ストリームに挿入される。

【００３９】

【発明の実施の形態】図１１は、相互に離れた場所に位
置するスタジオ４１とスタジオ７１の間で、MPEG符号化
されたビットストリームを伝送するシステムの例を表し
ており、図７における場合と対応する部分には、同一の
符号を付してある。この例の場合、各スタジオ内のネッ
トワークを、多重化装置（以下、TS MUX/DEMUXと称す
る）を介して、衛星やATM（Asynchronous Transfer Mod
e）などの公衆網と接続することで、ビットストリーム
の伝送を行うことができる。スタジオ７１のMPEGエンコ
ーダ７２乃至SDTI-CPインタフェース７９は、図７のス
タジオ４１のMPEGエンコーダ４２乃至SDTI-CPインタフ
ェース４９に対応するものであるので、ここでは、その
説明を省略する。

【００４０】SDTI-CPネットワーク５０におけるエレメ
ンタリストリーム（ES）は、図１２に示すように、TS M
UX/DEMUX６１により、１８８バイト単位のトランスポー
トストリーム（TS）に変換されて所定の伝送媒体を介し
て伝送され、伝送されたトランスポートストリーム（T
S）は、TS MUX/DEMUX６２で、SDTIフォーマットのエレ
メンタリストリーム（ES）に変換される。なお、図１２
において、薄い影を付けた部分は画像データのパケット
を示しており、濃い影を付けた部分は音声データのパケ
ットを示しており、影をつけていない部分は空きデータ
のパケットを示している。

【００４１】図１１において、スタジオ４１内のMPEGエ
ンコーダ４２の出力するエレメンタリストリーム（ES）
が、TS MUX/DEMUX６１でトランスポートストリーム（T
S）に変換されるまでを、図１３を参照して説明する。M
PEGエンコーダ４２内のMPEGビデオエンコーダ４２Ａ
は、MPEG符号化された画像データのエレメンタリストリ
ーム（ES）を、SDTI-CPインタフェース４６に出力し、
オーディオエンコーダ４２Ｂは、音声データのエレメン
タリストリーム（ES）を、SDTI-CPインタフェース４６
に出力する。SDTI-CPインタフェース４６は、入力され
たエレメンタリストリーム（ES）をSDTIベースのフォー
マットのエレメンタリストリーム（ES）に変換し、SDTI
-CPネットワーク５０を介して、SDTI-CPインタフェース
５１に出力する。SDTI-CPインタフェース５１は、SDTI
フォーマットのＥＳをMPEG符号化のエレメンタリストリ
ーム（ES）に変換し、TS MUX/DEMUX６１に出力する。TS
MUX/DEMUX６１は、MPEG符号化のエレメンタリストリー
ム（ES）を１８８バイト単位のトランスポートストリー
ム（TS）に変換して伝送媒体に出力する。

【００４２】図１１において、TS MUX/DEMUX６１から伝
送されたトランスポートストリーム（TS）は、ATMなど
の公衆網を介して、TS MUX/DEMUX６２に入力され、MPEG
符号化のエレメンタリストリーム（ES）に変換される。
SDTI-CPインタフェース８１において、MPEG符号化され
たエレメンタリストリーム（ES）は、SDTIフォーマット
のエレメンタリストリーム（ES）に変換され、スタジオ
７１のSDTI-CPネットワーク８０に出力される。MPEGデ
コーダ７４は、SDTI-CPインタフェース７８を介して、
スタジオ２１から伝送されたエレメンタリストリーム
（ES）を受信することができる。

【００４３】図１１のシステムにおいて、スタジオ４１
とスタジオ７１の間で、画像信号を伝送する場合、多重
化装置（例えば、図１１のTS MUX/DEMUX６１）には、画
像データが符号化されたエレメンタリストリーム（ES）
のみが入力されるので、多重化装置は、エンコーダ（例
えば、図１１のMPEGエンコーダ４２）において行われた
符号化順序の並べ変えの情報を知らない。このため、多
重化装置は、入力されたエレメンタリストリーム（ES）
を解釈して、エレメンタリストリーム（ES）をトランス
ポートストリーム（TS）に変換する処理をしなければな
らない。

【００４４】このエレメンタリストリームを解釈する処
理は、画像信号の符号化構造を把握する処理である。つ
まり、前述したエンコーダで入力画像をバッファリング
して符号化し、ビットストリームに変換するときと同様
の処理が、多重化装置でも必要となる。この多重化装置
におけるバッファリング処理により、後段での画像デー
タの復号までに遅延が発生し、リアルタイム処理が困難
になる。

【００４５】この多重化装置で発生する、システム構成
上、問題となる遅延について、図１４を用いて説明す
る。多重化装置に、図１４に示す符号化順序で、エンコ
ーダで符号化されたビットストリームが入力された場
合、多重化装置は、２枚の連続したＩピクチャ（時刻ｔ
４）とＰピクチャ（時刻ｔ５）が入力された後、さらに
それらに挟まれた２枚のＢピクチャ（時刻ｔ６と時刻ｔ
７）に続いてＰピクチャ（時刻ｔ８）が入力されるま
で、表示順序を確定することができない。つまり、多重
化装置は、図５に示したような符号化構造（Ｉピクチャ
とＰピクチャの間に２枚のＢピクチャが挟まれている構
造）を知らないので、２枚のＢピクチャが入力され、そ
の次のＰピクチャ（時刻ｔ８）が入力されたとき（Ｂピ
クチャの入力が終了したことを確認したとき）、時刻ｔ
４に入力されたＩピクチャの表示順序（PTS）を確定す
ることができる。

【００４６】すなわち、この多重化装置においては、時
刻ｔ８になって初めて、符号化順序＝１のＩピクチャの
表示順序＝２を確定することができる。このため、多重
化装置では、２枚の連続したＩピクチャまたはＰピクチ
ャ＋２枚のＢピクチャの出現周期（＝４）の遅延が発生
する。この遅延は、エンコーダでの遅延とは別に新たに
発生するため、システム全体として、エンコーダの遅延
（＝３）＋多重化装置の遅延（＝４）＝７の大幅な遅延
が生じる。

【００４７】そこで本発明においては、符号化順序と表
示順序を含む順序情報を、PictureOrder Infoとしてエ
レメンタリストリームに重畳するようにしている。この
点のについては、後に詳述する。

【００４８】図１５は、本発明を適用したMPEGエンコー
ダ４２の構成例を表している。MPEGエンコーダ４２の分
離部１０１は、入力された画像信号から、画像データと
補助データを分離し、画像データをMPEGエンコード部１
０３に出力し、補助データをエンコードコントローラ１
０２に出力する。MPEGエンコード部１０３は、入力され
た画像データをMPEG方式により符号化するとともに、符
号化順序を示すDTS_counter、および表示順序を示すPTS
_counterを含むPOI（Picture Order Infomation）をエ
ンコードコントローラ１０２に出力する。また、MPEGエ
ンコード部１０３は、符号化した範囲の左上の位置（図
１の有効画素エリア２の左上の画素の位置）を表すコー
ディングフェーズ（Coding Phase（V-Phase，H-Phas
e））をエンコードコントローラ１０２に供給する。

【００４９】エンコードコントローラ１０２は、分離部
１０１より供給された補助データに、それが属するフィ
ールドを識別するField IDと、それが挿入されているラ
インを表すLine_numberを付加し、その補助データと、M
PEGエンコード部１０３より供給されたPOI、およびCodi
ng Phase Information（CPI）を適宜処理し、user data
のフォーマットのデータとして、可変長符号化部１０４
に出力し、多重化させる。

【００５０】可変長符号化部１０２は、MPEGエンコード
部１０３より供給されたエンコードされた画像データを
可変長符号化するとともに、エンコードコントローラ１
０２より供給されたuser dataを画像データのエレメン
タリストリームに挿入する。可変長符号化部１０４より
出力されたエレメンタリストリームは、送信バッファ１
０５を介して出力される。

【００５１】図１６は、本発明を適用したMPEGデコーダ
４４の構成例を表している。受信バッファ１１１は、入
力されたデータを一旦バッファリングした後、可変長復
号部１１２に出力する。可変長復号部１１２は、入力さ
れたデータから、画像データとuser dataとを分離し、
画像データをMPEGデコード部１１４に出力し、user dat
aをデコードコントローラ１１３に出力する。デコード
コントローラ１１３は、user dataからPOIとCPIを分離
し、それらをMPEGデコード部１１４に出力する。また、
デコードコントローラ１１３は、user dataから分離し
た補助データを合成部１１５に出力する。MPEGデコード
部１１４は、可変長復号部１１２より入力された画像デ
ータを、デコードコントローラ１１３より入力されたPO
IとCPIを参照してデコードし、デコードした結果を合成
部１１５に出力している。合成部１１５は、デコードコ
ントローラ１１３より供給された補助データをMPEGデコ
ード部１１４より供給された画像データと合成し、出力
する。

【００５２】以下に、MPEGエンコーダ４２とMPEGデコー
ダ４４の動作について説明する。

【００５３】CPIをuser dataに記述して、エレメンタリ
ストリーム（ES）に重畳して出力する動作を、図１７を
参照して説明すると、アプリケーションＡ用MPEGエンコ
ーダ４２は、アプリケーションＡの画像信号を符号化し
たエレメンタリストリーム（ES）に、CPI（画像信号の
フォーマットにおける有効画素エリアを示すデータであ
るV-PhaseとH-Phase）をuser dataに記述して（図１５
の可変長符号化部１０４がエンコードコントローラ１０
２から出力されるCPIのデータをuser dataに記述し
て）、SDTI-CPインタフェース４６に出力する。アプリ
ケーションＢ用ＭＰＥＧエンコーダ４３も、ＭＰＥＧエ
ンコーダ４２と同様に構成されており、アプリケーショ
ンＢの画像信号を符号化したエレメンタリストリーム
（ES）に、CPIをuser dataとして記述して、SDTI-CPイ
ンタフェース４７に出力する。

【００５４】SDTI-CPインタフェース４６の構成例につ
いて、図１８を参照して説明する（他のSDTI-CPインタ
フェースも同様に構成されている）。復号部１２１は、
MPEGエンコーダ４２から入力されたMPEG符号化されたエ
レメンタリストリーム（ES）を、符号化パラメータと画
像データに分離し、画像データを復号し、符号化パラメ
ータとともに符号化パラメータ多重化部１２２に出力す
る。符号化パラメータ多重化部１２２は、画像信号と符
号化パラメータから、SDTI-CPベースのエレメンタリス
トリーム（ES）を生成して出力する。

【００５５】SDTI-CPインタフェース４６に、SDTI-CPベ
ースのエレメンタリストリーム（ES）が入力された場
合、符号化パラメータ分離部１２３は、エレメンタリス
トリーム（ES）から画像データと符号化パラメータを分
離して、それぞれ符号化部１２４に出力する。符号化部
１２４は、符号化パラメータを用いて、画像データを符
号化し、MPEG符号化されたエレメンタリストリーム（E
S）として出力するか、またはパケット化部１２５でMPE
G符号化されたトランスポートストリーム（TS）として
出力する。

【００５６】SDTI-CPインタフェース４６，４７は、MPE
G符号化されたエレメンタリストリーム（ES）を、SDTI
フォーマットのエレメンタリストリーム（ES）に変換し
て、SDTI-CPネットワーク５０を介して、伝送する。SDT
I-CPインタフェース４８は、SDTIフォーマットのエレメ
ンタリストリーム（ES）をMPEG符号化されたエレメンタ
リストリーム（ES）に変換し、MPEGデコーダ４４に出力
する。

【００５７】MPEGデコーダ４４は、入力されたアプリケ
ーションＡのエレメンタリストリーム（ES）またはアプ
リケーションＢのエレメンタリストリーム（ES）を復号
し、それぞれのエレメンタリストリーム（ES）に記述さ
れている（図１６のデコードコントローラ１１３が出力
する）CPIに基づいて、画像信号を有効画素エリアに配
置するように復号する。

【００５８】MPEGエンコーダ４２，４３は、それぞれが
符号化したアプリケーションの画像信号のCPIをMPEG符
号化されたエレメンタリストリーム（ES）中のuser dat
aに記述することにより、画像データとともに、CPIを伝
送することができる。また、MPEGエンコーダ４２，４３
は、CPIを伝送する機能を有することにより、様々なア
プリケーションを符号化して伝送することができる。

【００５９】MPEGデコーダ４４は、MPEG符号化されたエ
レメンタリストリーム（ES）に挿入されているCPIを分
離、解釈することにより、様々なCoding Phaseを有する
アプリケーションの画像を、適切に、有効画素エリアに
配置するように復号処理することができる。

【００６０】なお、本発明に実施の形態においては、CP
Iを、MPEG符号化されたエレメンタリストリームのuser
dataに挿入したが、ビットストリームに他の方法で挿入
するようにしてもよい。

【００６１】次に、MPEGエンコーダ４２において、各フ
ィールドごとの複数の補助データを識別する動作につい
て、図１９を参照して説明する。３−２プルダウン処理
が実施されている符号化フレームの原信号（３０Hz）の
各フィールドに、補助データが挿入されているものとす
る。この補助データを有する原信号（３０Hz）が、元の
フレームレートの符号化フレーム（２４Hz）に符号化さ
れるとき、各符号化フレームに含まれる２つまたは３つ
のフィールドに記述されている補助データに、符号化さ
れたフィールドに対応した識別子が、field_ID（０乃至
２のカウンタの値）として付加されて（図１５のエンコ
ードコントローラ１０２で補助データにfield_IDが付加
されて）、補助データともに伝送される。このfield_ID
が補助データに付加されることにより、補助データがど
の符号化フレーム内の、どのフィールドに対応したもの
であるかが識別される。

【００６２】具体的に説明すると、図１９の先頭の符号
化フレームのフィールドの枚数は、２枚であるので、補
助データは２つ存在する。符号化フレームは２枚のフィ
ールドから生成され、その符号化フレームに対応する２
枚のフィールドの、それぞれの補助データに、field_ID
として、”０”または”１”が付加される。

【００６３】先頭から２番目の符号化フレームのフィー
ルドの枚数は、３枚であるので、補助データは３つ存在
する。符号化フレームは３枚のフィールドから生成さ
れ、その符号化フレームに対応する３枚のフィールド
の、それぞれの補助データに、field_IDとして、”
０”，”１”または”２”が付加される。

【００６４】つまり、１枚の符号化フレームに対して、
１つの補助データが生成されるのではなく、符号化フレ
ームに含まれていたフィールドの枚数と同じ数の補助デ
ータが生成され、それぞれにfield_IDが付加される。そ
の結果、同一の符号化フレームに含まれる複数の補助デ
ータは、付加されたfield_IDにより、符号化フレーム内
で識別されるので、それぞれの補助データに異なった情
報が含まれていても、識別できなくなることはない。

【００６５】MPEGエンコーダ４２では、画像データがMP
EGエンコード部１０３でエンコードされ、可変長符号化
部１０４で可変長符号化される。また、エンコードコン
トローラ１０２で補助データにfield_IDと、補助データ
が挿入されていたライン番号（Line_number）が付加さ
れ、エレメンタリストリーム中のuser data中に、ancil
lary dataとして挿入される。これにより、複数の補助
データを識別して伝送することができる。

【００６６】MPEGデコーダ４４では、MPEG符号化された
エレメンタリストリーム中のuser dataが可変長復号部
１１２で分離され、デコードコントローラ１１３に供給
される。デコードコントローラ１１３は、user dataに
挿入されているancillary dataのfield_IDとLine_numbe
rに基づいて、複数の補助データを識別、分離し、合成
部１１５に出力する。合成部１１５は、MPEGデコード部
１１４で復号された画像データと、それに対応する補助
データ（テキストデータ）を合成し、出力する。

【００６７】MPEGエンコーダ４２は、システム全体の遅
延を少なくするために、図２０に示すような符号化順序
と表示順序を管理するPOIを生成する。

【００６８】例えば、MPEGエンコーダ４２のMPEGエンコ
ード部１０３に入力された画像データが、３−２プルダ
ウン処理により、２４Hzのフレームレートに変換された
画像信号である場合、図２０（Ａ）に示すようなフラグ
（Repeat_first_field，Top_field_first）により、各
フレームが管理される。

【００６９】Repeat_first_fieldのフラグの”１”は、
リピートフィールドを作成する必要があることを意味
し、Repeat_first_fieldのフラグの”０”は、リピート
フィールドを作成する必要がないことを意味する。Top_
field_firstのフラグは、フレームを構成するフィール
ドのうち、最初のフィールドがトップフィールドである
のか、またはボトムフィールドであるのかを表してい
る。Top_field_firstフラグの”１”は、トップフィー
ルドがボトムフィールドより時間的に早いフレーム構造
であることを表しており、Top_field_firstフラグの”
０”は、ボトムフィールドがトップフィールドより時間
的に早いフレーム構造であることを表している。

【００７０】図２０（Ａ）について、具体的に説明する
と、最初にMPEGエンコード部１０３に入力されるFrame
No１の符号化フレームの符号化画像データ種別は、Ｉピ
クチャであり、このＩピクチャの２フィールド（トップ
フィールドとボトムフィールド）は、トップフィールド
をコピーしてリピートフィールドを作成することで、３
フィールドに変換する必要があるので、対応するRepeat
_first_fieldのフラグは”１”となり、Top_field_firs
tのフラグは”１”となる。

【００７１】Frame No２の符号化フレームの符号化画像
データ種別は、Ｂピクチャであり、このＢピクチャに
は、リピートフィールドが生成する必要がないので、Re
peat_first_fieldのフラグは”０”とされ、ボトムフィ
ールドがトップフィールドより時間的に早いフレームで
あるため、Top_field_firstのフラグは”０”とされ
る。このときのTop_field_firstのフラグの値は、３−
２プルダウン処理には関係しない。

【００７２】Frame No３の符号化フレームの符号化画像
データ種別は、Ｂピクチャであり、Frame No３のＢピク
チャでは、そのボトムフィールドをコピーしてリピート
フィールドが作成され、符号化フレームが３フィールド
に変換されている。従って、Repeat_first_fieldのフラ
グは”１”とされ、Top_field_firstのフラグは”０”
とされる。

【００７３】Frame No４の符号化フレームの符号化画像
データ種別は、Ｐピクチャであり、このＰピクチャに対
しては、リピートフィールドが作成されておらず、Repe
at_first_fieldのフラグは”０”とされ、Top_field_fi
rstのフラグは１とされる。

【００７４】MPEGエンコード部１０３は、図２０（Ａ）
に示すような３−２プルダウン処理が施された画像デー
タが入力されてきたとき、内蔵するカウンタPTS_counte
rでフィールドの数をカウントし、その値PTS_counterを
表示順序としてエンコードコントローラ１０２に出力す
る。カウンタPTS_counterは、０から１２７まで増加し
た後、再び０に戻るカウント動作を行う。従って、カウ
ンタPTS_counterの値は、図２０（Ｂ）に示すように変
化する。

【００７５】具体的に説明すると、最初に入力されるFr
ame No１のＩピクチャのPTS_counterの値は値”０”で
ある。先頭から２番目に入力されるFrame No２のＢピク
チャのPTS_counterの値は、Frame No１のＩピクチャのP
TS_counterの値”０”に、Ｐピクチャのフィールド数３
を加算した値”３”（＝０＋３）となる。

【００７６】先頭から３番目に入力されるFrame No３の
ＢピクチャのPTS_counterの値は、Frame No２のＢピク
チャのPTS_counterの値”３”に、Ｂピクチャのフィー
ルド数２を加算した値”５”（＝３＋２）となる。先頭
から４番目に入力されるFrameNo４のＰピクチャのPTS_c
ounterの値は、Frame No３のＢピクチャのPTS_counter
の値”５”に、Ｂピクチャのフィールド数３を加算した
値”８”（＝５＋３）となる。Frame No５のＢピクチャ
以降のPTS_counterの値も同様に算出される。

【００７７】さらに、MPEGエンコード部１０３は、内蔵
するカウンタDTS_counterでエンコードしたフレームを
計数し、計数した結果をエンドコントローラ１０２に出
力する。

【００７８】図２０（Ｃ）を参照して、具体的に説明す
ると、Frame No１のＩピクチャのDTS_counterの値１２
５は、Frame No１のＩピクチャが表示される表示順序PT
S_counter＝０を基準としたとき、１フレーム分の出現
周期前に符号化される必要がある（図１４に対応させる
と、先頭のＩピクチャの符号化順序の値は”１”であ
り、表示順序の値は”２”であり、符号化順序の値は表
示順序の値より１フレーム分早い必要がある）。つま
り、Ｉピクチャが３つのフィールドを持っているため、
DTS_counterの値は、０より３だけ前の値”１２５”（D
TS_counterは２⁷（＝１２８）のモジュロで表されるた
め、その値は０から１２７の間の値を循環する）とな
る。

【００７９】Frame No１のＩピクチャの次に符号化され
るFrame No４のＰピクチャのDTS_counterの値は、Frame
No１のＩピクチャのDTS_counterの値１２５にＩピクチ
ャのフィールド数３を加えた値０（＝１２８＝１２５＋
３）となる。

【００８０】Frame No４のＰピクチャの次に符号化され
る、Frame No２のＢピクチャのDTS_counterの値は、Ｂ
ピクチャのためにPTS_counter＝DTS_counterであり、PT
S_counterの値と同一とされ、その値は”３”となる。
同様に、Frame No２のＢピクチャの次に符号化される、
Frame No３のＢピクチャのDTS_counterの値も、PTS_cou
nterの値と同一とされ、その値は”５”とされる。以
下、Frame No７のＰピクチャ以降のDTS_counterの値
も、同様に算出されるので、ここでは、その説明を省略
する。

【００８１】MPEGエンコード部１０３は、図２０に示す
ようなフラグRepeat_first_field，Top_field_first、
並びにカウンタPTS_counter，DTS_counterをPOIとし
て、エンコードコントローラ１０２に出力する。

【００８２】ここで、図１１に示した、離れた場所にあ
るスタジオ４１のMPEGエンコーダ４２から、スタジオ７
１のMPEGデコーダ７４に、SDTI-CPネットワーク５０，
８０、TS MUX/DEMUX６１，６２、およびATMのネットワ
ークを使用して、画像信号の伝送を行うシステムの、符
号化順序と表示順序について、図２１を参照して説明す
る。

【００８３】MPEGエンコーダ４２内のMPEGビデオエンコ
ーダ４２Ａは、MPEG符号化された画像データのエレメン
タリストリーム（ES）を出力するとともに、POIを、そ
のエレメンタリストリーム（ES）中のuser dataに挿入
する（図１５のエンコードコントローラ１０２がPOIの
データをuser dataに記述し、可変長符号化部１０４に
出力して、多重化させる）。MPEGエンコーダ４２内のオ
ーディオエンコーダ４２Ｂは、音声データを符号化して
エレメンタリストリーム（ES）として出力する。SDTI-C
Pインタフェース４６は、MPEGビデオエンコーダ４２Ａ
からのエレメンタリストリーム（ES）（POIを含んだス
トリーム）と、オーディオエンコーダ４２Ｂからのエレ
メンタリストリーム（ES）を、SDTIフォーマットのエレ
メンタリストリームに変換して、SDTI-CPネットワーク
５０に出力する。

【００８４】SDTI-CPインタフェース５１は、入力され
たSDTIフォーマットのエレメンタリストリーム（ES）
を、MPEG符号化のエレメンタリストリーム（ES）に変換
し（図１８を参照してSDTI-CPインタフェース４６の動
作として説明したように）、TSMUX/DEMUX６１に出力す
る。TS MUX/DEMUX６１は、エレメンタリストリーム（E
S）に挿入されているPOIを参照して、PTS_counterの値
をPTS（Presentation TimeStamp）に、また、DTS_count
erの値をDTS（Decoding Time Stamp）に、それぞれ換算
し、多重化処理を行い、１８８バイト単位のパケットか
ら構成されるトランスポートストリーム（TS）を生成し
て出力する（従って、トランスポートストリーム（TS）
には、PTS_counterとDTS_counterではなく、PTSとDTSが
含まれる）。

【００８５】TS MUX/DEMUX６１は、エレメンタリストリ
ーム（ES）に挿入されているPOIを解釈することによ
り、前述のバッファリング処理を行うことなく、直ちに
多重化処理を行うことができ、TS MUX/DEMUX６１におい
て、新たに遅延が発生することはない。また、POIはエ
レメンタリストリーム（ES）中に挿入されているため、
TS MUX/DEMUX６１は、POIを後段に伝達するために、POI
をビットストリームに含ませる処理を行わなくてもよ
い。

【００８６】図１１のTS MUX/DEMUX６２は、ATMなどの
公衆網を介して入力されたトランスポートストリーム
（TS）から画像データと音声データを分離して、MPEG符
号化のエレメンタリストリーム（ES）に変換する。TS M
UX/DEMUX６２はまた、PTS，DTSをPTS_counter，DTS_cou
nterに換算して、エレメンタリストリームのuser data
に挿入し、SDTI-CPインタフェース８１に出力する。SDT
I-CPインタフェース８１は、MPEG符号化されたエレメン
タリストリーム（ES）をSDTIフォーマットのエレメンタ
リストリーム（ES）に変換し、スタジオ７１のSDTI-CP
ネットワーク８０に出力する。MPEGデコーダ７４（MPEG
デコーダ４４と同一の構成）は、SDTI-CPインタフェー
ス７８を介して、伝送されてきた画像データと音声デー
タのエレメンタリストリーム（ES）を受信し、復号す
る。

【００８７】MPEGデコーダ７４は、TS MUX/DEMUX６１と
同様に、エレメンタリストリーム（ES）に挿入されてい
るPOIを解釈して、前述のバッファリング処理を行うこ
となく、直ちに復号する（図１６のデコードコントロー
ラ１１３が出力するPOIに基づき、MPEGデコード部１１
４が画像データを復号する）ことができ、MPEGデコーダ
７４において、新たに遅延が発生することはない。つま
り、MPEGビデオエンコーダ４２Ａが、MPEG符号化された
エレメンタリストリーム（ES）とともに、POIをエレメ
ンタリストリームに挿入して出力することにより、後段
のTS MUX/DEMUX６１と、MPEGデコーダ７４は、POIを解
釈して多重化処理、または復号処理を直ちに行うことが
でき、システム全体としての遅延を、MPEGエンコーダ４
２で生ずるＢピクチャの枚数（＝２）＋１枚＝３の遅延
のみに抑えることができる。すなわち、このような符号
化、多重化、および復号を含むシステムにおいて、理論
的に最も小さい遅延とすることができる。

【００８８】また、図２１のシステム構成において、図
１８に示したSDTI-CPインタフェース４６を用いること
により、SDTI-CPネットワーク５０を使用して画像信号
を伝送するとき、スタジオ４１の内部では、ビットスト
リームを、編集が容易で、短距離伝送に適したエレメン
タリストリーム（ES）の形態で伝送することが可能とな
り、離れたスタジオ間でATMなどの公衆網を使用して画
像信号を伝送するとき、ビットストリームを、長距離伝
送に適したトランスポートストリーム（TS）の形態で伝
送することが可能となる。

【００８９】以上においては、POIをエレメンタリスト
リームに挿入するようにしたが、TSMUX/DEMUX６１とMPE
Gエンコーダ４２の距離が近いような場合には、図２２
に示すように、POIをMPEGエンコーダ４２から、TS MUX/
DEMUX６１に直接供給するようにしてもよい。

【００９０】しかしながら、このようにすると、エレメ
ンタリストリームを伝送するSDTI-CPネットワーク５０
以外の配線処理が必要となる。

【００９１】以上に述べたように、エンコーダの有する
情報を、エレメンタリストリーム（ES）中のuser data
に記述して、多重化装置またはデコーダに出力すること
により、エンコーダのみが有していた情報（Coding Pha
se（V-PhaseとH-Phase）、Field_ID、符号化順序DTS_co
unter、および表示順序PTS_counter）を、エンコーダよ
り後段の多重化装置、デコーダに供給することができ
る。

【００９２】次に、図２３乃至図３６を参照してビット
ストリームのシンタックスについて説明する。

【００９３】図２３は、MPEGのビデオストリームのシン
タックスを表わした図である。MPEGエンコーダ４２は、
この図２３に示されたシンタックスに従った符号化エレ
メンタリストリームを生成する。以下に説明するシンタ
ックスにおいて、関数や条件文は細活字で表わされ、デ
ータエレメントは、太活字で表されている。データ項目
は、その名称、ビット長およびそのタイプ・伝送順序を
示すニーモニック（Mnemonic）で記述されている。

【００９４】まず、この図２３に示されているシンタッ
クスにおいて使用されている関数について説明する。実
際には、この図２３に示されているシンタックスは、MP
EGデコーダ４４側において、伝送されてきた符号化ビッ
トストリームから所定の意味のあるデータエレメントを
抽出するために使用されるシンタックスである。MPEGエ
ンコーダ４２側において使用されるシンタックスは、図
２３に示されたシンタックスからif文やwhile文等の条
件文を省略したシンタックスである。

【００９５】video_sequence()において最初に記述され
ているnext_start_code()関数は、ビットストリーム中
に記述されているスタートコードを探すための関数であ
る。この図２３に示されたシンタックスに従って生成さ
れた符号化ストリームには、まず最初に、sequence_hea
der()関数とsequence_extension()関数によって定義さ
れたデータエレメントが記述されている。このsequence
_header()関数は、MPEGビットストリームのシーケンス
レイヤのヘッダデータを定義するための関数であって、
sequence_extension()関数は、MPEGビットストリームの
シーケンスレイヤの拡張データを定義するための関数で
ある。

【００９６】sequence_extension()関数の次に配置され
ている do{ }while構文は、while文によって定義されて
いる条件が真である間、do文の{ }内の関数に基いて記
述されたデータエレメントが符号化データストリーム中
に記述されていることを示す構文である。このwhile文
に使用されているnextbits()関数は、ビットストリーム
中に記述されているビット又はビット列と、参照される
データエレメントとを比較するための関数である。この
図２３に示されたシンタックスの例では、nextbits()関
数は、ビットストリーム中のビット列とビデオシーケン
スの終わりを示すsequence_end_codeとを比較し、ビッ
トストリーム中のビット列とsequence_end_codeとが一
致しないときに、このwhile文の条件が真となる。従っ
て、sequence_extension()関数の次に配置されている d
o{ }while構文は、ビットストリーム中に、ビデオシー
ケンスの終わりを示すsequence_end_codeが現れない
間、do文中の関数によって定義されたデータエレメント
が符号化ビットストリーム中に記述されていることを示
している。

【００９７】符号化ビットストリームにおいて、sequen
ce_extension()関数によって定義された各データエレメ
ントの次には、extension_and_user_data(0)関数によっ
て定義されたデータエレメントが記述されている。この
extension_and_user_data(0)関数は、MPEGビットストリ
ームのシーケンスレイヤにおける拡張データとユーザデ
ータを定義するための関数である。

【００９８】このextension_and_user_data(0)関数の次
に配置されている do{ }while構文は、while文によって
定義されている条件が真である間、do文の{ }内の関数
に基いて記述されたデータエレメントが、ビットストリ
ームに記述されていることを示す関数である。このwhil
e文において使用されているnextbits()関数は、ビット
ストリーム中に現れるビット又はビット列と、picture_
start_code又はgroup_start_codeとの一致を判断するた
めの関数であるって、ビットストリーム中に現れるビッ
ト又はビット列と、picture_start_code又はgroup_star
t_codeとが一致する場合には、while文によって定義さ
れた条件が真となる。よって、このdo{ }while構文は、
符号化ビットストリーム中において、picture_start_co
de又はgroup_start_codeが現れた場合には、そのスター
トコードの次に、do文中の関数によって定義されたデー
タエレメントのコードが記述されていることを示してい
る。

【００９９】このdo文の最初に記述されているif文は、
符号化ビットストリーム中にgroup_start_codeが現れた
場合、という条件を示しいる。このif文による条件は真
である場合には、符号化ビットストリーム中には、この
group_start_codeの次にgroup_of_picture_header()関
数およびextension_and_user_data(1)関数によって定義
されているデータエレメントが順に記述されている。

【０１００】このgroup_of_picture_header()関数は、M
PEG符号化ビットストリームのGOPレイヤのヘッダデータ
を定義するための関数であって、extension_and_user_d
ata(1)関数は、MPEG符号化ビットストリームのGOPレイ
ヤの拡張データおよびユーザデータを定義するための関
数である。

【０１０１】さらに、この符号化ビットストリームにお
いて、group_of_picture_header()関数およびextension
_and_user_data(1)関数によって定義されているデータ
エレメントの次には、picture_header()関数とpicture_
coding_extension()関数によって定義されたデータエレ
メントが記述されている。もちろん、先に説明したif文
の条件が真とならない場合には、 group_of_picture_he
ader()関数およびextension_and_user_data(1)関数によ
って定義されているデータエレメントは記述されていな
いので、 extension_and_user_data(0)関数によって定
義されているデータエレメントの次に、picture_header
()関数、picture_coding_extension()関数およびextens
ion_and_user_data(2)関数によって定義されたデータエ
レメントが記述されている。

【０１０２】このpicture_header()関数は、MPEG符号化
ビットストリームのピクチャレイヤのヘッダデータを定
義するための関数であって、picture_coding_extension
()関数は、MPEG符号化ビットストリームのピクチャレイ
ヤの第１の拡張データを定義するための関数である。ex
tension_and_user_data(2)関数は、MPEG符号化ビットス
トリームのピクチャレイヤの拡張データおよびユーザデ
ータを定義するための関数である。このextension_and_
user_data(2)関数によって定義されるユーザデータは、
ピクチャレイヤに記述されているデータであって、各ピ
クチャ毎に記述することのできるデータである。

【０１０３】符号化ビットストリームにおいて、ピクチ
ャレイヤのユーザデータの次には、picture_data()関数
によって定義されるデータエレメントが記述されてい
る。このpicture_data()関数は、スライスレイヤおよび
マクロブロックレイヤに関するデータエレメントを記述
するための関数である。

【０１０４】このpicture_data()関数の次に記述されて
いるwhile文は、このwhile文によって定義されている条
件が真である間、次のif文の条件判断を行うための関数
である。このwhile文において使用されているnextbit
s()関数は、符号化ビットストリーム中に、picture_sta
rt_code又はgroup_start_codeが記述されているか否か
を判断するための関数であって、ビットストリーム中に
picture_start_code又はgroup_start_codeが記述されて
いる場合には、このwhile文によって定義された条件が
真となる。

【０１０５】次のif文は、符号化ビットストリーム中に
sequence_end_code が記述されているか否かを判断する
ための条件文であって、sequence_end_code が記述され
ていないのであれば、sequence_header()関数とsequenc
e_extension()関数とによって定義されたデータエレメ
ントが記述されていることを示している。sequence_end
_codeは符号化ビデオストリームのシーケンスの終わり
を示すコードであるので、符号化ストリームが終了しな
い限り、符号化ストリーム中にはsequence_header()関
数とsequence_extension()関数とによって定義されたデ
ータエレメントが記述されている。

【０１０６】このsequence_header()関数とsequence_ex
tension()関数によって記述されたデータエレメント
は、ビデオストリームのシーケンスの先頭に記述された
sequence_header()関数とsequence_extension()関数に
よって記述されたデータエレメントと全く同じである。
このように同じデータをストリーム中に記述する理由
は、ビットストリーム受信装置側でデータストリームの
途中（例えばピクチャレイヤに対応するビットストリー
ム部分）から受信が開始された場合に、シーケンスレイ
ヤのデータを受信できなくなり、ストリームをデコード
出来なくなることを防止するためである。

【０１０７】この最後のsequence_header()関数とseque
nce_extension()関数とによって定義されたデータエレ
メントの次、つまり、データストリームの最後には、シ
ーケンスの終わりを示す２ビットのsequence_end_code
が記述されている。

【０１０８】以下に、sequence_header()関数、sequenc
e_extension()関数、extension_and_user_data(0)関
数、group_of_picture_header()関数、picture_heade
r()関数、picture_coding_extension()関数、およびpic
ture_data()関数について詳細に説明する。

【０１０９】図２４は、sequence_header()関数のシン
タックスを説明するための図である。このsequence_hea
der()関数によって定義されたデータエレメントは、seq
uence_header_code、horizontal_size_value、vertical
_size_value、aspect_ratio_information、frame_rate_
code、bit_rate_value、marker_bit、vbv_buffer_size_
value、constrained_parameter_flag、load_intra_quan
tizer_matrix、intra_quantizer_matrix[64]、load_non
_intra_quantizer_matrix、およびnon_intra_quantizer
_matrix等である。

【０１１０】sequence_header_codeは、シーケンスレイ
ヤのスタート同期コードを表すデータである。horizont
al_size_valueは、画像の水平方向の画素数の下位１２
ビットから成るデータである。vertical_size_value
は、画像の縦のライン数の下位１２ビットからなるデー
タである。aspect_ratio_informationは、画素のアスペ
クト比（縦横比）または表示画面アスペクト比を表すデ
ータである。frame_rate_codeは、画像の表示周期を表
すデータである。bit_rate_valueは、発生ビット量に対
する制限のためのビット・レートの下位１８ビット（４
００bsp単位で切り上げる）データである。marker_bit
は、スタートコードエミュレーションを防止するために
挿入されるビットデータである。vbv_buffer_size_valu
eは、発生符号量制御用の仮想バッファ（ビデオバッフ
ァベリファイヤー）の大きさを決める値の下位１０ビッ
トデータである。constrained_parameter_flagは、各パ
ラメータが制限以内であることを示すデータである。lo
ad_intra_quantizer_matrixは、イントラMB用量子化マ
トリックス・データの存在を示すデータである。intra_
quantizer_matrix[64]は、イントラMB用量子化マトリッ
クスの値を示すデータである。load_non_intra_quantiz
er_matrixは、非イントラMB用量子化マトリックス・デ
ータの存在を示すデータである。non_intra_quantizer_
matrixは、非イントラMB用量子化マトリックスの値を表
すデータである。

【０１１１】図２５はsequence_extension()関数のシン
タックスを説明するための図である。このsequence_ext
ension()関数によって定義されたデータエレメントと
は、extension_start_code、extension_start_code_ide
ntifier、profile_and_level_indication、progressive
_sequence、chroma_format、horizontal_size_extensio
n、vertical_size_extension、bit_rate_extension、vb
v_buffer_size_extension、low_delay、frame_rate_ext
ension_n 、および frame_rate_extension_d等のデータ
エレメントである。

【０１１２】extension_start_codeは、エクステンショ
ンデータのスタート同期コードを表すデータである。ex
tension_start_code_identifierは、どの拡張データが
送られるかを示すデータである。profile_and_level_in
dicationは、ビデオデータのプロファイルとレベルを指
定するためのデータである。progressive_sequenceは、
ビデオデータが順次走査であることを示すデータであ
る。chroma_formatは、ビデオデータの色差フォーマッ
トを指定するためのデータである。horizontal_size_ex
tensionは、シーケンスヘッダのhorizntal_size_value
に加える上位２ビットのデータである。vertical_size_
extensionは、シーケンスヘッダのvertical_size_value
加える上位２ビットのデータである。bit_rate_extensi
onは、シーケンスヘッダのbit_rate_valueに加える上位
１２ビットのデータである。vbv_buffer_size_extensio
nは、シーケンスヘッダのvbv_buffer_size_valueに加え
る上位８ビットのデータである。low_delayは、Ｂピク
チャを含まないことを示すデータである。frame_rate_e
xtension_nは、シーケンスヘッダのframe_rate_codeと
組み合わせてフレームレートを得るためのデータであ
る。frame_rate_extension_dは、シーケンスヘッダのfr
ame_rate_codeと組み合わせてフレームレートを得るた
めのデータである。

【０１１３】図２６は、extension_and_user_data(i)関
数のシンタックスを説明するための図である。このexte
nsion_and_user_data(i)関数は、「i」が１以外のとき
は、extension_data()関数によって定義されるデータエ
レメントは記述せずに、user_data()関数によって定義
されるデータエレメントのみを記述する。よって、exte
nsion_and_user_data(0)関数は、user_data()関数によ
って定義されるデータエレメントのみを記述する。

【０１１４】まず、図２６に示されているシンタックス
において使用されている関数について説明する。nextbi
ts()関数は、ビットストリーム中に現れるビットまたは
ビット列と、次に復号されるデータエレメントとを比較
するための関数である。

【０１１５】user_data()関数は、図２７に示すよう
に、user_data_start_code，V-phase（）関数,H-phas
e()関数，Time_code()関数，Picture-order()関数，Anc
illary_data()関数，history_data()関数，およびuser_
dataのデータエレメントを記述するための関数である。

【０１１６】user_data_start_codeは、MPEG方式のビッ
トストリームのピクチャレイヤのユーザデータエリアの
開始を示すためのスタートコードである。このuser_dat
a_start_codeの次に記述されているif文は、user_data
(ｉ)関数のiが”０”のとき、次に記述されているwhile
構文を実行する。このwhile構文は、ビットストリーム
中に、２３個の”０”とそれに続く”１”から構成され
る２４ビットのデータが現れない限り真となる。

【０１１７】この２３個の”０”とそれに続く”１”か
ら構成される２４ビットのデータは、すべてのスタート
コードの先頭に付与されるデータであって、すべてのス
タートコードは、この２４ビットの後ろに設けられるこ
とによって、nextbits()関数は、ビットストリーム中に
おいて、各スタートコードの位置を見つけることができ
る。

【０１１８】while構文が真のとき、その次に記述され
ているif文のnextbits()関数は、V-Phaseを示すビット
列（Data_ID）を検出すると、そのビット列（Data_ID）
の次ビットからV-Phase()関数で示されるV-Phaseのデー
タエレメントが記述されていることを知る。次のElse i
f文のnextbits()関数は、H-Phaseを示すビット列（Data
_ID）を検出すると、そのビット列（Data_ID）の次ビッ
トからH-Phase()関数で示されるH-Phaseのデータエレメ
ントが記述されていることを知る。

【０１１９】ここで、図２８に示すように、V-PhaseのD
ata_IDは、”０１”を表すビット列であり、H-PhaseのD
ata_IDは、”０２”を表すビット列である。

【０１２０】ビットストリームに記述されるV-Phase()
関数のシンタックスについて、図２９を参照して説明す
る。まず、Data_IDは、前述したように、そのData_IDの
次のビット列のデータエレメントがV-Phaseであること
を表す８ビットのデータであり、図２８で示した値”０
１”である。V-Phaseは、画像信号のフレームにおい
て、符号化される最初のラインを示す１６ビットのデー
タである。

【０１２１】ビットストリームに記述されるH-Phase()
関数のシンタックスについて、図３０を参照して説明す
る。まず、Data_IDは、前述したように、そのData_IDの
次のビット列のデータエレメントがH-Phaseであること
を表す８ビットのデータであり、図２８で示した値”０
２”である。H-Phaseは、画像信号フレームにおいて、
符号化される最初のサンプルを示す８ビットのデータで
ある。

【０１２２】図２７に戻って、次のElse if文は、user_
data(ｉ)関数のiが２のとき、次に記述されているwhile
構文を実行する。while構文の内容は前述した場合と同
様であるので、ここではその説明を省略する。

【０１２３】while構文が真のとき、次のif文におい
て、nextbits()関数は、Time code1を示すビット列を検
出するか、または、Time code２を示すビット列を検出
すると、そのビット列の次ビットからTime_code()関数
で示されるTime codeのデータエレメントが記述されて
いることを知る。

【０１２４】Time code1のData_IDは、図２８に示すよ
うに、”０３”を表すビット列であり、Time code1のデ
ータは、画像の垂直ブランキング期間に挿入されたタイ
ムコードを示す、VITC（Vertical Interval Ｔime Cod
e）である。Time code２のData_IDは、図２８に示すよ
うに、”０４”を表すビット列であり、Time code２の
データは、記録媒体のタイムコードトラックに記録され
たタイムコードを示す、LTC（Longitudinal Ｔime Cod
e）である。

【０１２５】次に、Else if文において、nextbits()関
数は、Picture Orderを示すビット列を検出すると、そ
のビット列の次ビットからPicture_Order()関数で示さ
れるPicture Orderのデータエレメントが記述されてい
ることを知る。ここで、Picture_Order()関数のData_ID
は、図２８に示すように、”０５”を表すビット列であ
る。

【０１２６】実際に、エンコーダでエレメンタリストリ
ーム（ES）に挿入するPicture_Order()関数のシンタッ
クスを、図３１を参照して説明する。まず、Data_IDは
前述したように、そのData_ID以降のデータがPOIのデー
タであることを示す８ビットのデータであり、その値
は”０５”である。DTS_presenceは、符号化順序DTS_co
unterの有無を表す１ビットのデータである。例えば、
ＢピクチャのようにDTS_counter＝PTS_counterとなる場
合、表示順序PTS_counterのみが存在し、DTS_presence
のビットは”０”となる。逆に、ＰピクチャおよびＩピ
クチャの場合、符号化順序DTS_counterと表示順序PTS_c
ounterは同一ではないので、表示順序PTS_counterと符
号化順序DTS_counterの双方が存在し、DTS_presenceの
ビットは１となる。

【０１２７】PTS_counterは、エンコーダに符号化フレ
ーム中の１フィールドが入力されるごとにカウントアッ
プを行う、表示順序を表す７ビットのデータである。こ
の７ビットのデータは、０から１２７までの値をとるモ
ジュロである。if文以降は、DTS_presenceのビットが１
のとき、すなわち、ＰピクチャおよびＩピクチャのと
き、DTS_counterのカウントアップが実行される。

【０１２８】Marker_bitsは、user dataの記述されたビ
ット列が、偶然に前述したスタートコードと一致し、画
像破錠を引き起こす可能正が高い、スタートコードエミ
ュレーションを防止するために、１６ビットごとに挿入
されるビットである。

【０１２９】DTS_counterは、エンコーダで、１フィー
ルド分の符号化画像データが符号化されるごとにカウン
トアップを行う、符号化順序を表す７ビットのデータで
ある。この７ビットのデータは、０から１２７までの値
をとるモジュロである。

【０１３０】前述したように、表示順序PTS_counter
は、フィールド単位で付番されるために、例えば、符号
化画像データを２４Hzから３０Hzのフレームレートに変
換して符号化する場合、３−２プルダウン処理を行った
後に、付番する必要がある。

【０１３１】図２７に戻って、その次に記述されている
while構文も、内容は前述した場合と同様であるので、
ここではその説明を省略する。while構文が真のとき、
次のif文において、nextbits()関数は、Ancillary data
を示すビット列を検出すると、そのビット列の次ビット
からAncillary_data()関数で示されるAncillary dataの
データエレメントが記述されていることを知る。Ancill
ary_data()関数のData_IDは、図２８に示すように、”
０７”を表すビット列である。

【０１３２】この補助データに識別子を付加するancill
ary dataのシンタックスを図３２を参照して説明する。
Ancillary_data()関数はピクチャ層のuser dataとして
伝送され、データとしてはField識別子（Field_ID）、
ラインの番号（Line_number）および補如データ（ancil
lary data）が挿入される。

【０１３３】Data_IDは、user data領域において、anci
llary dataであることを示す８ビットのデータであり、
その値は図２８に示したように”０７”である。

【０１３４】Field_IDは２ビットのデータであり、prog
ressive_sequence flag（図２５）の値が”０”のと
き、符号化フレーム内のフィールドごとにField_IDが付
加される。repeat_first_fieldに”０”が設定されてい
るとき、この符号化フレームにはフィールドが２枚存在
し、Field_IDは、図１９に示したように、最初のフィー
ルドに”０”、およびその次のフィールドに”１”が設
定され、repeat_first_fieldに”１”が設定されている
とき、この符号化フレームにはフィールドが３枚存在
し、Field_IDとしては、最初のフィールドに”０”が設
定され、それ以降のフィールドに”１”，”２”が設定
される。

【０１３５】Field_IDは、progressive_sequence flag
の値が”１”のとき、符号化フレームごとに付加され
る。Field_IDには、repeat_first_fieldとTop_field_fi
rstにともに”０”が設定されているとき、その符号化
フレームは１枚のprogressiveframeが存在するので、
値”０”が設定され、repeat_first_fieldに値”１”お
よびTop_field_firstに値”０”が設定されていると
き、その符号化フレームは２枚のprogressive frameが
存在するので、値”０”，”１”が設定され、repeat_f
irst_fieldとTop_field_firstにともに”１”が設定さ
れているとき、その符号化フレームは３枚のprogressiv
e frameが存在するので、値”０”乃至”２”が設定さ
れる。

【０１３６】Line_numberは、１４ビットのデータであ
り、各フレームにおける補助データが記述されている、
ITU-R BT.656-3,SMPTE274M,SMPTE293M,SMPTE296Mで規定
されたライン番号を示す。

【０１３７】Ancillary_data_lengthは、１６ビットの
データであり、ancillary_data_payloadのデータ長を示
す。Ancillary_data_payloadは、２２ビットのデータか
らなる補助データの内容を表しており、Ancillary_data
_payloadのAncillary_data_lengthの値がｊの値（初期
値０）より大きいとき、値ｊ（Ancillary_data_length
のデータ長）を１だけインクリメントして、そのｊの値
のビット列目から記述される。

【０１３８】次のWhile構文は、bytealigned()関数のた
めのシンタックスを表しており、次のデータがbytealig
ned()関数でないとき（While構文が真のとき）、Zero_b
it（１ビットのデータ”０”）を記述する。

【０１３９】図２７に戻って、次のElse if文におい
て、nextbits()関数は、History dataを示すビット列を
検出すると、そのビット列の次ビットからHistory_data
（）関数で示されるHistory dataのデータエレメントが
記述されていることを知る。History_data（）関数のDa
ta_IDは、図２８に示すように、”０８”を表すビット
列であり、Data_IDが”０８”で示されるデータは、符
号化パラメータの履歴情報を含むHistory dataを表して
いる。

【０１４０】最後のif文において、nextbits()関数は、
user dataを示すビット列を検出すると、そのビット列
の次ビットからuser_data()関数で示されるuser_dataの
データエレメントが記述されていることを知る。

【０１４１】図２７のnextbits()関数が、それぞれのデ
ータエレメントが記述されていることを知るビット列
は、図２８に示すData_IDとして記述されている。ただ
し、Data_IDとして”００”を使用することは禁止され
ている。Data_IDが”８０”で示されるデータは、制御
フラグを表しており、Data_IDが”ＦＦ”で示されるデ
ータは、user dataを表している。

【０１４２】図３３は、group_of_picture_header()関
数のシンタックスを説明するための図である。このgrou
p_of_picture_header()関数によって定義されたデータ
エレメントは、group_start_code、time_code、closed_
gop、およびbroken_linkから構成される。

【０１４３】group_start_codeは、GOPレイヤの開始同
期コードを示すデータである。time_codeは、GOPの先頭
ピクチャのシーケンスの先頭からの時間を示すタイムコ
ードである。closed_gopは、GOP内の画像が他のGOPから
独立再生可能なことを示すフラグデータである。broken
_linkは、編集などのためにGOP内の先頭のＢピクチャが
正確に再生できないことを示すフラグデータである。

【０１４４】extension_and_user_data(1)関数は、 ext
ension_and_user_data(0)関数と同じように、user_data
()関数によって定義されるデータエレメントのみを記述
するための関数である。

【０１４５】次に、図３４乃至図３６を参照して、符号
化ストリームのピクチャレイヤに関するデータエレメン
トを記述するためのpicture_headr()関数、picture_cod
ing_extension()関数、およびpicture_data()について
説明する。

【０１４６】図３４はpicture_headr()関数のシンタッ
クスを説明するための図である。このpicture_headr()
関数によって定義されたデータエレメントは、picture_
start_code、temporal_reference、picture_coding_typ
e、vbv_delay、full_pel_forward_vector、forward_f_c
ode、full_pel_backward_vector、backward_f_code、ex
tra_bit_picture、およびextra_information_pictureで
ある。

【０１４７】具体的には、picture_start_codeは、ピク
チャレイヤの開始同期コードを表すデータである。temp
oral_referenceは、ピクチャの表示順を示す番号で、GO
Pの先頭でリセットされるデータである。picture_codin
g_typeは、ピクチャタイプを示すデータである。

【０１４８】vbv_delayは、VBVバッファの初期状態を示
すデータであって、各ピクチャ毎に設定されている。送
信側システムから受信側システムに伝送された符号化エ
レメンタリストリームのピクチャは、受信側システムに
設けられたＶＢＶバッファにバッファリングされ、DTS
（Decoding Time Stamp）によって指定された時刻に、
このVBVバッファから引き出され（読み出され）、デコ
ーダに供給される。vbv_delayによって定義される時間
は、復号化対象のピクチャがVBVバッファにバッファリ
ングされ始めてから、符号化対象のピクチャがVBVバッ
ファから引き出されるまでの時間、つまりDTSによって
指定された時刻までの時間を意味する。このピクチャヘ
ッダに格納されたvbv_delayを使用することによって、V
BVバッファのデータ占有量が不連続にならないシームレ
スなスプライシングが実現できる。

【０１４９】full_pel_forward_vectorは、順方向動き
ベクトルの精度が整数単位か半画素単位かを示すデータ
である。forward_f_codeは、順方向動きベクトル探索範
囲を表すデータである。full_pel_backward_vectorは、
逆方向動きベクトルの精度が整数単位か半画素単位かを
示すデータである。backward_f_codeは、逆方向動きベ
クトル探索範囲を表すデータである。extra_bit_pictur
eは、後続する追加情報の存在を示すフラグである。こ
のextra_bit_pictureが「１」の場合には、次にextra_i
nformation_pictureが存在し、extra_bit_pictureが
「０」の場合には、これに続くデータが無いことを示し
ている。extra_information_pictureは、規格において
予約された情報である。

【０１５０】図３５は、picture_coding_extension()関
数のシンタックスを説明するための図である。このpict
ure_coding_extension()関数によって定義されたデータ
エレメントは、extension_start_code、extension_star
t_code_identifier、f_code[0][0]、f_code[0][1]、f_c
ode[1][0]、f_code[1][1]、intra_dc_precision、pictu
re_structure、top_field_first、frame_predictive_fr
ame_dct、concealment_motion_vectors、q_scale_typ
e、intra_vlc_format、alternate_scan、repeat_first_
field、chroma_420_type、progressive_frame、composi
te_display_flag、v_axis、field_sequence、sub_carri
er、burst_amplitude、およびsub_carrier_phaseから構
成される。

【０１５１】extension_start_codeは、ピクチャレイヤ
のエクステンションデータのスタートを示す開始コード
である。extension_start_code_identifierは、どの拡
張データが送られるかを示すコードである。f_code[0]
[0]は、フォアード方向の水平動きベクトル探索範囲を
表すデータである。f_code[0][1]は、フォアード方向の
垂直動きベクトル探索範囲を表すデータである。f_code
[1][0]は、バックワード方向の水平動きベクトル探索範
囲を表すデータである。f_code[1][1]は、バックワード
方向の垂直動きベクトル探索範囲を表すデータである。
intra_dc_precisionは、DC係数の精度を表すデータであ
る。picture_structureは、フレームストラクチャかフ
ィールドストラクチャかを示すデータである。これは、
フィールドストラクチャの場合は、上位フィールドか下
位フィールドかもあわせて示す。

【０１５２】top_field_firstは、フレームストラクチ
ャの場合、最初のフィールドがトップフィールドである
のか、ボトムフィールドであるのかを示すフラグであ
る。frame_predictive_frame_dctは、フレーム・ストラ
クチャの場合、フレーム・モードDCTの予測がフレーム
・モードだけであることを示すデータである。concealm
ent_motion_vectorsは、イントラマクロブロックに伝送
エラーを隠蔽するための動きベクトルがついていること
を示すデータである。q_scale_typeは、線形量子化スケ
ールを利用するか、非線形量子化スケールを利用するか
を示すデータである。intra_vlc_formatは、イントラマ
クロブロックに、別の２次元VLC（可変長符号）を使う
かどうかを示すデータである。alternate_scanは、ジグ
ザグスキャンを使うか、オルタネート・スキャンを使う
かの選択を表すデータである。

【０１５３】repeat_first_fieldは、復号化時にリピー
トフィールドを生成するか否かを示すフラグであって、
復号化時の処理において、repeat_first_field が
「１」の場合にはリピートフィールドを生成し、repeat
_first_fieldが「０」の場合にはリピートフィールドを
生成しないという処理が行われる。

【０１５４】chroma_420_typeは、信号フォーマットが
４：２：０の場合、次のprogressive_frame と同じ値、
そうでない場合は０を表すデータである。progressive_
frameは、そのピクチャが、順次走査できているかどう
かを示すデータである。composite_display_flagは、ソ
ース信号がコンポジット信号であったかどうかを示すデ
ータである。v_axisは、ソース信号が、PALの場合に使
われるデータである。field_sequenceは、ソース信号
が、PALの場合に使われるデータである。sub_carrier
は、ソース信号が、PALの場合に使われるデータであ
る。burst_amplitudeは、ソース信号が、PALの場合に使
われるデータである。sub_carrier_phaseは、ソース信
号が、PALの場合に使われるデータである。

【０１５５】図３６は、picture_data()関数のシンタッ
クスを説明するための図である。このpicture_data()関
数によって定義されるデータエレメントは、slice()関
数によって定義されるデータエレメントである。但し、
ビットストリーム中に、slice()関数のスタートコード
を示すslice_start_codeが存在しない場合には、このsl
ice()関数によって定義されるデータエレメントはビッ
トストリーム中に記述されていない。

【０１５６】slice()関数は、スライスレイヤに関する
データエレメントを記述するための関数であって、具体
的には、slice_start_code、slice_quantiser_scale_co
de、intra_slice_flag、intra_slice、reserved_bits、
extra_bit_slice、extra_information_slice、およびex
tra_bit_slice 等のデータエレメントと、macroblock()
関数によって定義されるデータエレメントを記述するた
めの関数である。

【０１５７】slice_start_codeは、slice()関数によっ
て定義されるデータエレメントのスタートを示すスター
トコードである。slice_quantiser_scale_codeは、この
スライスレイヤに存在するマクロブロックに対して設定
された量子化ステップサイズを示すデータである。しか
し、各マクロブロック毎に、quantiser_scale_codeが設
定されている場合には、各マクロブロックに対して設定
されたmacroblock_quantiser_scale_codeのデータが優
先して使用される。intra_slice_flagは、ビットストリ
ーム中にintra_sliceおよびreserved_bitsが存在するか
否かを示すフラグである。intra_sliceは、スライスレ
イヤ中にノンイントラマクロブロックが存在するか否か
を示すデータである。スライスレイヤにおけるマクロブ
ロックのいずれかがノンイントラマクロブロックである
場合には、intra_sliceは「０」となり、スライスレイ
ヤにおけるマクロブロックの全てがノンイントラマクロ
ブロックである場合には、intra_sliceは「１」とな
る。reserved_bitsは、７ビットのデータであって
「０」の値を取る。extra_bit_sliceは、符号化ストリ
ームとして追加の情報が存在することを示すフラグであ
って、次にextra_information_sliceが存在する場合に
は「１」に設定される。追加の情報が存在しない場合に
は「０」に設定される。

【０１５８】macroblock()関数は、マクロブロックレイ
ヤに関するデータエレメントを記述するための関数であ
って、具体的には、macroblock_escape、macroblock_ad
dress_increment、およびmacroblock_quantiser_scale_
code等のデータエレメントと、macroblock_modes()関
数、および macroblock_vecters(s)関数によって定義さ
れたデータエレメントを記述するための関数である。

【０１５９】macroblock_escapeは、参照マクロブロッ
クと前のマクロブロックとの水平方向の差が３４以上で
あるか否かを示す固定ビット列である。参照マクロブロ
ックと前のマクロブロックとの水平方向の差が３４以上
の場合には、macroblock_address_incrementの値に３３
をプラスする。macroblock_address_incrementは、参照
マクロブロックと前のマクロブロックとの水平方向の差
を示すデータである。もし、このmacroblock_address_i
ncrementの前にmacroblock_escapeが１つ存在するので
あれば、このmacroblock_address_incrementの値に３３
をプラスした値が、実際の参照マクロブロックと前のマ
クロブロックとの水平方向の差分を示すデータとなる。
macroblock_quantiser_scale_codeは、各マクロブロッ
ク毎に設定された量子化ステップサイズである。各スラ
イスレイヤには、スライスレイヤの量子化ステップサイ
ズを示すslice_quantiser_scale_codeが設定されている
が、参照マクロブロックに対してmacroblock_quantiser
_scale_codeが設定されている場合には、この量子化ス
テップサイズを選択する。

【０１６０】図３７は、MPEG符号化ストリームのデータ
構造を示す説明図である。この図に示したように、ビデ
オエレメンタリストリームのデータ構造は、少なくとも
シーケンスレイヤ、GOPレイヤ、およびピクチャレイヤ
を含んでいる。

【０１６１】シーケンスレイヤは、next_start_code()
関数２０１、sequence_header()関数２０２、extension
_start_code()２０３、sequence_extension()関数２０
４、extension_and_user_data(0)関数２０５によって定
義されるデータエレメントから構成されている。GOPレ
イヤは、group_start_code２０６、group_of_picture_h
eader()関数２０７、extension_and_user_data(1)関数
２０８によって定義されるデータエレメントから構成さ
れている。ピクチャレイヤは、picture_header()関数２
０９、picture_coding_extension()関数２１０、extens
ion_and_user_data(2)関数２１１、picture_data()関数
２１２によって定義されるデータエレメントを含んでい
る。ビデオシーケンスの最後には、sequence_end_code
２１３が記述されている。

【０１６２】extension_and_user_data(2)関数２１１
は、既に図２６において説明したシンタックスからも理
解できるように、user_data_start_code２１４、user_d
ata()関数２１５、next_start_code２１６によって定義
されるデータエレメントを含んでいる。

【０１６３】user_data()関数２１５は、既に図２７に
おいて説明したシンタックスからも理解できるように、
time_code()関数２１７とuser_data２１８によって定義
されるデータエレメントを含んでいる。

【０１６４】なお、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものとす
る。

【０１６５】また、本明細書中において、上記処理を実
行するコンピュータプログラムをユーザに提供する提供
媒体には、磁気ディスク、CD-ROMなどの情報記録媒体の
他、インターネット、デジタル衛星などのネットワーク
による伝送媒体も含まれる。

【０１６６】

【発明の効果】以上の如く、請求項１に記載のデジタル
信号伝送装置、請求項４に記載のデジタル信号伝送方
法、および請求項５に記載の提供媒体によれば、第１の
ビットストリームから順序情報を抽出し、抽出した順序
情報に基づいてタイムスタンプを生成し、第２のビット
ストリームに挿入するようにしたので、所定の場所にお
ける画像データの処理を迅速に行うことができるように
なるとともに、他の場所においても、画像データを迅速
に処理することが可能となる。

【図面の簡単な説明】

【図１】Coding Phaseを説明する図である。

【図２】補助データを説明する図である。

【図３】エレメンタリストリームを伝送するシステムの
構成を示す図である。

【図４】補助データを伝送するシステムの構成を示す図
である。

【図５】MPEG方式における予測構造と符号化構造を説明
する図である。

【図６】MPEGエンコーダで発生する遅延について説明す
る図である。

【図７】スタジオの内部の構成を示すブロック図であ
る。

【図８】図７のスタジオの内部で伝送されるデータを説
明する図である。

【図９】図７のシステムにおいてデータを伝送するシス
テムの構成を示す図である。

【図１０】３−２プルダウン処理された画像の補助デー
タを説明する図である。

【図１１】２つのスタジオの間でビットストリームを伝
送するときのシステム構成を表すブロック図である。

【図１２】図１１のシステムで伝送されるストリームの
構成を表す図である。

【図１３】図１１のシステムにおいて、トランスポート
ストリームを伝送する構成を表すブロック図である。

【図１４】符号化処理の遅延を説明する図である。

【図１５】本発明を適用したMPEGエンコーダの構成を表
すブロック図である。

【図１６】本発明を適用したMPEGデコーダの構成を表す
ブロック図である。

【図１７】CPIを伝送する場合のシステムの構成を表す
図である。

【図１８】図１１のSDTI-CPインタフェース４６の構成
を表すブロック図である。

【図１９】補助データの伝送を説明する図である。

【図２０】３−２プルダウン処理におけるPTS_counter
とDTS_counterを説明する図である。

【図２１】POIを伝送する場合のシステムの構成を表す
図である。

【図２２】POIを伝送する場合の他のシステムの構成を
表す図である。

【図２３】video_sequence関数のシンタックスを説明す
る図である。

【図２４】sequence_header()関数のシンタックスを説
明する図である。

【図２５】sequence_extension()関数のシンタックスを
説明する図である。

【図２６】extension_and_user_data(i)関数のシンタッ
クスを説明する図である。

【図２７】user data()関数のシンタックスを表す図で
ある。

【図２８】user dataに記述される関数のData_IDを説明
する図である。

【図２９】V-Phase()関数のシンタックスを説明する図
である。

【図３０】H-Phase()関数のシンタックスを説明する図
である。

【図３１】Picture_Order()関数のシンタックスを説明
する図である。

【図３２】Ancillary_data()関数のシンタックスを説明
する図である。

【図３３】group_of_picture_header()関数のシンタッ
クスを説明する図である。

【図３４】picture_header()関数のシンタックスを説明
する図である。

【図３５】picture_coding_extension()関数のシンタッ
クスを説明する図である。

【図３６】picture_data()関数のシンタックスを説明す
る図である。

【図３７】MPEG方式のレイヤを説明する図である。

【符号の説明】

４２，４３ MPEGエンコーダ，４４，４５ MPEGデコ
ーダ，４６乃至４９SDTI-CPインタフェース，５０
SDTI-CPネットワーク，５１ SDTI-CPインタフェー
ス，６１，６２ TS MUX/DEMUX，７２，７３ MPEG
エンコーダ，７４，７５ MPEGデコーダ，７６乃至８
１ SDTI-CPインタフェース，８０ SDTI-CPネットワ
ーク

フロントページの続きＦターム(参考） 5C059 KK11 LA09 MA00 ME01 PP05 PP06 PP07 RB02 RB10 RB11 RC04 RC26 SS06 SS08 SS11 UA02 UA05 UA32

Claims

【特許請求の範囲】

【請求項１】画像信号の符号化順序と、前記画像信号
の表示順序に関する順序情報が、前記画像信号のアクセ
スユニット単位で挿入されている第１のビットストリー
ムを受信する第１の受信手段と、前記第１の受信手段により受信された前記第１のビット
ストリームから前記順序情報を抽出し、抽出した前記順
序情報に基づいてタイムスタンプを生成し、第２のビッ
トストリームに挿入して出力する第１の出力手段とを含
むことを特徴とするデジタル信号伝送装置。
【請求項２】前記第２のビットストリームを受信する
第２の受信手段と、前記第２の受信手段により受信された前記第２のビット
ストリームから、前記タイムスタンプを生成し、前記第
１のビットストリームに挿入して出力する第２の出力手
段とをさらに含むことを特徴とする請求項１に記載のデ
ジタル信号伝送装置。
【請求項３】前記符号化順序は、前記画像信号のフィ
ールドの表示時間を単位とすることを特徴とする請求項
１に記載のデジタル信号伝送装置。
【請求項４】画像信号の符号化順序と、前記画像信号
の表示順序に関する順序情報が、前記画像信号のアクセ
スユニット単位で挿入されている第１のビットストリー
ムを受信する受信ステップと、前記受信ステップの処理で受信された前記第１のビット
ストリームから前記順序情報を抽出し、抽出した前記順
序情報に基づいてタイムスタンプを生成し、第２のビッ
トストリームに挿入して出力する出力ステップとを含む
ことを特徴とするデジタル信号伝送方法。
【請求項５】画像信号の符号化順序と、前記画像信号
の表示順序に関する順序情報が、前記画像信号のアクセ
スユニット単位で挿入されている第１のビットストリー
ムを受信する受信ステップと、前記受信ステップの処理で受信された前記第１のビット
ストリームから前記順序情報を抽出し、抽出した前記順
序情報に基づいてタイムスタンプを生成し、第２のビッ
トストリームに挿入して出力する出力ステップとを含む
処理をデジタル信号伝送装置に実行させるコンピュータ
が読み取り可能なプログラムを提供することを特徴とす
る提供媒体。