JPH11252058A

JPH11252058A - 多重化装置及び方法

Info

Publication number: JPH11252058A
Application number: JP4807698A
Authority: JP
Inventors: Masatoshi Takashima; 昌利高嶋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-02-27
Filing date: 1998-02-27
Publication date: 1999-09-17

Abstract

(57)【要約】【課題】圧縮符号化装置において、実際に入力される
ビデオ信号に、ジッタ成分が含まれていると、オーディ
オ信号と、ビデオ信号がずれてしまう。特に、入力ビデ
オ画像が乱れ、ビデオエンコーダで符号化できない画像
が生じた場合には、大きなずれが発生する。【解決手段】コントローラ６は、ビデオエンコーダ３
からのアクセスユニット（Access Unit；ＡＵ）間のジ
ッタによる変動成分を含んだ時間間隔（タイムインター
バル）とこのアクセスユニットの識別情報（インプット
フレーム番号）とに基づいてビデオデータの再生又は復
号を開始する時刻（タイムスタンプ）を演算する。マル
チプレクサ７は、コントローラ６で演算した上記タイム
スタンプを上記アクセスユニット毎に付加し、さらにオ
ーディオエンコーダ５からのアクセスユニットと多重化
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、信号の高能率符合
化により符合化された複数の符号列を多重化する多重化
装置及び方法に関する。

【０００２】

【従来の技術】ＭＰＥＧでは、ビデオ、オーディオ又は
データを時分割多重して記録又は伝送することが行われ
る。その際に、それぞれの同期をとる為に、ビデオ、オ
ーディオ、データの各アクセスユニット（Access Uni
t；ＡＵ）と呼ばれる符号又は復号再生の単位毎に、タ
イムスタンプの情報を付加する。タイムスタンプとは、
デコーダ側で、各アクセスユニットを、いつ復号再生す
べきかを示す時刻管理情報であり、２種類のタイムスタ
ンプがある。１つは再生出力の時刻管理情報(Presentat
ion Time Stamp；ＰＴＳ) で、もう１つは復号の時刻管
理情報(Decoding Time Stamp；ＤＴＳ) である。

【０００３】例えばＭＰＥＧシステムの基準復号器内部
の基準同期情報（System Time Clock；ＳＴＣ）がＰＴ
Ｓに一致すると、復号器はアクセスユニットを再生出力
する。また、ＭＰＥＧではビデオの特殊な符号化ストリ
ームの送出順序があることから上記ＤＴＳが設けられ
た。すなわち、ＩピクチャとＰピクチャは、Ｂピクチャ
よりも先行して符号化ストリームに送出されるために、
復号する順序と再生出力する順序が異なることに対応し
ている。ＰＴＳとＤＴＳが異なる場合には、両方のタイ
ムスタンプをつけ、一致する場合にはＰＴＳだけを付け
る。

【０００４】具体的には、Ｂピクチャのあるビデオ符号
化ストリームでは、ＩピクチャとＰピクチャでＰＴＳと
ＤＴＳを付けることになるが、Ｂピクチャや、Ｂピクチ
ャのないＩピクチャとＰピクチャではＰＴＳだけでよ
い。

【０００５】これらのタイムスタンプを用いて圧縮符号
化された複数の信号の同期をとり、複数の信号を多重化
する従来の多重化装置を用いた、記録再生装置１００の
構成を図１６に示す。この記録再生装置１００では、簡
単の為に、入力端子１０１からのビデオ信号と、入力端
子１０２からのオーディオ信号１チャンネルを多重化す
る例を示す。

【０００６】この図１６において、ビデオ信号はビデオ
エンコーダ１０３により取り込まれる。このビデオエン
コーダ１０３は、上記ビデオ信号に符号化を施し、符号
列を出力バッファ１０３ａに蓄えると同時に、システム
コントローラ&マルチ／デマルチプレクサ１０４からの
要求に従って、バス１０５にデータを流しだす処理を行
なう。また、ビデオエンコーダ１０３の内部には上記符
号列のアクセスユニットに関する情報（Access Unit In
formation；ＡＵＩ）を蓄えておくメモリ１０３ｂも備
えられている。

【０００７】オーディオ信号はオーディオエンコーダ１
０６に取り込まれ、オーディオ符号列となって出力バッ
ファ１０６ａに蓄えられる。このオーディオ符号列は、
システムコントローラ&マルチ／デマルチプレクサ１０
４からの要求に従って、バス１０５に流しだされる。ま
た、オーディオエンコーダ１０６の内部には上記符号列
のＡＵＩを蓄えておくメモリ１０６ｂも備えられてい
る。

【０００８】システムコントローラ&マルチ／デマルチ
プレクサ１０４は、ビデオエンコーダ１０３及びオーデ
ィオエンコーダ１０６から上記ＡＵＩを取り出し、それ
に従って上記タイムスタンプを演算し、例えばハードデ
ィスク等のストレージデバイス１０７にビデオの符号
列、オーディオの符号列、及びタイムスタンプ情報を流
し込むことで、多重化を完成させる。

【０００９】以上が記録時の処理であるが、再生時に
は、システムコントローラ&マルチ／デマルチプレクサ
１０４が、ストレージデバイス１０７から、データを吸
い上げ、ビデオ、オーディオ、その他の情報にデマルチ
プレクス処理を施し、各エレメンタリの符号列をビデオ
デコーダ１０８、オーディオデコーダ１０９に転送す
る。

【００１０】また、システムコントローラ&マルチ／デ
マルチプレクサ１０４は、タイムキーパ１１０に、再生
同期信号であるシステム時刻基準参照値（System Clock
Reference；ＳＣＲ）を送る。

【００１１】タイムキーパ１１０は、再生のＳＴＣを持
っており、システムコントローラ&マルチ／デマルチプ
レクサ１０４からの上記ＳＣＲを受け取り、ＳＴＣをリ
セットすると同時に、各エレメンタリ符号列のタイムス
タンプ情報を受け取り、各デコーダ１０８及び１０９
に、デコード、及び、ディスプレイのスタート信号、す
なわち出力バッファ１０８ａ及び１０８ｂに対する復号
化データの書き込み、及び読み出し開始信号を出力す
る。

【００１２】これにより、各デコーダ１０８及び１０９
は、同期のとれたビデオ信号、オーディオ信号を出力バ
ッファ１０８ａ及び１０９ａを介して、出力端子１１１
及び１１２から同期再生できる。

【００１３】このように、ビデオ信号と、オーディオ信
号の同期再生は、多重化されたタイムスタンプ情報と、
それに従って、各デコーダ１０８及び１０９をコントロ
ールするタイムキーパ１１０によって実現される。

【００１４】この記録再生装置１００では、フィールド
間の間隔を一定とし、２９．９７Ｈｚのビデオ信号の場
合には、１フレームを２７ＭＨｚでカウントし、１フレ
ーム９００，９００サイクルという値で、ＰＴＳ、ＤＴ
Ｓを演算して多重化を行っている。

【００１５】

【発明が解決しようとする課題】ところで、実際に入力
されるビデオ信号に、ジッタ成分が含まれていると、オ
ーディオ信号と、ビデオ信号がずれる原因になってしま
う。特に、入力ビデオ画像が乱れ、ビデオエンコーダ１
０３で符号化できない画像が生じた場合には、大きなず
れが発生する。この様子を図１７、図１８を用いて説明
する。

【００１６】図１７において、１）〜８）が、上記ビデ
オエンコーダ１０３で行われるビデオエンコード処理を
示しており、９）〜１３）が上記オーディオエンコーダ
１０６で行われるオーディオエンコード処理を示してい
る。

【００１７】１）はビデオ同期信号（Video Sync）が入
ってくる様子を示している。太線は上記ビデオエンコー
ダ１０３が、フレーム（エンコード処理する際に、ピク
チャを構成する単位）の始めを認識する場所を示してい
る。

【００１８】２）は入力映像信号を示しており、ビデオ
エンコーダ１０３が画像をうまく取り込めたものについ
ては、ピクチャタイプ（Picture Type）が記入されてい
る。ここで、Ｂ３とＢ４の間では画像の乱れがあってエ
ンコードが不可能となっている。

【００１９】３）は上記システムコントローラ&マルチ
／デマルチプレクサ１０４で、演算されるＳＴＣの値で
あり、次の４）に示すタイムインターバルで分かるよう
に一定である。

【００２０】５）に示すシステムタイムクロックSTC_V0
は、タイムスタンプの初期値であり、STC_V-1はそれよ
り早いタイミングが必要になる場合、すなわちＢピクチ
ャが有る場合に、上記ＤＴＳとして使用されるシステム
タイムクロックである。また、ここでシステムタイムク
ロックSTC_V4は、一定値を４回積算した値であり、太線
で示した所が、その時間を示している。これは、本来Ｂ
４ピクチャが、入力し始めるタイミングである。

【００２１】６）は２）で取り込みに成功した画像が、
ビデオエンコーダ１０３でエンコードされる時間を示し
ている。ビデオエンコーダ１０３では、２）で取り込ん
だ画像のフレームを入れ換え、Ｉ２、Ｂ０、Ｂ１、Ｐ５
・・・の順番でエンコードする。ここでは、画像の乱れ
があったので、エンコードができない時間が生じてい
る。

【００２２】７）は６）でエンコードされた符号列が蓄
積される出力バッファ１０３ａの様子を示している。ビ
デオデコーダ１０８のバッファ１０８ａのミラー状態を
形成している。Ｉ２がエンコードされたと同時に出力バ
ッファ１０３ａに符号化データがたまり、Ｂ０がエンコ
ードされている間に出力され、Ｂ０のエンコードが完了
したと同時にまた出力バッファ１０３ａに符号化データ
がたまる。画像の乱れがあって符号化できない時間帯は
出力バッファ１０３ａ内部のデータは増減がない。

【００２３】８）は３）のＳＴＣの値を並べかえて、タ
イムスタンプであるＤＴＳ、ＰＴＳを決定し、多重化す
る様子を示している。ここで注目すべきは、画像の乱れ
があった場合、その間の画像が、ビデオエンコーダ１０
３でカットされ、符号列として出力されないにもかかわ
らず、タイムスタンプはその間、STC_V3とSTC_V4の間の
ように短くなってしまっている点である。

【００２４】９）〜１３）は、同様にオーディオのエン
コード処理の場合を示している。ビデオとの違いは、オ
ーディオアクセスユニット（Audio Access Unit；ＡＡ
Ｕ、但し図にはＡＵとのみ記載する）は、ビデオ信号の
画像の乱れがあったところに、オーディオ信号が取り込
まれる為に、その間、カットされることなく、オーディ
オエンコーダ１０６でエンコードされている点である。

【００２５】次に、図１８を用いてビデオデコーダ１０
８及びオーディオデコーダ１０９でのデコード処理につ
いて説明する。

【００２６】この図１８において、１）〜４）は、ビデ
オデコーダ１０８で行われるビデオデコード処理を示し
ており、５）〜８）はオーディオデコーダ１０９で行わ
れるオーディオデコード処理を示している。

【００２７】１）はビデオデコーダ１０８の出力バッフ
ァ１０８ａの状態を示している。２）はビデオデコーダ
１０８でのデコード処理の様子を示している。ＳＴＣ
が、ＤＴＳの時間に、デコードを開始し、デコードを完
了する様子を示している。このように、ＭＰＥＧでは、
一瞬にして、デコード処理が行なわれる理想モデルを想
定して、タイムスタンプが多重化される。

【００２８】３）はＳＴＣがＰＴＳの時間に、出力バッ
ファ１０８ａから復号データが読み出され、表示が開始
される様子を示している。デコードの順番がＩ２，Ｂ
０，Ｂ１，Ｐ５・・・であるのに対して、表示の順番は
Ｂ０，Ｂ１，Ｉ２，Ｂ３・・・である。

【００２９】４）はＳＴＣの値であり、これはタイムキ
ーパ１１０の内部に存在する。５）〜８）は上述したよ
うにオーディオデコードの処理であり、ビデオデコード
処理と同様に示されている。

【００３０】ここで、図１７の10）に示すオーディオ入
力のＡＵ１７に注目すると、これは、図１７の２）のビ
デオ入力のＰ５ピクチャの時のオーディオデータである
ことがわかる。ところが、図１８の３）と、図１８の
７）を比較すると、ＡＵ１７はＰ８ピクチャの時に出力
されており、３ピクチャものずれが生じてしまってい
る。

【００３１】このように、ジッタのある信号または、入
力が乱れてしまう可能性があるような信号を、ディジタ
ル圧縮して、ビデオ信号、オーディオ信号の多重化を行
なうような場合には、同期がずれてしまう。本発明は、
上記実情に鑑みてなされたものであり、複数の入力信号
の内の少なくとも一つの信号にジッタが発生したり入力
信号が乱れても、同期のずれを発生させない多重化装置
及び方法の提供を目的とする。

【００３２】

【課題を解決するための手段】本発明に係る多重化装置
は複数の入力信号がそれぞれの符号化のためのユニット
毎に符号化されて得られた複数の符号化データを多重化
するとき、上記課題を解決するために、制御手段に上記
複数の入力信号の内の一の入力信号のユニット間のジッ
タによる変動成分を含んだ時間間隔とこのユニットの識
別情報とに基づいてユニット毎の符号化データの再生又
は復号を開始する時刻を演算させ、多重化手段に上記制
御手段で演算した上記時刻を上記ユニット毎に付加して
他の入力信号の符号化データと共に多重化させる。

【００３３】また、本発明に係る多重化方法は、上記課
題を解決するために、上記複数の入力信号の内の一の入
力信号のユニット間のジッタによる変動成分を含んだ時
間間隔とこのユニットの識別情報とに基づいてユニット
毎の符号化データの再生又は復号を開始する時刻を演算
し、この演算した上記時刻を上記ユニット毎に付加して
他の入力信号の符号化データと共に多重化する。

【００３４】具体的には、例えばビデオやオーディオの
ような各エレメンタリブロックから符号化ユニットとな
るアクセスユニット(Access Unit)間の時間間隔や、識
別番号に基づいて制御手段がＳＴＣの値を算出する。

【００３５】次に、符号化ユニット毎のエンコーダが完
了される毎に、その符号化ユニットの再生又は復号の順
番に関する情報、すなわち、デコードオーダー番号（De
coding Order No.）及びディスプレイオーダー番号（Di
splay Order No.）を各エレメンタリブロックから制御
手段が取り出して上記多重化手段に送る。

【００３６】このDecoding Order No.及び、Display Or
der No.を使って制御手段が演算したＳＴＣ値を並べか
えることで、多重化手段はタイムスタンプ決定し、多重
化する。

【００３７】具体的には、制御手段は、各エレメンタ
リブロック（ここでは、ビデオまたはオーディオのブロ
ックを指す）から多重化手段に、ＳＴＣの値を取り込む
タイミングを提供する。

【００３８】すると、多重化手段は、符号化ユニットが
入力されるＳＴＣの値を取り込む。次に、多重化手段
は、符号化手段でエンコードが完了される毎に、制御手
段から送られるその符号化ユニットのDecoding Order N
o.と、Display Order No.を使って、算術されたＳＴＣ
値を並べかえることで、タイムスタンプ値を決定し、多
重化する。

【００３９】また、多重化を行なう複数の信号に対し
て、符号化ユニット毎のＳＴＣをメモリし、これらが、
一定のジッタ範囲を越えた場合、エラー範囲を検出し、
重なりあう時間分、タイムスタンプとして多重化するＳ
ＴＣの値を小さくする。

【００４０】このようにすれば、ジッタ成分を持つよう
な信号を、ディジタルエンコードする際に、複数の信号
の同期を取ることができる。また、特にストレージデバ
イスを持つような、エンコーダ、デコーダシステムにお
いては、このように、ジッタ成分を持つような信号の記
録、再生が必須であり、本発明を使うことで、同期を取
るので、より自然な記録、再生を実現できる。

【００４１】またストレージデバイスでない、伝送系の
システムにおいても、逆3-2プルダウン処理に入った
り、出たりするような場合において、有効であり、か
つ、蓄積系システム同様に、非常に簡単に、同期を実現
するタイムスタンプの多重化を可能とする点において有
効である。

【００４２】

【発明の実施の形態】以下、本発明に係る多重化装置及
び方法の実施の形態について図面を参照しながら説明す
る。この実施の形態は、ビデオ信号とオーディオ信号１
チャンネルを多重化する多重化装置を備えた符号化装置
である。

【００４３】図１において、この符号化装置１は、入力
端子２からのビデオ信号をエンコードするビデオエンコ
ーダ３と、入力端子４からのオーディオ信号をエンコー
ドするオーディオエンコーダ５と、ビデオエンコーダ３
からのアクセスユニット（Access Unit；ＡＵ）間のジ
ッタによる変動成分を含んだ時間間隔（タイムインター
バル）とこのアクセスユニットの識別情報（インプット
フレーム番号）とに基づいてビデオデータの再生又は復
号を開始する時刻（タイムスタンプ）を演算するコント
ローラ６と、このコントローラ６で演算した上記タイム
スタンプを上記アクセスユニット毎に付加し、さらに上
記オーディオエンコーダ５からのアクセスユニットと多
重化するマルチプレクサ７とを備え、多重化出力を出力
端子８から、例えばハードディスクドライブのようなス
トレージデバイスにＭＰＥＧフォーマットのプログラム
ストリームとして記録する。ここで、コントローラ６と
マルチプレクサ７が本発明に係る多重化装置を構成して
おり、本発明に係る多重化方法により動作する。

【００４４】コントローラ６は、ビデオエンコーダ３で
ビデオのアクセスユニット毎にエンコードが完了する
と、アクセスユニット毎の再生又は復号の順番に関する
情報、例えば後述するデコードオーダー番号（Decoding
Order No.）とディスプレイオーダー番号（Display Or
der No．）を用いて、アクセスユニット毎に付加すべき
タイムスタンプを決定する。タイムスタンプには、復号
の時刻管理情報（Decoding Time Stamp；ＤＴＳ）と再
生出力の時刻管理情報（Presentation Time Stamp；Ｐ
ＴＳ）がある。

【００４５】実際にコントローラ６がアクセスユニット
毎に付加すべきタイムスタンプを決定するのは、このタ
イムスタンプに相当する基準同期情報（System Time Cl
ock；ＳＴＣ）を並べ換えることによる。

【００４６】以下に、この符号化装置１の基本的な動作
について図２を用いて説明する。この図２において、
１）〜８）が、上記ビデオエンコーダ３で行われるビデ
オエンコード処理を示しており、９）〜１３）が上記オ
ーディオエンコーダ５で行われるオーディオエンコード
処理を示している。

【００４７】１）はビデオ同期信号（Video Sync）が入
ってくる様子を示している。太線は上記ビデオエンコー
ダ３が、フレーム（エンコード処理する際に、ピクチャ
を構成する単位）の始めを認識した場所を示している。

【００４８】２）は入力映像信号を示しており、ビデオ
エンコーダ３が、画像をうまく取り込めたものについて
は、ピクチャタイプ（Picture Type）が記入されてい
る。ここで、Ｂ３とＢ４の間では、画像の乱れがあっ
て、エンコード不可能となっている。

【００４９】３）はコントローラ６で、タイムスタンプ
を演算するのに用いるＳＴＣの値である。４）はビデオ
信号のアクセスユニット間の時間間隔（タイムインター
バル）と、アクセスユニットの識別情報（入力フレーム
No.）である。画像の乱れがあった時には、入力フレー
ムNo.4 のようになる。すなわち、Ｂ４ピクチャの取り
込みが完了することによって、この入力フレームNo.4
のタイムインターバルが確定する。具体的には、Ｂ３ピ
クチャを取り込み開始したポイントから、数え始め、Ｂ
４ピクチャを取り込み開始した時点までの時間を観測す
る。但し、Ｂ４ピクチャの開始位置が確定するのは、Ｂ
４ピクチャの取り込みが完了した時である。

【００５０】５）は４）で確定したタイムインターバル
を、積算することで、ＳＴＣの値を積算する様子を示し
ている。システムタイムクロックSTC_V0は、タイムスタ
ンプの初期値であり、STC_V-1はそれより早いタイミン
グが必要になる場合、すなわちＢピクチャが有る場合
に、上記ＤＴＳとして使用されるシステムタイムクロッ
クである。

【００５１】６）は２）で取り込みに成功した入力画像
が、ビデオエンコーダ３でエンコードされる時間を示し
ている。ビデオエンコーダ３では２）で取り込んだ画像
のフレームを入れ換え、Ｉ２、Ｂ０、Ｂ１、Ｐ５・・・
の順番でエンコードする。ここでは、画像の乱れがあっ
たので、エンコードができない時間が生じている。

【００５２】７）は６）でエンコードされた符号列が蓄
積される出力バッファの様子を示している。図示しない
ビデオデコーダの出力バッファのミラー状態を形成して
いる。Ｉ２がエンコードされたと同時に出力バッファに
符号化データがたまり、Ｂ０がエンコードされている間
に出力され、Ｂ０のエンコードが完了したと同時にまた
出力バッファに符号化データがたまる様子を示してい
る。画像の乱れがあって符号化できない時間帯は出力バ
ッファ内部のデータは増減がない。８）ではピクチャ毎
に発生した符号列に対するタイムスタンプを、５）の値
を並べかえてから付加する様子が示されている。

【００５３】９）〜１３）は、同様にオーディオのエン
コード処理の場合を示している。ビデオとの違いは、オ
ーディオアクセスユニット（Audio Access Unit；ＡＡ
Ｕ、図にはＡＵとのみ記載する）は、ビデオ信号の画像
の乱れがあったところに、オーディオ信号が取り込まれ
る為に、その間、カットされることなく、オーディオエ
ンコーダ５でエンコードされている点である。

【００５４】このように動作する符号化装置１におい
て、入力画像の乱れにより、エンコードがスキップされ
るような場合でも、多重化装置が図２の８）に示すよう
にタイムスタンプを付加することで、例えば図３に示す
ような再生装置１０では画像の補間処理を行なうことが
できる。

【００５５】この再生装置１０は、図示しないストレー
ジデバイスから読み出した多重化データを分離し、ビデ
オ信号とオーディオ信号とを同期をとって再生する。コ
ントローラ１２の制御によりストレージデバイスから吸
い上げられたビデオデータ、オーディオデータ、その他
の情報からなる多重化データは、デマルチプレクサ１３
により分離される。デマルチプレクサ１３で分離され
た、各エレメンタリの符号列はビデオデコーダ１４、オ
ーディオデコーダ１５に転送される。

【００５６】また、コントローラ１２はタイムキーパ１
６にシステム時刻基準参照値ＳＣＲを送る。タイムキー
パ１６は再生のＳＴＣを持っており、コントローラ１２
からの上記ＳＣＲを受け取り、ＳＴＣをリセットすると
同時に、各エレメンタリ符号列のタイムスタンプ情報を
コントローラ１２を介して受け取り、各デコーダ１４及
び１５に、デコード、及び、ディスプレイのスタート信
号、すなわち出力バッファに対する復号化データの書き
込み、及び読み出し開始信号を出力する。

【００５７】これにより、各デコーダ１４及び１５は、
同期のとれたビデオ信号、オーディオ信号をデコーダバ
ッファを介して、出力端子１７及び１８から同期再生で
きる。

【００５８】この再生装置１０のビデオデコーダ１４及
びオーディオデコーダ１５でのデコード処理を示したの
が図４である。

【００５９】この図４において、１）〜４）はビデオデ
コーダ１４で行われるビデオデコード処理を示してお
り、５）〜８）はオーディオデコーダ１５で行われるオ
ーディオデコード処理を示している。

【００６０】１）はビデオデコーダ１４に内蔵されるデ
コードバッファの状態を示している。２）はビデオデコ
ーダ１４でのデコード処理の様子を示している。タイム
キーパ１６でＳＴＣが、ＤＴＳの時間に一致したら、デ
コードを開始し、デコードを完了する様子を示してい
る。ＭＰＥＧでは、このように、一瞬にして、デコード
処理が行なわれる理想モデルを想定して、タイムスタン
プが多重化される。

【００６１】３）はタイムキーパ１６でＳＴＣがＰＴＳ
の時間に一致したら、出力バッファから復号データが読
み出され、表示が開始される様子を示している。デコー
ドの順番がＩ２，Ｂ０，Ｂ１，Ｐ５・・・であるのに対
して、表示の順番はＢ０，Ｂ１，Ｉ２，Ｂ３・・・であ
る。この表示の順番のＢ３とＢ４の間では上述したよう
に補間処理を行うことができる。４）はＳＴＣの値であ
り、これは、タイムキーパ１６の内部に存在する。

【００６２】５）〜８）は上述したようにオーディオデ
コードの処理であり、ビデオデコード処理と同様に示さ
れている。

【００６３】ここで、図２の１０）に示すオーディオ入
力のアクセスユニットＡＵ１７に注目すると、これは図
２の２）のビデオ入力のＰ５ピクチャの時のオーディオ
データであることがわかる。同様に、図４の３）と、図
４の７）を比較しても、アクセスユニットＡＵ１７は、
Ｐ５ピクチャの時に出力されており、従来のように３ピ
クチャものずれが生じていない。

【００６４】このように、上記符号化装置１の多重化装
置により多重化したデータを、上記再生装置１０で再生
すれば、ジッタのある信号または、入力が乱れてしまう
可能性があるような信号を、ディジタル圧縮して、ビデ
オ信号、オーディオ信号の多重化を行なうような場合で
も、同期のずれを発生させないで、再生することができ
る。

【００６５】次に、符号化装置１に内蔵されている多重
化装置によりタイムスタンプを演算し、多重化する処理
について図５〜図７のフローチャートを用いて説明す
る。ここでの多重化処理は、上述したように、コントロ
ーラ６の制御によりマルチプレクサ７で行われる。

【００６６】先ず、図５のステップＳ１で、ＳＴＣの初
期値を設定する。ステップＳ２で図２の４）に示したタ
イムインターバルの取り込みを行なう。そして、ステッ
プＳ３でＳＴＣを演算する。

【００６７】ステップＳ４では、アクセスユニット情報
（ＡＵＩ）が更新されたかどうかをチェックする。ここ
で、アクセスユニット情報（ＡＵＩ）とは、１アクセス
ユニットＡＵ（例えばビデオではピクチャ）のエンコー
ドが完了される毎に提供される、そのアクセスユニット
に関する情報である。アクセスユニット情報には、デコ
ーディングオーダー番号（Decoding Order No.）と、デ
ィスプレイオーダー番号（Display Order No.）があ
る。これらは、ＭＰＥＧにおけるＧＯＰ毎に繰り返され
る、画面順を表すテンポラル・リファレンス（temporal
_reference）の値から、簡単に算出できる。このテンポ
ラル・リファレンスのみを提供することでも可能であ
る。この他、多重化の為に、アクセスユニット情報とし
ては、ピクチャタイプ（picture_type）、ジェネレイテ
ッド・ビットがある。

【００６８】ステップＳ４でアクセスユニット情報（Ａ
ＵＩ）が更新されていないと判断したときには、ステッ
プＳ２〜ステップＳ４の処理を繰り返す。ここで、新し
いタイムインターバルが存在すれば、ＳＴＣ(インター
バルフレーム番号(AU) NO.）を演算し、メモリする。

【００６９】ステップＳ４でアクセスユニット情報（Ａ
ＵＩ）が更新されたときには、ステップＳ５に進み、ア
クセスユニット情報（ＡＵＩ）を取り込み、ステップＳ
６にて、ＳＴＣを並べかえることで、タイムスタンプＤ
ＴＳ，ＰＴＳを決定し、ステップＳ２の処理に戻る。

【００７０】図６のステップＳ７は、ＳＴＣの演算ルー
チンである。ステップＳ８で、取り込んだタイムインタ
ーバルを、前回のＳＴＣの値に加算することで、新しい
ＳＴＣの値が算出される。

【００７１】図７のステップＳ１０は、ＤＴＳ、ＰＴＳ
の演算ルーチンである。ステップＳ１１に示すようにデ
コードオーダー番号（Decoding Order No.）と、ディス
プレイオーダー番号（Display Order No.）の値に応じ
て、ＤＴＳ、ＰＴＳを決定する。ビデオ信号で、Ｂピク
チャが存在する場合、フレームの並べ変えが行なわれ、
ＳＴＣの初期化より、早い時間に、デコードが開始され
る必要が生じる。この時間は、図２の５）に示す STC_V
-1であり、これは、計算によって求められる。

【００７２】以上に説明した符号化装置１の多重化装置
（コントローラ６とマルチプレクサ７とからなる）で
は、ＳＴＣ値を決定する際のタイミングが、重要であ
る。これを図８を用いて説明する。

【００７３】１）でタイムインターバル（Time Interva
l）の開始点（Start Point）を決定する。２）で許容ジ
ッタ（jitter）範囲にアクセスユニットの切れ目がくる
ことを確認する。３）でタイムインターバルの終了点
（Time Interval End Point）を決定し、タイムインタ
ーバルを取り込んでＳＴＣの値を算出する。４）で入力
画像を取り込み、アクセスユニットを取り込む。５）で
アクセスユニットが、エラー無く取り込みに成功したか
どうかを判断する。取り込みに成功した場合、６）で
３）により算出したＳＴＣの値を、今取り込みに成功し
たアクセスユニットのＳＴＣとしてメモリする。そし
て、７）でエンコード（Encode）処理に入る。

【００７４】図９には上記符号化装置１からの多重化デ
ータをストレージデバイスに記録するとともに、このス
トレージデバイスから多重化データを読み出して同期再
生を行う再生装置１０とからなる記録再生装置２０の構
成を示す。

【００７５】この記録再生装置２０は、システムコント
ローラ&マルチ／デマルチプレクサ２１とバス２２を介
して接続されるビデオエンコーダ３と、オーディオエン
コーダ５と、ストレージデバイス２３と、ビデオデコー
ダ１４と、オーディオデコーダ１５と、タイムキーパー
１６とを備えて成る。ここで、システムコントローラ&
マルチ／デマルチプレクサ２１は、上記多重化装置を構
成したコントローラ６とマルチプレクサ７と上記再生装
置１０におけるコントローラ１２とデマルチプレクサ１
３とをまとめた１チップのＬＳＩである。

【００７６】ビデオ信号はビデオエンコーダ３により取
り込まれる。このビデオエンコーダ３は、上記ビデオ信
号に符号化を施し、符号列を出力バッファ３ａに蓄える
と同時に、システムコントローラ&マルチ／デマルチプ
レクサ２１からの要求に従って、バス２２にデータを流
しだす処理を行なう。また、ビデオエンコーダ３の内部
には上記符号列のアクセスユニットＡＵに関する情報(A
ccess Unit Information；ＡＵＩ)を蓄えておくメモリ
３ｂも備えられている。

【００７７】オーディオ信号は、オーディオエンコーダ
５に取り込まれ、オーディオ符号列となって出力バッフ
ァ５ａに蓄えられる。このオーディオ符号列は、システ
ムコントローラ&マルチ／デマルチプレクサ２１からの
要求に従って、バス２２に流しだされる。また、オーデ
ィオエンコーダ５の内部には上記符号列のＡＵＩを蓄え
ておくメモリ５ｂも備えられている。

【００７８】システムコントローラ&マルチ／デマルチ
プレクサ２１は、ビデオエンコーダ３及びオーディオエ
ンコーダ５から上記アクセスユニット情報（ＡＵＩ）を
取り出し、それに従って、上記タイムスタンプを演算
し、ストレージデバイス２３にビデオの符号列、オーデ
ィオの符号列、及びタイムスタンプ情報を流し込むこと
で、多重化を完成させる。

【００７９】以上が記録時の処理であるが、再生時に
は、システムコントローラ&マルチ／デマルチプレクサ
２１が、ストレージデバイス２３から、データを吸い上
げ、ビデオ、オーディオ、その他の情報にデマルチプレ
クス処理を施し、各エレメンタリの符号列をビデオデコ
ーダ１４、オーディオデコーダ１５に転送する。

【００８０】また、システムコントローラ&マルチ／デ
マルチプレクサ２１は、タイムキーパ１６に、再生同期
信号であるシステム時刻基準参照値（System Clock Ref
erence；ＳＣＲ）を送る。

【００８１】タイムキーパ１６は、再生のＳＴＣを持っ
ており、システムコントローラ&マルチ／デマルチプレ
クサ２１からの上記ＳＣＲを受け取り、ＳＴＣをリセッ
トすると同時に、各エレメンタリ符号列のタイムスタン
プ情報を受取り、各デコーダ１４及び１５のＡＵＩ用メ
モリ１４ｂ及び１５ｂに、デコード、及び、ディスプレ
イのスタート信号、すなわち出力バッファ１４ａ及び１
５ｂに対する復号化データの書き込み、及び読み出し開
始信号を出力する。

【００８２】これにより、各デコーダ１４及び１５は、
同期のとれたビデオ信号、オーディオ信号を出力バッフ
ァ１４ａ及び１５ａを介して、出力端子１７及び１８か
ら同期再生できる。

【００８３】さらに、この記録再生装置２０では、図１
に示した符号化装置１と図３に示した再生装置１０を内
蔵しているのと同様であるので、ジッタのある信号また
は、入力が乱れてしまう可能性があるような信号を、デ
ィジタル圧縮して、ビデオ信号、オーディオ信号の多重
化を行なうような場合でも、同期のずれを発生させない
で、再生することができる。

【００８４】次に、本発明に係る多重化装置及び方法の
他の実施の形態について説明する。この他の実施の形態
も、ビデオ信号とオーディオ信号１chを多重化する多重
化装置を内蔵する符号化装置である。

【００８５】図１０には、この符号化装置と上記再生装
置１０と同様の再生装置を内蔵する記録再生装置３０の
構成を示す。

【００８６】この記録再生装置３０は、上記図９に示し
た記録再生装置２０にＳＴＣストレージ９を備えた構成
である。ＳＴＣストレージ９は、ビデオエンコーダ３と
オーディオエンコーダ５から上記タイムスタンプに相当
するＳＴＣを暫定的に取り込むためのタイミングパルス
（STC_Latch_Tim）と、このＳＴＣを確定するためのフ
ラグ（store_last_STC）受け取る。そして、このＳＴＣ
ストレージ９は、後述するようにカウンタを有し、タイ
ミングパルス（STC_Latch_Tim）と、フラグ（store_las
t_STC）により確定したＳＴＣを取り込み、システムコ
ントローラ&マルチ／デマルチプレクサ２１に供給す
る。

【００８７】システムコントローラ&マルチ／デマルチ
プレクサ２１では、ビデオエンコーダ３でアクセスユニ
ットの符号化が完了される毎に、上記アクセスユニット
情報（ＡＵＩ）を受け取り、このアクセスユニット情報
（ＡＵＩ）を使って上記ＳＴＣストレージ９からのＳＴ
Ｃを並べ換えてタイムスタンプを決定し、多重化データ
を生成する。この多重化データは、ストレージデバイス
２３に記録される。

【００８８】すなわち、この記録再生装置３０が内蔵す
る上記多重化装置が取り入れている多重化方法では、Ｓ
ＴＣの取り込み方を改良している。図１１を用いて改良
したＳＴＣの取り込みを説明する。

【００８９】この図１１において、１）はビデオ同期信
号（Video Sync）が入ってくる様子を示している。太線
は上記ビデオエンコーダ３が、フレーム（エンコード処
理する際にピクチャを構成する単位）の始めを認識した
場所を示している。

【００９０】２）は入力映像信号を示しており、ビデオ
エンコーダ３が、画像をうまく取り込めたものについて
は、ピクチャタイプ（Picture Type）が記入されてい
る。ここで、Ｂ３とＢ４の間には、画像の乱れがあっ
て、エンコードが不可能となっている。３）は上記コン
トローラ６で、タイムスタンプを演算するのに用いるＳ
ＴＣの値である。

【００９１】上記図１に示した符号化装置１、及び上記
図９に示した記録再生装置２０における多重化装置で
は、図２に示したように、次の４）でタイムインターバ
ルを観測し、これを基にコントローラ６でＳＴＣの値を
算出していた。

【００９２】これに対し、この改良例は、図１１の４）
及び、５）に示すように、ＳＴＣをラッチするタイミン
グと、それを確定する為のフラグを用いることによっ
て、STC_Vの値を決定している。

【００９３】すなわち、図１１の４）に示すように、入
力画像の開始時間で、タイミングパルス（STC_latch_Ti
m pulse）をＳＴＣストレージ９が受け取り、ＳＴＣの
値を取り込む。そして、５）に示すように、４）で取り
込んだ値を有効にするか、どうかのフラグを受け取る。
従って、Ｂ４ピクチャのように、画像の乱れが続いて、
取り込みが完了しない場合、４）のタイミングパルス
（STC_latch_Tim pulse）は何度も出力されるが、これ
を確定する為のフラグ（store_last_STC）は、５）に示
すように入力画像の取り込みが成功した時にのみ、出力
される。

【００９４】このように図１０におけるＳＴＣストレー
ジ９は、各エレメンタリのエンコーダ３及び５から、上
記タイミングパルス（STC_latch_Tim）、及びフラグ（s
tore_last_STC）を受け取り、これをシステムコントロ
ーラ&マルチ／デマルチプレクサ２１に供給する。

【００９５】このＳＴＣストレージ９の詳細な構成を図
１２に示す。ＳＴＣで、一番最初の入力画像又は入力オ
ーディオのタイミングパルス（STC_latch_Tim）はＳＴ
Ｃカウンタ３１に供給される。このカウンタ３１はＳＴ
Ｃの初期値（init_STC）にリセットされる。そして、ビ
デオ又はオーディオのそれぞれのタイミングパルス（ST
C_latch_Tim）でＳＴＣの値が、セレクタＳＥＬ３２及
びＳＥＬ３５を通って、フリップフロップＦＦ３３およ
びＦＦ３６に取り込まれる。ＦＦ３３及びＦＦ３６から
のデータはファーストインファーストアウトＦＩＦＯ３
４及びＦＩＦＯ３７に供給されるが、このＦＩＦＯ３４
及びＦＩＦＯ３７では、フラグ（store_last_STC fla
g）が供給されて始めて上記ＦＦ３３及びＦＦ３６から
のデータをストアする。

【００９６】以上の改良例においても、ＳＴＣ値を決定
する際のタイミングが重要である。これを図１３を用い
て説明する。

【００９７】１）で許容ジッタ（jitter）範囲にアクセ
スユニットの切れ目がくることを確認する。２）でＳＴ
Ｃの値を取り込む。４）でアクセスユニットを取り込
む。５）でアクセスユニットが、エラー無く取り込まれ
たか否かを判断する。次に６）で、アクセスユニットの
取り込みに成功したと判断したら、２）で取り込んだＳ
ＴＣの値を、今取り込みに成功したアクセスユニットの
ＳＴＣとしてメモリする。そして、７）でエンコード処
理に入る。

【００９８】次に、本発明に係る多重化装置及び方法の
さらに他の実施の形態について説明する。この他の実施
の形態も、ビデオ信号とオーディオ信号１chを多重化す
る多重化装置を内蔵する符号化装置である。

【００９９】この符号化装置では、多重化する複数の信
号が、同時に乱れ、エンコードできなくなった場合で
も、再生装置側での同期再生を可能とする。

【０１００】この符号化装置は、上記図１に示した符号
化装置１と同様の構成を備えるのでここでは図示を省略
する。

【０１０１】この符号化装置において、入力画像が乱
れ、Ｂ４が取り込めなかったタイミングで、図１４の１
０）に示すオーディオのアクセスユニットも取り込めな
かったとする。

【０１０２】オーディオのエンコード処理では、９）に
示すように、ＳＴＣは、STC_A10〜STC_A11 の間にギャ
ップが生じている。このような場合、ビデオ、オーディ
オ信号共にエンコードされない時間が生じてしまい、
このまま、タイムスタンプを多重化すると、再生時に、
画がフリーズしたまま、音声がない状態が続き、見苦し
いものとなる。

【０１０３】そこで、ビデオとオーディオに同時に乱れ
があった場合には、ビデオ、オーディオ共に、その部分
の時間をカットしてタイムスタンプに反映させることを
行なう。

【０１０４】具体的には、図１４の５）の斜線部分及
び、１０）の斜線部分の時間をカットして、それぞれの
タイムスタンプに反映させる。

【０１０５】こうすることで、図１５に示すように、再
生時に、同時に乱れが生じた部分をカットすることがで
き、同期を崩さない状態で、見苦しい部分のカットが可
能となる。

【０１０６】このため、この他の実施の形態において
は、各エレメンタリーブロックのエラー状態を、検出
し、エラーが重なった場合には、その時間をカットす
る。その時の処理例を以下に示す。

【０１０７】先ず、 n = Video_Input_Frame_No. m = Audio_Input_AU_No. を求める。

【０１０８】次に、上記n,mを用いて、ビデオ、オーデ
ィオのＳＴＣを、 STC_V(n) = STC_V(n-1) + Video_Time_Interval(n) STC_A(m) = STC_A(m-1) + Audio_Time_Interval(m) により求める。

【０１０９】次に、上記ＳＴＣを用いて以下の判断を行
う。

【０１１０】if( (Video_Time_Interval(n) - Video_SC
FR) > （Video_許容jitter) ) STC_V_Error_End_Tim = STC(n-1) ＋ Video_Time_Inter
val(n) STC_V_Error_Start_Tim = STC(n-1) ＋ Video_SCFR if( (Audio_Time_Interval(m) - Audio_SCFR) > （Audi
o_許容jitter) ) STC_A_Error_End_Tim = STC(m-1) ＋ Audio_Time_Inter
val(m) STC_A_Error_Start_Tim = STC(m-1) ＋ Audio_SCFR if( !((STC_V_Error_End_Tim < STC_A_Error_Start_Ti
m) or(STC_A_Error_End_Tim < STC_V_Error_Start_Tim)
) ) を求める。

【０１１１】そして、エラーのインターバルを以下のよ
うに求め、 Error_Interval = min(STC_V_Error_End_Tim, STC_A_E
rror_End_Tim)- min(STC_V_Error_Start_Tim,STC_A_Err
or_Start_Tim) このエラーインターバルを上記ＳＴＣの値から減算し
て、ＳＴＣを以下のように求める。 STC_V(n) = STC_V(n) - Error_Interval STC_A(m) = STC_A(m) - Error_Interval ここで、SCFRとは、System Clock Frequency Rateのこ
とである。

【０１１２】なお、上記各実施の形態では、ビデオ信号
１ｃｈとオーディオ信号１ｃｈとを多重化してストレー
ジメディアに記録するという、ＭＰＥＧにおけるプログ
ラムストリームを対象とした多重化装置について説明し
たが、ＭＥＰＧにおいて複数ｃｈのビデオ信号や、複数
ｃｈのオーディオ信号や、他のデータとを多重化するト
ランスポートストリームを対象としてもよいことはいう
までもない。

【０１１３】

【発明の効果】本発明によれば、ジッタ成分を持つ信
号、又は、乱れがある信号をディジタルエンコードしよ
うとする場合、複数の信号の同期をくずさないように、
エンコードした多重化が可能である。

【０１１４】また、複数の信号に同時にエラーが、生じ
た場合、その時間を削除することで、再生時により良好
な、画音質を可能とする。

【０１１５】また、ＳＴＣ値の取り込み、アクセスユニ
ットの取り込み、ＳＴＣ値の決定、エンコードという手
順を守ことで、エンコードされたアクセスユニットにつ
いて、そのアクセスユニットが入力された時と、全く同
じ状態を、再生時に実現できる。

【０１１６】また、ＳＴＣを取り込むタイミングを出力
することで、ＳＴＣを共通にすることが可能となると同
時に、システムがシンプルに構成できる。

【図面の簡単な説明】

【図１】本発明の実施の形態の符号化装置の構成を示す
ブロック図である。

【図２】上記図１に示した符号化装置の動作を説明する
ためのタイミングチャートである。

【図３】上記図１に示した符号化装置で多重化されたデ
ータを再生する再生装置の構成を示すブロック図であ
る。

【図４】上記図３に示した再生装置の動作を説明するた
めのタイミングチャートである。

【図５】上記図１に示した符号化装置の動作を説明する
ためのフローチャートである。

【図６】上記図５に示したフローチャートにおけるＳＴ
Ｃの演算動作を説明するためのフローチャートである。

【図７】上記図５に示したフローチャートにおけるタイ
ムスタンプの演算を説明するためのフローチャートであ
る。

【図８】上記図１に示した符号化装置で、ＳＴＣ値を決
定する際のタイミングを説明するためのタイミングチャ
ートである。

【図９】上記図１に示した符号化装置と上記図３に示し
た再生装置からなる記録再生装置の構成を示すブロック
図である。

【図１０】本発明の他の実施の形態となる符号化装置を
内蔵する記録再生装置の構成を示すブロック図である。

【図１１】上記図１０に示した記録再生装置が内蔵して
いる多重化装置の動作を説明するためのタイミングチャ
ートである。

【図１２】上記図１０に示した記録再生装置が内蔵して
いる多重化装置を構成するＳＴＣストレージの詳細な構
成を示すブロック図である。

【図１３】上記図１０に示した記録再生装置が内蔵して
いる多重化装置で、ＳＴＣ値を決定する際のタイミング
を説明するためのタイミングチャートである。

【図１４】本発明に係る多重化装置及び方法のさらに他
の実施の形態となる符号化装置の動作を説明するための
タイミングチャートである。

【図１５】上記図１４で動作を説明した符号化装置から
の多重化データを再生するときの動作を説明するための
タイミングチャートである。

【図１６】従来の多重化装置を内蔵した記録再生装置の
構成を示すブロック図である。

【図１７】従来の多重化装置の動作を説明するためのタ
イミングチャートである。

【図１８】上記図１６に示した記録再生装置が内蔵する
再生装置の動作を説明するためのタイミングチャートで
ある。

【符号の説明】

１符号化装置、３ビデオエンコーダ、５オーディ
オエンコーダ、６システムコントローラ、７マルチ
プレクサ、９ＳＴＣストレージ、１０再生装置、１
３デマルチプレクサ、１４ビデオデコーダ、１５
オーディオデコーダ

Claims

【特許請求の範囲】

【請求項１】複数の入力信号がそれぞれの符号化のた
めのユニット毎に符号化されて得られた複数の符号化デ
ータを多重化する多重化装置において、上記複数の入力信号の内の一の入力信号のユニット間の
ジッタによる変動成分を含んだ時間間隔とこのユニット
の識別情報とに基づいてユニット毎の符号化データの再
生又は復号を開始する時刻を演算する制御手段と、上記制御手段で演算した上記時刻を上記ユニット毎に付
加して他の入力信号の符号化データと共に多重化する多
重化手段とを備えることを特徴とする多重化装置。
【請求項２】上記制御手段は上記ユニット毎の符号化
データの再生又は復号の順番に関する情報を用いて上記
ユニット毎に付加すべき上記時刻を決定することを特徴
とする請求項１記載の多重化装置。
【請求項３】上記制御手段は上記ユニット毎に付加す
べき上記時刻を、上記時刻に相当する基準同期情報を並
べ換えることで決定することを特徴とする請求項２記載
の多重化装置。
【請求項４】上記再生又は復号を開始する時刻に相当
する基準同期情報を暫定的に取り込むためのタイミング
パルスと、上記情報を確定するためのフラグに基づいて
上記時刻を決定することを特徴とする請求項１記載の多
重化装置。
【請求項５】上記制御手段は上記複数の入力信号が同
時にエラーとなったときには上記複数の入力信号の上記
時刻に応じて、上記ユニット毎に付加すべき時刻の値を
小さくして複数の信号の同期をとることを特徴とする請
求項１記載の多重化装置。
【請求項６】上記制御手段は上記複数の入力信号のユ
ニット毎の基準同期情報が一定のジッタ範囲を越えたと
きに上記エラーを検出することを特徴とする請求項５記
載の多重化装置。
【請求項７】上記制御手段は上記複数の入力信号の基
準同期情報を取り込み、ユニット毎の符号化データを取
り込んだ後に上記時刻を演算し、上記多重化手段は上記
ユニット毎の符号化データに上記時刻を付加することを
特徴とする請求項１記載の多重化装置。
【請求項８】上記多重化手段により生成された多重化
出力は記録媒体に記録されることを特徴とする請求項１
記載の多重化装置。
【請求項９】複数の入力信号がそれぞれの符号化の
ためのユニット毎に符号化されて得られた複数の符号化
データを多重化するための多重化方法において、上記複数の入力信号の内の一の入力信号のユニット間の
ジッタによる変動成分を含んだ時間間隔とこのユニット
の識別情報とに基づいてユニット毎の符号化データの再
生又は復号を開始する時刻を演算し、この演算した上記
時刻を上記ユニット毎に付加して他の入力信号の符号化
データと共に多重化することを特徴とする多重化方法。
【請求項１０】上記ユニット毎の符号化データの再生
又は復号の順番に関する情報を用いて上記ユニット毎に
付加すべき上記時刻を決定することを特徴とする請求項
９記載の多重化方法。
【請求項１１】上記ユニット毎に付加すべき上記時刻
を、上記時刻に相当する基準同期情報を並べ換えること
で決定することを特徴とする請求項１０記載の多重化方
法。
【請求項１２】上記再生又は復号を開始する時刻に相
当する基準同期情報を暫定的に取り込むためのタイミン
グパルスと、上記情報を確定するためのフラグに基づい
て上記時刻を決定することを特徴とする請求項９記載の
多重化方法。
【請求項１３】上記複数の入力信号が同時にエラーと
なったときには上記複数の入力信号の上記時刻に応じ
て、上記ユニット毎に付加すべき時刻の値を小さくして
複数の信号の同期をとることを特徴とする請求項９記載
の多重化方法。
【請求項１４】上記複数の入力信号のユニット毎の基
準同期情報が一定のジッタ範囲を越えたときに上記エラ
ーを検出することを特徴とする請求項１３記載の多重化
方法。
【請求項１５】上記複数の入力信号の基準同期情報を
取り込み、ユニット毎の符号化データを取り込んだ後に
上記時刻を演算し、上記ユニット毎の符号化データに上
記時刻を付加することを特徴とする請求項９記載の多重
化方法。
【請求項１６】上記多重化方法により生成された多重
化出力は記録媒体に記録されることを特徴とする請求項
９記載の多重化方法。