JP3810918B2

JP3810918B2 - Multimedia data relay apparatus and method

Info

Publication number: JP3810918B2
Application number: JP4045298A
Authority: JP
Inventors: 誠日向野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-02-23
Filing date: 1998-02-23
Publication date: 2006-08-16
Anticipated expiration: 2018-02-23
Also published as: JPH11239179A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル映像データ等のマルチメディアデータの伝送システムに係り、特にマルチメディアデータを中継する際に前段のデータ送信装置または中継装置と後段のデータ受信装置または中継装置の時刻合わせを効果的に行うことが可能なマルチメディアデータ中継装置及び方法に関する。
【０００２】
【従来の技術】
近年、映像や音声等の各種メディアの情報信号をデジタル化して信号処理し、それを伝送するマルチメディアデータ伝送技術がめざましく進歩している。
デジタル映像データ等のマルチメディアデータは、ＭＰＥＧ（Moving Picture Experts Group）と呼ばれる規格の符号化処理技術（データ圧縮処理技術）を適用して符号化されるのが一般的である。ＭＰＥＧシステムの１つにＭＰＥＧ２システムがある。このＭＰＥＧ２システムでは、符号化されたマルチメディアデータのビットストリーム（ビット列）は、それぞれＰＥＳ（Packetized Elementary Stream）パケットと呼ばれるパケット単位に区切られたＰＥＳとされて時分割多重されることにより、トランスポートストリーム（Transport Stream；ＴＳ）と呼ばれる多重通信信号となる。このトランスポートストリーム（ＭＰＥＧ２−ＴＳ）では、ＰＥＳパケットが幾つかに分解されて１８８バイトの固定長のトランスポートパケット（ＴＳパケット）に乗せられたデータ構造となっている。
【０００３】
さて、トランスポートストリームでは、アクセスユニットと呼ばれる復号再生の単位（映像データの場合には１フレーム）毎に、システム同期用のタイムスタンプ、即ち受信装置側での復号タイミングを示すＤＴＳ（Decoding Time Stamp ）と呼ばれるタイムスタンプ、再生（表示）タイミングを示すＰＴＳ（Presentation Time Stamp ）と呼ばれるタイムスタンプが付加される。また、トランスポートストリームでは、受信装置の復号器において基準時計の同期をとるための、ＰＣＲ（Program Clock Referance 、プログラム時刻基準参照値）と呼ばれる６バイトの時間情報（一種のタイムスタンプ）が適当な頻度で設定される。このＰＣＲの値には、該当するパケットの送出時の時刻が用いられる。
【０００４】
このようなトランスポートストリームの転送方式は同期転送方式と呼ばれており、受信装置側では、内蔵の（２７ＭＨｚの）基準クロック発生器を送信側の基準クロック発生器に同期させて基準時計を再現し、ＤＴＳ，ＰＴＳに従う復号及び表示のタイミングを制御するのが一般的である。即ち受信側では、ＰＣＲが含まれるパケット（ＭＰＥＧ２−ＴＳパケット）を受信した際の内蔵の基準時計の時刻と当該ＰＣＲの値（時間情報）とを比較し、その差分をＰＬＬ回路（位相ロックループ回路）の電圧制御発振器（ＶＣＯ）にフィードバックすることで、ＰＣＲの値と内蔵の基準時計の時刻とを一致させる、つまり同期させる。
【０００５】
【発明が解決しようとする課題】
上記したマルチメディアデータを同期転送方式で転送するシステムにおいて、送信側と受信側とで基準クロックに誤差がある場合には、クロックの誤差が蓄積されて、タイムジッタが発生する。このタイムジッタが小さい場合には、ＰＣＲ（時間情報、タイムスタンプ）が含まれるパケットを受信した際の内蔵の基準時計の時刻と当該ＰＣＲの値とを比較してＰＣＲの値と内蔵の基準時計の時刻とを一致させることで、当該タイムジッタを吸収できる。
【０００６】
しかし、タイムジッタが大きくなると、例えば送信側の方が基準クロックの周波数が高い場合、即ち送信レートが受信レートより速い場合には、受信できないパケットが発生し、送信側の方が基準クロックの周波数が低い場合、即ち送信レートが受信レートより遅い場合には、受信待ちが発生する。いずれの場合にも、タイムジッタが吸収できず、受信装置でのマルチメディアデータ（例えば映像データ）の再生が正常に行われない可能性があるという問題が生ずる。
【０００７】
一方、最近は、ＩＥＥＥ（The Institute of Electrical and Electronics Engineers,Inc.）により提案されたＩＥＥＥ1394で用いられるアイソクロナス（Isocronous）転送と称される転送方式が、マルチメディアデータ用に転送速度を確実に確保できるという点で注目されている。このアイソクロナス転送では、ＭＰＥＧ２−ＴＳの１８８バイトのパケットの先頭に４バイトのタイムスタンプを付加して転送が行われる。
【０００８】
したがって、マルチメディアデータの中継装置の出力インタフェースにＩＥＥＥ1394におけるアイソクロナス転送方式を適用した場合には、タイムスタンプの付け方（同期の取り方）が、出力インタフェースに同期転送方式を適用した場合と異なる。また、アイソクロナス転送では伝送媒体にケーブルが用いられることから、ケーブルによる伝送遅延時間も考慮する必要がある。
【０００９】
このため、マルチメディアデータの中継装置の出力インタフェースにアイソクロナス転送を適用した場合には、前記したタイムジッタ（時間軸に関する誤差）を吸収することが一層困難となるという問題があった。
【００１０】
本発明は上記事情を考慮してなされたものでその目的は、出力インタフェースにアイソクロナス転送方式など、同期転送方式とは異なる転送方式を適用する場合において、マルチメディアデータ送信装置とマルチメディアデータ受信装置との間の時刻合わせを効果的に行って時間軸の狂いを吸収できるマルチメディアデータ中継装置及び方法を提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、送信装置または前段の中継装置から転送された、時刻基準を表す時間情報（ＰＣＲ）が設定されたパケットを含むパケット列からなるマルチメディアデータのビットストリームを第１の転送レートで入力し、タイムスタンプが付加されたパケットの列からなるビットストリームとして受信装置または後段の中継装置に上記第１のレートより速い第２の転送レートで所定の転送方式により転送するマルチメディアデータ中継装置であって、転送レート差が許容範囲外となったことを検出し、その転送レート差を補償するために入力パケット間にダミーのパケットを挿入するダミーパケット挿入手段と、このダミーパケット挿入手段により挿入されたダミーパケット（Ｎｕｌｌパケット）を含むパケット列からＰＣＲを含むパケットを検出して、Ｎｕｌｌパケットの挿入による当該ＰＣＲのずれを補正し、その補正後の値に当該ＰＣＲを書き換える時間情報（ＰＣＲ）書き換え手段と、この時間情報書き換え手段によってＰＣＲが書き換えられたパケットを含むパケット列からＰＣＲ付きパケットを検出し、当該ＰＣＲ付きパケットを検出する毎に、当該パケットから次の時間情報を含むパケットの直前のパケットまでの各々について、当該パケットの時間情報をもとに、上記所定の転送方式用のフォーマットでタイムスタンプを生成して付加設定するタイムスタンプ設定手段とを備えたマルチメディアデータ中継装置の構成としたことを特徴とする。
【００１２】
このような構成においては、入力レート（第１の転送レート）より出力レート（第２の転送レート）が速くなるように設定されるため、受信（入力）できないパケットが発生するのを防止できる。但し、受信待ちが発生するため、このままでは、受信装置でのマルチメディアデータ（例えば映像データ）の再生が正常に行われない可能性がある。
【００１３】
そのため上記の構成では、転送レートの差を吸収するために、転送レート差が許容範囲外となった場合に、ダミーパケット挿入手段が入力パケット間にダミーパケットを挿入することで、その転送レート差を補償するようにしている。但し、ダミーパケットを挿入したことにより、ＰＣＲ付きパケット中のＰＣＲ値がずれる。
【００１４】
そのため上記の構成では、ＰＣＲ付きパケットを検出して、ダミーパケット挿入によるＰＣＲ値のずれを補正するようにしている。
また上記の構成では、タイムスタンプが付加されたパケットの列からなるビットストリームを転送する、Isocronous転送などの所定の転送方式を適用するために、ＰＣＲ値が補正されたＰＣＲ付きパケットを含むパケットの列を対象に、ＰＣＲ付きパケットから次のＰＣＲ付きパケットの直前のパケットまでの各々について、そのＰＣＲをもとに、上記所定の転送方式用のフォーマットでタイムスタンプが生成され、そのパケットに付加される。
【００１５】
このタイムスタンプが付加されたパケットの列からなるビットストリームが受信装置に転送された場合、当該受信装置では、各パケットに付加されたタイムスタンプが当該パケットの復元時刻として用いられることから、転送レート差を吸収することが可能となる。
【００１６】
ここで、受信装置の前段に設けられる中継装置では、少なくとも当該受信装置での遅延時間を考慮して、当該受信装置に転送するパケットに付加されるタイムスタンプの値を、受信装置側の遅延時間分だけ予め補正して設定するならば、受信装置側の遅延時間を相殺することができるため、マルチメディアデータの一層スムーズな復元（再生）が可能となる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態につき図面を参照して説明する。
図１は本発明の一実施形態に係るマルチメディアデータ中継装置を備えたマルチメディアデータ伝送システムの構成を示すブロック図である。
【００１８】
図１のシステムは、基準クロックＣＬＫ１で動作し、ＭＰＥＧ２−ＴＳと呼ばれるマルチメディアデータのビットストリーム（トランスポートストリーム）を送信するマルチメディアデータ送信装置１１と、この送信装置１１からのトランスポートストリームをアイソクロナス（Isocronous）転送方式により後段に転送するマルチメディアデータ中継装置１２と、基準クロックＣＬＫ２で動作し、中継装置１２により転送されたアイソクロナス転送方式のストリームを受信するマルチメディアデータ受信装置１３とから構成される。ここでクロックＣＬＫ１の周波数変動分（誤差）を考慮した場合の最高周波数は、クロックＣＬＫ２の周波数の周波数変動分（誤差）を考慮した場合の最低周波数より低くなるように、つまり送信装置の送信レートは受信装置の受信レートより遅くなるように設定される。
【００１９】
図２は、マルチメディアデータ中継装置１２の構成を示すブロック図である。この中継装置１２は、入力インタフェース１２１、入力ＦＩＦＯ１２２、Ｎｕｌｌ（ヌル）パケット挿入部１２３、ＰＣＲ書き換え部１２４、タイムスタンプ生成部１２５、出力ＦＩＦＯ１２６、フォーマット変換部１２７、及び出力インタフェース１２８から構成される。
【００２０】
入力インタフェース１２１は、前段（ここでは送信装置１１）から転送されるマルチメディアデータ（ここでは、トランスポートストリーム）を（送信装置１１での）基準クロックＣＬＫ１に同期してパケット（１８８バイトのＴＳパケット）単位で入力する。
【００２１】
入力ＦＩＦＯ１２２は、入力インタフェース２１により入力されたパケットを、（送信装置１１での）基準クロックＣＬＫ１に同期して入力して保持し、その保持パケットを受信装置１３での基準クロックＣＬＫ２に同期して入力順に出力するための先入れ先出しバッファである。
【００２２】
Ｎｕｌｌパケット挿入部１２３は、ＦＩＦＯ１２２からのパケット取り出し（読み込み）を基準クロックＣＬＫ２に同期して行い、ＦＩＦＯ１２２（１２６）からのパケット出力レートとＦＩＦＯ２２へのパケット入力レートとの差が許容範囲外となった場合に、ダミーのパケットであるＮｕｌｌパケットを挿入する。
【００２３】
ＰＣＲ書き換え部１２４は、Ｎｕｌｌパケット挿入部１２３により取り出されたパケット（ＭＰＥＧ２−ＴＳパケット）の中から６バイト構成のＰＣＲ（時間情報）の含まれるパケットを検出して、当該ＰＣＲの値を読み取り、Ｎｕｌｌパケットの挿入によって生じたＰＣＲ値のずれを補正するように、当該ＰＣＲの書き換えを行う。
【００２４】
タイムスタンプ生成部１２５は、ＭＰＥＧ２−ＴＳパケット中のＰＣＲを含むパケットを検出し、そのＰＣＲの値をもとに、次のＰＣＲを含むパケットの直前までの各パケットのタイムスタンプ（時間情報）を順次生成して該当するパケットに付加する。ここでのタイムスタンプは、ＰＣＲと同一フォーマット（形式）であり、６バイトで構成される。
【００２５】
出力ＦＩＦＯ１２６は、タイムスタンプ生成部１２５によりタイムスタンプが付加されたパケット（ＭＰＥＧ２−ＴＳパケット）を基準クロックＣＬＫ２に同期して入力して保持し、当該クロックＣＬＫ２に同期して入力順に出力するための先入れ先出しバッファである。
【００２６】
フォーマット変換部１２７は、ＦＩＦＯ１２６からのパケット取り出しを基準クロックＣＬＫ２に同期して行い、その取り出したパケットに付加されている６バイトのタイムスタンプを、Isocronous転送用フォーマットの４バイトのタイムスタンプに書き換える。
【００２７】
出力インタフェース１２８は、フォーマット変換部１２７によるフォーマット変換がなされたパケットを基準クロックＣＬＫ２に同期して後段（ここでは受信装置１３）にIsocronous転送方式で転送する。
【００２８】
次に図１のシステムにおけるマルチメディアデータ中継装置１２の動作を、図３乃至図５のフローチャート及び図６乃至図８の動作説明図を適宜参照して説明する。
【００２９】
まず、送信装置１１から中継装置１２には、図６（ａ）に示すような、マルチメディアデータ（トランスポートストリーム）のＭＰＥＧ２−ＴＳパケット（１８８バイト）の列が転送されるものとする。ここで、Ｐ（ｘ）（ｘは１，…ｈ，ｉ，…ｊ，…ｋ，…）として図示されているパケットは時間情報としての６バイトのＰＣＲ（プログラム時刻基準参照値、タイムスタンプ）を含むパケットを示し、それ以外のパケット、即ち何も図示されていないパケットはＰＣＲを含まないパケットを示す。図の例では、１番目、ｈ番目、ｉ番目、ｊ番目、ｋ番目…のパケットがＰＣＲを含んでいる。また、図６（ａ）では、パケットＰ（ｘ）のＰＣＲの値をＰＣＲ（ｘ）で表している。
【００３０】
さて、送信装置１１から中継装置１２に転送されたトランスポートストリームは、送信装置１１の基準クロックＣＬＫ１に同期して、中継装置１２内の入力インタフェース１２１によりＭＰＥＧ２−ＴＳパケット単位で入力され、当該中継装置１２内の入力ＦＩＦＯ１２２に順次保持される。
【００３１】
中継装置１２内のＮｕｌｌパケット挿入部１２３は、送信装置１１から中継装置１２へのトランスポートストリームの転送が開始されると、出力パケット数をカウントするカウンタ値ｎと挿入Ｎｕｌｌパケット数をカウントするカウンタ値ｒを初期値０に設定した後（図３ステップ３０１）、ＦＩＦＯ１２２に入力・保持されたＭＰＥＧ２−ＴＳパケットを読み込んでＰＣＲ書き換え部１２４に出力する動作を開始する（図３ステップ３０２，３０３）。このＦＩＦＯ１２２からのパケット読み込みは、受信装置１３の基準クロックＣＬＫ２に同期して行われる。
【００３２】
Ｎｕｌｌパケット挿入部１２３は、ＦＩＦＯ１２２から１パケットを読み込んで出力する毎に、カウンタ値（出力パケット数）ｎを１インクリメントし（図３ステップ３０４）、ＦＩＦＯ１２２（１２６）からの最新の一定時間におけるパケット出力レート（ＣＬＫ２の周波数）とＦＩＦＯ２２へのパケット入力レート（ＣＬＫ１の周波数ＣＬＫ１＜ＣＬＫ２）との差（転送レート差）が許容範囲内であるか否かを判定する（図３ステップ３０５）。ここでは説明を簡略化するために、ＦＩＦＯ１２２が空になったことをもって転送レート差が許容範囲外にあり、そうでない場合に転送レート差が許容範囲内にあると判定するようにしている。これは、１≧出力パケット数ｎ−入力パケット数−挿入Ｎｕｌｌパケット数ｒ≧０の場合に転送レート差が許容範囲外にあると判定するのと等価である。この他、ＦＩＦＯ１２２の容量の１／２に相当する数Ｋのパケットが当該ＦＩＦＯ１２２に格納されるような制御（いわゆるハーフフル制御）を行い、１／２を下回る状態になったことをもって転送レート差が許容範囲外にありと判定することも可能である。
【００３３】
もし、転送レート差が許容範囲内にある場合には、Ｎｕｌｌパケット挿入部１２３は以下に述べるＮｕｌｌパケットの挿入は行わない。
これに対し、転送レート差が許容範囲外となっている場合には、Ｎｕｌｌパケット挿入部１２３はＮｕｌｌパケットを生成してＰＣＲ書き換え部１２４に出力するＮｕｌｌパケット挿入動作を行う（図３ステップ３０６）。このときＮｕｌｌパケット挿入部１２３は、カウンタ値ｎ及びカウンタ値ｒをそれぞれ１インクリメントする（図３ステップ３０７）。
【００３４】
Ｎｕｌｌパケット挿入部１２３は、ＦＩＦＯ１２２から読み込んだパケットに関する上記一連の処理を実行すると、トランスポートストリームの終了でないならば（図３ステップ３０８）、ステップ３０２に戻ってＦＩＦＯ１２２からの次のパケットの読み込みを行う。
【００３５】
ＰＣＲ書き換え部１２４は、Ｎｕｌｌパケット挿入部１２３から出力されるパケットを受け取ると、そのパケットがＰＣＲを含むか否かを調べる（図４ステップ４０１）。もし、ＰＣＲを含む場合には、ＰＣＲ書き換え部１２４は、そのＰＣＲの値を、それまでに挿入されたＮｕｌｌパケット数ｒ（つまりカウンタ値ｒの値）に応じて補正する演算を次のように行う（図４ステップ４０２）。
【００３６】
まず、Ｎｕｌｌパケット挿入前のｘ番目のパケットがＰＣＲ付きパケットであり、そのパケットがＰ（ｘ）、ＰＣＲ値がＰＣＲ（ｘ）であるものとする。このパケットＰ（ｘ）は、ｒ個のＮｕｌｌパケット挿入後にはｘ＋ｒ（＝ｎ）番目のパケットとなる。そのｘ＋ｒ番目となったパケットをＰ′（ｘ＋ｒ）と表す。
【００３７】
この場合、Ｐ′（ｘ＋ｒ）の補正後のＰＣＲの値ＰＣＲ′（ｘ＋ｒ）は、次式
ＰＣＲ′（ｘ＋ｒ）＝ＰＣＲ（ｘ）×（ｘ＋ｒ）／ｘ
で表される。明らかなように、ｒ＝０の場合には、
ＰＣＲ′（ｘ＋ｒ）＝ＰＣＲ′（ｘ）＝ＰＣＲ（ｘ）
となる。
【００３８】
ＰＣＲ書き換え部１２４は、ＰＣＲの補正値を求めると、そのＰＣＲを当該補正値に書き換えてタイムスタンプ生成部１２５に出力する（図４ステップ４０３，４０４）。これに対し、ＰＣＲが含まれていないパケットについては、ＰＣＲ書き換え部１２４は、そのままタイムスタンプ生成部１２５に出力する（図４ステップ４０４）。
【００３９】
このようにしてＰＣＲ書き換え部１２４からタイムスタンプ生成部１２５には、図６（ｂ）に示すようなＭＰＥＧ２−ＴＳパケットの列が出力される。同図において、Ｐ′（ｘ）（ｘは１，…ｈ，…，ｉ＋１，…ｊ＋１，…ｋ＋ｑ，…）は、ＰＣＲ書き換え部１２４による書き換えがなされたＰＣＲを含むパケットを示し、ＰＣＲ′（ｘ）は当該パケットＰ′（ｘ）のＰＣＲの値を示す。また、ＰＣＲ付きパケットＰ′（ｈ）と次のＰＣＲ付きパケットＰ′（ｉ＋１）の間に図示されている（Ｎｕｌｌ）₁ は、Ｐ′（ｈ）とＰ′（ｉ＋１）との間に合計１個のＮｕｌｌパケットが挿入されていることを示し、ＰＣＲ付きパケットＰ′（ｊ＋１）と次のＰＣＲ付きパケットＰ′（ｋ＋ｑ）の間に図示されている（Ｎｕｌｌ）_q-1 は、Ｐ′（ｊ＋１）とＰ′（ｋ＋ｑ）との間に合計ｑ−１個のＮｕｌｌパケットが挿入されていることを示す。即ち、１つのＰＣＲ付きパケットと次のＰＣＲ付きパケットの間に合計ｙ個のＮｕｌｌパケットが挿入されている場合には、（Ｎｕｌｌ）_y で表される。
【００４０】
タイムスタンプ生成部１２５は、ＰＣＲ書き換え部１２４からＰＣＲ付きの、或いはＰＣＲなしのパケット（ＭＰＥＧ２−ＴＳパケット）を受け取ると、そのパケットのタイムスタンプを次のように計算する。
【００４１】
まず、ＰＣＲ付きのパケットを受け取った場合には（図５ステップ５０１）、タイムスタンプ生成部１２５は、そのＰＣＲの値をタイムスタンプ値として決定し（図５ステップ５０２）、この決定した値のタイムスタンプ（ＭＰＥＧ２−ＴＳパケットのＰＣＲと同一フォーマットの６バイトのタイムスタンプ）を当該パケット（１８８バイトのＭＰＥＧ２−ＴＳパケット）の先頭に付加する（図５ステップ５０３）。そしてタイムスタンプ生成部１２５は、タイムスタンプが付加されたパケットを、基準クロックＣＬＫ２に同期してＦＩＦＯ１２６に書き込む（図５ステップ５０４）。
【００４２】
これに対し、ＰＣＲ書き換え部１２４からＰＣＲなしのパケットを受け取った場合には、タイムスタンプ生成部１２５は、その直前のパケットに設定したタイムスタンプの値に、１パケットの転送に要する時間（遅延時間）δを加えた値を、当該受け取ったパケットのタイムスタンプ値として決定し（図５ステップ５０５）、この決定した値のタイムスタンプ（ＰＣＲと同一フォーマットの６バイトのタイムスタンプ）を当該パケットの先頭に付加する（図５ステップ５０３）。そしてタイムスタンプ生成部１２５は、タイムスタンプが付加されたパケットを、基準クロックＣＬＫ２に同期してＦＩＦＯ１２６に書き込む（図５ステップ５０４）。
【００４３】
このようにして、ＰＣＲ書き換え部１２４からタイムスタンプ生成部１２５に入力される図６（ｂ）に示すＭＰＥＧ２−ＴＳパケットの列は、タイムスタンプが付加された図７に示すようなパケットの列に変換される。同図において、Ｐ″（ｘ）として図示されているパケットは、ｘ番目のパケットに対応するものである。
【００４４】
例えば、ＰＣＲ書き換え部１２４からタイムスタンプ生成部１２５に入力されるｘ＝１のＰＣＲ付きパケットＰ′（１）は、当該パケットＰ′（１）のＰＣＲの値ＰＣＲ′（１）と同じ値のタイムスタンプＰＣＲ″（１）が付加されたパケットＰ″（１）に変換される。これに対し、ｘ＝２〜ｈの範囲の各ＰＣＲなしパケットＰ′（ｘ）は、その直前のパケットＰ′（ｘ−１）のタイムスタンプ値ＰＣＲ値をＰＣＲ″（ｘ−１）とすると、ＰＣＲ″（ｘ−１）＋δの値のタイムスタンプＰＣＲ″（ｘ）が付加されたパケットＰ″（ｘ）に変換される。
【００４５】
フォーマット変換部１２７は、ＦＩＦＯ１２６に書き込まれたパケットＰ″（ｘ）を基準クロックＣＬＫ２に同期して読み込み、そのパケットＰ″（ｘ）に付加されている（ＰＣＲと同一フォーマットの）６バイトのタイムスタンプＰＣＲ″（ｘ）を、Isocronous転送用フォーマットの４バイトのタイムスタンプＴＳＰ（ｘ）に変換（フォーマット変換）する。即ちフォーマット変換部１２７は、パケットＰ″（ｘ）を、Isocronous転送用フォーマットのタイムスタンプＴＳＰ（ｘ）が付加されたIsocronous転送用のパケットＰ＾（ｘ）に変換する。このフォーマット変換は、演算や形式変換により実現される。また、この演算や形式変換の方式を変えることによって、どのようなフォーマットのタイムスタンプにも対応することができる。
【００４６】
このようにしてフォーマット変換されたIsocronous転送用のパケットの列を図８に示す。
フォーマット変換部１２７によりタイムスタンプのフォーマット変換が行われたIsocronous転送用のパケット、即ち１８８バイトのＭＰＥＧ２−ＴＳパケットに４バイトのタイムスタンプが付加された１９２バイトのデータは出力インタフェース１２８に渡されて、当該インタフェース１２８により基準クロックＣＬＫ２、即ち受信装置１３での基準クロックＣＬＫ２に同期して当該受信装置１３に転送される。
【００４７】
受信装置１３では、中継装置１２内の出力インタフェース１２８から転送されたＭＰＥＧ２−ＴＳパケットに付加された４バイトのタイムスタンプが当該パケットの復元時刻として用いられる。これにより、送信装置１１と中継装置１２との間は同期転送方式を適用し、中継装置１２と受信装置１３との間はIsocronous転送方式を適用していながら、送信装置１１側のクロックＣＬＫ１と受信装置１３側のクロックＣＬＫ２との相違によるタイムジッタを吸収することができる。
【００４８】
ところで受信装置１３は、図９に示すように、入力回路１３１、ＭＰＥＧ２デコーダ１３２及び表示モニタ１３３を備えているのが一般的である。
入力回路１３１は基準時計となる内部タイマを有しており、中継装置１２（内の出力インタフェース１２８）から出力されるパケット（タイムスタンプが付加されたＭＰＥＧ２−ＴＳパケット）を入力し、内部タイマの示す時刻が当該パケットに付加されているタイムスタンプの値に一致したとき、当該パケットをＭＰＥＧ２デコーダ１３２に送る。ＭＰＥＧ２デコーダ１３２は、入力回路１３１から送られたパケットをデコードし、表示モニタ１３３に出力する。
【００４９】
このような受信装置１３において、マルチメディアデータのスムーズな再生を可能とするためには、上記のタイムジッタの吸収の他に、中継装置１２と受信装置１３との間の伝送ケーブルの遅延時間、及び受信装置１３内の入力回路１３１の遅延時間を考慮する必要がある。
【００５０】
即ち、上記の両遅延時間の和を受信装置１３の遅延時間ｔd とすると、ＭＰＥＧ２−ＴＳパケット内のＰＣＲの値ＰＣＲ′（ｘ）とIsocronous転送用のパケットのタイムスタンプの値ＴＳＰ（ｘ）の相対的な関係を、ＰＣＲ′（ｘ）−ｔd ＝ＴＳＰ（ｘ）とすることによって、つまり受信装置１３の遅延時間ｔd の分だけＰ＾（ｘ）のタイムスタンプの値ＴＳＰ（ｘ）を予め小さく設定することによって、言い換えれば受信装置１３の構成に合わせて最適なタイムスタンプを設定することで、受信装置１３の遅延時間ｔd を相殺することができる。この結果、マルチメディアデータのスムーズな再生（マルチメディアデータが映像データの場合には画像再生）が可能となる。
【００５１】
なお、以上に述べた実施形態では、出力ＦＩＦＯ１２６と出力インタフェース１２８との間にフォーマット変換部１２７を設けた場合について説明したが、当該フォーマット変換部１２７をタイムスタンプ生成部１２５とＦＩＦＯ１２６との間に設けてもよく、またタイムスタンプ生成部１２５とフォーマット変換部１２７とを１つにまとめてもよい。更に、フォーマット変換部１２７の機能を出力インタフェース１２８に持たせてもよい。
【００５２】
また、以上に述べた実施形態では、送信装置１１と受信装置１３との間に中継装置が１台配置された場合について説明したが、２台以上の中継装置が配置される場合にも同様に実施できる。ここで、例えば２台の中継装置が配置されたシステムを想定すると、送信装置１１側の中継装置の出力クロックと、受信装置１３側の中継装置の入力クロックには、クロックＣＬＫ１より所定範囲内で周波数が高く、クロックＣＬＫ２より所定範囲内で周波数が低いクロックを用いればよい。その他、クロックＣＬＫ２（受信装置１３の基準クロック）の発生器を受信装置１３側の中継装置に持たせることも可能である。また、受信装置１３側の中継装置には、送信装置１１側の中継装置からIsocronous転送方式で転送されるビットストリームが入力されるため、タイムスタンプが付加されたパケット（ＭＰＥＧ２−ＴＳ）を処理することになるが、このタイムスタンプは無視（削除）すれば、前記実施形態における中継装置１２と同様に実施できる。
【００５３】
更に本発明は、Isocronous転送方式を適用しない中継装置にも応用可能である。この場合には、タイムスタンプ生成部１２５及びフォーマット変換部１２７は不要となる。
【００５４】
【発明の効果】
以上詳述したように本発明によれば、出力インタフェースにアイソクロナス転送方式など、同期転送方式とは異なる所定の転送方式を適用する場合において、入力レートより出力レートが速くなるように設定し、転送レート差が許容範囲外となった際には、その転送レート差を補償するためにダミーパケット（Ｎｕｌｌパケット）を挿入して、転送レート差がなくなるようにすると共に、ダミーパケット挿入により生じるＰＣＲ（時間情報）のずれを補正し、その補正後のＰＣＲをもとに、次のＰＣＲ付きパケットの直前までの各パケットの上記所定の転送方式用のフォーマットのタイムスタンプを生成して設定する構成としたので、送信装置と受信装置との間の時刻合わせを効果的に行って時間軸の狂いを吸収でき、受信装置でのスムーズなマルチメディアデータ再生を実現できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るマルチメディアデータ中継装置を備えたマルチメディアデータ伝送システムの構成を示すブロック図。
【図２】図１中のマルチメディアデータ中継装置１２の構成を示すブロック図。
【図３】図２中のＮｕｌｌパケット挿入部１２３の動作を説明するためのフローチャート。
【図４】図２中のＰＣＲ書き換え部１２４の動作を説明するためのフローチャート。
【図５】図２中のタイムスタンプ生成部１２５の動作を説明するためのフローチャート。
【図６】同実施形態におけるＮｕｌｌパケット挿入、及びＰＣＲ書き換えを説明するための図。
【図７】同実施形態におけるタイムスタンプ生成を説明するための図。
【図８】同実施形態におけるタイムスタンプのフォーマット変換を説明するための図。
【図９】図１中の受信装置１３の構成を示すブロック図。
【符号の説明】
１１…マルチメディアデータ送信装置
１２…マルチメディアデータ中継装置
１３…マルチメディアデータ受信装置
１２１…入力インタフェース
１２２…入力ＦＩＦＯ
１２３…Ｎｕｌｌパケット挿入部（ダミーパケット挿入手段）
１２４…ＰＣＲ書き換え部（時間情報書き換え手段）
１２５…タイムスタンプ生成部（タイムスタンプ設定手段）
１２６…出力ＦＩＦＯ
１２７…フォーマット変換部（タイムスタンプ設定手段）
１２８…出力インタフェース
１３１…入力回路
１３２…ＭＰＥＧ２デコーダ
１３３…表示モニタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a transmission system for multimedia data such as digital video data, and in particular, when relaying multimedia data, it is effective to synchronize the time of a preceding data transmitting apparatus or relay apparatus and a subsequent data receiving apparatus or relay apparatus. The present invention relates to a multimedia data relay apparatus and method that can be performed in the same manner.
[0002]
[Prior art]
2. Description of the Related Art In recent years, multimedia data transmission technology for digitizing information signals of various media such as video and audio, processing the signals, and transmitting them has been remarkably advanced.
In general, multimedia data such as digital video data is encoded by applying an encoding processing technology (data compression processing technology) of a standard called MPEG (Moving Picture Experts Group). One of the MPEG systems is the MPEG2 system. In this MPEG2 system, a bit stream (bit string) of encoded multimedia data is transported by being time-division multiplexed as PES divided into packet units each called a PES (Packetized Elementary Stream) packet. It becomes a multiplexed communication signal called a stream (Transport Stream; TS). The transport stream (MPEG2-TS) has a data structure in which a PES packet is decomposed into several parts and is carried on a transport packet (TS packet) having a fixed length of 188 bytes.
[0003]
Now, in the transport stream, for each unit of decoding reproduction called an access unit (one frame in the case of video data), a time stamp for system synchronization, that is, a DTS (Decoding Time Stamp) indicating decoding timing on the receiving device side. ) And a time stamp called PTS (Presentation Time Stamp) indicating reproduction (display) timing are added. In the transport stream, 6-byte time information (a kind of time stamp) called a PCR (Program Clock Referenceance) for synchronizing the reference clock in the decoder of the receiving apparatus is appropriate. Set by frequency. As the value of this PCR, the time when the corresponding packet is transmitted is used.
[0004]
This transport stream transfer method is called a synchronous transfer method, and the receiving device side reproduces the reference clock by synchronizing the built-in (27 MHz) reference clock generator with the reference clock generator on the transmission side. In general, the decoding and display timings according to DTS and PTS are controlled. That is, the receiving side compares the time of the built-in reference clock with the value of the PCR (time information) when a packet including the PCR (MPEG2-TS packet) is received, and calculates the difference between them by a PLL circuit (phase lock loop). By feeding back to the voltage controlled oscillator (VCO) of the circuit), the value of the PCR and the time of the built-in reference clock are matched, that is, synchronized.
[0005]
[Problems to be solved by the invention]
In the above-described system for transferring multimedia data by the synchronous transfer method, when there is an error in the reference clock between the transmission side and the reception side, the clock error is accumulated and time jitter occurs. When this time jitter is small, the time of the built-in reference clock when a packet including PCR (time information, time stamp) is received and the value of the PCR are compared, and the PCR value and the built-in reference clock are compared. The time jitter can be absorbed by matching the time.
[0006]
However, when the time jitter becomes large, for example, when the frequency of the reference clock is higher on the transmission side, that is, when the transmission rate is faster than the reception rate, packets that cannot be received are generated, and the frequency of the reference clock is generated on the transmission side. If the transmission rate is low, that is, if the transmission rate is slower than the reception rate, reception waiting occurs. In either case, there is a problem that time jitter cannot be absorbed and there is a possibility that multimedia data (for example, video data) is not normally reproduced in the receiving apparatus.
[0007]
On the other hand, recently, a transfer method called isochronous transfer used in IEEE1394 proposed by IEEE (The Institute of Electrical and Electronics Engineers, Inc.) ensures a transfer rate for multimedia data. It is attracting attention because it can. In this isochronous transfer, a 4-byte time stamp is added to the beginning of an MPEG2-TS 188-byte packet for transfer.
[0008]
Therefore, when the isochronous transfer method in IEEE1394 is applied to the output interface of the multimedia data relay device, the time stamping method (synchronization method) is different from the case of applying the synchronous transfer method to the output interface. In addition, since a cable is used as a transmission medium in isochronous transfer, it is necessary to consider transmission delay time due to the cable.
[0009]
For this reason, when isochronous transfer is applied to the output interface of the relay device for multimedia data, there is a problem that it becomes more difficult to absorb the time jitter (error related to the time axis).
[0010]
The present invention has been made in consideration of the above circumstances, and its object is to provide a multimedia data transmitting apparatus and a multimedia data receiving apparatus in the case where a transfer system different from a synchronous transfer system, such as an isochronous transfer system, is applied to an output interface. It is an object to provide a multimedia data relay apparatus and method capable of effectively adjusting the time between the two and absorbing time axis deviation.
[0011]
[Means for Solving the Problems]
The present invention inputs a bit stream of multimedia data consisting of a packet sequence including a packet in which time information (PCR) indicating a time reference is set, transferred from a transmission device or a preceding relay device at a first transfer rate. A multimedia data relay device that transfers a bit stream consisting of a sequence of packets with a time stamp to a receiving device or a subsequent relay device at a second transfer rate faster than the first rate by a predetermined transfer method. The dummy packet inserting means for detecting that the transfer rate difference is outside the allowable range and inserting a dummy packet between the input packets in order to compensate for the transfer rate difference, and the dummy packet inserting means A packet including PCR from a packet string including a dummy packet (Null packet) A time information (PCR) rewriting means for correcting the PCR deviation due to the insertion of the Null packet, rewriting the PCR to the corrected value, and a packet including a packet in which the PCR is rewritten by the time information rewriting means Each time a packet with PCR is detected from the column and the packet with PCR is detected, the predetermined packet is determined based on the time information of the packet for each packet from the packet to the packet immediately before the packet including the next time information. The multimedia data relay apparatus includes a time stamp setting means for generating and additionally setting a time stamp in the format for the above transfer method.
[0012]
In such a configuration, since the output rate (second transfer rate) is set to be faster than the input rate (first transfer rate), it is possible to prevent the generation of packets that cannot be received (input). However, since waiting for reception occurs, there is a possibility that multimedia data (for example, video data) is not normally played back in the receiving apparatus.
[0013]
Therefore, in the above configuration, in order to absorb the difference in transfer rate, when the transfer rate difference is outside the allowable range, the dummy packet insertion means inserts a dummy packet between the input packets, thereby transferring the transfer rate difference. To compensate. However, the insertion of the dummy packet shifts the PCR value in the packet with PCR.
[0014]
For this reason, in the above configuration, a PCR-added packet is detected, and a PCR value shift due to insertion of a dummy packet is corrected.
In the above configuration, in order to apply a predetermined transfer method such as isocronous transfer, in which a bit stream consisting of a sequence of packets with a time stamp added is applied, a packet including a PCR-added packet whose PCR value is corrected is used. For each column, a time stamp is generated in the format for the predetermined transfer method based on the PCR from each packet with a PCR to the packet immediately before the next packet with a PCR, and added to the packet. The
[0015]
When a bit stream consisting of a sequence of packets to which the time stamp is added is transferred to the receiving device, the time stamp added to each packet is used as the restoration time of the packet in the receiving device. The difference can be absorbed.
[0016]
Here, in the relay device provided in the preceding stage of the receiving device, at least the delay time in the receiving device is taken into consideration, the value of the time stamp added to the packet transferred to the receiving device is set as the delay time on the receiving device side. If it is corrected and set in advance, the delay time on the receiving device side can be canceled out, so that the multimedia data can be restored (reproduced) more smoothly.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a multimedia data transmission system including a multimedia data relay device according to an embodiment of the present invention.
[0018]
The system in FIG. 1 operates with a reference clock CLK1, and transmits a multimedia data transmission device 11 that transmits a bit stream (transport stream) of multimedia data called MPEG2-TS, and a transport stream from the transmission device 11. A multimedia data relay device 12 that transfers to a subsequent stage by an isochronous transfer method, and a multimedia data reception device 13 that operates on the reference clock CLK2 and receives an isochronous transfer method stream transferred by the relay device 12 Is done. Here, the maximum frequency when the frequency variation (error) of the clock CLK1 is considered is lower than the minimum frequency when the frequency variation (error) of the frequency of the clock CLK2 is considered, that is, the transmission rate of the transmission apparatus. Is set to be slower than the reception rate of the receiving apparatus.
[0019]
FIG. 2 is a block diagram showing the configuration of the multimedia data relay device 12. The relay device 12 includes an input interface 121, an input FIFO 122, a Null packet insertion unit 123, a PCR rewrite unit 124, a time stamp generation unit 125, an output FIFO 126, a format conversion unit 127, and an output interface 128.
[0020]
The input interface 121 synchronizes the multimedia data (here, the transport stream) transferred from the preceding stage (here, the transmission device 11) with the packet (188-byte TS packet) in synchronization with the reference clock CLK1 (in the transmission device 11). ) Enter in units.
[0021]
The input FIFO 122 inputs and holds the packet input from the input interface 21 in synchronization with the reference clock CLK1 (in the transmission device 11), and holds the held packet in synchronization with the reference clock CLK2 in the reception device 13. This is a first-in first-out buffer for outputting in the order of input.
[0022]
The Null packet insertion unit 123 performs packet extraction (reading) from the FIFO 122 in synchronization with the reference clock CLK2, and the difference between the packet output rate from the FIFO 122 (126) and the packet input rate to the FIFO 22 is outside the allowable range. In this case, a null packet, which is a dummy packet, is inserted.
[0023]
The PCR rewriting unit 124 detects a packet including 6-byte PCR (time information) from the packet (MPEG2-TS packet) extracted by the Null packet insertion unit 123, reads the value of the PCR, The PCR is rewritten so as to correct the PCR value shift caused by the insertion of the Null packet.
[0024]
The time stamp generation unit 125 detects a packet including the PCR in the MPEG2-TS packet, and based on the value of the PCR, the time stamp (time information) of each packet until immediately before the packet including the next PCR is obtained. Sequentially generated and added to the corresponding packet. The time stamp here has the same format (form) as PCR and is composed of 6 bytes.
[0025]
The output FIFO 126 inputs and holds a packet (MPEG2-TS packet) with a time stamp added by the time stamp generation unit 125 in synchronization with the reference clock CLK2, and outputs the packet in the order of input in synchronization with the clock CLK2. First-in first-out buffer.
[0026]
The format conversion unit 127 performs packet extraction from the FIFO 126 in synchronization with the reference clock CLK2, and rewrites the 6-byte time stamp added to the extracted packet with a 4-byte time stamp in the isocronous transfer format.
[0027]
The output interface 128 transfers the packet whose format has been converted by the format converter 127 to the subsequent stage (here, the receiving device 13) in synchronization with the reference clock CLK 2 using the isocronous transfer method.
[0028]
Next, the operation of the multimedia data relay apparatus 12 in the system of FIG. 1 will be described with reference to the flowcharts of FIGS. 3 to 5 and the operation explanatory diagrams of FIGS.
[0029]
First, it is assumed that a sequence of MPEG2-TS packets (188 bytes) of multimedia data (transport stream) as shown in FIG. 6A is transferred from the transmission device 11 to the relay device 12. Here, a packet illustrated as P (x) (x is 1,..., H, i,..., J,..., K,...) Is a 6-byte PCR (program time reference reference value, time stamp) as time information. The packet other than that, that is, the packet not shown in the figure indicates the packet not including the PCR. In the example shown in the figure, the 1st, hth, ith, jth, kth... Packets contain PCR. In FIG. 6A, the PCR value of the packet P (x) is represented by PCR (x).
[0030]
The transport stream transferred from the transmission apparatus 11 to the relay apparatus 12 is input in units of MPEG2-TS packets by the input interface 121 in the relay apparatus 12 in synchronization with the reference clock CLK1 of the transmission apparatus 11, and the relay stream. The data is sequentially held in the input FIFO 122 in the device 12.
[0031]
When the transfer of the transport stream from the transmission device 11 to the relay device 12 is started, the Null packet insertion unit 123 in the relay device 12 counts the counter value n for counting the number of output packets and the counter for counting the number of inserted Null packets. After setting the value r to the initial value 0 (step 301 in FIG. 3), the operation of reading the MPEG2-TS packet input / held in the FIFO 122 and outputting it to the PCR rewriting unit 124 is started (steps 302 and 303 in FIG. 3). . The packet reading from the FIFO 122 is performed in synchronization with the reference clock CLK2 of the receiving device 13.
[0032]
Each time one packet is read from the FIFO 122 and output, the Null packet insertion unit 123 increments the counter value (number of output packets) n by 1 (step 304 in FIG. 3), and the packet from the FIFO 122 (126) at the latest fixed time. It is determined whether or not the difference (transfer rate difference) between the output rate (frequency of CLK2) and the packet input rate to the FIFO 22 (frequency CLK1 <CLK2 of CLK1) is within an allowable range (step 305 in FIG. 3). Here, for simplification of description, it is determined that the transfer rate difference is outside the allowable range when the FIFO 122 is empty, and otherwise, it is determined that the transfer rate difference is within the allowable range. This is equivalent to determining that the transfer rate difference is outside the allowable range when 1 ≧ number of output packets n−number of input packets−number of inserted Null packets r ≧ 0. In addition, a control (so-called half-full control) is performed so that a number K of packets corresponding to 1/2 of the capacity of the FIFO 122 is stored in the FIFO 122, and the transfer rate difference is reduced when the state becomes less than 1/2. It is also possible to determine that it is outside the allowable range.
[0033]
If the transfer rate difference is within the allowable range, the Null packet insertion unit 123 does not insert the Null packet described below.
On the other hand, if the transfer rate difference is outside the allowable range, the Null packet insertion unit 123 performs a Null packet insertion operation for generating a Null packet and outputting it to the PCR rewriting unit 124 (step 306 in FIG. 3). . At this time, the Null packet insertion unit 123 increments the counter value n and the counter value r by 1 (step 307 in FIG. 3).
[0034]
When the Null packet insertion unit 123 executes the above-described series of processing related to the packet read from the FIFO 122, if it is not the end of the transport stream (step 308 in FIG. 3), the Null packet insertion unit 123 returns to step 302 to read the next packet from the FIFO 122. Do.
[0035]
When receiving the packet output from the Null packet inserting unit 123, the PCR rewriting unit 124 checks whether or not the packet includes the PCR (step 401 in FIG. 4). If the PCR is included, the PCR rewriting unit 124 performs an operation for correcting the PCR value according to the number of Null packets inserted so far (that is, the value of the counter value r) as follows. Perform (step 402 in FIG. 4).
[0036]
First, it is assumed that the xth packet before insertion of a Null packet is a packet with PCR, the packet is P (x), and the PCR value is PCR (x). This packet P (x) becomes the x + r (= n) th packet after r null packets are inserted. The x + rth packet is represented as P ′ (x + r).
[0037]
In this case, the PCR value PCR ′ (x + r) after correction of P ′ (x + r) is expressed by the following equation:
PCR ′ (x + r) = PCR (x) × (x + r) / x
It is represented by As is clear, when r = 0,
PCR ′ (x + r) = PCR ′ (x) = PCR (x)
It becomes.
[0038]
When the PCR rewriting unit 124 obtains the correction value of the PCR, the PCR rewriting unit 124 rewrites the PCR with the correction value and outputs it to the time stamp generation unit 125 (steps 403 and 404 in FIG. 4). On the other hand, for a packet that does not include a PCR, the PCR rewriting unit 124 outputs the packet as it is to the time stamp generating unit 125 (step 404 in FIG. 4).
[0039]
In this way, a sequence of MPEG2-TS packets as shown in FIG. 6B is output from the PCR rewriting unit 124 to the time stamp generating unit 125. In the figure, P ′ (x) (x is 1,..., I + 1,..., J + 1,... K + q,...) Indicates a packet including the PCR rewritten by the PCR rewriting unit 124, and PCR ′ ( x) indicates the PCR value of the packet P ′ (x). Also, it is shown between the packet P ′ (h) with PCR and the next packet P ′ (i + 1) with PCR (Null). ₁ Indicates that one Null packet in total is inserted between P ′ (h) and P ′ (i + 1), and the packet with PCR P ′ (j + 1) and the next packet with PCR P ′ (k + q ) (Null) _q-1 Indicates that a total of q−1 Null packets are inserted between P ′ (j + 1) and P ′ (k + q). That is, when a total of y Null packets are inserted between one packet with PCR and the next packet with PCR, (Null) _y It is represented by
[0040]
When receiving a packet with or without PCR (MPEG2-TS packet) from the PCR rewriting unit 124, the time stamp generating unit 125 calculates the time stamp of the packet as follows.
[0041]
First, when a packet with a PCR is received (step 501 in FIG. 5), the time stamp generating unit 125 determines the PCR value as a time stamp value (step 502 in FIG. 5), and the time of the determined value. A stamp (6-byte time stamp having the same format as the PCR of the MPEG2-TS packet) is added to the head of the packet (188-byte MPEG2-TS packet) (step 503 in FIG. 5). Then, the time stamp generation unit 125 writes the packet with the time stamp added to the FIFO 126 in synchronization with the reference clock CLK2 (step 504 in FIG. 5).
[0042]
On the other hand, when a non-PCR packet is received from the PCR rewriting unit 124, the time stamp generating unit 125 adds the time required for transferring one packet (delay time) to the time stamp value set for the immediately preceding packet. ) The value obtained by adding δ is determined as the time stamp value of the received packet (step 505 in FIG. 5), and the time stamp of this determined value (6-byte time stamp in the same format as PCR) is the head of the packet. (Step 503 in FIG. 5). Then, the time stamp generation unit 125 writes the packet with the time stamp added to the FIFO 126 in synchronization with the reference clock CLK2 (step 504 in FIG. 5).
[0043]
In this way, the MPEG2-TS packet sequence shown in FIG. 6B input from the PCR rewriting unit 124 to the time stamp generation unit 125 is changed to a packet sequence as shown in FIG. Converted. In the figure, a packet illustrated as P ″ (x) corresponds to the xth packet.
[0044]
For example, a packet with a PCR P ′ (1) with x = 1 input from the PCR rewriting unit 124 to the time stamp generation unit 125 has the same value as the PCR value PCR ′ (1) of the packet P ′ (1). It is converted into a packet P ″ (1) to which a time stamp PCR ″ (1) is added. On the other hand, each non-PCR packet P ′ (x) in the range of x = 2 to h has a time stamp value PCR value of the immediately preceding packet P ′ (x−1) as PCR ″ (x−1). , PCR ″ (x−1) + δ is converted into a packet P ″ (x) to which a time stamp PCR ″ (x) is added.
[0045]
The format converter 127 reads the packet P ″ (x) written in the FIFO 126 in synchronization with the reference clock CLK2, and adds a 6-byte time (in the same format as the PCR) added to the packet P ″ (x). The stamp PCR ″ (x) is converted (format converted) into a 4-byte time stamp TSP (x) in the isocronous transfer format. In other words, the format converter 127 converts the packet P ″ (x) into the isocronous transfer format. The packet is converted into an isocronous transfer packet P ^ (x) to which the time stamp TSP (x) is added. This format conversion is realized by calculation or format conversion. Also, any format time stamp can be handled by changing the method of calculation and format conversion.
[0046]
FIG. 8 shows a sequence of packets for isocronous transfer whose format has been converted in this way.
An isocronous transfer packet whose time stamp format has been converted by the format converting unit 127, that is, 192-byte data in which a 4-byte time stamp is added to an 188-byte MPEG2-TS packet is passed to the output interface 128. The interface 128 transfers the signal to the receiving device 13 in synchronization with the reference clock CLK2, that is, the reference clock CLK2 in the receiving device 13.
[0047]
In the reception device 13, a 4-byte time stamp added to the MPEG2-TS packet transferred from the output interface 128 in the relay device 12 is used as the restoration time of the packet. Accordingly, the synchronous transfer method is applied between the transmission device 11 and the relay device 12, and the clock CLK1 and reception on the transmission device 11 side are received while the isocronous transfer method is applied between the relay device 12 and the reception device 13. Time jitter due to the difference from the clock CLK2 on the device 13 side can be absorbed.
[0048]
By the way, as shown in FIG. 9, the receiving apparatus 13 generally includes an input circuit 131, an MPEG2 decoder 132, and a display monitor 133.
The input circuit 131 has an internal timer serving as a reference clock, and inputs a packet (MPEG2-TS packet with a time stamp added) output from the relay device 12 (internal output interface 128). When the indicated time matches the value of the time stamp added to the packet, the packet is sent to the MPEG2 decoder 132. The MPEG2 decoder 132 decodes the packet sent from the input circuit 131 and outputs it to the display monitor 133.
[0049]
In such a receiving device 13, in order to enable smooth reproduction of multimedia data, in addition to the above time jitter absorption, the delay time of the transmission cable between the relay device 12 and the receiving device 13, In addition, it is necessary to consider the delay time of the input circuit 131 in the receiving device 13.
[0050]
That is, if the sum of the two delay times is the delay time td of the receiving device 13, the PCR value PCR ′ (x) in the MPEG2-TS packet and the time stamp value TSP (x) of the packet for isocronous transfer are By setting the relative relationship to PCR ′ (x) −td = TSP (x), that is, the time stamp value TSP (x) of P ^ (x) is set in advance by the delay time td of the receiver 13. By setting a smaller value, in other words, by setting an optimum time stamp according to the configuration of the receiving device 13, the delay time td of the receiving device 13 can be offset. As a result, smooth playback of multimedia data (image playback when the multimedia data is video data) is possible.
[0051]
In the embodiment described above, the case where the format conversion unit 127 is provided between the output FIFO 126 and the output interface 128 has been described. However, the format conversion unit 127 is interposed between the time stamp generation unit 125 and the FIFO 126. The time stamp generation unit 125 and the format conversion unit 127 may be combined into one. Further, the output interface 128 may have the function of the format conversion unit 127.
[0052]
In the embodiment described above, the case where one relay device is arranged between the transmission device 11 and the reception device 13 has been described, but the same applies to the case where two or more relay devices are arranged. Can be implemented. Here, for example, assuming a system in which two relay devices are arranged, the output clock of the relay device on the transmission device 11 side and the input clock of the relay device on the reception device 13 side are within a predetermined range from the clock CLK1. A clock having a high frequency and a low frequency within a predetermined range from the clock CLK2 may be used. In addition, the relay device on the receiving device 13 side can be provided with a generator of the clock CLK2 (reference clock of the receiving device 13). Since the bit stream transferred by the isocronous transfer method is input from the relay device on the transmission device 11 side to the relay device on the reception device 13 side, the packet (MPEG2-TS) with a time stamp added is processed. However, if this time stamp is ignored (deleted), it can be implemented in the same manner as the relay device 12 in the above embodiment.
[0053]
Furthermore, the present invention can also be applied to a relay device that does not apply the isocronous transfer method. In this case, the time stamp generation unit 125 and the format conversion unit 127 are not necessary.
[0054]
【The invention's effect】
As described above in detail, according to the present invention, when a predetermined transfer method different from the synchronous transfer method, such as an isochronous transfer method, is applied to the output interface, the output rate is set to be faster than the input rate. When the rate difference is outside the allowable range, a dummy packet (Null packet) is inserted to compensate for the transfer rate difference so that the transfer rate difference is eliminated, and PCR ( (Time information) is corrected, and based on the corrected PCR, a time stamp in the format for the predetermined transfer method of each packet up to immediately before the next packet with PCR is generated and set. Therefore, it is possible to effectively adjust the time between the transmitter and the receiver to absorb the time axis error, and smooth the reception device. Multimedia data reproduction can be realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a multimedia data transmission system including a multimedia data relay device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing the configuration of the multimedia data relay device 12 in FIG.
FIG. 3 is a flowchart for explaining the operation of a null packet insertion unit 123 in FIG. 2;
4 is a flowchart for explaining the operation of the PCR rewriting unit 124 in FIG. 2;
FIG. 5 is a flowchart for explaining the operation of a time stamp generation unit 125 in FIG. 2;
FIG. 6 is a view for explaining Null packet insertion and PCR rewriting in the embodiment.
FIG. 7 is a view for explaining time stamp generation according to the embodiment;
FIG. 8 is a diagram for explaining time stamp format conversion in the embodiment;
FIG. 9 is a block diagram showing the configuration of the receiving device 13 in FIG.
[Explanation of symbols]
11 ... Multimedia data transmitter
12. Multimedia data relay device
13 ... Multimedia data receiver
121 ... Input interface
122 ... Input FIFO
123 ... Null packet insertion section (dummy packet insertion means)
124 ... PCR rewriting unit (time information rewriting means)
125 ... Time stamp generator (time stamp setting means)
126 ... Output FIFO
127 ... format conversion unit (time stamp setting means)
128 ... Output interface
131: Input circuit
132 ... MPEG2 decoder
133 ... display monitor

Claims

送信装置または前段の中継装置から転送された、時刻基準を表す時間情報が設定されたパケットを含むパケット列からなるマルチメディアデータのビットストリームを第１の転送レートで入力し、タイムスタンプが付加されたパケットの列からなるビットストリームとして受信装置または後段の中継装置に前記第１の転送レートより速い第２の転送レートで所定の転送方式により転送するマルチメディアデータ中継装置であって、
前記第２の転送レートと前記第１の転送レートとの差である転送レート差が許容範囲外となったことを検出し、その転送レート差を補償するために入力パケット間にダミーのパケットを挿入するダミーパケット挿入手段と、
前記ダミーパケット挿入手段により挿入されたダミーパケットを含むパケット列から前記時間情報を含むパケットを検出して、前記ダミーパケットの挿入による当該時間情報のずれを補正し、その補正後の値に当該時間情報を書き換える時間情報書き換え手段と、
前記時間情報書き換え手段によって前記時間情報が書き換えられたパケットを含むパケット列から前記時間情報を含むパケットを検出し、当該時間情報を含むパケットを検出する毎に、当該パケットから次の時間情報を含むパケットの直前のパケットまでの各々について、当該パケットの時間情報をもとに、前記所定の転送方式用のフォーマットでタイムスタンプを生成して付加設定するタイムスタンプ設定手段とを具備することを特徴とするマルチメディアデータ中継装置。A bit stream of multimedia data consisting of a packet sequence including a packet set with time information indicating a time reference transferred from a transmission device or a preceding relay device is input at a first transfer rate, and a time stamp is added. A multimedia data relay apparatus that transfers a bit stream consisting of a sequence of packets to a receiving apparatus or a subsequent relay apparatus at a second transfer rate faster than the first transfer rate by a predetermined transfer method,
In order to detect that the transfer rate difference, which is the difference between the second transfer rate and the first transfer rate, is outside the allowable range, a dummy packet is inserted between input packets to compensate for the transfer rate difference. Dummy packet insertion means for inserting;
The packet including the time information is detected from the packet sequence including the dummy packet inserted by the dummy packet inserting means, the time information shift due to the insertion of the dummy packet is corrected, and the corrected time is set to the value after the correction. Time information rewriting means for rewriting information;
A packet including the time information is detected from a packet sequence including a packet in which the time information is rewritten by the time information rewriting means, and each time a packet including the time information is detected, the next time information is included from the packet. A time stamp setting means for generating and additionally setting a time stamp in the format for the predetermined transfer method based on the time information of the packet for each of the packets immediately before the packet, Multimedia data relay device.

前記タイムスタンプ設定手段は、前記時間情報書き換え手段によって前記時間情報が書き換えられたパケットを含むパケット列から前記時間情報を含むパケットを検出し、当該時間情報を含むパケットを検出する毎に、当該パケットから次の時間情報を含むパケットの直前のパケットまでの各々について、当該パケットの時間情報をもとに、その時間情報と同一フォーマットのタイムスタンプを生成して付加設定するタイムスタンプ生成手段と、前記タイムスタンプ生成手段によってタイムスタンプが付加設定されたパケットを受けて、当該タイムスタンプを前記所定の転送方式用のタイムスタンプにフォーマット変換するフォーマット変換手段とを備えていることを特徴とする請求項１記載のマルチメディアデータ中継装置。The time stamp setting unit detects a packet including the time information from a packet sequence including a packet in which the time information is rewritten by the time information rewriting unit, and each time the packet including the time information is detected, the packet A time stamp generating means for generating and additionally setting a time stamp of the same format as the time information based on the time information of the packet for each of the packets immediately before the packet including the next time information, 2. A format conversion means for receiving a packet with a time stamp added and set by a time stamp generation means and converting the time stamp into a time stamp for the predetermined transfer method. The multimedia data relay device described.

前記タイムスタンプ設定手段は、後段に前記受信装置が位置している場合に、前記タイムスタンプの値を前記受信装置側の遅延時間分だけ予め補正して設定することを特徴とする請求項１記載のマルチメディアデータ中継装置。2. The time stamp setting means, when the receiving device is located in a subsequent stage, sets the time stamp value by correcting in advance by a delay time on the receiving device side. Multimedia data relay device.

送信装置または前段の中継装置から転送された時刻基準を表す時間情報が設定されたパケットを含むパケット列からなるマルチメディアデータのビットストリームを第１の転送レートで入力して、タイムスタンプが付加されたパケットの列からなるビットストリームとして受信装置または後段の中継装置に前記第１の転送レートより速い第２の転送レートで所定の転送方式により転送するマルチメディアデータ中継装置であって、
前記第２の転送レートと前記第１の転送レートとの差である転送レート差が許容範囲外となったことを検出し、その転送レート差を補償するために入力パケット間にダミーのパケットを挿入するダミーパケット挿入手段と、
前記ダミーパケット挿入手段により挿入されたダミーパケットを含むパケット列から前記時間情報を含むパケットを検出して、前記ダミーパケットの挿入による当該時間情報のずれを補正し、その補正後の値に当該時間情報を書き換える時間情報書き換え手段とを具備することを特徴とするマルチメディアデータ中継装置。A bit stream of multimedia data composed of a packet sequence including a packet in which time information representing a time reference transferred from a transmission device or a preceding relay device is set is input at a first transfer rate, and a time stamp is added. A multimedia data relay apparatus that transfers a bit stream consisting of a sequence of packets to a receiving apparatus or a subsequent relay apparatus at a second transfer rate faster than the first transfer rate by a predetermined transfer method,
In order to detect that the transfer rate difference, which is the difference between the second transfer rate and the first transfer rate, is outside the allowable range, a dummy packet is inserted between input packets to compensate for the transfer rate difference. Dummy packet insertion means for inserting;
The packet including the time information is detected from the packet sequence including the dummy packet inserted by the dummy packet inserting means, the time information shift due to the insertion of the dummy packet is corrected, and the corrected time is set to the value after the correction. A multimedia data relay device comprising time information rewriting means for rewriting information.

送信装置または前段の中継装置から転送された、時刻基準を表す時間情報が設定されたパケットを含むパケット列からなるマルチメディアデータのビットストリームを第１の転送レートで入力し、タイムスタンプが付加されたパケットの列からなるビットストリームとして受信装置または後段の中継装置に前記第１の転送レートより速い第２の転送レートで所定の転送方式により転送するマルチメディアデータ中継方法であって、
前記第２の転送レートと前記第１の転送レートとの差である転送レート差が許容範囲外となったことを検出し、その転送レート差を補償するために入力パケット間にダミーのパケットを挿入するステップと、
前記挿入されたダミーパケットを含むパケット列から前記時間情報を含むパケットを検出して、前記ダミーパケットの挿入による当該時間情報のずれを補正し、その補正後の値に当該時間情報を書き換えるステップと、
前記時間情報が書き換えられたパケットを含むパケット列から前記時間情報を含むパケットを検出し、当該時間情報を含むパケットを検出する毎に、当該パケットから次の時間情報を含むパケットの直前のパケットまでの各々について、当該パケットの時間情報をもとに、前記所定の転送方式用のフォーマットでタイムスタンプを生成して付加設定するステップとを具備することを特徴とするマルチメディアデータ中継方法。A bit stream of multimedia data consisting of a packet sequence including a packet set with time information indicating a time reference transferred from a transmission device or a preceding relay device is input at a first transfer rate, and a time stamp is added. A multimedia data relay method of transferring a bit stream consisting of a sequence of packets to a receiving device or a subsequent relay device at a second transfer rate faster than the first transfer rate by a predetermined transfer method,
In order to detect that the transfer rate difference, which is the difference between the second transfer rate and the first transfer rate, is outside the allowable range, a dummy packet is inserted between input packets to compensate for the transfer rate difference. Inserting step;
Detecting a packet including the time information from a packet sequence including the inserted dummy packet, correcting a shift of the time information due to the insertion of the dummy packet, and rewriting the time information to a value after the correction; ,
Each time a packet including the time information is detected from a packet sequence including a packet in which the time information is rewritten, and each time a packet including the time information is detected, the packet immediately before the packet including the next time information is detected. A method of generating and additionally setting a time stamp in the format for the predetermined transfer method on the basis of time information of the packet.