JP4274988B2

JP4274988B2 - データ送信装置

Info

Publication number: JP4274988B2
Application number: JP2004094128A
Authority: JP
Inventors: 英惠定道; 敦志清水
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-03-29
Filing date: 2004-03-29
Publication date: 2009-06-10
Anticipated expiration: 2024-03-29
Also published as: JP2005286449A

Description

本発明は、データ送信装置に関し、特に、映像データや音声データ等のメディアデータをネットワークを介して伝送し、これを、ネットワークに接続された映像表示装置や音声再生装置等にて同期再生するシステムに用いて好適なものである。

インターネットやホームネットワークの整備・普及に伴い、映像データや音声データ等、数種のメディアデータをネットワーク越しに送信し、これを、ＡＶシステム等にて受信して再生するようなネットワークシステムの利用形態が想定される。この場合、ＡＶシステム側では、受信した数種のメディアデータを同期あわせして再生する必要があるが、通常、かかる同期あわせは、送信側装置においてメディアデータに付加された再生時刻に関する情報、すなわち、タイムスタンプ値をもとに行われる。

すなわち、受信側ＡＶシステムは、各メディアデータに付加されたタイムスタンプ値を参照し、このタイムスタンプ値に応じた時刻（タイミング）にて、対応するメディアデータを再生する。これにより、各メディアの再生タイミングが、タイムスタンプ値を規定する時間軸上において同期合わせされ、各メディアデータの再生タイミングが互いに整合するようになる。

しかし、この場合、各メディアデータに付加されたタイムスタンプ値がもともと時間ずれしたような状態にあれば、これをもとに再生しても、各メディアデータの再生タイミングを整合させることはできない。そこで、以下の特許文献１では、各メディアデータに付加されるタイムスタンプ値を、互いに時間ずれが生じないものに調整する措置が講じられている。すなわち、ネットワーク上にタイムスタンプ値の時間軸を規定するためのＮＴＰ（Network Time Protocol）サーバを配し、当該ネットワーク上に接続された各端末から一定時間ごとにＮＴＰサーバに時刻情報を要求することによって、各端末が常に同一の時刻を保持するようにしている。

ところが、このようにしても、受信側ＡＶシステムにおいて各メディアデータを再生する際に、たとえば映像データと音声データの再生処理時間が相違すると、再生映像の出力と再生音声の出力の間に時間的なずれが生じてしまう。そこで、以下の特許文献２では、各メディアデータの再生処理時間の相違に応じて、再生時刻を適宜調整する措置が講じられている。すなわち、ここでは、ＤＶＤプレーヤからの映像データと音声データを、モニタとアンプでそれぞれ再生する際に生じる映像と音声の時間ずれを解消することが目的とされ、モニタにて行われる画素変換などの処理時間（遅延時間）を、ＤＶＤプレーヤを介して、または直接、アンプへ通知し、これに応じてアンプ側の音声再生時刻を遅らせることにより、映像と音声とを同期あわせするようにしている。
特開２００３− ８５０６８号公報特開２００２−３４４８９８号公報

しかしながら、上記の如く調整しても、たとえば、映像データを再生する再生装置と、音声データを再生する再生装置が別々の場合、それぞれの再生装置上の時間軸（タイムスタンプ用の時間軸）がずれていれば、やはり、かかる時間軸のズレに応じて、再生タイミングがずれることとなってしまう。

この場合、かかる問題は、上記特許文献１のように、再生側の各装置の時間軸をＮＴＰサーバの時刻を参照する方法によって解消できるが、こうすると、ネットワーク上にＮＴＰサーバを別途配する必要があり、ネットワークシステムの複雑化と処理の煩雑化を招くとの問題が生じる。

そこで、本発明は、ネットワークを複雑化させることなく、簡易な処理にて、再生装置側の時間軸のずれを適宜解消し得るデータ送信装置を提供することを課題とする。

第１の発明は、メディアデータにタイムスタンプ値を付加して送信するデータ送信装置において、データが受信側に到達するまでの時間ＴＬを検出する到達時間検出手段と、前記到達時間検出手段によって検出した到達時間ＴＬに基づいて、他のメディアデータとの間の再生タイミングの時間ずれΔＴを検出するタイミング誤差検出手段と、前記タイミング誤差検出手段によって検出された再生タイミングの時間ずれΔＴに応じて、前記メディアデータに付加するタイムスタンプ値を調整するタイムスタンプ値調整手段とを有することを特徴とする。

第２の発明は、前記第１の発明に係るデータ送信装置において、前記到達時間検出手段は、応答確認のための制御データを受信側装置に送信し、この送信から、当該送信データに対する応答確認通知を受信するまでの時間に基づいて、前記制御データが送信されてから前記受信側装置に到達するまでの時間Ｔ１を検出し、この時間Ｔ１を、前記到達時間ＴＬとして設定することを特徴とする。

第３の発明は、前記第２の発明に係るデータ送信装置において、前記到達時間検出手段は、前記受信側装置からの応答確認通知を解析して、当該受信側装置が前記制御データを受信してから前記応答確認通知を送信するまでに要した時間を検出し、この時間と、前記制御データを送信してから応答確認通知を受信するまでの時間に基づいて、前記時間Ｔ１を検出することを特徴とする。

第４の発明は、前記第２または第３の発明に係るデータ送信装置において、前記到達時間検出手段は、さらに、前記メディアデータを処理して送信するまでの要処理時間Ｔ２を検出し、検出した時間Ｔ２と、前記到達時間Ｔ１をもとに、前記到達時間ＴＬを設定することを特徴とする。

第５の発明は、前記第１ないし第４の発明のうち何れか一つの発明に係るデータ送信装置において、前記タイミング誤差検出手段は、他のデータ送信装置から受信した前記到達時間ＴＬと自己の到達時間ＴＬの差分から、再生タイミングの時間ずれΔＴを検出することを特徴とする。

第６の発明は、前記第５の発明に係るデータ送信装置において、前記タイムスタンプ値調整手段は、自己の到達時間ＴＬの方が他のデータ送信装置から受信した前記到達時間ＴＬよりも小さいときに自己のタイムスタンプ時間軸上の時刻に前記時間ずれΔＴを加算し、または、自己の到達時間ＴＬの方が他のデータ送信装置から受信した前記到達時間ＴＬよりも大きいときに前記時間ずれΔＴを減算して、前記メディアデータに付加するタイムスタンプ値を設定することを特徴とする。

第７の発明は、前記第６の発明に係るデータ送信装置において、前記タイムスタンプ値調整手段は、自己の到達時間ＴＬの方が他のデータ送信装置から受信した前記到達時間ＴＬよりも小さいときにのみ、自己のタイムスタンプ時間軸上の時刻に対し前記時間ずれΔＴを加算して、前記メディアデータに付加するタイムスタンプ値を設定することを特徴とする。

第８の発明は、前記第１ないし第５の発明のうち何れか一つの発明に係るデータ送信装置において、前記タイムスタンプ値調整手段は、前記時間ずれΔＴに応じたタイムスタンプ調整値に関する情報を、制御データに含めて、前記受信側装置に送信することを特徴とする。

なお、上記第５ないし第７の発明における「他のデータ送信装置」とは、「他のデータ送信装置」が装置として物理的に独立している場合のみならず、当該装置内に、「他のデータ送信装置」の機能が併合されているような場合にも、当該機能の存在をもって、これら発明にいう「他のデータ送信装置」として把握されるものである。すなわち、「他のデータ送信装置」は、装置として独立している場合の他、機能として把握できれる場合を広く含むものである。

本発明の特徴は、以下に示す実施の形態の説明により更に明らかとなろう。但し、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

上記第１の発明によれば、他のメディアデータとの間の再生タイミングの時間ずれΔＴに応じてタイムスタンプ値を調整するものであるから、受信側装置において、その時間軸（タイムスタンプ用の時間軸）が他の受信側装置の時間軸とずれていても、この時間軸のズレに応じてタイムスタンプ値が適正に調整されるので、当該メディアデータを他のメディアデータと同期させることができる。

ここで、他のメディアデータとの間の再生タイミングの時間ずれΔＴは、上記第２または第３の発明のように、応答確認のための制御データの送信から、当該送信データに対する応答確認通知を受信するまでの時間に基づいて検出することができ、さらに、上記第４の発明のように、前記メディアデータを処理して送信するまでの要処理時間をも加味して検出することもできる。

また、再生タイミングの時間ずれΔＴは、上記第５の発明のように、他のデータ送信装置から受信した到達時間ＴＬと自己の到達時間ＴＬの差分から、検出することができる。

また、タイムスタンプ値の調整は、上記第６の発明のように、自己の到達時間ＴＬの方が小さい場合に自己のタイムスタンプ時間軸上の時刻に対し前記時間ずれΔＴを加算し、または、自己の到達時間ＴＬの方が大きい場合に自己のタイムスタンプ時間軸上の時刻に対し前記時間ずれΔＴを減算するようにして行うことができる。

このとき、上記第７の発明のように、自己の到達時間ＴＬの方が小さい場合にのみ、自己のタイムスタンプ時間軸上の時刻に対し時間ずれΔＴを加算して、メディアデータに付加するタイムスタンプ値を設定するようにすれば、タイムスタンプ値が負の値になることはなく、また、メディアデータが受信側装置に到達したときに、既に当該受信装置のタイムスタンプ時間軸上の時刻が、当該メディアデータに付されたタイムスタンプ値の時刻を経過しているような事態を抑制でき、もって、受信装置側にて円滑な同期再生を実現することができる。

さらに、タイムスタンプ値の調整は、上記第８の発明のように、時間ずれΔＴに応じたタイムスタンプ調整値に関する情報を、制御データに含めて、前記受信側装置に送信することにより行うこともできる。この場合、受信側装置は、メディアデータに付されたタイムスタンプ値を、受信したタイムスタンプ値調整値に応じて適宜修正し、修正後のタイムスタンプ値に応じて再生動作を行う。あるいは、自己のタイムスタンプ時間軸を、受信したタイムスタンプ値調整値に応じて調整し、調整後のタイムスタンプ時間軸をもとに再生動作を行う。これにより、当該メディアデータの再生を他のメディアデータの再生に同期させることができる。

この他、本発明における作用効果は、以下に示す実施の形態の説明によって、さらに明らかになるものと思われる。

以下、本発明の実施の形態につき図面を参照して説明する。

図１は、実施の形態ネットワークシステムの構成を概念的に示す図である。

図において、端末装置１および端末装置２は、メディアデータを処理して送信する手段と、ネットワークに接続する手段を備えている。また、端末装置３および端末装置４は、メディアデータを受信し再生する手段と、ネットワークに接続する手段を備えている。

本実施の形態では、端末装置１および端末装置２はデータ送信装置として機能し、その対象装置としては、たとえば、ホームサーバや、電話機のように、カメラやマイク、または他の再生機器で再生した音声や映像、画像などのデータを入力できる装置が想定されている。また、端末装置３および端末装置４は、データ受信装置として機能し、その対象装置としては、例えば、ホームサーバや、電話機、テレビのように、モニタやスピーカを持つ装置、または、モニタやスピーカを持つ装置に音声や映像、画像などを出力できる装置が想定されている。ここで、端末装置１および端末装置２と、端末装置３および端末装置４は、有線や無線のネットワークに接続されており、音声や映像を互いに送受信可能な状態にある。

なお、端末装置１〜４は、それ自体が予め固有の機能を備えるような機器の他、パーソナルコンピュータやホームルータ等、ソフトウエアのインストール等によって映像データや音声データを処理することができ、且つ、ネットワークに接続可能な汎用的機器にて構成することもできる。

図２に、端末装置１および２の機能ブロック図を示す。なお、同図には、データの送受信に必要な機能のみを示し、その他の構成は、便宜上、図示省略してある。

図示の如く、端末装置１は、メディアデータ入力部１０１、メディアデータ符号化部１０２、タイムスタンプ付加部１０３、制御データ作成部１０４、制御データ解析部１０５、データ送受信部１０６、通知データ作成・解析部１０７、通知データ送受信部１０８から構成されている。

メディアデータ入力部１０１は、映像や音声を入力することのできる外部入力部であり、カメラやマイク、他の再生機器が接続された、または接続可能な入力端子である。

メディアデータ符号化部１０２は、入力された映像や音声をネットワークに送出するために符号化処理およびＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケット化処理を行う。

タイムスタンプ付加部１０３は、メディアデータをパケット化する際に、メディアデータ・パケットに対し、自己のタイムスタンプ時間軸上の時刻情報（タイムスタンプ値）を付加する。

制御データ作成部１０４は、メディアデータを補助するための制御データを作成する。ここでは、制御データは、ＲＴＰとセットで用いられるＲＴＣＰ（ＲＴＰＣｏｎｔｏｒｏｌＰｒｏｔｏｃｏｌ）を用いる。

制御データ解析部１０５は、制御データの送信に対して受信側装置から受信した応答確認（ＲＴＣＰパケット）の内容を解析し、この解析結果から、後述の如くして、ＲＴＰの伝送にかかる遅延時間を算出する。

データ送受信部１０６は、上記ＲＴＰパケットやＲＴＣＰパケットを、端末装置３や端末装置４などの再生端末が接続されているネットワークへ送信し、また、ネットワークから、上記応答確認等のＲＴＣＰパケットを受信する。

通知データ作成・解析部１０７は、前記制御データ解析部１０５で算出した遅延時間を、他の端末装置（データ送信装置）へ通知するための通知文を作成し、また、他の端末装置（データ送信装置）から受信した通知文を解析し、解析結果を、メディアデータ符号化部１０２の中のタイムスタンプ付加部１０３へ通知する。

通知データ送受信部１０８は、通知データ作成・解析部１０７で作成された通知文を他の端末装置（データ送信装置）へ送信し、また、他の端末装置（データ送信装置）から通知文を受信して、これを、通知データ作成・解析部１０７へ転送する。

図３に、端末装置３および４の機能ブロック図を示す。なお、同図には、データの送受信に必要な機能のみを示し、その他の構成は、便宜上、図示省略してある。

図示の如く、端末装置３は、メディアデータ復号化部３０１、タイムスタンプ読み取り部３０２、メディアデータ再生部３０３、制御データ解析部３０４、制御データ作成部３０５、データ送受信部３０６から構成されている。

メディアデータ復号化部３０１は、ネットワークから受信したＲＴＰパケットの復号化を行う。タイムスタンプ読み取り部３０２は、ＲＴＰパケットに付加されたタイムスタンプを読み取る。読み取られたタイムスタンプ値は、メディアデータ復号化部３０１における復号化の際に利用される。

メディアデータ再生部３０３は、復号化された映像データや音声データを出力することのできる外部出力部であり、モニタやスピーカ、その他の再生機器などが接続された、または接続可能な出力端子である。

制御データ解析部３０４は、端末装置１または２から受信した制御データ（ＲＴＣＰパケット）の内容を解析し、その解析結果を制御データ作成部３０５に与える。制御データ作成部３０５は、制御データ解析部３０４からの解析結果と、自己が管理する時刻情報から、制御データに対する応答確認のための制御データ（ＲＴＣＰ）を作成する。

データ送受信部３０６は、ＲＴＰパケットやＲＴＣＰパケットをネットワークから受信し、また、制御データ作成部３０５によって生成された制御データ（ＲＴＣＰパケット）をネットワークに送信する。

次に、かかるネットワークシステムの動作について説明する。

なお、ここでは、端末装置１はカメラが接続されたサーバ、端末装置２はマイクが接続されたサーバとし、また、端末装置３はモニタが接続されたサーバ、端末装置４はスピーカが接続されたサーバであるとする。ここで、サーバとは、映像データや音声データを処理することのできる端末装置である。

図４を参照して、送信データのストリーム処理が開始されると、端末装置１および端末装置２のタイムスタンプ時間軸がほぼ同時にゼロリセットされ、タイムスタンプ時間軸上における時刻の計時が開始される。そして、最初のデータパケットの生成処理が開始されると、このデータパケットに対し、パケット処理開始時点の時刻がタイムスタンプとして付加され、これが、ＲＴＰパケットとして、対応する受信側端末装置３または４に送信される。

しかして、最初のＲＴＰパケットが受信側の端末装置３、４に受信されると、これに応じて、端末装置３、４のタイムスタンプ時間軸が各々ゼロリセットされ、それぞれのタイムスタンプ時間軸上における時刻の計時が開始される。このとき、端末装置１からのＲＴＰパケットと端末装置２からのＲＴＰパケットとの間に到達時間のずれが生じると、端末装置３、４におけるタイムスタンプ時間軸のゼロリセットタイミングにずれが生じる。つまり、端末装置３、４上のタイムスタンプ時間軸に、時間ずれΔＴが生じる。このため、最初のＲＴＰパケットに含まれる各メディアデータは、ΔＴだけずれた状態で、対応する端末装置３または４によって再生される。

その後、送信側端末装置１、２にて、２番目以降のＲＴＰパケットが生成され、これが順次送信されると、同様に、タイムスタンプ時間軸がずれた状態にある再生側端末装置３、４によって、ＲＴＰパケット中のメディアデータが再生される。よって、２番目以降のＲＴＰパケットについても、ΔＴだけずれた状態で、対応する端末装置３または４によって再生される。

しかる後、送信側端末装置１、２から、時間軸ずれを調整するための制御データ（ＲＴＣＰ）が、所定のタイミングにて受信側端末装置３、４に送信されると、その応答確認（ＲＴＣＰ）が送信側端末装置１、２にて解析され、その解析結果をもとに、送信側端末装置１、２にて、再生側端末装置３、４の時間軸のずれΔＴが検出（後述）される。そして、この検出結果に応じて、図５に示す如く、最初のＲＴＰパケットが先に受信側端末装置に到達した方のタイムスタンプ値が、一律に、ずれ時間ΔＴだけ遅延される。すなわち、最初のＲＴＰパケットが先に受信側端末装置に到達した方の送信側端末装置上の時刻にΔＴが加算され、これが、当該端末装置におけるタイムスタンプ値とされる。

これにより、同図に示す如く、各ＲＴＰパケットの再生タイミングが同期するようになり、以後同様に、それぞれの受信側端末装置３、４における再生出力のずれが解消される。

図６に、上記時間軸のずれΔＴを検出する際の処理手法を示す。なお、ＲＴＣＰパケットの構造例を図７、図８に示しておく。

端末装置１、２から、時間軸上、ＬＳＲのタイミングにてＲＴＣＰパケットが送信されると、このＲＴＣＰパケットは、ネットワークを経由して、所定時間後に、受信側端末装置３、４に到達する。これを受けて、受信側端末装置３、４は、応答確認用のＲＴＣＰパケットを作成し、これを、送信側端末装置１、２へ送信する。かかる応答確認用ＲＴＣＰパケットは、時間軸上、Ｔ_Ａのタイミングにて送信側端末装置１、２に受信される。

送信側端末装置１、２は、応答確認用のＲＴＣＰパケットを受け取ると、これを解析し、その中に含まれているＤＬＳＲ情報（図７、図８参照）、すなわち、受信側端末装置３、４において、ＲＴＣＰを受信してから応答確認用のＲＴＣＰを送信するまでに要した時間を示す情報を取得する。そして、この所要時間を、ＲＴＣＰ送信から応答確認用ＲＴＣＰの受信までに要した時間（Ｔ_Ａ−ＬＳＲ）から減じ、さらに、これを１／２することで、ＲＴＣＰが受信側端末装置１、２に到達するまでの時間（伝送遅延時間）を近似算出する。

次に、送信側端末装置１、２は、伝送遅延時間を含む通知データを作成し、これを相互に交換する。すなわち、端末装置１は自己の通知データを送信端末２に送信し、また、端末装置２は自己の通知データを送信端末１に送信する。

図９は、通知データの構成例である。この構成例では、送信元情報と、伝送遅延時間および送信処理時間が記述されている。なお、送信処理時間とは、ＲＴＰパケットの生成開始から送信までに要した時間である。この情報は、実施例２において用いられる。

かかる通知データを受信した端末装置１、２は、通知データ作成・解析部１０７において、通知データに含まれる伝送遅延時間と、自身がＲＴＣＰパケットから算出した伝送遅延時間を比較し、通知データに含まれる伝送遅延時間の方が大きい場合に、自身のＲＴＰパケット（最初のＲＴＰパケット）の方が早く受信側端末装置３、４に到達したとして、その差分時間を計算し、これを上記受信側端末装置３、４間のタイムスタンプ時間軸のずれΔＴ（図４参照）として設定する。そして、タイムスタンプ付加部１０３において、その後、ＲＴＰパケットに付加されるタイムスタンプ値を、その差分時間分だけ遅らせて付加するよう処理する。

図１０に、送信データのストリーム処理が開始された後の処理フローを示す。

送信データのストリーム処理が開始されると、上記の如く、送信側端末装置１、２にてＲＴＰパケットが生成され、順次、受信側端末装置３、４に送信される（Ｓ１０１、Ｓ２０１）。かかるＲＴＰパケットは、受信側端末装置３、４にて受信され、上記の如く、各端末装置３、４のタイムスタンプ時間軸がゼロリセットされた後、この時間軸をもとに、ＲＴＰパケットが順次再生される（Ｓ３０１、Ｓ４０１）。

なお、送信側端末装置１、２から送信される最初のＲＴＰパケットに到達時間のずれが生じた場合には、上記図４に示す如く、端末装置３、４のタイムスタンプ時間軸に時間ずれΔＴが発生する。これにより、端末装置３、４からの再生出力には、時間ずれΔＴに応じたタイミングずれが生じる。

しかる後、送信側端末装置１、２からタイムスタンプ調整用のＲＴＣＰパケットが送信されると（Ｓ１０２、Ｓ２０２）、これが、対応する受信側端末装置３、４にて受信され（Ｓ３０２、４０２）、それぞれの受信側端末装置３、４から応答確認用のＲＴＣＰパケットが送信され（Ｓ３０３、Ｓ４０３）、それぞれ対応する送信側端末装置１、２に受信される（Ｓ１０３、Ｓ２０３）。

しかして、応答確認用のＲＴＣＰパケットを受信した送信側端末装置１、２は、上記の如く、受信した応答確認用ＲＴＣＰパケットを解析し、その解析結果から、伝送遅延時間を算出する（Ｓ１０４、Ｓ２０４）。そして、算出した伝送遅延時間を含む通知データを生成し、これを相互に送信しあう（Ｓ１０５、Ｓ１０６、Ｓ２０５、Ｓ２０６）。さらに、他方の送信側端末装置から受け取った通知データから他方側の伝送遅延時間を取得し、取得した伝送遅延時間と、自身がＲＴＣＰパケットから算出した伝送遅延時間を比較して、通知データに含まれる伝送遅延時間の方が大きい場合にのみ、自身のタイムスタンプ値を調整する（Ｓ１０７、Ｓ２０７）。

すなわち、通知データに含まれる伝送遅延時間の方が大きい場合に、自身のＲＴＰパケット（最初のＲＴＰパケット）の方が早く受信側端末装置３、４に到達したとして、その差分時間を計算し、これを上記受信側端末装置３、４間のタイムスタンプ時間軸のずれΔＴ（図４参照）として設定する。そして、その後に付加されるタイムスタンプ値を、その差分時間分だけ遅らせるよう処理する。

しかる後、調整後のタイムスタンプ値が付加されたＲＴＰパケットが送信側端末装置１、２から順次送信され（Ｓ１０８、Ｓ２０８）、受信側端末装置３、４にて再生処理される（Ｓ３０４、Ｓ４０４）。これにより、図５に示す如く、各ＲＴＰパケットの再生タイミングが同期するようになり、それぞれの受信側端末装置３、４における再生出力のずれが解消される。

上記実施例１では、伝送遅延時間をもとに時間軸のずれΔＴを検出し、タイムスタンプ値を調整するようにしたが、本実施例では、伝送遅延時間に加え、さらに、送信側端末装置内におけるパケット処理時間も考慮して、時間軸のずれΔＴを検出し、タイムスタンプ値を調整する。

図１１に、本実施例における送信側端末装置１、２の機能ブロック図を示す。図示の如く、本実施例に係る端末装置１、２では、メディアデータ符号化部１０２内に、新たに処理時間計測部１１０が設けられている。その他の構成は、上記実施例１における端末装置１、２と同じである。

ここで、処理時間計測部１１０は、メディアデータ符号化部１０２にて一つのＲＴＰパケットの生成処理に要した時間、すなわち、メディアデータ符号化部１０２にてメディアデータを受け取ってから、データ送受信部１０６へ送信するまでの時間（送信処理時間）を計測し、これを通知データ作成・解析部１０７へ出力する。かかる送信処理時間は、通知データ作成・解析部１０７にて、通知データ（図９参照）に含められ、他方の送信側端末装置に送信される。

図１２に、各送信側端末装置１、２における送信処理時間Ｐ_A、Ｐ_vおよび伝送遅延時間Ｄ_Ａ、Ｄ_Ｖと、再生側端末装置３、４におけるタイムスタンプ時間軸の時間ずれΔＴとの関係を示す。

図示の如く、時間ずれΔＴは、ΔＴ＝（Ｄv−Ｄ_A）＋（Ｐv―Ｐ_A）として検出される。したがって、本実施例では、送信側端末装置１、２は、他方の送信側端末装置から通知データを受信したとき、通知データ作成・解析部１０７において、通知データに含まれる伝送遅延時間および送信処理時間の加算値と、自身が算出した伝送遅延時間および伝送処理時間の加算値を比較し、通知データに含まれる方の加算値が大きい場合に、自身のＲＴＰパケット（最初のＲＴＰパケット）の方が早く受信側端末装置３、４に到達したとして、加算値間の差分時間を計算し、これを上記受信側端末装置３、４間のタイムスタンプ時間軸のずれΔＴ（図１２）として設定する。そして、タイムスタンプ付加部１０３において、その後にＲＴＰパケットに付加されるタイムスタンプ値を、その差分時間分だけ遅らせて付加するよう処理する。

これにより、上記実施例１に比べ、ＲＴＰパケットの再生タイミングをより一層同期させることができ、それぞれの受信側端末装置３、４における再生出力のずれを、さらに抑制することができる。

上記実施例１、２では、送信側端末装置１、２において付加されるタイムスタンプ値を修正することで、受信側端末装置３、４における時間軸のずれを補償するようにしたが、送信側端末装置１、２において付加されるタイムスタンプ値はそのままとし、受信側端末装置３、４にて、適宜、タイムスタンプ値を修正し、これにより、受信側端末装置３、４における時間軸のずれを補償するようにすることもできる。

この場合、送信側端末装置１、２は、上記実施例１、２と同様、通知データの相互受け渡しによって受信側端末装置３、４間のタイムスタンプ時間軸の時間ずれΔＴを検出し、これをＲＴＣＰパケットに含めて、対応する受信側端末装置３、４に送信する。

すなわち、実施例１の如く伝送処理時間をもとに時間ずれΔＴを検出する場合には、他方の送信側端末装置から受信した通知データ中の伝送遅延時間と、応答確認用ＲＴＣＰをもとに自身が算出した伝送遅延時間とを比較し、通知データに含まれる伝送遅延時間方の大きい場合に、自身のＲＴＰパケット（最初のＲＴＰパケット）の方が早く受信側端末装置３、４に到達したとして、これら伝送遅延時間の差分を計算し、これを上記受信側端末装置３、４間のタイムスタンプ時間軸のずれΔＴ（図１２）として設定する。そして、設定したずれ時間ΔＴを制御データに含めて、対応する受信側端末装置３、４に送信する。

また、実施例２の如く伝送処理時間と送信処理時間をもとに時間ずれΔＴを検出する場合には、他方の送信側端末装置から受信した通知データ中の伝送遅延時間および送信処理時間の加算値と、自身が算出した伝送遅延時間および伝送処理時間の加算値とを比較し、通知データから求めた加算値の方が大きい場合に、自身のＲＴＰパケット（最初のＲＴＰパケット）の方が早く受信側端末装置３、４に到達したとして、加算値間の差分時間を計算し、これを上記受信側端末装置３、４間のタイムスタンプ時間軸のずれΔＴ（図１２）として設定する。そして、設定したずれ時間ΔＴをＲＴＣＰパケットに含めて、対応する受信側端末装置３、４に送信する。

受信側端末装置３、４は、送信側端末装置１、２から、時間ΔＴを含むＲＴＣＰパケットを受信したとき、その後に受信するＲＴＰパケットに付加されたタイムスタンプ値にΔＴを加算し、新たなタイムスタンプ値を構成する。そして、ΔＴ加算後のタイムスタンプ値をもとに再生処理を行い、これにより、図５に示す如く、タイムスタンプ時間軸のずれを補償する。

なお、この処理は、受信側端末装置３、４の機能ブロックのうち、タイムスタンプ読み取り部３０２が実行する。

以上、本発明に係る実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではなく、他に種々の変更が可能であることは言うまでもない。

たとえば、上記実施の形態では、送信側端末装置１、２で付加されるタイムスタンプ値に時間ずれΔＴを加算し、あるいは、受信側端末装置３、４においてタイムスタンプ値に時間ずれΔＴを加算することで、受信側端末装置３、４におけるタイムスタンプ時間軸の時間ずれを補償するようにしたが、送信側端末装置１、２のタイムスタンプ時間軸あるいは受信側端末装置３、４のタイムスタンプ時間軸を、時間ずれΔＴだけシフトさせ、これにより、受信側端末装置３、４におけるタイムスタンプ時間軸の時間ずれを補償するようにすることもできる。

また、上記実施例では、送信側端末装置と受信側端末装置をそれぞれ２つずつとしたが、本発明は、３つ以上の端末装置が送信側、受信側に配された場合にも適用可能である。たとえば、送信側端末装置と受信側端末装置がそれぞれ３つずつ配されている場合には、上記通知データの相互受け渡しによってＲＴＰパケット（最初のＲＴＰパケット）の到達順位を確定し、ＲＴＰパケット（最初のＲＴＰパケット）が最も早く受信側に到達した送信側端末装置（第１の送信側端末装置）のタイムスタンプ値と、２番目に早く受信側に到達した送信側端末装置（第２の送信側端末装置）のタイムスタンプ値を、最も遅く受信側に到達した送信側端末装置（第３の送信側端末装置）のタイムスタンプ時間軸にタイミング整合するよう適宜調整する。具体的には、実施例１の手法に従う場合、通知データの相互受け渡しによって第１の送信側端末装置と第３の送信側端末装置の間の伝送遅延時間の差分値を求め、これを時間軸のずれ時間ΔＴとして第１の送信側端末装置のタイムスタンプ値に加算する。同様に、通知データの相互受け渡しによって第２の送信側端末装置と第３の送信側端末装置の間の伝送遅延時間の差分値を求め、これを時間軸のずれ時間ΔＴとして第２の送信側端末装置のタイムスタンプ値に加算する。送信側端末装置と受信側端末装置がそれぞれ４つ以上の場合にも、同様に、ＲＴＰパケット（最初のＲＴＰパケット）の到達順位を確定し、最も遅く受信側に到達した送信側端末装置の伝送時間に対する差分値を時間軸のずれ時間ΔＴとして、各送信側端末装置のタイムスタンプ値に加算し、時間軸のずれ時間ΔＴを補償する。

また、送信側端末装置が一つの場合にも、本発明を適用することができる。すなわち、一つの送信側端末装置から複数種類のメディアデータが送信され、各メディアデータの伝送経路の相違や送信処理時間の相違によって、受信側端末装置のタイムスタンプ時間軸がずれるような場合にも、本発明を適用することができる。

この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。

実施の形態に係るネットワークシステムの構成を示す図実施例１に係る送信側端末装置の構成を示す図実施例１に係る受信側端末装置の構成を示す図実施例１に係るネットワークシステムの動作を説明する図実施例１に係るネットワークシステムの動作を説明する図実施例１に係る時間軸ずれの補償手法を説明する図実施例１に係る制御データ（ＲＴＣＰ）の構成例を示す図実施例１に係る制御データ（ＲＴＣＰ）の構成例を示す図実施例１に係る通知データの構成例を示す図実施例１に係るストリーム処理開始後の処理フローを示す図実施例２に係る送信側端末装置の構成を示す図実施例２に係る時間軸ずれの補償手法を説明する図

符号の説明

１０２メディアデータ符号化部
１０３タイムスタンプ付加部
１０４制御データ生成部
１０５制御データ解析部
１０７通知データ作成・解析部
１０８通知データ送受信部

Claims

メディアデータにタイムスタンプ値を付加して送信するデータ送信装置において、
データが受信側に到達するまでの時間ＴＬを検出する到達時間検出手段と、
前記到達時間検出手段によって検出した到達時間ＴＬに基づいて、他のメディアデータとの間の再生タイミングの時間ずれΔＴを検出するタイミング誤差検出手段と、
前記タイミング誤差検出手段によって検出された再生タイミングの時間ずれΔＴに応じて、前記メディアデータに付加するタイムスタンプ値を調整するタイムスタンプ値調整手段とを有し、
前記タイミング誤差検出手段は、他のデータ送信装置から受信した前記到達時間ＴＬと自己の到達時間ＴＬの差分から、再生タイミングの時間ずれΔＴを検出することを特徴とするデータ送信装置。
請求項１において、
前記タイムスタンプ値調整手段は、自己の到達時間ＴＬの方が他のデータ送信装置から受信した前記到達時間ＴＬよりも小さいときに自己のタイムスタンプ時間軸上の時刻に前記時間ずれΔＴを加算し、または、自己の到達時間ＴＬの方が他のデータ送信装置から受信した前記到達時間ＴＬよりも大きいときに前記時間ずれΔＴを減算して、前記メディアデータに付加するタイムスタンプ値を設定する、
ことを特徴とするデータ送信装置。
請求項２において、
前記タイムスタンプ値調整手段は、自己の到達時間ＴＬの方が他のデータ送信装置から受信した前記到達時間ＴＬよりも小さいときにのみ、自己のタイムスタンプ時間軸上の時刻に対し前記時間ずれΔＴを加算して、前記メディアデータに付加するタイムスタンプ値を設定する、
ことを特徴とするデータ送信装置。
請求項１において、
前記タイムスタンプ値調整手段は、前記時間ずれΔＴに応じたタイムスタンプ調整値に関する情報を、制御データに含めて、前記受信側装置に送信する、
ことを特徴とするデータ送信装置。