JP2015171065A - システムおよび方法 - Google Patents

Abstract

【課題】２つの機器における処理データの出力タイミングを制御できるようにする。【解決手段】システムにおいて、第１の機器が、受信音声データ処理の開始から処理音声データ出力までの第１の処理時間(b)と、第１の機器での音声データの時刻に基づく第１の時刻(a)とを第２の機器に送信し、第２の機器が、受信映像データ処理の開始から処理映像データ出力までの第２の処理時間(b)と、第２の機器での映像データの時刻に基づく第２の時刻(a)とを第１の機器に送信する。第１の機器は、第２の時刻に対する音声データ時刻に基づく第３の時刻(Y)、第２の時刻(a)、第２と第１の機器間の伝送遅延時間(D)及び第２の処理時間(b)に基づいて、処理音声データの出力タイミングを制御する。第２の機器は、第１の時刻に対する映像データ時刻に基づく第４の時刻(Y)、第１の時刻(a)、伝送遅延時間(D)及び第１の処理時間(b)に基づいて、処理映像データの出力タイミングを制御する。【選択図】図２

Description

本発明は、受信して処理された音声データおよび映像データのタイミング制御に関する。

例えばインターネット電話および動画情報などの配信において、ネットワークを介して音声および／または映像をリアルタイムで転送するために、ＲＴＰ（Real-time Transport Protocol」）（ＲＦＣ３５５０）というプロトコルが利用される。例えば、テレビ電話またはテレビ電話会議では、音声データストリームと映像データストリームが別々に転送され、受信側では受信データに付加された時間情報に基づいて音声と映像が同期的に再生出力される。その際、受信側では、音声および映像データは、一部が欠落または遅延しても再生が可能であり、欠落データおよび遅延データは無視されて再生されない。

既知の無線通信システムでは、映像再生装置が映像データの時刻データに処理時間を加算した再生推定時刻情報をサーバ装置に無線送信し、オーディオ再生装置がオーディオデータの時刻データに処理時間を加算した再生推定時刻情報をサーバ装置に無線送信する。サーバ装置は、再生推定時刻情報を無線受信しこれらの再生推定時刻差情報を計算して無線送信する。映像再生装置は、再生推定時刻差情報に基づいて映像とオーディオが実質的に同期して再生されるように、映像データを再生する時刻を制御する。また、映像再生装置は、オーディオ再生装置が再生推定時刻差情報に基づいて映像とオーディオが実質的に同期して再生されるように、オーディオデータを再生する時刻を制御する。

既知の複数のデバイスにわたるメディア・ストリームの同期方法は、着信音声ストリームを受信する第１のコンピュータ・デバイスと、着信映像ストリームを受信する第２のコンピュータ・デバイスと間の通信チャネルを確立する。この方法では、通信チャネルが確立されると、着信音声ストリームの属性を説明する現在のネットワーク状態が、第１のコンピュータ・デバイスで取得され、着信音声ストリームの遅延が計算される。この方法は、遅延が分かると、着信する映像ストリームを遅延させて、着信音声ストリームの遅延と一致させる。それによって、音声ストリームと映像ストリームが同期される。

既知のデジタルＡＶシステムは、デジタル・インタフェースを介して、ＡＶ（オーディオ／ビデオ）機器間で映像または音声データの復号処理の際の時間情報を相互のＡＶ機器に送受信することによって、復号信号を遅延処理するなどして、リップシンクずれを回避する。それによって、映像と音声の再生において、映像と音声の同期ずれ（リップシンクずれ）をなくすことができる。

国際公開第２００６／０６４６８９号公報 特開２０１０−５１２６８８号公報 特開２００１−１２８１６７号公報

既知の無線通信システムでは、データ送信側のサーバ装置が、データ受信側の映像再生装置およびオーディオ再生装置から再生推定時刻情報を受信して、再生推定時刻差情報を計算して映像再生装置およびオーディオ再生装置に送信する。しかし、その無線通信システムでは、２つの再生装置がそれぞれの再生に関する時間情報を互いに送受信することはない。

また、既知の複数のデバイスにわたるメディア・ストリームの同期方法は、ＲＴＰ／ＲＴＣＰ（Real-time Transport Protocol）で求められた遅延時間をデバイス間で共有するものである。しかし、ＲＴＣＰに従って計算される遅延時間は、ネットワーク状況による誤差が大きく、ネットワーク状況の変化に迅速に追随することができない。

また、既知のデジタルＡＶシステムは、音声データそのものに時間情報を付加して送信して、音声データの時間情報が映像データの時間情報より進んでいる場合に、音声データを遅延させる。しかし、そのデジタルＡＶシステムでは、２つの機器がそれぞれの再生処理遅延に関する時間情報を送受信することはない。

発明者は、異なるメディアを処理して出力する２つの機器が、それぞれのメディアの処理のための時間およびメディアの時刻に関する情報を互いに送受信して取得すれば、両機器におけるそれぞれの処理データの出力タイミングを制御することができる、と認識した。

１つの観点では、本発明の目的は、２つの機器におけるそれぞれの処理データの出力のタイミングを制御できるようにすることである。

本発明の一観点によれば、外部から受信した音声データを出力する第１の機器と、音声データに対応する、外部から受信した映像データを出力する第２の機器とを含むシステムが提供され、第１の機器が、第１の送信部と、第１の制御部とを備え、第２の機器が、第２の送信部と、第２の制御部とを備え、第１の送信部は、受信した音声データの処理の開始から、処理された音声データを出力するまでの第１の処理時間と、第１の機器における音声データの時刻に基づく第１の時刻とを、第２の機器に送信し、第２の送信部は、受信した映像データの処理の開始から、処理された映像データを出力するまでの第２の処理時間と、第２の機器における映像データの時刻に基づく第２の時刻とを、第１の機器に送信し、第１の制御部は、第２の時刻に対する音声データの時刻に基づく第３の時刻と、第２の時刻と、第２の機器と第１の機器の間の伝送遅延時間と、第２の処理時間とに基づいて、処理された音声データを出力するタイミングを制御し、第２の制御部は、第１の時刻に対する映像データの時刻に基づく第４の時刻と、第１の時刻と、伝送遅延時間と、第１の処理時間とに基づいて、処理された映像データを出力するタイミングを制御する。

本発明の一観点によれば、２つの機器におけるそれぞれの処理データの出力のタイミングを制御することができる。

図１は、実施形態による、ネットワークに接続される、音声および映像メディア・データストリームをそれぞれ受信し再生処理して出力する再生出力機器と、情報処理装置とを含むシステムの概略的な構成（configuration）の例を示している。 図２は、機器Ｉおよび機器IIを含むデータ再生処理および出力システムの概略的な構成（configuration）の例を示している。 図３Ａは、機器Ｉおよび機器IIにおいて同期制御が行われない場合の、或る時点における、情報処理装置から送信されて機器Ｉおよび機器IIにおいて受信されて処理されるメディア・ストリームの各データの時刻情報の例を示している。 図３Ｂは、機器Ｉおよび機器IIにおいて同期制御が行われる場合の、或る時点における、情報処理装置から送信されて機器Ｉおよび機器IIにおいて受信されて処理されるメディア・ストリームの各データの時刻情報の例を示している。 図４は、機器Ｉの同期通信部および機器IIの同期通信部の各々によって送受信される通知パケットの概略的なフォーマットの例を示している。 図５は、主機器と従機器の間の通知パケットの送受信の手順、および主機器と従機器における再生信号の出力タイミングの同期のための実際の再生遅延時間の決定のしかたの例を説明するための図である。 図６は、主機器と従機器の間の通知パケットの送受信の手順、および主機器と従機器における再生信号の出力タイミングの同期のための実際の再生遅延時間の決定のしかたの別の例を説明するための図である。 図７Ａおよび７Ｂは、主機器と従機器の間の通知パケットの送受信の手順、および主機器と従機器における再生信号の出力タイミングの同期のための実際の再生遅延時間の決定のしかたのさらに別の例を説明するための図である。 (図7Aで説明)

発明の目的および利点は、請求の範囲に具体的に記載された構成要素および組み合わせによって実現され達成される。
前述の一般的な説明および以下の詳細な説明は、典型例および説明のためのものであって、本発明を限定するためのものではない、と理解される。

本発明の非限定的な実施形態を、図面を参照して説明する。図面において、同様のコンポーネントおよび要素には同じ参照番号が付されている。

音声および映像を再生出力する再生機器において、通常の音声と映像の再生出力の同期は、音声と映像の各メディア・ストリームに付加されたＲＴＰ制御信号（ＲＴＣＰ）を用いて、ＲＴＰ制御信号中のＮＴＰ（Network Time Protocol）時刻情報に基づいて行われる。再生機器は、同期をとるための基準となる現在時刻と、ＲＴＰストリーム内の相対時刻とに基づいて、内部で音声と映像の両方の再生出力のタイミングを同期させる。各メディア・ストリームのデータは、バッファ・メモリに一時的に保存されまたはバッファリング（緩衝）されて、再生出力可能な時刻が遅い方のメディアにタイミングを合わせて再生出力されて放音および表示される。

一方、将来的に、音声データと映像データとが別々の機器で再生処理されることが想定される。この場合、音声データは、例えば携帯電話機またはコードレスフォンのような或る再生出力機器で再生出力され、映像データは、例えばテレビジョン装置またはパーソナル・コンピュータのような別の再生出力機器で再生出力されてもよい。

しかし、音声データの再生出力機器と映像データの再生出力機器とが、別々のもので、互いに離れている場合、音声と映像の再生出力のタイミングがずれて同期が外れることがある。この場合、音声データの再生出力機器と映像データの再生出力機器とは、それぞれのメディアの時刻に関する情報を互いに送受信して取得することができず、従って両データの再生出力を同期させることができない。また、例えば、音声データの再生出力機器と映像データの再生出力機器は、それぞれのメディアの時刻を互いに送受信しても、相互間で伝送遅延が生じるので、一方の再生出力機器が受信した他方の再生出力機器のメディアの時刻は伝送遅延による誤差を含んでいる。

発明者は、音声データと映像データを処理して出力する２つの機器が、処理前のデータの時刻に基づくそれぞれの時刻情報を互いに送受信して取得すれば、両時刻の差に基づいて再生信号の出力タイミングを制御して同期させることができる、と認識した。また、発明者は、音声データと映像データを処理して出力する２つの機器が、処理時間に関するそれぞれの情報を互いに送受信して取得すれば、両機器の処理時間を制御して再生信号の出力タイミングを制御して同期させることができる、と認識した。また、発明者は、２つの機器の間でのそれぞれの送受信の時刻を両機器間の伝送遅延時間で補償することによって、同じ時点での両機器の時刻およびその時刻差をより正確に求めることができる、と認識した。

実施形態の目的は、受信した音声メディア・データを処理して出力するタイミングと、受信した映像メディア・データを処理して出力するタイミングとを同期させることができるようにすることである。

図１は、実施形態による、音声および映像のメディア・データストリームをそれぞれ受信し再生処理して出力する再生出力機器７および８と、情報処理装置２０または３０とを含むシステムの概略的な構成（configuration）の例を示している。再生出力機器７および８、および情報処理装置２０または３０は、ネットワーク５に接続される。ここで、情報処理装置２０は、例えばテレビ電話装置であってもよい。また、情報処理３０は、例えばパーソナル・コンピュータであってもよい。情報処理装置２０または３０は、再生出力機器７および８の通信相手である。代替形態として、再生出力機器７および８の通信相手は、例えば、インターネットテレビ番組を放送し、または映画または動画のコンテンツを配信する装置であってもよい。

図１のシステムにおいて、再生出力機器７および８は、ルータ６０を介しネットワーク５を介して、情報処理装置２０または３０と通信する。また、情報処理装置２０または３０は、ルータ１０を介しネットワーク５を介して、再生出力機器７および８と通信する。再生出力機器７は、例えば、携帯電話機、スマートフォン、コードレスフォンまたはＰＨＳ（Personal Handy-phone System）端末のような、少なくとも音声データを受信して再生処理して出力することができる携帯端末１７０であってもよい。携帯端末１７０のような再生出力機器７は、さらに、マイクロホンで音声を捕捉して音声データを生成し送信する機能を含んでいてもよい。再生出力機器８は、例えばインターネット接続機能を含むテレビジョン装置またはパーソナル・コンピュータのような、少なくとも映像データを受信して再生処理して出力することができる映像機器１８０であってもよい。映像機器１８０のような再生出力機器８は、さらに、カメラで映像を捕捉して映像データを生成し送信する機能を含んでいてもよい。

ユーザは、例えば、通信相手の情報処理装置２０または３０からの音声データを、再生出力機器７に再生させ、情報処理装置２０または３０からの映像データを、再生出力機器８に再生させてもよい。この場合、ユーザの映像は、情報処理装置２０または３０に送信されなくてもよい。一方、ユーザは、再生出力機器７に、自己の音声の音声データを生成させて通信相手の情報処理装置２０または３０へと送信させ、再生出力機器８に、自己の映像の映像データを生成させて情報処理装置２０または３０へと送信させてもよい。

ネットワーク５は、例えば、インターネットまたはＬＴＥ（Long Term Evolution）ネットワークであってもよい。ルータ１０および６０は、例えば、インターネットまたはＬＴＥ用の有線および／または無線ルータであってもよい。

携帯端末１７０は、例えばスピーカおよびマイクロホン（図示せず）を含んでおり、さらに表示部１７２を含んでいてもよい。表示部１７２は、例えば、液晶表示装置、有機ＥＬ（electroluminescence）表示装置またはタッチパネル型液晶表示装置であってもよい。映像機器１８０は、表示部１８２を含んでおり、さらにカメラ１８８を含んでいてもよい。情報処理装置２０は、例えば、表示部２２２、スピーカ２２４、ハンドセット（受話器）２２６、カメラ２２８および複数のボタン２３０を含んでいてもよい。また、情報処理装置３０は、例えば、キーボード３１２、表示部３２０、スピーカ３２４およびカメラ３２８を含んでいてもよい。情報処理装置３０には、例えば、マイクロホンおよびスピーカを含むヘッドセット３２６が接続されまたは設けられてもよい。ユーザは、自己の携帯端末１７０に、情報処理装置２０または３０からの音声データを受信させて再生出力させ、自己の映像機器１８０に、情報処理装置２０または３０からの映像データを受信させて再生出力させることができる。カメラ１８８が設けられていない場合、ユーザは、自己の映像データを情報処理装置２０または３０に送信しなくてよい。

再生出力機器７が音声データを再生処理し、再生出力機器８が映像データを再生処理する場合、音声と映像の同期的な再生出力のために、再生出力機器７が主機器として固定的に設定され、再生出力機器８が従機器として固定的に設定されてもよい。この場合、音声データの再生処理は、映像データの再生処理よりも優先されてもよい。

次は、再生出力機器７および８に対応する２つの機器ＩおよびIIの構成（configuration）について説明する。この場合、説明のために、機器Ｉが音声データを再生処理して出力する再生出力機器７に対応し、機器IIが映像データを再生処理して出力する再生出力機器８に対応するものと仮定するが、機器Ｉが再生出力機器８に対応し、機器IIが再生出力機器７に対応してもよい。

図２は、機器Ｉ７０および機器II８０を含むデータ再生処理および出力システムの概略的な構成（configuration）の例を示している。ここで、機器Ｉ７０は主（マスタ）機器であり、機器II８０は従（スレーブ）機器であるものとする。機器Ｉ７０は、ネットワーク５を介して少なくとも音声データを受信し再生処理して出力することができ、機器II８０は、ネットワーク５を介して少なくとも映像データを受信し再生処理して出力することができる。代替形態として、機器Ｉ７０が少なくとも映像データを受信し再生処理して出力し、機器II８０が少なくとも音声データを受信し再生処理して出力してもよい。

機器Ｉ７０は、例えば、インタフェース部７０２、ＲＴＰ処理部７０４および再生処理部７０６を含み、さらにスピーカ７３０を含んでいてもよい。再生処理部７０６は、音声データ受信部７０８、バッファ部７１０、復号部７１２、音声再生部７１４、同期制御部７２０、同期通信部７２２および時間測定部７２６を含んでいてもよい。また、スピーカ７３０は、外部にある別個の装置として、機器Ｉ７０の再生処理部７０６に接続されてもよい。一方、機器II８０は、例えば、インタフェース部８０２、ＲＴＰ処理部８０４および再生処理部８０６を含み、さらに表示部８３０を含んでいてもよい。再生処理部８０６は、映像データ受信部８０８、バッファ部８１０、復号部８１２、映像再生部８１４、同期制御部８２０、同期通信部８２２および時間測定部８２６を含んでいてもよい。また、表示部８３０は、外部にある別個の装置として、機器II８０の再生処理部８０６に接続されてもよい。

インタフェース部７０２および８０２の各々は、例えば有線および／または無線のＬＡＮカードを含んでいてもよい。バッファ部７１０および８１０の各々は、例えばＲＡＭのような記憶装置の中の記憶領域または別個のバッファ・メモリ装置であってもよい。インタフェース部７０２および８０２は、ルータ６０を介してネットワーク５に接続される。また、インタフェース部７０２および８０２は、直接互いに、またはルータ６０またはハブを介して互いに通信することができる。ＲＴＰ処理部７０４および８０４は、プロセッサまたはその他のハードウェア上で動作するソフトウェアの形態で実装されてもよい。再生処理部７０６および８０６は、例えばＣＰＵのようなプロセッサ上で動作するプログラムの形態または例えば専用の集積回路のようなハードウェアの形態で実装されてもよい。

機器Ｉ７０において、インタフェース部７０２は、例えば情報処理装置２０または３０から、ルータ６０を介して例えば音声のメディア・ストリームを受信する。ＲＴＰ処理部７０４は、メディア・ストリームの一連の音声データ・パケットを再生処理部７０６の音声データ受信部７０８に転送する。再生処理部７０６において、音声データ受信部７０８は、ＲＴＰ処理部７０４からメディア・ストリームを受信してバッファ部７１０に一連の音声データを格納する。バッファ部７１０は、音声データを同期制御部７２０の制御に従って後段の復号部７１２に供給する。復号部７１２は、バッファ部７１０から供給された音声データを復号して音声再生部７１４に供給する。音声再生部７１４は、復号された音声データをアナログの音声信号に変換して再生し、その再生された音声信号をスピーカ７３０に供給する。

同期制御部７２０は、音声データ受信部７０８で受信されたまたはバッファ部７１０に格納された音声データに付加された時刻情報と、時間測定部７２６で測定されたその時刻からの経過時間とに基づいて、現在の音声データのメディア時刻を決定する。音声または映像のメディア・データに付加されている時刻は、例えばＮＴＰ（Network Time Protocol）時刻であってもよい。機器Ｉ７０における音声データのメディア時刻と、機器Ｉ７０の自己の時刻とは、互いに独立である。同期制御部７２０は、音声データのメディア時刻に基づいて、他方の機器II８０の再生処理部８０６の同期制御部８２０と交信して、復号部７１２における音声データの復号のタイミングおよび音声再生部７１４における音声信号の再生のタイミングを制御する。同期通信部７２２は、同期制御部７２０から受け取った通知情報をパケットの形態で機器II８０の同期通信部８２２に送信し、機器II８０の再生処理部８０６の同期通信部８２２から受け取ったパケットから通知情報を取り出して同期制御部７２０に供給する。スピーカ７３０は、再生された音声信号を音声に変換して再生された音声を発生する。

一方、機器II８０において、インタフェース部８０２は、例えば情報処理装置２０または３０から、ルータ６０を介して例えば映像のメディア・ストリームを受信する。ＲＴＰ処理部８０４は、メディア・ストリームの一連の映像データ・パケットを再生処理部８０６の映像データ受信部８０８に転送する。再生処理部８０６において、映像データ受信部８０８は、ＲＴＰ処理部８０４からメディア・ストリームを受信してバッファ部８１０に一連のフレームの映像データを格納する。バッファ部８１０は、映像データを同期制御部８２０の制御に従って後段の復号部８１２に供給する。復号部８１２は、バッファ部８１０から供給された映像データを復号して映像再生部８１４に供給する。映像再生部８１４は、復号された映像データをアナログの映像信号に変換して再生し、その再生された映像信号を表示部８３０に供給する。

同期制御部８２０は、映像データ受信部８０８で受信されたまたはバッファ部８１０に格納された映像データに付加された時刻情報と、時間測定部８２６で測定されたその時刻からの経過時間とに基づいて、現在の映像データのメディア時刻を決定する。機器II８０における映像データのメディア時刻は、機器II８０の自己の時刻とは独立である。同期制御部８２０は、映像データのメディア時刻に基づいて、他方の機器Ｉ７０の再生処理部７０６の同期制御部７２０と交信して、復号部８１２における映像データの復号のタイミングおよび映像再生部８１４における映像信号の再生のタイミングを制御する。同期通信部８２２は、同期制御部８２０から受け取った通知情報をパケットの形態で機器Ｉ７０の同期通信部７２２に送信し、機器Ｉ７０の再生処理部７０６の同期通信部７２２から受け取ったパケットから通知情報を取り出して同期制御部８２０に供給する。表示部８３０は、再生された映像信号を３原色ＲＧＢ（赤緑青）の光または光透過率に変換して再生されたフレーム映像を表示する。

次は、図２における機器Ｉ７０および機器II８０においてそれぞれ受信されて再生処理される音声および映像のメディア・ストリームの各データの時刻情報について説明する。

図３Ａは、機器Ｉ７０および機器II８０で同期制御が行われない場合の、或る時点における、情報処理装置２０または３０から送信されて機器Ｉ７０および機器II８０において受信されて処理されるメディア・ストリームの各データの時刻情報の例を示している。図３Ｂは、機器Ｉ７０および機器II８０において同期制御が行われる場合の、或る時点における、情報処理装置２０または３０から送信されて機器Ｉ７０および機器II８０において受信されて処理されるメディア・ストリームの各データの時刻情報の例を示している。ここで、各メディア・データの時刻情報は、メディア・ストリームの各データに付加されているＮＴＰ時刻であってもよい。図３Ａおよび３Ｂにおいて、各メディア・データは、映像フレームの単位で示されている。

図３Ａおよび３Ｂにおいて、或る時点の時刻は、例えば１２：００：１２（１２時０分１２秒）であってもよい。図３Ａにおいて、スピーカ７３０で発生している音声は、時刻１２：００：０２の音声データまたはフレームに対応する。音声データの時刻１２：００：０２は、情報処理装置２０または３０で生成されたときに音声データに付加された時刻である。時刻１２：００：０２の音声データは、ネットワーク５上の伝送路を介して機器Ｉ７０において音声データ受信部７０８で受信され、バッファ部７１０に格納されてバッファリングされ、復号部７１２で復号されて音声再生部７１４で音声信号に再生されたものである。

復号部７１２で復号されている音声データは、その後の時刻１２：００：０４に情報処理装置２０または３０で生成されたものである。また、バッファ部７１０に新しく格納された音声データは、時刻１２：００：０６に情報処理装置２０または３０で生成されたものである。この場合、音声データは、バッファ部７１０に格納された後、最も短い時間で後段の復号部７１２に供給される。音声データ受信部７０８で受信された音声データは、その後の時刻１２：００：０６に情報処理装置２０または３０で生成されたものである。また、ネットワーク５の伝送路上にある音声データは、時刻１２：００：０８および１２：００：１０に情報処理装置２０または３０で生成されたものである。さらに、情報処理装置２０または３０で生成された音声データは、時刻１２：００：１２に生成されたものである。

図３Ａにおいて、表示部８３０に表示されている映像は、時刻１２：００：００（１２時０分０秒）の映像データまたはフレームに対応する。この時刻は、機器Ｉ７０のスピーカ７３０で発生している音声の音声データの時刻１２：００：０２より前であり、発生している音声と表示されている映像とは、双方の出力タイミングの間に２秒のずれがあり、同期していない。映像データまたはフレームの時刻１２：００：００は、情報処理装置２０または３０で生成されたときに映像データに付加された時刻である。時刻１２：００：００の映像データは、ネットワーク５上の伝送路を介して機器II８０において映像データ受信部８０８で受信され、バッファ部８１０に格納されてバッファリングされ、復号部８１２で復号されて映像再生部８１４で映像信号に再生されたものである。

復号部８１２で復号されている映像データは、その後の時刻１２：００：０２に情報処理装置２０または３０で生成されたものである。また、バッファ部８１０に新しく格納された映像データは、時刻１２：００：０４に情報処理装置２０または３０で生成されたものである。この場合、映像データは、バッファ部８１０に格納された後、最も短い時間で後段の復号部８１２に供給される。映像データ受信部８０８で受信された映像データは、その後の時刻１２：００：０４に情報処理装置２０または３０で生成されたものである。また、ネットワーク５の伝送路上にある映像データは、時刻１２：００：０６、１２：００：０８および１２：００：１０に情報処理装置２０または３０で生成されたものである。さらに、情報処理装置２０または３０で生成された映像データは、時刻１２：００：１２に生成されたものである。この時刻は、情報処理装置２０または３０で生成された音声データの時刻１２：００：００と同じである。

図３Ｂにおいて、情報処理装置２０または３０から機器Ｉ７０のバッファ部７１０および機器II８０のバッファ部８１０までの間の音声データおよび映像データの時刻は、図３Ａのものと同様である。図３Ｂでは、機器Ｉ７０において、音声データは、音声データの再生信号の出力タイミングが映像データの再生信号の出力タイミングと一致して同期するように、バッファ部７１０でより長い時間遅延を受け、その後で復号部７１２に供給される。そのために、同期制御部７２０は、バッファ部７１０におけるバッファリング時間を、より長くなるように制御する。

図３Ｂにおいて、スピーカ７３０で発生している音声は、時刻１２：００：００に情報処理装置２０または３０で生成されたものである。一方、表示部８３０で表示されている映像は、図３Ａにおけるものと同様であり、時刻１２：００：００の映像データまたはフレームに対応する。従って、機器Ｉ７０のスピーカ７３０で発生している音声の音声データの時刻と、機器II８０の表示部８３０で表示されている映像データの時刻とは、共に同じ１２：００：００である。即ち、音声再生部７１４からスピーカ７３０に出力された音声信号と、映像再生部８１４から表示部８３０に出力された映像信号とは同期している。復号部７１２で復号されている音声データの時刻と、復号部８１２で復号されている映像データの時刻も、共に同じ１２：００：０２である。また、バッファ部７１０に先に格納されて復号を待つ音声データの時刻は、バッファ部８１０に新しく格納されて復号を待つ映像データの時刻と同じ時刻１２：００：０４である。

機器Ｉ７０の同期制御部７２０と機器II８０の同期制御部８２０は、バッファ部７１０の音声データとバッファ部８１０の映像データの再生出力時の両時刻の差を補償するように、音声データと映像データをバッファリングして後段の復号部７１２と８１２へ供給する。そのために、同期制御部７２０および８２０は、再生信号の出力タイミングを同期させるための通知パケットを互いに送受信する。同期制御部７２０は、再生処理部７０６において、音声データが開始位置に到来した開始時点から音声データが復号されて再生出力される時点までの遅延時間または処理時間Ｂを求める。同様に、同期制御部８２０は、再生処理部８０６において、映像データが開始位置に到来した開始時点から映像データが復号されて再生出力される時点までの遅延時間または処理時間Ｂを求める。それぞれの開始位置は、復号および再生の前の任意の特定の位置、例えば、音声データ受信部７０８、映像データ受信部８０８、またはバッファ部７１０、８１０における新しいデータが格納される記憶領域であってもよい。この場合、それぞれの開始時点は、復号および再生より前の遅延時間の開始時点であり、再生開始時点と見ることができる。

一方、同期制御部７２０は、時間測定部７２６を用いて、開始位置に到来した音声データに付加されている時刻を基準するその後の経過時間後の時刻を音声の現在のメディア時刻として求め、そのメディア時刻Ａを含む通知パケットを同期制御部８２０に送信する。同様に、同期制御部８２０は、時間測定部８２６を用いて、開始位置に到来した映像データに付加されている時刻を基準とするその後の経過時間後の時刻を映像の現在のメディア時刻として求め、そのメディア時刻ａを含む通知パケットを同期制御部７２０に送信する。それによって、同期制御部７２０は、同期制御部８２０から、メディア時刻ａを含む通知パケットを受信した時の自己のメディア時刻Ｙを求めることができる。同様に、同期制御部８２０は、同期制御部７２０から、メディア時刻ａを含む通知パケットを受信した時の自己のメディア時刻Ｙを求めることができる。それによって、機器Ｉ７０の同期制御部７２０と機器II８０の同期制御部８２０の各々は、他方のメディア時刻ａと自己のメディア時刻Ｙの両方を取得して比較することができるようになる。

しかし、機器Ｉ７０の同期制御部７２０と機器II８０の同期制御部８２０の間の情報伝送は伝送遅延を伴うので、同期制御部７２０と同期制御部８２０の各々は、自己のまたは他方のメディア時刻Ｙまたはａを伝送遅延時間Ｄだけ補償または修正することが望ましい。機器Ｉ７０の同期制御部７２０と機器II８０の同期制御部８２０の間の一方向の伝送遅延時間Ｄは、両者間で通知パケットと応答の通知パケットとが往復で送受信された場合の往復の遅延時間から求めることができる。それによって、同期制御部７２０と同期制御部８２０の各々は、自己と他方のメディア時刻Ｙまたはａの一方を伝送遅延時間Ｄで補償または修正して、修正された一方の時刻（Ｙ−Ｄ）または（ａ＋Ｄ）と他方の時刻ａまたはＹとを比較することができる。従って、同期制御部７２０と同期制御部８２０の各々は、同じ時点（ａまたはＹ）における両メディア時刻の差（（Ｙ−Ｄ）−ａ）または（（ａ＋Ｄ）−Ｙ）をより正確に求めることができるようになる。

図４は、機器Ｉ７０の同期通信部７２２および機器II８０の同期通信部８２２の各々によって送受信される通知パケットの概略的なフォーマットの例を示している。通知パケットは、同期制御部７２０および８２０の各々によって生成された通知情報を含んでいる。

図４において、通知パケットは、例えば、ヘッダ部およびデータ部を含んでいる。データ部は、例えば、データａ、ｂ、ｃ、ｘおよびｙの各フィールドを含んでいる。データａ〜ｃ、ｘ、ｙは、それぞれ以下の時間データを含んでいる。
− データａは、通知パケットを送信する側の機器Ｉ７０または機器II８０において、送信時における自己の音声または映像データの時刻に基づく現在すなわち送信時のメディア時刻または送信時刻Ａを含んでいる。
− データｂは、通知パケットを送信する側の機器Ｉ７０または機器II８０において、現在の、開始時点から再生処理して出力する時点までの実際の再生遅延時間Ｂを含んでいる。ここで、実際の再生遅延時間ｂ、Ｂは、再生出力された音声または映像データに関して計算または測定された再生遅延時間であっても、または同期のために設定される再生遅延時間であってもよい。
− データｃは、通知パケットを送信する側の機器Ｉ７０または機器II８０において、現在の、開始時点から再生処理して出力する時点までの可能な最短（最小）の再生遅延時間Ｃを含んでいる。ここで、可能な最短の再生遅延時間ｃ、Ｃは、バッファリング時間を最短に設定した場合における再生遅延時間であってもよい。
− データｘは、通知パケットを送信する側の機器Ｉ７０または機器II８０において、送信の直前に相手側の機器II８０または機器Ｉ７０から受信した通知パケットに含まれていた相手側の機器II８０または機器Ｉ７０の送信時刻（ａ）を含んでいる。
− データｙは、通知情報を送信する側の機器Ｉ７０または機器II８０において、送信の直前に相手側の機器II８０または機器Ｉ７０から通知パケットを受信した時の自己のメディア時刻または受信時刻Ｙを含んでいる。

次は、主機器と従機器の間での通知パケットの送受信、および主機器と従機器における音声データと映像データの再生信号の出力タイミングを同期させるためのそれぞれの実際の再生理遅延時間Ｂの決定のしかたの例を説明する。ここで、説明のために、主機器は機器Ｉ７０であり、従機器は機器II８０であると仮定する。しかし、主機器が機器II８０であり、従機器が機器Ｉ７０であってもよい。

図５は、主機器と従機器の間の通知パケットの送受信の手順、および主機器と従機器における再生信号の出力タイミングの同期のための実際の再生遅延時間Ｂの決定のしかたの例を説明するための図である。

図５を参照すると、主機器（機器Ｉ７０）においてメディア時刻が０時０分２秒００（００：００：２．００）であるときに、従機器（機器II８０）においてメディア時刻が０時０分０秒００（００：００：０．００）である、と仮定する。（ここで、単位“秒”の後の２桁の数字は、百分の１秒の単位であるセンチ秒（ｃｓ）を表す。）即ち、主機器のメディア時刻は従機器のメディア時刻よりも２秒進んでおり、従機器のメディア時刻は主機器のメディア時刻よりも２秒遅れている。ここで、主機器のメディア時刻と従機器のメディア時刻は、互いに独立であり、ネットワーク５等の状況に応じて変動し得る。

主機器と従機器は、同じ時点での両機器のメディア時刻（Ｙ−Ｄ）、ａと、両機器のメディア・データの再生遅延時間または処理時間Ｂとを求め、再生遅延時間Ｂを制御して、再生出力されるデータのメディア時刻を一致させて両再生出力を同期させることができる。そのために、主機器と従機器は、それぞれのメディア時刻および再生遅延時間を含む通知パケットを送受信する。送受信されるメディア時刻には、それぞれの通知パケットの送信時のメディア時刻（ａ、ｘ）、および通知パケットの受信時のメディア時刻（ｙ）が含まれてもよい。また、送受信される再生遅延時間には、測定されたまたは同期のための実際の再生遅延時間ｂ、および可能な最短（最小）の再生遅延時間ｃが含まれてもよい。

まず、主機器（機器Ｉ７０）において、同期制御部７２０は、主機器における可能な最短の再生遅延時間Ｃ（秒）および現在の実際の再生遅延時間Ｂ（秒）を計算しまたは測定する。この場合、主機器（機器Ｉ７０）において、可能な最短の再生遅延時間はＣ＝１．０（秒）であり、実際の再生遅延時間はＢ＝１．０（秒）である。可能な最短の再生遅延時間Ｃは、バッファリング時間を最小にした場合の実際の再生遅延時間Ｂに対応する。一方、従機器（機器II８０）において、同期制御部８２０は、従機器における可能な最短の再生遅延時間Ｃ（秒）および現在の実際の再生遅延時間Ｂ（秒）を計算しまたは測定する。この場合、従機器（機器II８０）において、可能な最短の再生遅延時間はＣ＝２．０（秒）であり、実際の再生遅延時間はＢ＝２．０（秒）である。従って、主機器の可能な最短の再生遅延時間Ｃは、従機器の可能な最短の再生遅延時間Ｃより短い。初期状態では、主機器と従機器の双方は、それぞれ、実際の再生遅延時間Ｂを可能な最短の再生遅延時間Ｃに設定する（Ｂ＝Ｃ）ことが好ましい。

次いで、主機器（機器Ｉ７０）において、自己のメディア時刻０時０分２秒００（Ａ）で、同期制御部７２０は、例えば図４のフォーマットの通知パケットを生成して従機器に送信する。ここで、送信側における送信時のメディア時刻はＡで表されるものとする。その際、同期制御部７２０は、通知パケットにおいて、実際の再生遅延時間ｂに値Ｂを入れ、可能な最短の再生遅延時間ｃに値Ｃを入れ、送信時刻ａに値Ａを入れる。従って、通知パケットは、主機器における、当該通知パケットの送信時刻ａ＝Ａ＝２．００（２秒００）、実際の再生遅延時間ｂ＝１．０（秒）、および可能な最短の再生遅延時間ｃ＝１．０（秒）を含んでいる。この場合、通知パケットは最初の通知パケットなので、相手側の従機器から送信されて受信された通知パケット中の送信時刻ｘおよび通知パケットの受信時刻ｙの値は存在しない。ここで、各メディア時刻（ａ、ｘ、ｙ）の値について、表示を簡単にするために、時分（０時０分）は省略されている。

次いで、従機器（機器II８０）において、自己のメディア時刻０時０分０秒５０（Ｙ）で、同期制御部８２０は、主機器（機器Ｉ７０）の同期制御部７２０からの通知パケットを受信する。ここで、受信側における受信時のメディア時刻はＹで表されるものとする。

次いで、同期制御部８２０は、従機器（機器II８０）においてバッファリング時間を最短にした場合の可能な最短の再生遅延時間Ｃ＝２．０（秒）を計算して求める。また、同期制御部７２０は、従機器（機器II８０）における相手側との同期のための実際の再生遅延時間Ｂを求める。同期のための実際の再生遅延時間は、Ｂ＝（Ｙ−Ｄｅ）−ａ＋ｂで表される。ここで、伝送遅延時間Ｄｅは、推定の伝送遅延時間Ｄｅ＝０．０である。代替形態として、推定の伝送遅延時間Ｄｅは、例えば０．５秒または１．０秒のような他の値であってもよい。この場合、同期のための実際の再生遅延時間はＢ＝（０．５０−０．０）−２．００＋１．０＝−０．５０となるが、実際の再生遅延時間にはＢ≧Ｃ＝２．０の制限があるので、同期制御部７２０は、実際の再生遅延時間をＢ＝Ｃ＝２．０（前回と同じ）に維持する。代替形態として、伝送遅延時間Ｄが算出できない場合は、同期のための実際の再生遅延時間Ｂは、可能な最短の再生遅延時間Ｃに設定されてもよい（Ｂ＝Ｃ＝２．０）。この場合も、同期制御部８２０は、実際の再生遅延時間Ｂ＝２．０を維持する。

次いで、通知パケットの受信に応答して、従機器（機器II８０）において、メディア時刻０時０分０秒６０（Ａ）で、同期制御部８２０は、通知パケットを生成して主機器に送信する。その際、同期制御部８２０は、通知パケットにおいて、実際の再生遅延時間ｂに値Ｂを入れ、可能な最短の再生遅延時間ｃに値Ｃを入れ、送信時刻ａに値Ａを入れる。さらに、同期制御部８２０は、通知パケットにおいて、通知パケット中の送信時刻ｘに先の受信通知パケット中の値ａを入れ、先の受信通知パケット受信時刻ｙに値Ｙを入れる。従って、通知パケットは、従機器における、当該通知パケットの送信時刻ａ＝Ａ＝０．６０（０秒６０）、実際の再生遅延時間ｂ＝２．０（秒）、および可能な最短の再生遅延時間ｃ＝２．０（秒）を含んでいる。通知パケットは、さらに、受信通知パケット中の送信時刻ｘ＝２．００（２秒００）、および受信通知パケットの受信時刻ｙ＝０．５０（０秒５０）を含んでいる。

送信時刻ｘの送信によって、相手側（主機器）は、対応する前回の通知パケットの送信時刻Ａを保存しなくてもよくなり、または対応する前回送信した通知パケットを特定することができる。但し、自機器によって送信される通知パケット中の送信時刻ｘは、相手側の前回の通知パケットの送信時刻ａ＝Ａなので、相手側（主機器）が、対応する前回の通知パケットの送信時刻Ａを特定できる場合には、自機器による送信時刻ｘの送信が省略されてもよい。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分３秒１０（Ｙ）で、同期制御部７２０は、同期制御部８２０からの通知パケットを受信する。この段階で、主機器（機器Ｉ７０）は、主機器および従機器の双方の実際の再生遅延時間ｂおよび可能な最短の再生遅延時間ｃ、および主機器と従機器の間での通知パケットの送信から応答の通知パケットの受信までの往復の経過時間（Ｙ−ｘ）を得ることができる。

この時点までは、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとは、同期していない。

次いで、同期制御部７２０は、受信した通知パケットの時刻データａ、ｘ、ｙおよび受信時刻Ｙに基づいて、主機器（機器Ｉ７０）と従機器（機器II８０）の間での一方向の伝送遅延時間Ｄ＝（（Ｙ−ｘ）−（ａ−ｙ））／２を求める。ここで、時刻の差（Ｙ−ｘ）は、自機器（この場合、主機器）における、自機器の通知パケットの送信時刻ｘ（＝Ａ）から応答通知パケットの受信時刻（Ｙ）までの経過時間を表す。時刻の差（ａ−ｙ）は、通信相手側（この場合、従機器）における、前回の自機器からの通知パケットの受信時刻（ｙ）から通信相手側の応答通知パケットの送信時刻（ａ）までの間の応答通知パケットの生成にかかった時間を表す。従って、差（Ｙ−ｘ）−（ａ−ｙ）は、伝送路上での往復のパケット伝送時間を表す。差の値（Ｙ−ｘ）−（ａ−ｙ）を２で除算する（／２）ことによって、主機器と従機器の間での一方向の伝送遅延時間Ｄが求められる。この場合、一方向の伝送遅延時間はＤ＝０．５秒である。

また、同期制御部７２０は、主機器（機器Ｉ７０）における可能な最短の再生遅延時間Ｃ＝１．０（秒）を再び計算して求める。次いで、同期制御部７２０は、主機器（機器Ｉ７０）における同期のための実際の再生遅延時間Ｂを求める。同期のための実際の再生遅延時間Ｂは、例えば、Ｂ＝（Ｙ−Ｄ）−ａ＋ｂ＝Ｙ−Ｄ−ａ＋ｂ＝Ｙ−ａ−Ｄ＋ｂで表される。ここで、時刻Ｙと伝送遅延時間Ｄの差（Ｙ−Ｄ）は、自機器（主機器）において、相手側（従機器）から通知パケットを受信した時刻Ｙから一方向の伝送遅延時間Ｄを減算した時刻である。即ち、差（Ｙ−Ｄ）は、相手側（従機器）での通知パケット送信時のメディア時刻ａと同じ時点における自機器（主機器）でのメディア時刻を表す。従って、時刻の差（Ｙ−Ｄ）−ａは、同じ時点における自機器のメディア時刻（Ｙ−Ｄ）と相手側のメディア時刻ａの間の時間差を表し、相手側のメディア時刻ａに対する自機器のメディア時刻（Ｙ−Ｄ）の進み時間を表す。換言すれば、時刻の差（Ｙ−Ｄ）−ａは、自機器のメディア時刻（Ｙ−Ｄ）に対する相手側のメディア時刻ａの遅れ時間を表す。加算＋ｂは、相手側の実際の再生遅延時間ｂを加算する演算である。即ち、式（Ｙ−Ｄ）−ａ＋ｂは、相手側のメディア時刻ａに対する自機器のメディア時刻（Ｙ−Ｄ）の進み時間に、相手側の実際の再生遅延時間ｂを加えて、両機器の出力時のメディア時刻を一致させて出力を同期させるための自機器の実際の再生遅延時間Ｂを表す。この場合、実際の再生遅延時間はＢ＝４．０（秒）（≧Ｃ）である。

次いで、同期制御部７２０は、同期のための実際の再生遅延時間Ｂ＝４．０（秒）と、前回求めた実際の再生遅延時間Ｂ＝１．０との間の差または変化分（３．０）を求める。さらに、同期制御部７２０は、バッファ部７１０での現在のバッファリング時間を差３秒だけ長くすることによって、実際の再生遅延時間Ｂを前回より３秒だけ長く設定する。この時点で、主機器では、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとが同期する。しかし、従機器では、同期制御部８２０は、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとが同期しているかどうかは確認していない。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分３秒２０（Ａ）で、同期制御部７２０は、通知パケットを生成して従機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝３．２０（３秒２０）、主機器での実際の再生遅延時間ｂ＝４．０（秒）、および主機器での可能な最短の再生遅延時間ｃ＝１．０（秒）を含んでいる。通知パケットは、さらに、相手側からの受信通知パケット中の送信時刻ｘ＝０．６０（０秒６０）、および通知パケットの受信時刻ｙ＝３．１０（３秒１０）を含んでいる。通知パケットは、さらに、伝送遅延時間Ｄを含んでいてもよい。

次いで、従機器（機器II８０）において、メディア時刻０時０分１秒７０（Ｙ）で、同期制御部８２０は、同期制御部７２０からの通知パケットを受信する。この段階で、従機器（機器II８０）は、従機器と主機器の双方の実際の再生遅延時間ｂおよび可能な最短の再生遅延時間ｃ、および従機器と主機器の間での通知パケットの送信から応答通知パケットの受信までの往復の経過時間（Ｙ−ｘ）を得ることができる。

次いで、同期制御部８２０は、受信した通知パケットの時刻データａ、ｘ、ｙおよび受信時刻Ｙに基づいて、同期制御部７２０について前述したのと同様に、従機器（機器II８０）と主機器（機器Ｉ７０）の間での一方向の伝送遅延時間Ｄを求める。この場合、一方向の伝送遅延時間は、Ｄ＝０．５秒である。また、同期制御部８２０は、可能な最短の再生遅延時間Ｃ＝２．０（秒）を再び計算して求め、同期のための実際の再生遅延時間Ｂ＝（Ｙ−Ｄ）−ａ＋ｂ＝Ｙ−Ｄ−ａ＋ｂ＝Ｙ−ａ−Ｄ＋ｂを計算して求める。この場合、実際の再生遅延時間はＢ＝２．０（秒）である。この場合、同期のための実際の再生遅延時間Ｂと前回の実際の再生遅延時間Ｂとの間の差が０なので、同期制御部８２０は、バッファ部７１０での現在のバッファリング時間を維持する。従って、従機器では、同期制御部８２０は、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとが同期していることを確認できたこととなる。

次いで、従機器（機器II８０）において、メディア時刻０時０分１秒８０（Ａ）で、同期制御部７２０は、通知パケットを生成して主機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝１.８０（１秒８０）、従機器での実際の再生遅延時間ｂ＝２．０（秒）、および主機器での可能な最短の再生遅延時間ｃ＝２．０（秒）を含んでいる。通知パケットは、さらに、受信通知パケット中の送信時刻ｘ＝３．２０（３秒２０）、および通知パケットの受信時刻ｙ＝１．７０（１秒７０）を含んでいる。通知パケットは、さらに、伝送遅延時間Ｄを含んでいてもよい。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分４秒３０（Ｙ）で、同期制御部７２０は、同期制御部８２０からの通知パケットを受信する。

次いで、同期制御部７２０は、受信した通知パケットの時刻データａ、ｘ、ｙおよび受信時刻Ｙに基づいて、主機器（機器Ｉ７０）と従機器（機器II８０）の間での一方向の伝送遅延時間Ｄ＝０．５（秒）を再び求める。また、同期制御部７２０は、主機器（機器Ｉ７０）における可能な最短の再生遅延時間Ｃ＝１．０（秒）を再び計算して求め、同期のための実際の再生遅延時間Ｂ＝４．０（秒）を計算して求める。この場合、同期のための実際の再生遅延時間Ｂと前回求めた実際の再生遅延時間Ｂとの間の差が０なので、同期制御部７２０は、バッファ部７１０でのバッファリング時間を維持する。従って、主機器では、同期制御部７２０は、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとが同期していることを確認できたこととなる。

このようにして、主機器が実際の再生遅延時間Ｂを増大させることによって、主機器の再生信号の出力タイミングのデータの時刻と、従機器の再生信号の出力タイミングのデータの時刻とが一致して、主機器と従機器の再生信号の出力は同期することができる。従って、例えば、従機器においてメディア時刻０時０分３秒８０において２秒前の時刻０時０分１秒８０のデータの信号が出力されるとき、主機器においてメディア時刻０時０分５秒８０において４秒前の同じ時刻０時０分１秒８０のデータの信号が出力される。

図６は、主機器と従機器の間の通知パケットの送受信の手順、および主機器と従機器における再生信号の出力タイミングの同期のための実際の再生遅延時間Ｂの決定のしかたの別の例を説明するための図である。

図６を参照すると、主機器（機器Ｉ７０）においてメディア時刻が０時０分０秒００であるときに、従機器（機器II８０）においてメディア時刻が０時０分２秒００である、と仮定する。即ち、主機器のメディア時刻は従機器のメディア時刻よりも２秒遅れており、従機器のメディア時刻は主機器のメディア時刻よりも２秒進んでいる。

まず、主機器（機器Ｉ７０）において、同期制御部７２０は、主機器における可能な最短の再生遅延時間Ｃ（秒）および現在の実際の再生遅延時間Ｂ（秒）を計算しまたは測定する。この場合、主機器（機器Ｉ７０）において、可能な最短の再生遅延時間はＣ＝１．０（秒）であり、実際の再生遅延時間はＢ＝１．０である。一方、従機器（機器II８０）において、同期制御部８２０は、従機器における可能な最短の再生遅延時間Ｃ（秒）および現在の実際の再生遅延時間Ｂ（秒）を計算しまたは測定する。この場合、従機器（機器II８０）において、可能な最短の再生遅延時間はＣ＝２．０（秒）であり、現在の実際の再生遅延時間はＢ＝２．０（秒）である。従って、この場合も、主機器の可能な最短の再生遅延時間Ｃは、従機器の可能な最短の再生遅延時間Ｃより短い。

次いで、主機器（機器Ｉ７０）において、自己のメディア時刻０時０分０秒００（Ａ）で、同期制御部７２０は、通知パケットを生成して従機器に送信する。この場合、通知パケットは、当該通知パケットの送信時刻ａ＝Ａ＝０．００（０秒００）、主機器での実際の再生遅延時間ｂ＝１．０（秒）、および主機器での可能な最短の再生遅延時間ｃ＝１．０（秒）を含んでいる。

次いで、従機器（機器II８０）において、自己のメディア時刻０時０分２秒５０（Ｙ）で、同期制御部８２０は、主機器（機器Ｉ７０）の同期制御部７２０からの通知パケットを受信する。

次いで、同期制御部８２０は、従機器（機器II８０）においてバッファリング時間を最短にした場合での可能な最短の再生遅延時間Ｃ＝２．０（秒）を計算して求める。また、同期制御部７２０は、従機器（機器II８０）における相手側との同期のための実際の再生遅延時間Ｂを求める。同期のための実際の再生遅延時間は、Ｂ＝（Ｙ−Ｄｅ）−ａ＋ｂで表される。ここで伝送遅延時間Ｄｅは、推定の伝送遅延時間Ｄｅ＝０．０である。この場合、同期のための実際の再生遅延時間はＢ＝（２．５０−０．０）−０．００＋１．０＝３．５となる。次いで、同期制御部８２０は、同期のための実際の再生遅延時間Ｂ＝３．５（秒）と、前回求めた実際の再生遅延時間Ｂ＝２．０との間の差（１．５）を求める。さらに、同期制御部８２０は、バッファ部８１０での現在のバッファリング時間を差１．５秒だけ長くすることによって、実際の再生遅延時間Ｂを前回より１．５秒だけより長く設定する。代替形態として、代替形態として、伝送遅延時間Ｄが算出できない場合は、同期のための実際の再生遅延時間Ｂは、可能な最短の再生遅延時間Ｃに設定されてもよい（Ｂ＝Ｃ＝２．０）。この場合、同期制御部８２０は、実際の再生遅延時間Ｂ＝２．０を維持する。

次いで、通知パケットの受信に応答して、主機器（機器II８０）において、メディア時刻０時０分２秒６０（Ａ）で、同期制御部８２０は、通知パケットを生成して主機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝２．６０（２秒６０）、従機器での実際の再生遅延時間ｂ＝３．５（秒）、および主機器での可能な最短の再生遅延時間ｃ＝２．０（秒）を含んでいる。通知パケットは、さらに、受信通知パケット中の送信時刻ｘ＝０．００（０秒００）、および通知パケットの受信時刻ｙ＝２．５０（２秒５０）を含んでいる。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分１秒１０（Ｙ）で、同期制御部７２０は、同期制御部８２０からの通知パケットを受信する。この段階で、主機器（機器II８０）は、主機器および従機器の双方の実際の再生遅延時間ｂおよび可能な最短の再生遅延時間ｃ、および主機器と従機器の間での通知パケットの送信から応答の通知パケットの受信までの往復の経過時間（Ｙ−ｘ）を得ることができる。

次いで、同期制御部７２０は、受信した通知パケットの時間データａ、ｘ、ｙおよび受信時刻Ｙに基づいて、主機器（機器Ｉ７０）と従機器（機器II８０）の間での一方向の伝送遅延時間Ｄを求める。この場合、一方向の伝送遅延時間Ｄ＝０．５秒である。

また、同期制御部７２０は、主機器（機器Ｉ７０）における可能な最短の再生遅延時間Ｃ＝１．０（秒）を再び計算して求める。次いで、同期制御部７２０は、同期のための実際の再生遅延時間Ｂ＝（Ｙ−Ｄ）−ａ＋ｂ＝Ｙ−Ｄ−ａ＋ｂ＝Ｙ−ａ−Ｄ＋ｂを求める。この場合、実際の再生遅延時間はＢ＝１．５（秒）である。この場合、自機器における実際の再生遅延時間Ｂが可能な最短の再生遅延時間Ｃより大きく（Ｂ（＝１．５）＞Ｃ（＝１．０））、かつ相手側の機器における実際の再生遅延時間ｂが可能な最短の再生遅延時間ｃより大きい（ｂ（＝３．５）＞ｃ（＝２．０））。従って、主機器と従機器の双方は、共に、実際の再生遅延時間Ｂ、ｂを短縮することが可能である。従って、同期制御部７２０は、自機器での差（Ｂ−Ｃ）と相手側での差（ｂ−ｃ）のうちの最小値（Ｂ−Ｃ＝０．５）だけ、同期のための実際の再生遅延時間Ｂを短くする（Ｂ＝Ｂ−ｍｉｎ（（Ｂ−Ｃ），（ｂ−ｃ））＝１．５−（１．５−１．０）＝１．０）。従って、同期制御部７２０は、同期のための実際の再生遅延時間をＢ＝Ｃ＝１．０と設定する。この場合、同期のための実際の再生遅延時間Ｂと前回求めた実際の再生遅延時間Ｂとの間の差が０なので、同期制御部７２０は、バッファ部７１０でのバッファリング時間を維持する。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分１秒２０（Ａ）で、同期制御部７２０は、通知パケットを生成して従機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝１.２０（１秒２０）、主機器での実際の再生遅延時間ｂ＝１．０（秒）、および主機器での可能な最短の再生遅延時間ｃ＝１．０（秒）を含んでいる。通知パケットは、さらに、相手側からの受信通知パケット中の送信時刻ｘ＝２．６０（２秒６０）、および通知パケットの受信時刻ｙ＝１．１０（１秒１０）を含んでいる。

次いで、従機器（機器II８０）において、メディア時刻０時０分３秒７０（Ｙ）で、同期制御部８２０は、同期制御部７２０からの通知パケットを受信する。この段階で、従機器（機器II８０）は、従機器と主機器の双方の実際の再生遅延時間ｂおよび可能な最短の再生遅延時間ｃ、および従機器と主機器の間での通知パケットの送信から応答通知パケットの受信までの往復の経過時間（Ｙ−ｘ）を得ることができる。

この時点までは、従機器（機器II８０）での再生信号の出力タイミングと、主機器（機器Ｉ７０）での再生信号の出力タイミングとは、同期していない。

次いで、同期制御部８２０は、従機器と主機器の間での一方向の伝送遅延時間Ｄ＝０．５秒を求める。また、同期制御部８２０は、可能な最短の再生遅延時間Ｃを再び計算して求め、同期のための実際の再生遅延時間Ｂ＝（Ｙ−Ｄ）−ａ＋ｂ＝（Ｙ−Ｄ）−ａ＋ｂ＝Ｙ−Ｄ−ａ＋ｂ＝Ｙ−ａ−Ｄ＋ｂを算出して求める。この場合、可能な最短の再生遅延時間はＣ＝２．０（秒）であり、同期のための実際の再生遅延時間はＢ＝３．０（秒）である。次いで、同期制御部８２０は、同期のための実際の再生遅延時間Ｂ＝３．０（秒）と、前回求めた実際の再生遅延時間Ｂ＝２．５との間の差（０．５）を求める。さらに、同期制御部８２０は、バッファ部８１０での現在のバッファリング時間を０．５秒長くすることによって、実際の再生遅延時間Ｂを０．５秒だけより長く設定する。この場合、この時点で、従機器では、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとが同期する。しかし、主機器では、同期制御部７２０は、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとが同期しているかどうかを確認していない。

次いで、従機器（機器II８０）において、メディア時刻０時０分３秒８０（Ａ）で、同期制御部８２０は、通知パケットを生成して主機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝３.８０（３秒８０）、従機器での実際の再生遅延時間ｂ＝３．０（秒）、および主機器での可能な最短の再生遅延時間ｃ＝２．０（秒）を含んでいる。通知パケットは、さらに、受信通知パケット中の送信時刻ｘ＝１．２０（１秒２０）、および通知パケットの受信時刻ｙ＝３．７０（３秒７０）を含んでいる。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分２秒３０（Ｙ）で、同期制御部７２０は、同期制御部８２０からの通知パケットを受信する。

次いで、同期制御部７２０は、主機器と従機器の間での一方向の伝送遅延時間Ｄ＝０．５秒を再び求める。また、同期制御部７２０は、可能な最短の再生遅延時間Ｃ＝１．０（秒）を再び計算して求め、同期のための実際の再生遅延時間Ｂ＝１．０（秒）を計算して求める。この場合、同期のための実際の再生遅延時間Ｂと前回求めた実際の再生遅延時間Ｂとの間の差が０なので、同期制御部７２０は、バッファ部７１０でのバッファリング時間を維持する。従って、主機器では、同期制御部７２０は、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとが同期していることを確認できたこととなる。

このようにして、従機器が実際の再生遅延時間Ｂを増大させることによって、主機器の再生信号の出力タイミングのデータの時刻と、従機器の再生信号の出力タイミングのデータの時刻とが一致して、主機器と従機器の再生信号の出力は同期することができる。従って、例えば、主機器においてメディア時刻０時０分４秒８０において１秒前の時刻０時０分３秒８０のデータの信号が出力されるとき、従機器においてメディア時刻０時０分６秒８０において３秒前の同じ時刻０時０分３秒８０のデータの信号が出力される。

次は、主機器および従機器において、時間の経過とともにそれぞれの可能な最短の再生遅延時間Ｃが変化する場合での、主機器と従機器の間での通知パケットの送受信、およびバッファリング時間の決定のしかたの例を説明する。

図７Ａおよび７Ｂは、主機器と従機器の間の通知パケットの送受信の手順、および主機器と従機器における再生同期のための実際の再生遅延時間Ｂの決定のしかたのさらに別の例を説明するための図である。

図７Ａおよび７Ｂは、図６の後の主機器（機器Ｉ７０）と従機器（機器II８０）のメディア時刻における送受信の手順を含んでいるものとする。図７Ａおよび７Ｂを参照すると、主機器（機器Ｉ７０）においてメディア時刻が０時０分８秒００であるとき、従機器（機器II８０）においてメディア時刻が０時０分１０秒００である、と仮定する。即ち、主機器のメディア時刻は、従機器のメディア時刻よりも２秒遅れている。

図６の送受信の手順の後、主機器（機器Ｉ７０）において、例えば、バッファ部７１０における最短のバッファリング時間または復号部７１２における復号時間が増大して、可能な最短の再生遅延時間がＣ＝１．０（秒）からＣ＝２．０（秒）に増大したとする。それに伴って、同期制御部７２０は、実際の再生遅延時間Ｂを初期状態のＢ＝Ｃ＝２．０（秒）に増大させる。一方、従機器（機器II８０）は、可能な最短の再生遅延時間Ｃ＝２．０（秒）および実際の再生遅延時間Ｂ＝３．０（秒）を維持しているものとする。

このように、可能な最短の再生遅延時間Ｃが変化した場合に、実際の再生遅延時間Ｂは可能な最短の再生遅延時間Ｃに設定される。それによって、主機器および従機器において、それぞれの再生信号の出力タイミングが同期状態になったときのそれぞれの実際の再生遅延時間Ｂはできるだけ短くすることができ、それぞれのバッファリング時間はより長い余裕時間を持つことができる。

まず、主機器（機器Ｉ７０）において、同期制御部７２０は、主機器における可能な最短の再生遅延時間Ｃ（秒）および現在の実際の再生遅延時間Ｂ（秒）を計算して求める。この場合、可能な最短の再生遅延時間はＣ＝２．０（秒）であり、実際の再生遅延時間はＢ＝２．０である。一方、従機器（機器II８０）において、同期制御部８２０は、従機器における可能な最短の再生遅延時間Ｃ（秒）および現在の実際の再生遅延時間Ｂ（秒）を計算して求める。この場合、可能な最短の再生遅延時間はＣ＝２．０（秒）であり、現在の実際の再生遅延時間はＢ＝３．０（秒）である。従って、主機器の可能な最短の再生遅延時間Ｃは、従機器の可能な最短の再生遅延時間Ｃと等しい。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分８秒４０（Ａ）で、同期制御部７２０は、可能な最短の再生遅延時間Ｃの変動に応答して、通知パケットを生成して従機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝８．４０（８秒４０）、主機器での実際の再生遅延時間ｂ＝２．０（秒）、および主機器での可能な最短の再生遅延時間ｃ＝２．０（秒）を含んでいる。

次いで、従機器（機器II８０）において、メディア時刻０時０分１０秒９０（Ｙ）で、同期制御部８２０は、主機器（機器Ｉ７０）の同期制御部７２０からの通知パケットを受信する。

次いで、従機器（機器II８０）において、同期制御部８２０は、従機器と主機器の間での一方向の伝送遅延時間Ｄ＝０．５秒を再び求める。また、同期制御部８２０は、可能な最短の再生遅延時間Ｃを再び計算して求め、同期のための実際の再生遅延時間Ｂ＝（Ｙ−Ｄ）−ａ＋ｂを計算して求める。この場合、可能な最短の再生遅延時間はＣ＝２．０（秒）であり、同期のための実際の再生遅延時間はＢ＝（１０．９０−０．５）−８．４０＋２．０＝４．０（秒）である。次いで、同期制御部８２０は、同期のための実際の再生遅延時間Ｂと、前回求めた実際の再生遅延時間Ｂ＝３．０との間の差（１．０）を求める。さらに、同期制御部８２０は、バッファ部８１０での現在のバッファリング時間を１．０秒だけ長くすることによって、実際の再生遅延時間Ｂを１．０秒だけより長く設定する。

この時点で、従機器が実際の再生遅延時間Ｂを増大させることによって、主機器の再生信号の出力タイミングのデータの時刻と、従機器の再生信号の出力タイミングのデータの時刻とが一致して、主機器と従機器の再生信号の出力は同期することができる。

次いで、通知パケットの受信に応答して、従機器（機器II８０）において、メディア時刻０時０分１１秒００（Ａ）で、同期制御部８２０は、通知パケットを生成して主機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝１１．００（１１秒００）、従機器での実際の再生遅延時間ｂ＝４.０（秒）、および従機器での可能な最短の再生遅延時間ｃ＝２．０（秒）を含んでいる。通知パケットは、さらに、受信通知パケット中の送信時刻ｘ＝８．４０（８秒４０）、および通知パケットの受信時刻ｙ＝１０．９０（１０秒９０）を含んでいる。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分９秒５０（Ｙ）で、同期制御部７２０は、同期制御部８２０からの通知パケットを受信する。

次いで、同期制御部７２０は、可能な最短の再生遅延時間Ｃ＝０．５（秒）を計算して求め、同期のための実際の再生遅延時間Ｂ＝２．０（秒）を計算して求める。この場合、同期のための実際の再生遅延時間Ｂと前回求めた実際の再生遅延時間Ｂとの間の差が０なので、同期制御部７２０は、バッファ部７１０でのバッファリング時間を維持する。従って、主機器では、同期制御部７２０は、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとが同期していることを確認できたこととなる。

その後、主機器（機器Ｉ７０）において、例えば、バッファ部７１０における最短のバッファリング時間または復号部７１２における復号時間が減少して、可能な最短の再生遅延時間がＣ＝２．０（秒）からＣ＝０．５（秒）に減少したとする。それに伴って、同期制御部７２０は、実際の再生遅延時間Ｂを初期状態のＢ＝Ｃ＝０．５（秒）に減少させる。今回の実際の再生遅延時間Ｂは、自機器の制限条件Ｂ≧Ｃ＝０．５、かつ相手機器による制限条件Ｂ≧Ｂ［前回］−（ｂ−ｃ）［相手側］＝２．０−（４．０−２．０）＝０．０を満たす最小値である。ここで、時間差（ｂ−ｃ）は、相手側（従機器）における実際の再生遅延時間ｂと可能な最短の再生遅延時間ｃの差であり、実際の再生遅延時間ｂにおける短縮可能な余裕の遅延時間長または最大の短縮可能な遅延時間長である。即ち、主機器（機器Ｉ７０）において、同期のための実際の再生遅延時間Ｂは、相手側（従機器）において短縮時間可能な時間（ｂ−ｃ）を超えて短縮されることはない。一方、従機器（機器II８０）は、可能な最短の再生遅延時間Ｃ＝２．０（秒）および実際の再生遅延時間Ｂ＝４．０（秒）を維持しているものとする。

主機器（機器Ｉ７０）において、メディア時刻０時０分１０秒２０（Ａ）で、同期制御部７２０は、可能な最短の再生遅延時間Ｃの変動に応答して、通知パケットを生成して従機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝１０．２０（１０秒２０）、主機器での実際の再生遅延時間ｂ＝０．５（秒）、および主機器での可能な最短の再生遅延時間ｃ＝０．５（秒）を含んでいる。通知パケットは、さらに、相手側から受信した通知パケット中の送信時刻ｘ＝１１．００（１１秒００）、および通知パケットの受信時刻ｙ＝１０．９０（１０秒９０）を含んでいる。

次いで、従機器（機器II８０）において、メディア時刻０時０分１２秒７０（Ｙ）で、同期制御部８２０は、同期制御部７２０からの通知パケットを受信する。

次いで、従機器（機器II８０）において、同期制御部８２０は、従機器と主機器の間での一方向の伝送遅延時間Ｄ＝０．５秒を再び求める。また、同期制御部８２０は、可能な最短の再生遅延時間Ｃ＝２．０（秒）を再び計算して求め、同期のための実際の再生遅延時間Ｂ＝（Ｙ−Ｄ）−ａ＋ｂ＝２．５（秒）を計算して求める。次いで、同期制御部８２０は、同期のための実際の再生遅延時間Ｂと、前回求めた実際の再生遅延時間Ｂ＝４．０との間の差（−１．５）を求める。さらに、同期制御部８２０は、バッファ部８１０での現在のバッファリング時間を差１．５秒だけ短くすることによって、実際の再生遅延時間Ｂを差１．５秒だけより短く設定する。

この時点で、従機器が実際の再生遅延時間Ｂを減少させることによって、主機器の再生信号の出力タイミングのデータの時刻と、従機器の再生信号の出力タイミングのデータの時刻とが一致して、主機器と従機器の再生信号の出力は同期させることができる。

次いで、従機器（機器II８０）において、メディア時刻０時０分１２秒８０（Ａ）で、同期制御部８２０は、通知パケットを生成して従機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝１２.８０（１２秒８０）、従機器での実際の再生遅延時間ｂ＝２．５（秒）、および従機器での可能な最短の再生遅延時間ｃ＝２．０（秒）を含んでいる。通知パケットは、さらに、受信通知パケット中の送信時刻ｘ＝１０．２０（１０秒２０）、および通知パケットの受信時刻ｙ＝１２．７０（１２秒７０）を含んでいる。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分１１秒３０（Ｙ）で、同期制御部７２０は、同期制御部８２０からの通知パケットを受信する。

次いで、主機器（機器Ｉ７０）において、同期制御部７２０は、主機器と従機器の間での一方向の伝送遅延時間Ｄ＝０．５秒を再び求める。また、同期制御部７２０は、主機器（機器Ｉ７０）における可能な最短の再生遅延時間Ｃ＝０．５（秒）を計算して求め、同期のための実際の再生遅延時間Ｂ＝０．５（秒）を計算して求める。この場合、同期のための実際の再生遅延時間Ｂと前回求めた実際の再生遅延時間Ｂとの間の差が０なので、同期制御部７２０は、バッファ部７１０でのバッファリング時間を維持する。従って、主機器では、同期制御部７２０は、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとが同期していることを確認できたこととなる。

このようにして、主機器において、可能な最短の再生遅延時間Ｃが増減し変化した場合でも、主機器と従機器においてバッファリング時間を最小化する形態で同期のための実際の再生遅延時間Ｂが制御される。従って、主機器の再生信号の出力タイミングのデータの時刻と、従機器の再生信号の出力タイミングのデータの時刻とが一致して、主機器と従機器の再生信号の出力は同期させることができる。

図７Ｂを参照すると、その後、従機器（機器II８０）において、バッファ部８１０におけるバッファリング時間または復号部７１２における復号時間が増大して、可能な最短の再生遅延時間がＣ＝２．０（秒）からＣ＝３．０（秒）に増大したとする。それに伴って、同期制御部８２０は、実際の再生遅延時間を初期状態のＢ＝Ｃ＝３．５（秒）に増大させる。一方、主機器（機器Ｉ７０）は、可能な最短の再生遅延時間Ｃ＝０．５（秒）および実際の再生遅延時間Ｂ＝０．５（秒）を維持しているものとする。

従機器（機器II８０）において、メディア時刻０時０分１３秒９０（Ａ）で、同期制御部８２０は、可能な最短の再生遅延時間Ｃの変動に応答して、通知パケットを生成して主機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝１３．９０（１３秒９０）、従機器での実際の再生遅延時間ｂ＝３.０（秒）、および従機器での可能な最短の再生遅延時間ｃ＝３．０（秒）を含んでいる。通知パケットは、さらに、受信通知パケット中の送信時刻ｘ＝１０．２０（１０秒２０）、および通知パケットの受信時刻ｙ＝１２．７０（１２秒７０）を含んでいる。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分１２秒４０（Ｙ）で、同期制御部７２０は、同期制御部８２０からの通知パケットを受信する。

次いで、主機器（機器Ｉ７０）において、同期制御部７２０は、主機器と従機器の間での一方向の伝送遅延時間Ｄ＝０．５秒を再び求める。また、同期制御部７２０は、主機器（機器Ｉ７０）における可能な最短の再生遅延時間Ｃ＝０．５（秒）を計算して求め、主機器（機器Ｉ７０）における同期のための実際の再生遅延時間Ｂ＝１．０（秒）を計算して求める。次いで、同期制御部７２０は、同期のための実際の再生遅延時間Ｂと、前回求めた実際の再生遅延時間Ｂ＝０．５との間の差（０．５）を求める。さらに、同期制御部７２０は、バッファ部７１０でのバッファリング時間を０．５秒だけ長くすることによって、実際の再生遅延時間Ｂを０．５秒だけより長く設定する。

この時点で、主機器が実際の再生遅延時間Ｂを増大させることによって、主機器の再生信号の出力タイミングのデータの時刻と、従機器の再生信号の出力タイミングのデータの時刻とが一致して、主機器と従機器の再生信号の出力は同期させることができる。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分１２秒５０（Ａ）で、同期制御部７２０は、通知パケットを生成して従機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝１２.５０（１２秒５０）、主機器での実際の再生遅延時間ｂ＝１．０（秒）、および主機器での可能な最短の再生遅延時間ｃ＝０．５（秒）を含んでいる。通知パケットは、さらに、相手側から受信した通知パケット中の送信時刻ｘ＝１３．９０（１３秒９０）、および通知パケットの受信時刻ｙ＝１２．４０（１２秒４０）を含んでいる。

次いで、従機器（機器II８０）において、メディア時刻０時０分１５秒００（Ｙ）で、同期制御部８２０は、同期制御部７２０からの通知パケットを受信する。

次いで、従機器（機器II８０）において、同期制御部８２０は、従機器と主機器の間での一方向の伝送遅延時間Ｄ＝０．５秒を求める。また、同期制御部８２０は、可能な最短の再生遅延時間Ｃ＝３．０（秒）を再び計算して求め、同期のための実際の再生遅延時間Ｂ＝ａ−Ｙ＋Ｄ＋ｂ＝３．０（秒）を計算して求める。この場合、同期のための実際の再生遅延時間Ｂと前回の実際の再生遅延時間Ｂとの間の差が０なので、同期制御部８２０は、バッファ部７１０でのバッファリング時間を維持する。従って、従機器では、同期制御部８２０は、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとが同期していることを確認できたこととなる。

その後、従機器（機器II８０）において、バッファ部８１０におけるバッファリング時間または復号部７１２における復号時間が減少して、可能な最短の再生遅延時間がＣ＝３．０（秒）からＣ＝１．０（秒）に減少したとする。それに伴って、同期制御部８２０は、実際の再生遅延時間をＢ＝Ｂ［前回］−（ｂ−ｃ）［相手側］＝３.０−（１．０−０．５）＝２．５（秒）に減少させる。今回の実際の再生遅延時間Ｂは、自機器の制限条件Ｂ≧Ｃ＝１．０、かつ相手機器による制限条件Ｂ≧Ｂ［前回］−（ｂ−ｃ）［相手側］＝２．５を満たす最小値である。ここで、時間差（ｂ−ｃ）は、相手側（主機器）における実際の再生遅延時間ｂと可能な最短の再生遅延時間ｃの間の差であり、実際の再生遅延時間ｂにおける短縮可能な余裕の遅延時間長または最大の短縮可能な遅延時間長である。即ち、従機器（機器II８０）において、同期のための実際の再生遅延時間Ｂは、相手側（主機器）において短縮時間可能な時間（ｂ−ｃ）を超えて短縮されることはない。一方、主機器（機器Ｉ７０）は、可能な最短の再生遅延時間Ｃ＝０．５（秒）および実際の再生遅延時間Ｂ＝０．５（秒）を維持しているものとする。

従機器（機器II８０）において、メディア時刻０時０分１５秒４０（Ａ）で、同期制御部８２０は、可能な最短の再生遅延時間Ｃの変動に応答して、通知パケットを生成して主機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝１５．４０（１５秒４０）、従機器での実際の再生遅延時間ｂ＝２.５０（秒）、および従機器での可能な最短の再生遅延時間ｃ＝１．０（秒）を含んでいる。通知パケットは、さらに、受信通知パケット中の送信時刻ｘ＝１２．５０（１２秒５０）、および通知パケットの受信時刻ｙ＝１５．００（１５秒００）を含んでいる。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分１３秒９０（Ｙ）で、同期制御部７２０は、同期制御部８２０からの通知パケットを受信する。

次いで、同期制御部７２０は、主機器（機器Ｉ７０）と従機器（機器II８０）の間での一方向の伝送遅延時間Ｄ＝０．５秒を再び求める。また、同期制御部７２０は、主機器（機器Ｉ７０）における可能な最短の再生遅延時間Ｃ＝０．５（秒）を計算して求め、同期のための実際の再生遅延時間Ｂ＝０．５（秒）を計算して求める。次いで、同期制御部７２０は、同期のための実際の再生遅延時間Ｂと、前回求めた実際の再生遅延時間Ｂ＝１．０との間の差（−０．５）を求める。さらに、同期制御部７２０は、バッファ部７１０での現在のバッファリング時間を０．５秒だけ短くすることによって、実際の再生遅延時間Ｂを０．５秒だけより短く設定する。

この時点で、主機器が実際の再生遅延時間Ｂを減少させることによって、主機器の再生信号の出力タイミングのデータの時刻と、従機器の再生信号の出力タイミングのデータの時刻とが一致して、主機器と従機器の再生信号の出力は同期させることができる。

次いで、主機器（機器Ｉ７０）において、メディア時刻０時０分１４秒００（Ａ）で、同期制御部７２０は、通知パケットを生成して従機器に送信する。この場合、通知パケットは、通知パケットの送信時刻ａ＝Ａ＝１４.００（１４秒００）、主機器での実際の再生遅延時間ｂ＝０．５（秒）、および主機器での可能な最短の再生遅延時間ｃ＝０．５（秒）を含んでいる。通知パケットは、さらに、相手側から受信した通知パケット中の送信時刻ｘ＝１５．４０（１５秒４０）、および通知パケットの受信時刻ｙ＝１３．９０（１３秒９０）を含んでいる。

次いで、従機器（機器II８０）において、メディア時刻０時０分１６秒５０（Ｙ）で、同期制御部８２０は、同期制御部７２０からの通知パケットを受信する。

次いで、従機器（機器II８０）において、同期制御部８２０は、従機器と主機器の間での一方向の伝送遅延時間Ｄ＝０．５秒を求める。また、同期制御部８２０は、可能な最短の再生遅延時間Ｃ＝１．０（秒）を再び計算して求め、同期のための実際の再生遅延時間Ｂ＝ａ−Ｙ＋Ｄ＋ｂ＝２．５（秒）を計算して求める。この場合、同期のための実際の再生遅延時間Ｂと前回の実際の再生遅延時間Ｂとの間の差が０なので、同期制御部８２０は、バッファ部７１０での現在のバッファリング時間を維持する。従って、従機器では、同期制御部８２０は、主機器（機器Ｉ７０）での再生信号の出力タイミングと、従機器（機器II８０）での再生信号の出力タイミングとが同期していることを確認できたこととなる。

このようにして、従機器において、可能な最短の再生遅延時間Ｂが増減し変化した場合でも、従機器と主機器においてバッファリング時間を最小化する形態で同期のための実際の再生遅延時間が制御される。従って、従機器の再生信号の出力タイミングのデータの時刻と、主機器の再生信号の出力タイミングのデータの時刻とが一致して、主機器と従機器の再生信号の出力は同期させることができる。

ここで挙げた全ての例および条件的表現は、発明者が技術促進に貢献した発明および概念を読者が理解するのを助けるためのものであり、ここで具体的に挙げたそのような例および条件に限定することなく解釈され、また、明細書におけるそのような例の編成は本発明の優劣を示すこととは関係ない、と理解される。本発明の実施形態を詳細に説明したが、本発明の精神および範囲から逸脱することなく、それに対して種々の変更、置換および変形を施すことができる、と理解される。

以上の実施例を含む実施形態に関して、さらに以下の付記を開示する。
（付記１）外部から受信した音声データを出力する第１の機器と、前記音声データに対応する前記外部から受信した映像データを出力する第２の機器とを含むシステムであって、
前記第１の機器が、第１の送信部と、第１の制御部とを備え、
前記第２の機器が、第２の送信部と、第２の制御部とを備え、
前記第１の送信部は、受信した前記音声データの処理の開始から、処理された前記音声データを出力するまでの第１の処理時間と、前記第１の機器における前記音声データの時刻に基づく第１の時刻とを、前記第２の機器に送信し、
前記第２の送信部は、受信した前記映像データの処理の開始から、処理された前記映像データを出力するまでの第２の処理時間と、前記第２の機器における前記映像データの時刻に基づく第２の時刻とを、前記第１の機器に送信し、
前記第１の制御部は、前記第２の時刻に対する前記音声データの時刻に基づく第３の時刻と、前記第２の時刻と、前記第２の機器と前記第１の機器の間の伝送遅延時間と、前記第２の処理時間とに基づいて、処理された前記音声データを出力するタイミングを制御し、
前記第２の制御部は、前記第１の時刻に対する前記映像データの時刻に基づく第４の時刻と、前記第１の時刻と、前記伝送遅延時間と、前記第１の処理時間とに基づいて、処理された前記映像データを出力するタイミングを制御する
ことを特徴とするシステム。
（付記２）前記第１の処理時間は、受信した前記音声データの処理の開始以前の時点から、受信した前記音声データをバッファリングして、処理された前記音声データを出力する時点までの遅延時間であり、
前記第２の処理時間は、受信した前記映像データの処理の開始以前の時点から、受信した前記映像データをバッファリングして、処理された前記映像データを出力する時点までの遅延時間であることを特徴とする、付記１に記載のシステム。
（付記３）前記第１の制御部は、前記第３の時刻、負の前記第２の時刻、負の前記伝送遅延時間および前記第２の処理時間の総和を、第１の時間として求め、前記第１の処理時間が前記第１の時間になるように、受信した前記音声データの遅延時間を制御することによって、処理された前記音声データを出力するタイミングを制御し、
前記第２の制御部は、前記第４の時刻、負の前記第１の時刻、負の前記伝送遅延時間および前記第１の処理時間の総和を、第２の時間として求め、前記第２の処理時間が前記第２の時間になるように、受信した前記映像データの遅延時間を制御することによって、処理された前記映像データを出力するタイミングを制御するものであることを特徴とする、付記１または２に記載のシステム。
（付記４）前記第１の制御部は、前記第１の処理時間を、前記第１の処理時間の可能な最小値以上となるように設定し、
前記第２の制御部は、前記第２の処理時間を、前記第２の処理時間の可能な最小値以上となるように設定するものであることを特徴とする、付記１乃至３のいずれかに記載のシステム。
（付記５）前記第１の制御部は、初期状態において、または前記第１の処理時間の可能な最小値が変化した場合に、前記第１の処理時間を前記第１の処理時間の変化後の可能な最小値となるように設定し、
前記第２の制御部は、初期状態において、または前記第２の処理時間の可能な最小値が変化した場合に、前記第２の処理時間を、前記第２の処理時間の変化後の可能な最小値となるように設定するものであることを特徴とする、付記１乃至４のいずれかに記載のシステム。
（付記６）前記第１の制御部は、前記第１の処理時間の可能な最小値が変化した場合、前記第１の処理時間を、前記第１の処理時間の前記変化した可能な最小値以上となり、かつ減少幅が前記第２の処理時間と前記第２の処理時間の可能な最小値との間の差以下となるように設定し、
前記第２の制御部は、前記第２の処理時間の可能な最小値が変化した場合、前記第２の処理時間を、前記第２の処理時間の前記変化した可能な最小値以上、かつ減少幅が前記第１の処理時間と前記第１の処理時間の可能な最小値との間の差以下となるように設定するものであることを特徴とする、付記１乃至５のいずれかに記載のシステム。
（付記７）前記第１の制御部は、前記第１の機器における前記音声データの時刻に基づく、第１の情報の送信時刻と、前記第１の情報に応答する前記第２の機器からの第２の情報の受信時刻との間の差と、前記第２の機器における前記映像データの時刻に基づく、前記第１の情報の受信時刻と前記第２の情報の送信時刻との間の差とに基づいて、前記伝送遅延時間を求めるものであることを特徴とする、付記１乃至６のいずれかに記載のシステム。
（付記８）第１の機器が、外部ら受信した音声データの処理の開始から、処理された前記音声データを出力するまでの第１の処理時間と、前記第１の機器における前記音声データの時刻に基づく第１の時刻とを、前記第２の機器に送信し、
第２の機器が、前記音声データに対応する前記外部から受信した映像データの処理の開始から、処理された前記映像データを出力するまでの第２の処理時間と、前記第２の機器における前記映像データの時刻に基づく第２の時刻とを、前記第１の機器に送信し、
前記第１の機器が、前記第２の時刻に対する前記音声データの時刻に基づく第３の時刻と、前記第２の時刻と、前記第２の機器と前記第１の機器の間の伝送遅延時間と、前記第２の処理時間とに基づいて、処理された前記音声データを出力するタイミングを制御し、
前記第２の機器が、前記第１の時刻に対する前記映像データの時刻に基づく第４の時刻と、前記第１の時刻と、前記伝送遅延時間と、前記第１の処理時間とに基づいて、処理された前記映像データを出力するタイミングを制御する
処理を実行することを特徴とする方法。

７０ 機器Ｉ
８０ 機器II
７０２、８０２ インタフェース
７０４、８０４ ＲＴＰ処理部
７０６、８０６ 再生処理部
７０８ 音声データ受信部
８０８ 映像データ受信部
７１０、８１０ バッファ部
７１２、８１２ 復号部
７１４ 音声再生部
８１４ 映像再生部
７２０、８２０ 同期制御部
７２２、８２２ 同期通信部
７３０ スピーカ
８３０ 表示部

Claims (5)

1. 外部から受信した音声データを出力する第１の機器と、前記音声データに対応する前記外部から受信した映像データを出力する第２の機器とを含むシステムであって、
   前記第１の機器が、第１の送信部と、第１の制御部とを備え、
   前記第２の機器が、第２の送信部と、第２の制御部とを備え、
   前記第１の送信部は、受信した前記音声データの処理の開始から、処理された前記音声データを出力するまでの第１の処理時間と、前記第１の機器における前記音声データの時刻に基づく第１の時刻とを、前記第２の機器に送信し、
   前記第２の送信部は、受信した前記映像データの処理の開始から、処理された前記映像データを出力するまでの第２の処理時間と、前記第２の機器における前記映像データの時刻に基づく第２の時刻とを、前記第１の機器に送信し、
   前記第１の制御部は、前記第２の時刻に対する前記音声データの時刻に基づく第３の時刻と、前記第２の時刻と、前記第２の機器と前記第１の機器の間の伝送遅延時間と、前記第２の処理時間とに基づいて、処理された前記音声データを出力するタイミングを制御し、
   前記第２の制御部は、前記第１の時刻に対する前記映像データの時刻に基づく第４の時刻と、前記第１の時刻と、前記伝送遅延時間と、前記第１の処理時間とに基づいて、処理された前記映像データを出力するタイミングを制御する
   ことを特徴とするシステム。
2. 前記第１の制御部は、前記第３の時刻、負の前記第２の時刻、負の前記伝送遅延時間および前記第２の処理時間の総和を、第１の時間として求め、前記第１の処理時間が前記第１の時間になるように、受信した前記音声データの遅延時間を制御することによって、処理された前記音声データを出力するタイミングを制御し、
   前記第２の制御部は、前記第４の時刻、負の前記第１の時刻、負の前記伝送遅延時間および前記第１の処理時間の総和を、第２の時間として求め、前記第２の処理時間が前記第２の時間になるように、受信した前記映像データの遅延時間を制御することによって、処理された前記映像データを出力するタイミングを制御するものであることを特徴とする、請求項１に記載のシステム。
3. 前記第１の制御部は、前記第１の処理時間を、前記第１の処理時間の可能な最小値以上となるように設定し、
   前記第２の制御部は、前記第２の処理時間を、前記第２の処理時間の可能な最小値以上となるように設定するものであることを特徴とする、請求項１または２に記載のシステム。
4. 前記第１の制御部は、前記第１の機器における前記音声データの時刻に基づく、第１の情報の送信時刻と、前記第１の情報に応答する前記第２の機器からの第２の情報の受信時刻との間の差と、前記第２の機器における前記映像データの時刻に基づく、前記第１の情報の受信時刻と前記第２の情報の送信時刻との間の差とに基づいて、前記伝送遅延時間を求めるものであることを特徴とする、請求項１乃至３のいずれかに記載のシステム。
5. 第１の機器が、外部から受信した音声データの処理の開始から、処理された前記音声データを出力するまでの第１の処理時間と、前記第１の機器における前記音声データの時刻に基づく第１の時刻とを、前記第２の機器に送信し、
   第２の機器が、前記音声データに対応する前記外部から受信した映像データの処理の開始から、処理された前記映像データを出力するまでの第２の処理時間と、前記第２の機器における前記映像データの時刻に基づく第２の時刻とを、前記第１の機器に送信し、
   前記第１の機器が、前記第２の時刻に対する前記音声データの時刻に基づく第３の時刻と、前記第２の時刻と、前記第２の機器と前記第１の機器の間の伝送遅延時間と、前記第２の処理時間とに基づいて、処理された前記音声データを出力するタイミングを制御し、
   前記第２の機器が、前記第１の時刻に対する前記映像データの時刻に基づく第４の時刻と、前記第１の時刻と、前記伝送遅延時間と、前記第１の処理時間とに基づいて、処理された前記映像データを出力するタイミングを制御する
   処理を実行することを特徴とする方法。

Images