JP2007522696A - オーディオとビデオの提示を同期させる方法および装置 - Google Patents

Abstract

ビデオ・データとオーディオ・データがそれぞれ、２台の非同期コンピュータで処理される、オーディオ・データとビデオ・データの提示または再生の同期化が記述される。ＭＰＥＧ型のストリームはビデオ・データとオーディオ・データに分離される。ビデオ・データは第１の処理手段を利用して処理され、オーディオ・データはタイムスタンプされて第２の処理手段に送信される。第２の処理手段は受信したタイムスタンプをローカル・タイムと比較する。第１の処理手段から第２の処理手段にオーディオ・データ・パケットを送信する送信時間が、ローカル・システム・タイムに基づいて計算され、タイムスタンプがオーディオ・データ・パケットの中に挿入される。その後、同期されたオーディオとビデオの提示／再生が実行される。

Description

本発明は、非同期の処理手段を使用するビデオ（映像）とオーディオ（音声）ストリームの同期化された提示または再生に関する。

ＭＥＰＧ‐４は、音声と映像データの圧縮のために Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）により開発された国際的規格であり、ＭＰＥＧは、ほかにも幾つかＭＰＥＧ型の規格（例えば、ＭＰＥＧ‐１およびＭＰＥＧ‐２）を開発している。符号化され／圧縮されたデータはオブジェクト・データとして扱われ、ビデオ・データとオーディオ・データは単一のストリームに合成される。ＭＰＥＧ‐４方式はデータをオブジェクト・データとして処理するよう構成（コンフィギュア）されるので、受信したビットストリームを複数の個別のデータ・パケットに分離し再編成することは容易である。ＭＰＥＧ‐４プレーヤは、オーディオ／ビデオ・データをコンピュータまたは他の装置で再生させることができる。

ＭＰＥＧ規格に関連するビデオ符号化で高解像度の画像が得られるが、ＭＰＥＧ型のビデオ・データの符号化と復号化には１個または複数個の強力な専用プロセッサ（例えば、ディジタル信号プロセッサ）を要する。ＭＰＥＧ型のストリーム全体を１台のコンピュータのみで処理すると、そのコンピュータの汎用ＣＰＵ（中央処理装置）の計算リソースがほとんどすべて使い果たされ、事実上、他の目的に使用できなくなる。従って、リモート・コンピュータ（または装置）のネットワークを使用し、ビデオ・ストリームを１台のコンピュータ（または装置）で処理し、第２のコンピュータで処理すべきオーディオ・データを送信すれば、映像と音声の処理に標準のコンピュータを利用でき、ＭＰＥＧ型のデータを処理するのにきわめて望ましい。従って、映像と音声データの提供または提示に２台の処理手段／コンピュータを使用することが望ましい。この場合、映像と音声ストリームは提示または再生のために同期させる必要がある。

（発明の概要）
本発明が解決すべき問題は、基本的に互いに動作が非同期の別個の装置を使用して映像と音声の提示または再生を同期させることである。この問題はクレーム１に開示する方法で解決され、この方法を利用する装置はクレーム８に開示される。本発明の有利な付加的実施例はそれぞれの従属クレームに開示される。

以下に記述する発明的特徴は２つの処理手段（コンピュータ）を利用し、オーディオ・データとそれに対応するビデオ・データの提示または再生を同期させる。ビデオとオーディオのストリームから成るデータ・ストリームは第１の処理手段で受信され、受信されたデータ・ストリームはビデオとオーディオのストリームに分離され、オーディオ・ストリームのオーディオ・データ・パケットは、第１の処理手段によってタイムスタンプ（ｔｉｍｅｓｔａｍｐ）される。次に、オーディオ・データ・パケットは第２の処理手段に送られ、第２の処理手段のローカル・システム・タイムが確定され、第１の処理手段から第２の処理手段に音声データ・パケットを送信する時間（期間）が、ローカル・システム・タイム（ｌｏｃａｌ ｓｙｓｔｅｍ ｔｉｍｅ）と音声データ・パケットのタイムスタンプに基づいて計算される。その後、送信時間（期間）に基づいて、同期化された音声と映像の提供／提示が実行される。有利なことに、提供のプロセスは、送信時間を低域フィルタすることにより達成され、それにより得られる平均送信時間は、映像と音声の提示または再生の同期化に使用される。測定結果を得るために、測定された送信時間を低域フィルタするために、メジアン・フィルタ（ｍｅｄｉａｎ ｆｉｌｔｅｒ）も使用できる。

本発明では、上述した従来技術による問題を解決し、スタートアップ（始動）における素早い応答が可能な方法を提供し、処理の間、高度の安定性が得られる。メジアン・フィルタは大きな測定誤差にあまり動かされない。

ＭＰＥＧ型のストリームはビデオ・データとオーディオ・データに分離され、ビデオ・データは第１の装置（ＰＣ＿Ａ）で処理され、オーディオ・データはタイムスタンプされて、第２の装置（ＰＣ＿Ｂ）に送られ、ＰＣ＿Ｂは受信したタイムスタンプをローカル・タイム（現地時間）と比較する。この時間差は、必要とされる送信時間とみなされる。第１の処理装置と第２の処理装置の内部タイム・クロックは同期していない。

ビデオとオーディオのストリームを同期させるためのタイム・レファレンスは、第２の処理装置ＰＣ＿Ｂのローカル・タイムから、平均送信時間を差し引くことにより、得られる。その後、除去する必要のある高周波の動き（ジッタ）よりも低いカットオフ周波数を有するＢｕｔｔｅｒｗｏｒｔｈフィルタのような、ディジタル・フィルタにより、低域フィルタリング（ｆｉｌｔｅｒｉｎｇ）を追加的に実行できる。

図１に、本発明による、マルチメディア・コンピュータ・ネットワークの全体的構成を示す。ＭＰＥＧ‐４プレーヤ１００は、ビデオ・プレーヤ１０８を含む第１の処理手段ＰＣ＿Ａ１０４にＭＰＥＧ‐４データ・ストリーム１０２を送信する。受信されたＭＰＥＧ型のストリームは、システム、ビデオおよびオーディオのストリームから成り、このストリームは更に、ビデオ・データ・パケット１１６とオーディオ・データ・パケット１３４を含んでいる。

システムのストリームにはビデオとオーディオのプレーヤの構造と構成も含むので、ストリーム分析モジュール１１０は、これらのストリームを検査する。第１のコンピュータＰＣ＿Ａ１０４は、ＭＰＥＧ‐４ビデオ・ストリームから獲得されるビデオ・データを処理し、それを付属のモニタに表示する。タイムスタンピング・モジュール１１２はローカル・タイム・クロック１０６を点検し、タイムスタンプをオーディオ・データ・パケットの中に挿入する。Ｅｔｈｅｒｎｅｔ（登録商標）型のネットワーク１１８（ＴＣＰ／ＩＰ）は、第１の処理手段１０４を第２の処理手段１２０（第２のコンピュータＰＣ＿Ｂ）と接続し、第２のコンピュータＰＣ＿Ｂは、オーディオ・プレーヤ１２６を使用して、第１のコンピュータＰＣ＿Ａから受信されたオーディオ・データ・パケットを処理する。第１のコンピュータ１０４のタイム・ベース１１４と第２のコンピュータ１２０のタイム・ベース１３２は互いに同期しておらず、互いにドリフトする（離れる）傾向がある。第２のコンピュータまたはネットワークまたは第１のコンピュータはローカル・タイム・クロック１２２を点検して、受信したタイムスタンプ１２４をタイム・クロック１２２のローカル・タイムと比較する。第２のコンピュータまたはネットワークまたは第１のコンピュータは対応する送信時間を計算する。

メジアン・フィルタ１２８を使用し、送信時間を低域フィルタして平均送信時間が得られる。平均送信時間は、提供される音声と映像の同期化に使用される。最終結果を改善するため、Ｂｕｔｔｅｒｗｏｒｔｈフィルタ１３０で低域フィルタリングを追加的に行う。

ＭＰＥＧ‐４プレーヤ１００は、ＭＰＥＧ‐４のデータ・ストリームを第１の処理手段ＰＣ＿Ａに送り、第１の処理手段ＰＣ＿Ａはビデオ・データを処理し、具体化され且つタイムスタンプされたオーディオ・データ・パケットを、ネットワークを通して第２のコンピュータＰＣ＿Ｂに送る。オーディオ・データ・パケットとその構成を第１のコンピュータから受信後に、第２のコンピュータＰＣ＿Ｂは受信したタイムスタンプをローカル・タイムと比較する。その時間差は送信時間とみなされる。

ビデオ処理コンピュータ１０４のタイム・ベースはオーディオ処理コンピュータ１２０のタイム・ベースと同期していない。また、第１と第２のコンピュータの内部タイム・クロックは同期しておらず、互いにゆっくりドリフト（離反）する。従って、実際の送信時間は正確に特定できないので、第２のコンピュータが受信したタイムスタンプは、その値が変更されるものと考えられる。これには理由が幾つかある。例えば、ネットワーク・ライン上でのトラフィック、ＴＣＰ／ＩＰとＥｔｈｅｒｎｅｔ（登録商標）の構成、オペレーティング・システムのスレッド処理（ｔｈｒｅａｄ ｐｒｏｃｅｓｓｉｎｇ）、変動するデータ量などである。オーディオ・データとビデオ・データの提示または再生を同期させるために、パケットの送信と受信の時間差が計算される。次に、この時間差はメジアン・フィルタでフィルタ（濾波）される。

メジアン・フィルタは、時刻離散的（ｔｉｍｅ‐ｄｉｓｃｒｅｔｅ）、非線形フィルタであって、獲得されたサンプルを貯え、区分けし、その出力として中間サンプル（偶数の入力値の場合、２つの中間サンプルの平均）を供給する。本発明に使用するメジアン・フィルタは、それが処理する入力サンプルの数に関し非常に柔軟性がある。最初にすべてのサンプル値がゼロに設定される。予め定められる最初の数（例えば、１９）のサンプルを集めた後に、メジアン・フィルタは平均の送信時間を出力し始め、それによって、メジアン・フィルタの長さは前記最初の数に対応する。オプションとして、更なる入力サンプルを受信すると、使用されるフィルタの長さは、受信される追加的入力サンプルごとに１ずつ増加され、予め定められた最大長（例えば、４９９）に達するまで、増加される。それにより、スタートアップにおける素早い反応時間と安定した連続的オペレーション（動作）を達成できる。その後、除去する必要のある高周波の動き（ジッタ）よりも低いカットオフ周波数を有するＢｕｔｔｅｒｗｏｒｔｈフィルタのようなディジタル・フィルタにより、追加的な低域フィルタリングが実行される。この種のオペレーションにより、ビデオとオーディオの提示を時間に関して同期させることができ、従って、２台のコンピュータのタイム・ベースの不連続性を排除できる。

図２のフローチャートのステップ２００で、ビデオとオーディオのストリームから成るＭＰＥＧ型のストリームが第１の処理手段ＰＣ＿Ａで受信される。次のステップ２０２で前記ＭＰＥＧ型データ・ストリームはビデオとオーディオのストリームに分離される。ビデオ・プレーヤを含む第１の処理コンピュータＰＣ＿Ａはビデオ・ストリームを処理し、オーディオ・プレーヤを含む第２の処理コンピュータＰＣ＿Ｂはオーディオ・ストリームを処理する。その後、ステップ２０４で、オーディオ・データ・パケットはビデオ処理コンピュータＰＣ＿Ａによりタイムスタンプされ、このオーディオ・データ・パケットは、ビデオ処理コンピュータＰＣ＿Ａからオーディオ・データを受信するオーディオ処理コンピュータＰＣ＿Ｂに送られる。次のステップ２０６で、オーディオ処理コンピュータのローカル・システム・タイムが決定される。次にステップ２０８で、第１の処理手段から第２の処理手段にオーディオ・ストリームを送信する時間が計算される。最後のステップ２１０で、計算された送信時間に基づいて、オーディオとビデオの提示／再生の同期化が行われる。

オーディオ・データとそれに対応するビデオ・データの提示／再生を同期させる代りに、ビデオ・データとそれに対応するオーディオ・データの提示／再生を行うことができる。このような場合、ビデオ・ストリームのビデオ・データ・パケットは第１の処理手段によりタイムスタンプされ、ビデオ・データ・パケットは、オーディオ・データ・パケットを受信する第２の処理手段に送られる。対応するローカル・システム・タイムおよびビデオ・データ・パケットのタイムスタンプに基づいて、第１の処理手段から第２の処理手段にビデオ・データ・パケットを送信する時間（期間）が計算される。

オーディオとビデオの提示／再生を実行するよう構成される第１と第２の処理手段から成るネットワークをブロック図で示す。 発明的プロセスのフローチャート

Claims (10)

1. オーディオとビデオの提示または再生を行う方法であって、
   ビデオとオーディオのストリームを含むデータ・ストリームを受信するステップと、
   前記データ・ストリームをビデオとオーディオのストリームに分離するステップと、
   前記オーディオ・ストリームのオーディオ・データ・パケットを第１の処理手段によってタイムスタンプし、オーディオ・データ・パケットを、オーディオ・データ・パケットを受信するよう構成される第２の処理手段に送信するステップと、
   前記第２の処理手段のローカル・システム・タイムを決定するステップと、
   前記ローカル・システム・タイムとオーディオ・データ・パケットの前記タイムスタンプに基づいて、前記第１の処理手段から前記第２の処理手段にオーディオ・データ・パケットを送信する時間を計算する手段と、
   前記計算された送信時間に基づいて、オーディオとビデオの提示または再生を同期させるステップと、から成る前記方法。
2. 第１の処理手段の内部タイム・クロックを使用し、第１の処理手段によるオーディオ・データ・パケットのタイムスタンピングが実行される、請求項１記載の方法。
3. 第２の処理手段のローカル・タイムから送信時間を差し引くことにより、オーディオ・提示／再生のタイム・レファレンスが得られる、請求項１または２記載の方法。
4. 送信時間の計算が、第１の処理手段から第２の処理手段に送られる複数のオーディオ・データ・パケットに基づく、請求項１〜３の何れか１つに記載の方法。
5. 平均の送信時間を得るために、計算された送信時間はメジアン・フィルタされ、オプションとして、前記メジアン・フィルタリングの長さは、ダイナミックに変更されて、第１の所定数の入力送信時間値からスタートし、所定の最大数の入力送信時間値に達するまで、更に受信される送信時間値の数に応じて増加する、請求項１〜４の何れか１つに記載の方法。
6. 前記平均の送信時間が、オーディオとビデオの提示または再生を同期させるために使用される、請求項５記載の方法。
7. 蓄積された送信時間値が前記フィルタリングのために区分けされる、請求項５または６記載の方法。
8. オーディオとビデオの提示または再生を行うシステムであって、
   ビデオとオーディオのストリームを含むデータ・ストリームを受信する手段と、
   前記データ・ストリームをビデオとオーディオのストリームに分離する手段と、
   前記オーディオ・ストリームのオーディオ・データ・パケットを第１の処理手段によりタイムスタンプし、且つオーディオ・データ・パケットを、オーティオ・データ・パケットを受信するよう構成される第２の処理手段に送る手段と、
   第２の処理手段のローカル・システム・タイムを決定する手段と、
   ローカル・システム・タイムおよびオーディオ・データ・パケットの前記タイムスタンプに基づいて、第１の処理手段から第２の処理手段にオーディオ・データ・パケットを送信するための時間を計算する手段と、
   前記計算された送信時間に基づいて、オーディオとビデオの提示または再生を同期させる手段と、から成る、前記システム。
9. 平均送信時間を得るために、前記計算された送信時間がメジアン・フィルタされ、オプションとして、メジアン・フィルタの長さは、ダイナミックに変更されて、最初の所定数の入力送信時間値からスタートし、所定の最大数の入力送信時間値に達するまで、更に受信される送信時間値の数に応じて増加する、請求項８記載のシステム。
10. コンピュータで読出し可能な蓄積メディアの保持コードであって、
    ビデオとオーディオのストリームを含むデータ・ストリームを受信するステップと、
    前記データ・ストリームをビデオとオーディオのストリームに分離するステップと、
    前記オーディオ・ストリームのオーディオ・データ・パケットを第１の処理手段によりタイムスタンプし、オーディオ・データ・パケットを受信するよう構成される第２の処理手段にオーディオ・データ・パケットを送るステップと、
    第２の処理手段のローカル・システム・タイムを決定するステップと、
    ローカル・システム・タイムおよびオーディオ・データ・パケットの前記タイムスタンプに基づいて、第１の処理手段から第２の処理手段にオーディオ・データ・パケットを送信する時間を計算するステップと、
    前記計算された送信時間に基づいて、オーディオとビデオの提示または再生を同期させるステップと、を実行するための前記蓄積メディア保持コード。

Images