JP2009049919A - 映像音声再生方法および映像音声再生システム - Google Patents

Abstract

【課題】サーバ、映像受信再生装置および音声受信再生装置を備える無線通信システムの映像音声再生システムにおいて、常に映像の再生と音声の再生とを同期させることができるようにする。
【解決手段】映像受信再生装置３０は、サーバ１０から送信された符号化映像データを受信してバッファに書き込み、バッファから読み出して復号し、音声受信再生装置５０は、サーバ１０から送信された符号化音声データを受信してバッファに書き込み、バッファから読み出して復号する。映像受信再生装置３０および音声受信再生装置５０は、それぞれ自装置のバッファでの遅延時間を検出し、検出結果をサーバ１０に送信する。サーバ１０は、その検出結果から、音声受信再生装置５０のバッファでの遅延時間の増減分または目標値を算出して、音声受信再生装置５０にバッファ遅延時間の調整を指示する。音声受信再生装置５０は、その指示に応じてバッファ遅延時間を調整する。
【選択図】図１

Description

この発明は、符号化された映像データおよび音声データを、それぞれ復号して、映像および音声を再生するシステム、および、そのシステムにおける映像音声再生方法に関する。

ＤＶＤ再生システムやデジタルテレビシステムなどのように、記録媒体に記録された、または送信元から送信された、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２などの符号化方式によって符号化された映像データおよび音声データを復号して映像および音声を再生する場合、映像の再生と音声の再生とを同期させる、すなわち映像と音声を所定のタイミング関係で再生する必要がある。

特許文献１（特開２００５−２８６７４２号公報）には、ＤＶＤプレーヤと受信装置がケーブルによって接続されたシステムのＤＶＤプレーヤにおいて、符号化された映像信号および音声信号と共にＤＶＤに記録されているタイムスタンプ情報などに基づいて、受信側で映像信号と音声信号を同期させるための時間データを生成して、ＤＶＤから読み取られて復号化された映像信号および音声信号に付加し、映像信号は符号化して、音声信号は符号化することなく、受信装置に送信し、受信装置において、符号化された映像信号を復号化し、上記の時間データに基づいて、その復号化された映像信号と受信された音声信号を同期させることによって、映像信号に対してのみ送信前の符号化処理および受信後の復号化処理を行う場合でも、受信側での映像信号と音声信号との間の時間差を解消することが示されている。

また、特許文献２（特開２００７−２８２６１号公報）には、データデコードタイミングを示すＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）およびデータ出力（再生）タイミングを示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を含むＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）映像データと、同様にＤＴＳおよびＰＴＳを含むＰＥＳ音声データとからなるＭＰＥＧ映像音声ストリームをデコードして、映像および音声を再生するに当たって、映像についてはデコード後に解像度変換などの処理を行う場合、その処理による時間遅れ分、音声のデコードタイミングおよび出力タイミングを遅延させるように、ＰＥＳ音声データに含まれるＤＴＳおよびＰＴＳを書き替えて、ＭＰＥＧ映像音声ストリームをＭＰＥＧデコーダに出力することによって、映像の再生と音声の再生とを同期させることが示されている。

上に挙げた先行技術文献は、以下の通りである。
特開２００５−２８６７４２号公報 特開２００７−２８２６１号公報

例えば、従来のホームシアターシステムは、ＤＶＤプレーヤなどの映像音声信号源と、映像再生装置としてのプロジェクタ（投射型表示装置）、およびマルチチャンネルの音声を再生する音声再生装置とが有線接続され、ユーザは部屋中にケーブルを這わせる必要があった。

これに対して、最近は、ＩＥＥＥ８０２．１１規格、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）などによる無線通信によって、ＤＶＤプレーヤなどの映像音声信号源とプロジェクタおよび音声再生装置とを無線接続して、ホームシアターシステムを無線通信システムとして構築することが可能になっている。

このようにホームシアターシステムを無線通信システムとして構築すると、部屋中にケーブルを這わせる必要がないとともに、個々の装置を柔軟に配置することができる。

デジタルテレビシステムとしても、テレビ受信機（チューナ部）、映像再生装置および音声再生装置からなる無線通信システムとして構築することができる。

この場合、ＤＶＤプレーヤやテレビ受信機などの映像音声信号源は、サーバとして、符号化映像データおよび符号化音声データを無線によって送信し、プロジェクタなどの映像再生装置は、映像受信再生装置として、サーバから送信された符号化映像データを受信して復号し、音声再生装置は、音声受信再生装置として、サーバから送信された符号化音声データを受信して復号するものとする。

しかし、このように映像音声再生システムを無線通信システムとして構築して、電波によって、サーバから映像受信再生装置に映像パケットを送信し、サーバから音声受信再生装置に音声パケットを送信する場合、サーバと映像受信再生装置または音声受信再生装置との間に障害物が出現することにより映像受信再生装置または音声受信再生装置に直接到来する電波が遮断され、または壁や天井で反射した電波が直接到来波に重畳されるなどによって、サーバと映像受信再生装置および音声受信再生装置との間の伝送路特性が常に変化する。

そのため、上記の無線通信システムの映像音声再生システムでは、伝送路特性の劣化による送信エラーによってパケットを送信できなかったときにはパケットを再送するとともに、そのパケット再送による一時的なデータ伝送速度の低下や、パケット到着までの遅延時間の変化を吸収するために、映像受信再生装置および音声受信再生装置には、それぞれ受信したデータを一時格納するバッファを設け、映像受信再生装置では、サーバから送信された符号化映像データを、受信してバッファに書き込み、ある時間遅れて当該バッファから読み出して復号し、音声受信再生装置でも、サーバから送信された符号化音声データを、受信してバッファに書き込み、ある時間遅れて当該バッファから読み出して復号する。

そのため、映像の再生と音声の再生とが同期しなくなり、多くの場合、映像受信再生装置のバッファでの遅延時間（データ滞在時間）の方が音声受信再生装置のバッファでの遅延時間（データ滞在時間）より大きくなることから、タイミング的に音声の方が映像より先に再生されてしまう結果となる。

特許文献１に示された方法は、送信装置であるＤＶＤプレーヤと受信装置を有線接続して、符号化された映像信号と復号化されたままの音声信号を同じ受信装置に送信する、映像信号と音声信号との間の時間差が一定となる場合であって、上記の無線通信システムの映像音声再生システムのように伝送路特性の変化によって受信側で映像信号と音声信号との間の時間差が変化する場合には適用することができない。

また、特許文献２に示された方法も、符号化された映像データおよび音声データを無線によって別個の受信再生装置に送信するものではなく、解像度変換などの処理による映像の音声に対する時間遅れが既知の一定時間となる場合であって、上記の無線通信システムの映像音声再生システムに適用することはできない。

そこで、この発明は、上記の無線通信システムの映像音声再生システムにおいて、常に映像の再生と音声の再生とを同期させることができるようにしたものである。

この発明の映像音声再生方法は、
符号化映像データおよび符号化音声データを無線によって送信するサーバ、このサーバから送信された符号化映像データを受信してバッファに書き込み、当該バッファから読み出し復号して、映像を再生する映像受信再生装置、および、上記サーバから送信された符号化音声データを受信してバッファに書き込み、当該バッファから読み出し復号して、音声を再生する音声受信再生装置を備える無線通信システムの映像音声再生システムにおける映像音声再生方法であって、
上記映像受信再生装置および上記音声受信再生装置が、それぞれ自装置のバッファでの遅延時間を検出する工程と、
この検出工程での検出結果をもとに、上記サーバ、上記映像受信再生装置または上記音声受信再生装置が、上記映像受信再生装置または上記音声受信再生装置のバッファでの遅延時間の増減分または目標値として、上記映像受信再生装置での映像再生と上記音声受信再生装置での音声再生とが同期する時間を算出する工程と、
この算出工程での算出結果をもとに、上記映像受信再生装置または上記音声受信再生装置が、自装置のバッファでの遅延時間を調整する工程と、
を備えることを特徴とする。

この発明によれば、サーバと映像受信再生装置および音声受信再生装置との間の伝送路特性の変化にかかわらず、常に映像の再生と音声の再生とが同期するようになる。

［１．映像音声再生システムの例：図１〜図４］
（１−１．システム全体の概略：図１）
図１は、この発明の映像音声再生システムの一例を示し、映像音声再生システムをホームシアターシステムとして構成した場合である。

具体的に、この例の映像音声再生システムは、サーバ１０がＤＶＤプレーヤ、映像受信再生装置３０がプロジェクタ、音声受信再生装置５０が５．１チャンネルのサラウンド音声を再生する装置である。

サーバ１０、映像受信再生装置３０および音声受信再生装置５０は、ＩＥＥＥ８０２．１１規格、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）などによって、相互の間で双方向の無線通信を行うことができるものとして構成する。

サーバ１０は、ＤＶＤプレーヤとして、これに装填されたＤＶＤから、ＭＰＥＧ２符号化方式によって符号化された映像データおよび音声データを再生し、符号化映像データを映像受信再生装置３０にストリーミング送信し、符号化音声データを音声受信再生装置５０にストリーミング送信する。

映像受信再生装置３０は、サーバ１０から送信された符号化映像データを、受信してバッファに書き込み、バッファから読み出して復号し、さらにアナログ映像信号に変換して、プロジェクタとして、内部のＬＣＤ（液晶ディスプレイ）上に映像を表示し、利用者１の前方のスクリーン３上に映像を投射する。

音声受信再生装置５０は、サーバ１０から送信された各チャンネルの符号化音声データを、受信してバッファに書き込み、バッファから読み出して復号し、さらにアナログ音声信号に変換する。

その各チャンネルの、すなわちレフト、センター、ライト、リアレフト（サラウンドレフト）、リアライト（サラウンドライト）およびサブウーファーの音声信号は、対応するスピーカ７１，７２，７３，７４，７５および７６に供給される。

音声受信再生装置５０とスピーカ７１〜７６との接続は、全てのチャンネルをケーブルによる有線接続とし、または、一部のチャンネルをケーブルによる有線接続、他のチャンネルを赤外線通信などによる無線接続とし、あるいは、全てのチャンネルを赤外線通信などによる無線接続とする。

サーバ１０、映像受信再生装置３０および音声受信再生装置５０は、それぞれのクロックが、システムクロックとして一致するように制御される。

（１−２．サーバの例：図２）
図２に、サーバ１０としてのＤＶＤプレーヤの一例を示す。

この例のサーバ１０では、ＤＶＤ１１がスピンドルモータ１２によって回転駆動され、図では省略したヘッド送り機構によりＤＶＤ１１の径方向に送られる光学ヘッド（光ピックアップ）１３によってＤＶＤ１１から、符号化映像データおよび符号化音声データを含む映像音声ストリームの信号が読み取られる。

その読み取られた映像音声ストリームの信号は、ＲＦアンプ１４で復調された後、デマルチプレクサ１５によって、符号化映像データと符号化音声データとに分離される。

さらに、無線通信部１６において、符号化映像データに対しては、映像受信再生装置３０のデバイスアドレスなどが送信先識別情報として付加され、符号化音声データに対しては、音声受信再生装置５０のデバイスアドレスなどが送信先識別情報として付加された上で、符号化映像データおよび符号化音声データは、無線送信用に変調され、周波数変換されて、アンテナ１７から送信される。

さらに、サーバ１０では、ＣＰＵ２１、ＣＰＵ２１が実行すべき各種プログラムや必要な固定データが書き込まれるＲＯＭ２２、およびプログラムやデータが展開されるＲＡＭ２３が、バス２４に接続されて、制御部２０が構成される。

制御部２０は、サーバ１０の各部を制御するとともに、後述のようなバッファ遅延時間の調整に係る処理を実行する。

なお、映像受信再生装置３０では、符号化映像データのみを受信復号して符号化音声データは捨て、音声受信再生装置５０では、符号化音声データのみを受信復号して符号化映像データは捨てれば、サーバ１０では、上記のように符号化映像データと符号化音声データとを分離して送信する必要はない。

（１−３．映像受信再生装置の例：図３）
図３に、映像受信再生装置３０としてのプロジェクタの一例を示す。

上記のようにサーバ１０から映像受信再生装置３０に送信された符号化映像データは、アンテナ３１で受信され、無線通信部３２で周波数変換され、復調された後、バッファ３３に一時格納される。

さらに、その符号化映像データは、バッファ３３から読み出されて、映像デコーダ３４で復号され、Ｄ／Ａコンバータ３５でアナログ映像信号に変換される。

Ｄ／Ａコンバータ３５からの映像信号は、プロジェクタ光学系３６内のＬＣＤ３７に供給されて、ＬＣＤ３７上に映像が表示され、図１に示したようにスクリーン３上に映像が投射される。

さらに、映像受信再生装置３０では、ＣＰＵ４１、ＣＰＵ４１が実行すべき各種プログラムや必要な固定データが書き込まれるＲＯＭ４２、およびプログラムやデータが展開されるＲＡＭ４３が、バス４４に接続されて、制御部４０が構成される。

制御部４０は、映像受信再生装置３０の各部を制御するとともに、後述のようなバッファ遅延時間の調整に係る処理を実行する。

（１−４．音声受信再生装置の例：図４）
図４に、音声受信再生装置５０の一例を示す。

上記のようにサーバ１０から音声受信再生装置５０に送信された各チャンネルの符号化音声データは、アンテナ５１で受信され、無線通信部５２で周波数変換され、復調された後、バッファ５３に一時格納される。

さらに、その各チャンネルの符号化音声データは、バッファ５３から読み出されて、音声デコーダ５４で復号され、Ｄ／Ａコンバータ５５１〜５５６でアナログ音声信号に変換される。

Ｄ／Ａコンバータ５５１〜５５６からの各チャンネルの音声信号は、増幅回路５６１〜５６６で増幅されて、出力端子５７１〜５７６に導出され、図１に示したようにスピーカ７１〜７６に供給される。

さらに、音声受信再生装置５０では、ＣＰＵ６１、ＣＰＵ６１が実行すべき各種プログラムや必要な固定データが書き込まれるＲＯＭ６２、およびプログラムやデータが展開されるＲＡＭ６３が、バス６４に接続されて、制御部６０が構成される。

制御部６０は、音声受信再生装置５０の各部を制御するとともに、後述のようなバッファ遅延時間の調整に係る処理を実行する。

［２．映像音声再生方法：図５〜図９］
サーバ１０のデマルチプレクサ１５からは、符号化映像データとして、図５（Ａ）の最上段に示すように、映像パケットが順次出力され、符号化音声データとして、図５（Ｂ）の最上段に示すように、音声パケットが順次出力される。

そして、映像パケットは、サーバ１０の無線通信部１６で、時間Ｖ１だけ遅延して、サーバ１０から映像受信再生装置３０に送信され、さらに、映像受信再生装置３０の無線通信部３２で受信されてバッファ３３に書き込まれ、バッファ３３から読み出される過程で、時間Ｖ２だけ遅延して、映像デコーダ３４に入力される。

さらに、最終的なアナログ映像信号は、この映像デコーダ３４に入力された符号化映像データが映像デコーダ３４で復号され、さらにＤ／Ａコンバータ３５でアナログ映像信号に変換される過程で、映像デコーダ３４に入力された符号化映像データに対して、時間Ｖ３だけ遅延する。

したがって、サーバ１０のデマルチプレクサ１５から映像パケットが出力されてから、映像受信再生装置３０で映像が再生表示されるまでの遅延時間Ｖｔは、
Ｖｔ＝Ｖ１＋Ｖ２＋Ｖ３ …（１）
で表される。

一方、音声パケットは、サーバ１０の無線通信部１６で、時間Ａ１だけ遅延して、サーバ１０から音声受信再生装置５０に送信され、さらに、音声受信再生装置５０の無線通信部５２で受信されてバッファ５３に書き込まれ、バッファ５３から読み出される過程で、時間Ａ２だけ遅延して、音声デコーダ５４に入力される。

さらに、最終的なアナログ音声信号は、この音声デコーダ５４に入力された符号化音声データが音声デコーダ５４で復号され、さらにＤ／Ａコンバータ５５１〜５５６でアナログ音声信号に変換される過程で、音声デコーダ５４に入力された符号化音声データに対して、時間Ａ３だけ遅延する。

したがって、サーバ１０のデマルチプレクサ１５から音声パケットが出力されてから、音声受信再生装置５０およびスピーカ７１〜７６で音声が再生出力されるまでの遅延時間Ａｔは、
Ａｔ＝Ａ１＋Ａ２＋Ａ３ …（２）
で表される。

ここで、遅延時間Ｖ１およびＡ１は、伝送路特性などによって変化せず、かつ、互いにほぼ等しい。

また、映像パケットおよび音声パケットには、それぞれ、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）およびＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）のような、データデコードタイミングおよびデータ出力（再生）タイミングを示すタイムスタンプ情報が埋め込まれ、映像受信再生装置３０および音声受信再生装置５０では、それぞれ、このタイムスタンプ情報とシステムクロックを比較して、符号化映像データおよび符号化音声データを復号し、アナログ映像信号およびアナログ音声信号を出力するので、システムクロックが正確であれば、遅延時間Ｖ３およびＡ３も、互いにほぼ等しい。

さらに、映像パケットがサーバ１０から映像受信再生装置３０に送信され、映像受信再生装置３０の無線通信部３２で受信されてバッファ３３に入力されるまで時間と、音声パケットがサーバ１０から音声受信再生装置５０に送信され、音声受信再生装置５０の無線通信部５２で受信されてバッファ５３に入力されるまでの時間とは、互いにほぼ等しい。

したがって、映像データがバッファ３３に書き込まれる時点から、同じ映像データがバッファ３３から読み出される時点までの時間、すなわち映像データのバッファ３３での遅延時間（データ滞在時間）をＶｂとし、音声データがバッファ５３に書き込まれる時点から、同じ音声データがバッファ５３から読み出される時点までの時間、すなわち音声データのバッファ５３での遅延時間（データ滞在時間）をＡｂとすると、映像信号についてのトータルの遅延時間Ｖｔと音声信号についてのトータルの遅延時間Ａｔとの差Δｔは、
Δｔ＝Ｖｔ−Ａｔ＝Ｖｂ−Ａｂ …（３）
で表される。

したがって、映像データのバッファ３３での遅延時間Ｖｂと音声データのバッファ５３での遅延時間Ａｂとが互いに等しくなるようにすれば、Δｔ＝０となり、映像受信再生装置３０での映像再生と音声受信再生装置５０での音声再生とが同期するようになる。

図６に、データ伝送速度（通信速度）とバッファ遅延時間との関係を示す。バッファ５は、映像受信再生装置３０のバッファ３３または音声受信再生装置５０のバッファ５３である。

受信再生装置（映像受信再生装置３０または音声受信再生装置５０）がデータ（符号化映像データまたは符号化音声データ）の受信を開始すると、受信データはバッファ５に格納され、バッファ５のデータ占有領域５ａが増長し、空き領域５ｂが減少する。

図６（Ａ）に示すようにデータ占有領域５ａが所定量になったときの状態を、初期状態とする。

データ伝送速度（バッファ５へのデータ入力速度に相当する）とデコード処理速度（映像または音声の再生処理速度で、バッファ５からのデータ出力速度に相当する）とが同じであるとき、この初期状態が保たれることになる。

これに対して、伝送路特性が悪化し、再送回数が増加して、データ伝送速度が低下すると、バッファ５へのデータ流入量がバッファ５からデコーダへのデータ流出量より少なくなるため、バッファ５は、図６（Ｂ）に示すように、データ占有領域５ａが減少し、空き領域５ｂが増加した状態に遷移する。

逆に、データ伝送速度がデコード処理速度より高いと、バッファ５は、図６（Ｃ）に示すように、データ占有領域５ａが増加し、空き領域５ｂが減少した状態に遷移する。

この場合、伝送路特性の変化によるデータ伝送速度の変化が一時的なものであるとすると、バッファ５での遅延時間Ｘｂは、データ占有領域５ａ中の受信データ量Ｄｒをデータ平均伝送速度Ｓｄで除した、
Ｘｂ＝Ｄｒ／Ｓｄ …（４）
で表され、バッファ５中の受信データ量Ｄｒとバッファ５での遅延時間Ｘｂは比例関係となる。

そこで、上記の例の映像音声再生システムでは、映像受信再生装置３０のバッファ３３での遅延時間と音声受信再生装置５０のバッファ５３での遅延時間とが等しくなり、Δｔ＝０となるように、バッファ３３中の受信データ量またはバッファ５３中の受信データ量を調整し、バッファ３３での遅延時間またはバッファ５３での遅延時間を調整する。

そのためには、その時々のバッファ３３での遅延時間およびバッファ５３での遅延時間を検出する必要があるが、これは、以下のような方法によって行う。

一つの方法では、映像受信再生装置３０の制御部４０は、映像パケットがバッファ３３に入力されるとき、その時の時刻を示す情報を映像パケットの最後尾に付加し、その映像パケットがバッファ３３から出力されるとき、その時の時刻と当該の映像パケットに付加された時刻情報で示される時刻との差を、バッファ３３での遅延時間として算出し、音声受信再生装置５０の制御部６０も、同様に、音声パケットがバッファ５３から出力されるときの時刻と当該の音声パケットがバッファ５３に入力されたときの時刻との差を、バッファ５３での遅延時間として算出する。

また、別の方法として、映像受信再生装置３０の制御部４０および音声受信再生装置５０の制御部６０が、それぞれ、バッファ３３およびバッファ５３に格納されるバイトごとの遅延時間を計測するようにしてもよい。

上記の例の映像音声再生システムでは、バッファ遅延時間を調整しなければ、多くの場合、映像受信再生装置３０のバッファ３３での遅延時間の方が音声受信再生装置５０のバッファ５３での遅延時間より長くなるので、以下のように、音声受信再生装置５０のバッファ５３での遅延時間を、映像受信再生装置３０のバッファ３３での遅延時間と等しくなるように調整する。

第１の方法では、サーバ１０が音声受信再生装置５０に、バッファ遅延時間の増減分または目標値を示して、バッファ５３での遅延時間の調整を指示する。

図７に、この場合の、サーバ１０の制御部２０、映像受信再生装置３０の制御部４０および音声受信再生装置５０の制御部６０が実行するバッファ遅延時間の調整に係る一連の処理の一例を示す。

この例では、映像および音声の再生を開始した後、映像受信再生装置３０の制御部４０は、ステップ１３１で、自装置のバッファ３３での遅延時間を検出し、ステップ１３２で、その遅延時間を示す情報を、特定のパケットフォーマットのデータとして、サーバ１０に送信するとともに、音声受信再生装置５０の制御部６０は、ステップ１５１で、自装置のバッファ５３での遅延時間を検出し、ステップ１５２で、その遅延時間を示す情報を、特定のパケットフォーマットのデータとして、サーバ１０に送信する。

サーバ１０の制御部２０は、ステップ１１１で、映像受信再生装置３０および音声受信再生装置５０からの遅延時間情報を受信し、映像受信再生装置３０からの遅延時間情報で示されたバッファ遅延時間をＶｂ、音声受信再生装置５０からの遅延時間情報で示されたバッファ遅延時間をＡｂとするとき、ステップ１１３で、バッファ遅延時間の調整量として、Δｔ＝Ｖｂ−Ａｂを算出し、さらにステップ１１５で、その調整量の分、バッファ遅延時間を増減すべきことを指示する調整コマンドを、音声受信再生装置５０に送信する。

音声受信再生装置５０の制御部６０は、ステップ１５７で、その調整コマンドを受信し、さらにステップ１５８で、自装置のバッファ５３での遅延時間を、調整コマンドで示された調整量の分、増減させる。

すなわち、Δｔが正のときには、バッファ５３に格納される受信データ量を増加させて、バッファ５３での遅延時間をΔｔだけ増加させ、Δｔが負のときには、バッファ５３に格納される受信データ量を減少させて、バッファ５３での遅延時間を｜Δｔ｜だけ減少させる。これによって、音声受信再生装置５０のバッファ５３での遅延時間は、映像受信再生装置３０のバッファ３３での遅延時間と等しくなる。

制御部２０，４０および６０は、その後、ステップ１１９，１３９および１５９で、映像および音声の再生を終了するか否かを判断し、サーバ１０でのユーザの終了操作などによって映像および音声の再生を終了するときには、バッファ遅延時間の調整に係る処理も終了するが、そうでなければ、所定の時間間隔で以上のようなバッファ遅延時間の調整に係る処理を繰り返し実行する。

したがって、伝送路特性が変化し、図６で示したようにバッファ３３，５３中の受信データ量が変化しても、常に映像と音声が同期して再生されるようになる。

サーバ１０の制御部２０が、映像受信再生装置３０のバッファ３３での遅延時間を、音声受信再生装置５０のバッファ５３での遅延時間の目標値として、音声受信再生装置５０に調整コマンドを送信し、音声受信再生装置５０の制御部６０が、バッファ５３での遅延時間を、その目標値に一致させるように調整するように、システムを構成してもよい。この場合には、バッファ５３での遅延時間を示す情報を音声受信再生装置５０からサーバ１０に送信する必要はない。

第２の方法では、サーバ１０はバッファ遅延時間の調整に関与しないで、映像受信再生装置３０が音声受信再生装置５０に、バッファ遅延時間の増減分または目標値を示して、バッファ５３での遅延時間の調整を指示する。

図８に、この場合の、映像受信再生装置３０の制御部４０および音声受信再生装置５０の制御部６０が実行するバッファ遅延時間の調整に係る一連の処理の一例を示す。

この例では、映像および音声の再生を開始した後、映像受信再生装置３０の制御部４０は、ステップ１３１で、自装置のバッファ３３での遅延時間を検出し、音声受信再生装置５０の制御部６０は、ステップ１５１で、自装置のバッファ５３での遅延時間を検出し、さらにステップ１５３で、その遅延時間を示す情報を映像受信再生装置３０に送信する。

映像受信再生装置３０の制御部４０は、ステップ１３４で、音声受信再生装置５０からの遅延時間情報を受信し、ステップ１３１で検出された自装置のバッファ３３での遅延時間をＶｂ、音声受信再生装置５０からの遅延時間情報で示されたバッファ遅延時間をＡｂとするとき、ステップ１３５で、バッファ遅延時間の調整量として、Δｔ＝Ｖｂ−Ａｂを算出し、さらにステップ１３６で、その調整量の分、バッファ遅延時間を増減すべきことを指示する調整コマンドを、音声受信再生装置５０に送信する。

音声受信再生装置５０の制御部６０は、ステップ１５７で、その調整コマンドを受信し、さらにステップ１５８で、図７に示した第１の方法と同様に、自装置のバッファ５３での遅延時間を、調整コマンドで示された調整量の分、増減させる。

制御部４０および６０は、その後、ステップ１３９および１５９で、映像および音声の再生を終了するか否かを判断し、サーバ１０でのユーザの終了操作などによって映像および音声の再生を終了するときには、バッファ遅延時間の調整に係る処理も終了するが、そうでなければ、所定の時間間隔で以上のようなバッファ遅延時間の調整に係る処理を繰り返し実行する。

したがって、第２の方法でも、常に映像と音声が同期して再生されるようになる。しかも、第２の方法では、サーバ１０が関与することなく、より簡易にバッファ遅延時間を調整することができる。

映像受信再生装置３０の制御部４０が、自装置のバッファ３３での遅延時間を、音声受信再生装置５０のバッファ５３での遅延時間の目標値として、音声受信再生装置５０に調整コマンドを送信し、音声受信再生装置５０の制御部６０が、バッファ５３での遅延時間を、その目標値に一致させるように調整するように、システムを構成してもよい。この場合には、バッファ５３での遅延時間を示す情報を音声受信再生装置５０から映像受信再生装置３０に送信する必要はない。

第３の方法では、サーバ１０はバッファ遅延時間の調整に関与せず、かつ映像受信再生装置３０からの指示によらずに、音声受信再生装置５０がバッファ５３での遅延時間を調整する。

図９に、この場合の、映像受信再生装置３０の制御部４０および音声受信再生装置５０の制御部６０が実行するバッファ遅延時間の調整に係る一連の処理の一例を示す。

この例では、映像および音声の再生を開始した後、音声受信再生装置５０の制御部６０は、ステップ１５１で、自装置のバッファ５３での遅延時間を検出し、映像受信再生装置３０の制御部４０は、ステップ１３１で、自装置のバッファ３３での遅延時間を検出し、さらにステップ１３３で、その遅延時間を示す情報を音声受信再生装置５０に送信する。

音声受信再生装置５０の制御部６０は、ステップ１５４で、映像受信再生装置３０からの遅延時間情報を受信し、その遅延時間情報で示されたバッファ遅延時間をＶｂ、ステップ１５１で検出された自装置のバッファ５３での遅延時間をＡｂとするとき、ステップ１５５で、バッファ遅延時間の調整量として、Δｔ＝Ｖｂ−Ａｂを算出し、さらにステップ１５８で、図７に示した第１の方法と同様に、その調整量の分、バッファ５３での遅延時間を増減させる。

制御部４０および６０は、その後、ステップ１３９および１５９で、映像および音声の再生を終了するか否かを判断し、サーバ１０でのユーザの終了操作などによって映像および音声の再生を終了するときには、バッファ遅延時間の調整に係る処理も終了するが、そうでなければ、所定の時間間隔で以上のようなバッファ遅延時間の調整に係る処理を繰り返し実行する。

したがって、第３の方法でも、常に映像と音声が同期して再生されるようになる。しかも、第３の方法では、第２の方法に比べて、より簡易にバッファ遅延時間を調整することができる。

［３．他の実施形態］
上述した実施形態は、映像音声再生システムが、サーバ１０がＤＶＤプレーヤ、映像受信再生装置３０がプロジェクタ、音声受信再生装置５０が５．１チャンネルのサラウンド音声を再生する装置であるホームシアターシステムの場合であるが、この発明は、これに限らず、サーバが、デジタルＴＶ放送の映像音声データやインターネット上の映像音声データを受信し、またはハードディスクなどの記録媒体に記録されている映像音声データを再生して、符号化映像データおよび符号化音声データを送信する装置、映像受信再生装置が、その符号化映像データを受信して映像を再生する装置、音声受信再生装置が、その符号化音声データを受信して１チャンネルまたは複数チャンネルの音声を再生する装置である映像音声再生システムに、適用することができる。

この場合、映像音声信号源としてのサーバで、映像音声信号がアナログ信号として得られる場合には、サーバで、その映像音声信号をＭＰＥＧ２符号化方式などによって符号化し、符号化映像データおよび符号化音声データとして映像受信再生装置および音声受信再生装置に送信する。

また、この発明は、同じ映像音声再生システムを異なる用途に切り替えて使用し、用途に応じて映像受信再生装置および音声受信再生装置のバッファ量を変更する場合にも、適用することができる。

例えば、同じ映像音声再生システムを映画鑑賞用とテレビ会議用とに切り替えて使用する場合である。この場合、映画鑑賞の用途で使用するときには、画質を優先するために、映像受信再生装置および音声受信再生装置のバッファを大きめに設定し、テレビ会議の用途で使用するときには、即応性を優先するために、映像受信再生装置および音声受信再生装置のバッファを小さめに設定する。この場合にも、上記のようにバッファ遅延時間を調整することによって、映画鑑賞の用途で使用するときにも、テレビ会議の用途で使用するときにも、常に映像の再生と音声の再生とを同期させることができる。

さらに、この発明は、映像受信再生装置または音声受信再生装置を複数備え、それぞれの映像受信再生装置または音声受信再生装置で、サーバから送信された符号化映像データまたは符号化音声データを受信してバッファに書き込み、バッファから読み出して復号する映像音声再生システムにも適用することができる。

この発明の映像音声再生システムの一例を示す図である。 サーバの一例を示す図である。 映像受信再生装置の一例を示す図である。 音声受信再生装置の一例を示す図である。 映像信号および音声信号の遅延の説明に供する図である。 バッファ遅延時間の説明に供する図である。 バッファ遅延時間の調整に係る第１の方法の一連の処理の一例を示す図である。 バッファ遅延時間の調整に係る第２の方法の一連の処理の一例を示す図である。 バッファ遅延時間の調整に係る第３の方法の一連の処理の一例を示す図である。

符号の説明

主要部については図中に全て記述したので、ここでは省略する。

Claims (11)

1. 符号化映像データおよび符号化音声データを無線によって送信するサーバ、このサーバから送信された符号化映像データを受信してバッファに書き込み、当該バッファから読み出し復号して、映像を再生する映像受信再生装置、および、上記サーバから送信された符号化音声データを受信してバッファに書き込み、当該バッファから読み出し復号して、音声を再生する音声受信再生装置を備える無線通信システムの映像音声再生システムにおける映像音声再生方法であって、
   上記映像受信再生装置および上記音声受信再生装置が、それぞれ自装置のバッファでの遅延時間を検出する工程と、
   この検出工程での検出結果をもとに、上記サーバ、上記映像受信再生装置または上記音声受信再生装置が、上記映像受信再生装置または上記音声受信再生装置のバッファでの遅延時間の増減分または目標値として、上記映像受信再生装置での映像再生と上記音声受信再生装置での音声再生とが同期する時間を算出する工程と、
   この算出工程での算出結果をもとに、上記映像受信再生装置または上記音声受信再生装置が、自装置のバッファでの遅延時間を調整する工程と、
   を備えることを特徴とする映像音声再生方法。
2. 請求項１の映像音声再生方法において、
   上記算出工程は、上記サーバが実行し、上記サーバは、その算出結果を示して、上記映像受信再生装置または上記音声受信再生装置にバッファ遅延時間の調整を指示することを特徴とする映像音声再生方法。
3. 請求項１の映像音声再生方法において、
   上記算出工程は、上記映像受信再生装置および上記音声受信再生装置のうちの一方の装置が実行し、その一方の装置は、その算出結果を示して、他方の装置にバッファ遅延時間の調整を指示することを特徴とする映像音声再生方法。
4. 請求項１の映像音声再生方法において、
   上記算出工程は、上記映像受信再生装置および上記音声受信再生装置のうちの一方の装置が実行し、その一方の装置が、上記調整工程を実行することを特徴とする映像音声再生方法。
5. 請求項１の映像音声再生方法において、
   上記符号化音声データは、複数チャンネルの音声データであり、上記音声受信再生装置は、複数チャンネルの音声を再生することを特徴とする映像音声再生方法。
6. 符号化映像データおよび符号化音声データを無線によって送信するサーバ、このサーバから送信された符号化映像データを受信してバッファに書き込み、当該バッファから読み出し復号して、映像を再生する映像受信再生装置、および、上記サーバから送信された符号化音声データを受信してバッファに書き込み、当該バッファから読み出し復号して、音声を再生する音声受信再生装置を備える無線通信システムの映像音声再生システムであって、
   上記映像受信再生装置および上記音声受信再生装置は、それぞれ自装置のバッファでの遅延時間を検出する手段を備え、
   上記サーバ、上記映像受信再生装置または上記音声受信再生装置は、上記検出手段による検出結果をもとに、上記映像受信再生装置または上記音声受信再生装置のバッファでの遅延時間の増減分または目標値として、上記映像受信再生装置での映像再生と上記音声受信再生装置での音声再生とが同期する時間を算出する手段を備え、
   上記映像受信再生装置または上記音声受信再生装置は、上記算出手段による算出結果をもとに、自装置のバッファでの遅延時間を調整する手段を備える、
   ことを特徴とする映像音声再生システム。
7. 請求項６の映像音声再生システムにおいて、
   上記算出手段は、上記サーバが備え、上記サーバは、その算出結果を示して、上記映像受信再生装置または上記音声受信再生装置にバッファ遅延時間の調整を指示することを特徴とする映像音声再生システム。
8. 請求項６の映像音声再生システムにおいて、
   上記算出手段は、上記映像受信再生装置および上記音声受信再生装置のうちの一方の装置が備え、その一方の装置は、その算出結果を示して、他方の装置にバッファ遅延時間の調整を指示することを特徴とする映像音声再生システム。
9. 請求項６の映像音声再生システムにおいて、
   上記算出手段および上記調整手段は、上記映像受信再生装置および上記音声受信再生装置のうちの一方の装置が備えることを特徴とする映像音声再生システム。
10. 請求項６の映像音声再生システムにおいて、
    上記符号化音声データは、複数チャンネルの音声データであり、上記音声受信再生装置は、複数チャンネルの音声を再生することを特徴とする映像音声再生システム。
11. 符号化映像データおよび符号化音声データを無線によって送信するサーバ、このサーバから送信された符号化映像データを受信してバッファに書き込み、当該バッファから読み出し復号して、映像を再生する映像受信再生装置、および、上記サーバから送信された符号化音声データを受信してバッファに書き込み、当該バッファから読み出し復号して、音声を再生する音声受信再生装置を備える無線通信システムの映像音声再生システムに搭載されたコンピュータを、
    上記映像受信再生装置および上記音声受信再生装置のバッファでの遅延時間を検出する手段、
    その検出結果をもとに、上記映像受信再生装置または上記音声受信再生装置のバッファでの遅延時間の増減分または目標値として、上記映像受信再生装置での映像再生と上記音声受信再生装置での音声再生とが同期する時間を算出する手段、および、
    その算出結果をもとに、上記映像受信再生装置または上記音声受信再生装置のバッファでの遅延時間を調整する手段、
    として機能させることを特徴とする映像音声再生用プログラム。

Images