JP2007096708A - ビデオ再生装置及びオーディオ再生装置 - Google Patents

Abstract

【課題】 ビデオ再生装置とオーディオ再生装置とが無線によって接続している状態の利便性を維持したまま、例えば公共性の高い場所などを始めとする電波使用が制限されている環境においても、簡易な構成によってビデオデータとオーディオデータの同期再生を実現する。
【解決手段】 マルチメディア符号化データの再生を行う際に、マルチメディア符号化データ再生装置（ビデオ再生装置）３００は、このマルチメディア符号化データに含まれるオーディオデータをあらかじめ有しているオーディオ再生装置に対して、再生開始指示情報及び再生開始時間情報を送信する。そして、オーディオ再生装置から返信される応答信号を受信し、受信情報解読部３１１で応答信号の解読を行い、オーディオ再生装置におけるオーディオ再生が正常に動作可能か否かを判断する。オーディオ再生が正常に動作可能な場合、ビデオ復号部３０４で復号されたビデオデータの映像出力を開始する。
【選択図】 図１

Description

本発明は、物理的に離れた状態にあるビデオ再生装置及びオーディオ再生装置に関し、特に、１つのマルチメディア符号化データに含まれるビデオデータ及びオーディオデータの同期再生を可能とするビデオ再生装置及びオーディオ再生装置に関する。

なお、本明細書では、一般的な輝度信号や色差信号のようなビデオ情報（映像情報）を含むデータをビデオデータと呼び、リニアＰＣＭ（Pulse Code Modulation：パルス符号化方式）やアナログ音声信号のようなオーディオ情報（音声情報）を含むデータをオーディオデータと呼ぶことにする。また、ビデオデータが圧縮された符号化データをビデオ符号化データと呼び、オーディオデータが圧縮された符号化データをオーディオ符号化データと呼ぶことにする。したがって、ビデオ符号化データ及びオーディオ符号化データは、ビデオデータ及びオーディオデータに含まれる。また、本明細書では、ビデオ符号化データ及びオーディオ符号化データの両方を含むデータをマルチメディア符号化データと呼ぶことにする。

従来、ビデオデータ及びオーディオデータを、物理的に離れたそれぞれの再生装置（ビデオ再生装置及びオーディオ再生装置）にて同期再生を行う技術がいくつか提案されており、この技術に関連して、視聴者の多様なニーズに適した製品も発売されている。例えば、無線伝送を利用したものに、赤外領域の光信号としてオーディオデータを伝送するデータ伝送装置と、この光信号を受光装置で受光し、光信号から電気信号に変換してオーディオ再生を行うヘッドフォンとにより構成されている赤外線伝送方式のオーディオ再生システムが存在している。

なお、電波を用いた伝送方式としては、最近では５ＧＨｚ（ギガヘルツ）帯を用いたＩＥＥＥ８０２．１１ａ、２．４ＧＨｚ帯を用いたＩＥＥＥ８０２．１１ｂとＩＥＥＥ８０２．１１ｇが知られている。また、例えば、ブルートゥース（Bluetooth）（登録商標）などの短距離無線伝送方式もオーディオデータの転送に利用されている。これらの電波を用いたデータ伝送は送受信ユニットを小型化することが可能であり、特にブルートゥース（登録商標）に関してはコストも低く、また光を利用した無線通信と比較して伝送可能な範囲も広いため非常に利便性が高い。

また、リアスピーカの配置によってマルチチャンネル再生環境を構築する際、リアスピーカにまで伸延させるスピーカコードが邪魔になるという問題が発生するが、この問題を解決するために、リアスピーカにアンプを搭載させるとともに無線信号受信装置を設け、リアスピーカに向けてオーディオデータを電波信号（無線信号）で伝送することで、リアスピーカへのオーディオデータの供給を行うオーディオ再生システムが存在している。

上述の例として挙げたビデオデータ及びオーディオデータの同期再生は、通常はスピーカコード又はヘッドフォンコードを通じてスピーカに供給され、スピーカにおいて振動エネルギーに戻されるオーディオデータの電気信号を、光信号又は電波信号などの無線信号に変換して伝送することで、物理的に離れた位置に存在するオーディオ出力装置におけるオーディオ出力を可能とするものである。したがって、上述の同期再生は、ビデオデータとオーディオデータとのタイミングを計りながら処理を行うものではなく、同期再生に関しては、ビデオ再生装置及びオーディオ再生装置におけるビデオデータ及びオーディオデータの出力タイミングに依存している。

一方、下記の特許文献１には、物理的に離れた状態にあるビデオ再生装置及びオーディオ再生装置において、マルチメディア符号化データに含まれるビデオデータ及びオーディオデータの同期再生を実現するための技術が開示されている。特許文献１に開示されている技術では、例えば、映像再生装置と音声再生装置（ヘッドフォン）とが無線媒体によって接続されており、映像再生装置は、ビデオデータの再生を行うとともに、オーディオ符号化データを音声再生装置に対して供給する。音声再生装置は、映像再生装置から受信したオーディオ符号化データの復号処理を行って、その音声を出力する。また、音声再生装置は、再生開始時には、入出力バッファ容量、通信遅延、復号遅延などを考慮してビデオ再生と同期した音声再生を図るとともに、再生過程においては、例えば、映像再生装置との間におけるクロック同期を利用して、映像出力と音声出力とのずれ量を計測し、音声再生速度を変更することによって、ずれの解消を行うことが可能である。

次に、従来の技術に係るマルチメディア符号化データを再生するマルチメディア符号化データ再生装置の内部構成について説明する。

図８は、従来の技術に係るマルチメディア符号化データ再生装置の一例を示すブロック図である。なお、図８に示すマルチメディア符号化データ再生装置は、マルチメディア符号化データ内に含まれるビデオデータ及びオーディオデータの同期再生を行うものであり、例えば、ポータブル型ＤＶＤプレーヤに相当する。

図８に図示されているマルチメディア符号化データ再生装置１０００は、マルチメディアストリームバッファ１００１、システムストリーム分離部１００２、オーディオ復号部１００３、ビデオ復号部１００４、制御部（ＣＰＵ：Central Processing Unit）１００５、オーディオデータバッファ１００６、ビデオデータバッファ１００７、スピーカ１００８、モニタ１００９を有している。

図８において、マルチメディアストリームバッファ１００１は、例えば、マルチメディア符号化データを格納するＤＶＤディスクである。例えば、マルチメディアストリームバッファ１００１から光ピックアップを用いて読み込まれたシステムストリームは、システムストリーム分離部１００２においてビデオストリームとオーディオストリームとに分離され、オーディオストリームはオーディオ復号部１００３において、ビデオストリームはビデオ復号部１００４において、それぞれ圧縮されたデータの復号処理が施される。なお、符号化データ、ストリーム、ビットストリームは同意語であり、符号化されたデータは、一般的にストリームと呼ばれている。

オーディオ復号部１００３で復号されたオーディオデータや、ビデオ復号部１００４で復号されたビデオデータは、出力用バッファ（オーディオデータバッファ１００６又はビデオデータバッファ１００７）にいったん蓄積される。そして、システムストリームに記述された時間情報に基づいて再生制御を行う制御部１００５によって、オーディオデータバッファ１００６からのオーディオデータ出力や、ビデオデータバッファ１００７からのビデオデータ出力の制御が行われる。オーディオデータバッファ１００６から出力されたオーディオデータは、スピーカ１００８を通して音声化され、ビデオデータバッファ１００７から出力されたビデオデータは、モニタ１００９を通して映像化される。

このように、ビデオデータ及びオーディオデータの同期再生は、マルチメディア符号化データ再生装置１０００内の制御部１００５で管理され、例えば、オーディオ復号部１００３やビデオ復号部１００４、あるいは出力用バッファ（オーディオデータバッファ１００６やビデオデータバッファ１００７）を制御することで実現される。

また、図９は、従来の技術に係る分離型マルチメディア符号化データ再生装置の一例を示すブロック図であり、図１０は、従来の技術に係る分離型マルチメディア符号化データ再生装置の一例を示す外観図である。なお、図９及び図１０に示す分離型マルチメディア符号化データ再生装置は、例えば物理的に離れたヘッドフォンやスピーカに対して、光又は電波によってオーディオデータの無線伝送を行うものである。

図９に図示されている分離型マルチメディア符号化データ再生装置は、マルチメディア符号化データ再生伝送装置２００１と、オーディオ再生装置２００２とを有している。図９に示す分離型マルチメディア符号化データ再生装置は、例えば図１０に図示されているように、マルチメディア符号化データ再生伝送装置２００１として機能し、映像出力を行うモニタや操作ボタンなどを有する本体装置３００１と、オーディオ再生装置２００２として機能するヘッドフォン３００２とのセットに相当する。すなわち、図９に図示されている分離型マルチメディア符号化データ再生装置は、図８に図示されているマルチメディア符号化データ再生装置から、オーディオ再生装置を分離した構成を有している。

図９に図示されているマルチメディア符号化データ再生伝送装置２００１は、マルチメディアストリームバッファ２１０１、システムストリーム分離部２１０２、オーディオ復号部２１０３、ビデオ復号部２１０４、制御部２１０５、オーディオデータバッファ２１０６、ビデオデータバッファ２１０７、モニタ２１０９、オーディオデータ送信部２１１０を有している。ただし、後述のように、オーディオ復号部２１０３は必ずしも実装される必要はない。

なお、図８に図示されているマルチメディア符号化データ再生装置１０００と比較した場合、図８のマルチメディア符号化データ再生装置１０００は、スピーカ１００８から音声を出力する一方、図９に図示されているマルチメディア符号化データ再生伝送装置２００１は、オーディオデータ送信部２１１０を通じてオーディオ再生装置２００２に、オーディオデータを無線伝送するように構成されている点で異なっているが、その他の機能（各ブロックの機能）は基本的に同一である。

一方、図９に図示されているオーディオ再生装置２００２は、オーディオデータ受信部２２０１、オーディオ復号部２２０２、オーディオデータバッファ２２０３、スピーカ２２０４を有している。マルチメディア符号化データ再生伝送装置２００１から送られてくるオーディオデータは、オーディオデータ受信部２２０１で受信された後、オーディオ復号部２２０２による復号処理と、オーディオデータバッファ２２０３によるバッファを経て、スピーカ２２０４から音声出力される。

なお、マルチメディア符号化データ再生伝送装置２００１にオーディオ復号部２１０３が実装されている場合には、オーディオ再生装置２００２にオーディオ復号部２２０２が実装される必要はなく、逆に、オーディオ再生装置２００２にオーディオ復号部２２０２が実装されている場合には、マルチメディア符号化データ再生伝送装置２００１にオーディオ復号部２１０３が実装される必要はない。

例えば、マルチメディア符号化データ再生伝送装置２００１にオーディオ復号部２１０３が実装されている場合には、オーディオ再生装置２００２への無線伝送に伴う遅延やバッファ遅延を考慮した分を加味して、マルチメディア符号化データ再生伝送装置２００１の制御部２１０５でビデオデータやオーディオデータの出力タイミング制御を行うことで、図８に図示されているマルチメディア符号化データ再生装置１０００と同様に、ビデオデータ及びオーディオデータの同期再生を実現することが可能となる。

一方、逆にオーディオ再生装置２００２にオーディオ復号部２２０２が実装されている場合には、上述の特許文献１に開示されている技術のように、マルチメディア符号化データ再生伝送装置２００１及びオーディオ再生装置２００２がそれぞれ参照している基準時刻のずれ量を調べることによってビデオデータの出力タイミングとオーディオデータの出力タイミングとのずれを調整したり、単位時間当たりのオーディオデータバッファ蓄積量の変化度合いから、オーディオ再生装置２００２においてオーディオデータの出力タイミングを制御したりする必要がある。なお、ビデオデータの出力タイミングとオーディオデータの出力タイミングとのずれは、物理的に分離した本体側のマルチメディア符号化データ再生伝送装置２００１の基準動作周波数と、ヘッドフォン側のオーディオ再生装置２００２の基準動作周波数とが異なるために生じる現象である。
特開２００４−７１４０号公報（図１、４、７）

上述のように、マルチメディア符号化データの再生の際に、ビデオデータの再生（モニタへの出力）を行うビデオ再生装置とは、物理的に離れた場所に存在するオーディオ再生装置に対して、リアルタイムにオーディオデータを無線伝送することで、ビデオ再生装置におけるビデオ再生と、オーディオ再生装置におけるオーディオ再生との同時再生が行われている。

ところで、最近では公共の場での電波を利用する場合のマナーについて、身体的影響も含め、社会的に問題視されている。特に電車内や病院のような公的機関内での携帯電話の利用は、周囲の人々への騒音や人体への危険性などが懸念されており、事実上の使用制限がかけられている。電波を利用したオーディオデータの送信についても同様のことが当てはまる。したがって、ビデオデータとの同期再生の際に、電波を用いてオーディオデータをリアルタイムに無線伝送することは、各家庭内の閉じられた空間や周囲に影響を及ぼさない空間であれば非常に有効な技術であるが、電波の利用が好ましくない状況においては、あまり好適な技術であるとは言えない。

したがって、ビデオデータとオーディオデータの同期再生の際に、物理的に離れた場所に存在するオーディオ再生装置に対して、電波を利用してリアルタイムにオーディオデータを無線伝送することは、特に、電車の中や公共性の高い施設の中での使用に適していない。すなわち、例えば、上述のブルートゥース（登録商標）や５ＧＨｚ帯又は２．４ＧＨｚ帯を用いた伝送方式などの電波を利用して、リアルタイムにオーディオデータの無線伝送を行うことは、基本的に避ける必要がある。

一方、ヘッドフォンやスピーカにコードが接続していないワイヤレス接続は、ユーザに対して、高い利便性を有する快適な環境を提供することができる。例えば、ワイヤレスな状態を保ちながら、かつ電波を用いずにオーディオデータを無線伝送する技術としては、上述のように、赤外線などの光を利用した無線伝送方式（赤外線無線伝送方式）が有効である。

ビデオデータとオーディオデータの同期再生の際に、物理的に離れた場所に存在するオーディオ再生装置に対して、リアルタイムにオーディオデータを伝送するために光を利用した無線伝送方式を採用した場合、オーディオデータの送信側（図９に図示されているマルチメディア符号化データ再生伝送装置２００１に対応）、及びオーディオデータの受信側（図９に図示されているオーディオ再生装置２００２に対応）の両方に光の送受信を行うための光送受信ユニットを設け、この光送受信ユニットを介して、オーディオデータがリアルタイムに送信されるようにする必要がある。しかしながら、この光送受信ユニットは、電波を利用した送受信ユニットに比べて高価であるという問題、光送受信ユニットは小型化が困難なため、装置（例えば、ＤＶＤプレーヤの本体やヘッドフォン）自体の小型化が妨げられてしまうという問題などが生じる。

上述のように、オーディオデータの無線伝送に電波を用いた場合には、装置のコストの低減化や小型化などを実現することは可能となるが、例えば、電波が人体に与える影響などを始めとして周囲の環境に与える影響を十分に考慮する必要があるという課題が生じる。一方、オーディオデータの無線伝送に光を用いた場合には、電波の利用時に生じる周囲の環境への影響を考慮する必要はなくなるが、光送受信ユニットの設置に伴うコストアップや、装置の大型化や高重量化などによって、利便性が低下するという課題が生じる。これらの課題に鑑みながら、ヘッドフォンやスピーカなどのワイヤレス接続を維持し、マルチメディア符号化データの快適な再生環境を実現することが望ましい。

本発明は、上記の課題を解決するために、ビデオ再生装置とオーディオ再生装置とが物理的に離れた場所に存在し、無線によって接続している状態（ワイヤレス接続状態）の利便性を維持したまま、例えば公共性の高い場所などを始めとする電波使用が制限されている環境においても、簡易な構成によってビデオデータとオーディオデータの同期再生を実現することを可能にするビデオ再生装置及びオーディオ再生装置を提供することを目的とする。

上記の目的を達成するため、本発明の第１の態様によれば、ビデオ符号化データと、オーディオ符号化データと、前記各符号化データの再生時間の管理を行うための時間情報を含む補助情報とが多重化されたマルチメディア符号化データが記録されている記録媒体から、前記マルチメディア符号化データを読み出すマルチメディア符号化データ読み出し手段と、
前記マルチメディア符号化データの再生動作に係る外部からの指示を入力するための操作入力手段と、
前記操作入力手段で入力された前記再生動作に係る再生位置を示す時間情報を含む前記補助情報と、前記再生動作の開始指示を行うための操作情報とを、前記マルチメディア符号化データに含まれる前記オーディオ符号化データがあらかじめ格納されている所定のオーディオ再生装置に無線を介して送信する無線信号送信手段と、
前記所定のオーディオ再生装置から、前記再生動作の開始指示に対して正常に動作を行うことが可能か否かを示す応答信号を無線を介して受信する無線信号受信手段と、
前記応答信号を参照して、前記所定のオーディオ再生装置が前記再生動作の開始指示に対して、正常に動作を開始することが可能か否かを解読する応答信号解読手段と、
前記マルチメディア符号化データに含まれる前記ビデオ符号化データに関し、前記操作入力手段で入力された前記再生動作に係る前記再生位置以降の復号処理を行うビデオ復号手段と、
前記ビデオ復号手段における前記ビデオ符号化データの復号処理によって生成されたビデオデータによる映像を視覚的に表示する映像表示手段と、
前記応答信号解読手段における前記応答信号の解読によって、前記所定のオーディオ再生装置が前記再生動作の開始指示に対して正常に動作を開始することが可能である旨を示す応答信号を受信したと判断された場合に、前記操作入力手段で入力された前記再生動作に係る前記再生位置以降の映像出力を開始するように制御するビデオ再生制御手段とを、
有するビデオ再生装置が提供される。

さらに、本発明の第２の態様によれば、上記の本発明の第１の態様において、前記応答信号解読手段における前記応答信号の解読によって、前記所定のオーディオ再生装置が前記再生動作の開始指示に対して正常に動作を開始することが不可能である旨を示す応答信号を受信したと判断された場合に、所定時間が経過するまで又は所定回数を超えるまで、前記補助情報及び前記操作情報を繰り返し送信し続けるように制御する無線信号送信制御手段と、
前記所定時間が経過しても又は前記所定回数を超えても、前記所定のオーディオ再生装置から、前記再生動作の開始指示に対して正常に動作を行うことが可能である旨を示す前記応答信号を受信できなかった場合には、前記操作入力手段で入力された前記再生動作を中止するように制御するビデオ再生待機制御手段とを、
有するビデオ再生装置が提供される。

さらに、本発明の第３の態様によれば、上記の本発明の第２の態様において、前記所定のオーディオ再生装置から前記再生動作の開始指示に対して正常に動作を開始することが不可能である旨を示す応答信号を受信した場合、及び／又は、所定時間が経過するまで又は所定回数を超えても、前記所定のオーディオ再生装置から前記再生動作の開始指示に対して正常に動作を行うことが可能である旨を示す前記応答信号を受信できなかった場合には、その旨の報知を行う報知手段を有するビデオ再生装置が提供される。

また、上記の目的を達成するため、本発明の第４の態様によれば、ビデオ符号化データと、オーディオ符号化データと、前記各符号化データの再生時間の管理を行うための時間情報を含む補助情報とが多重化されたマルチメディア符号化データから前記オーディオ符号化データ及び前記補助情報がいったん分離された後、オーディオ符号化データのオーディオ再生が行われるように再構成された前記オーディオ符号化データ及び前記補助情報を格納するデータ格納手段と、
再生動作に係る再生位置を示す時間情報を含む前記補助情報と、前記再生動作の開始指示を行うための操作情報とを、所定のビデオ再生装置から無線を介して受信する無線信号受信手段と、
前記無線信号受信手段で受信した前記補助情報及び前記操作情報を参照して、前記再生動作の開始指示に対して、正常に動作を開始することが可能か否かを判断する動作実行判断手段と、
前記動作実行判断手段における判断結果に基づいて、前記再生動作の開始指示に対して正常に動作を開始することが可能か否かを示す応答信号を生成する応答信号生成手段と、
前記応答信号生成手段で生成された前記応答信号を、前記所定のビデオ再生装置に無線を介して送信する無線信号送信手段とを、
前記動作実行判断手段における判断によって、前記再生動作の開始指示に対して正常に動作を開始することが可能であると判断された場合に、前記データ格納手段に格納されている前記オーディオ符号化データに関し、前記再生動作に係る前記再生位置以降の復号処理を行うオーディオ復号手段と、
前記オーディオ復号手段で復号された前記オーディオ符号化データの音声を出力する音声出力手段とを、
有するオーディオ再生装置が提供される。

本発明は、上記の構成を有しており、ビデオ再生装置とオーディオ再生装置とが物理的に離れた場所に存在し、無線によって接続している状態（ワイヤレス接続状態）を維持したまま、例えば公共性の高い場所などを始めとする電波使用が制限されている環境においても、簡易な構成によってビデオデータとオーディオデータの同期再生を実現し、ワイヤレス接続に係る利便性の維持、装置の低コスト化、装置の小型化や低重量化を可能にするという効果を有している。また、ビデオ再生装置とオーディオ再生装置との通信を双方向し、ビデオ再生装置がオーディオ再生装置の動作状況を確認したうえで、ビデオ再生の可否を決定するので、例えば、ビデオ再生装置とオーディオ再生装置との通信環境が劣悪な状況において、ビデオ再生のみが開始されてしまうなどの弊害を防ぐことが可能となり、より効果的なビデオ及びオーディオの同期再生を実現することが可能となる。

以下、本発明を実施するための形態について図面を参照しながら説明する。本発明の実施の形態におけるビデオデータとオーディオデータの同期再生方法は、再生前の準備段階（前工程段階）、実際にユーザが視聴を行う再生段階（後工程段階）の２つの段階に大きく分けられる。

まず、図１を参照しながら、再生前の準備段階である前工程段階について説明する。図１は、本発明の実施の形態において、前工程段階に係る処理を行うマルチメディア符号化データ分離伝送装置及びオーディオ再生装置の構成の一例を示すブロック図である。

図１には、マルチメディア符号化データ分離伝送装置１００と、オーディオ再生装置２００とが図示されている。図１に図示されているマルチメディア符号化データ分離伝送装置１００は、マルチメディアストリームバッファ１０１、システムストリーム分離部１０２、オーディオストリームバッファ１０３、補助情報バッファ１０４、オーディオストリーム再構成部１０５、オーディオストリーム送信部１０６を有している。また、図１に図示されているオーディオ再生装置２００は、オーディオストリーム受信部２０１、オーディオストリームバッファ２０２、後工程段階に係る処理を行う後工程処理部２０３を有している。

マルチメディアストリームバッファ１０１は、マルチメディア符号化データを格納することが可能な記憶媒体であり、例えば、このマルチメディア符号化データ分離伝送装置１００の本体がＤＶＤプレーヤであればＤＶＤディスクに相当し、携帯電話機やＰＤＡ（Personal Digital Assistance）を始めとするマルチメディア再生機能を有する情報端末であれば、ＨＤＤ（Hard Disc Drive：ハードディスクドライブ）や半導体メモリなどに相当する。なお、ここでは、ユーザが視聴を所望するコンテンツに係るマルチメディアシステムストリームが、このマルチメディアストリームバッファ１０１にあらかじめ格納されているものとする。

一般に、マルチメディア符号化データはビデオデータとオーディオデータ、更にはコンテンツの内容を符号化した情報や、コンテンツ識別情報、その他の補助情報（特に、時間情報及び属性情報を含む）によって構成されており、それぞれ個別の符号化方式に従って情報圧縮された後（情報圧縮されない場合もある）、それぞれが多重化されてシステムストリーム（マルチメディアシステムストリーム）が生成される。したがって、ビデオ符号化データやオーディオ符号化データを復号する際には、あらかじめシステムストリームからそれぞれの要素（エレメンタリストリーム）が分離抽出される必要がある。

マルチメディアストリームバッファ１０１から読み出されたシステムストリームは、システムストリーム分離部１０２において、オーディオストリームと、システムストリームに付随する補助情報（特に、時間情報及び属性情報を含む）とに分離される。システムストリーム分離部１０２における分離後、オーディオストリームはオーディオストリームバッファ１０３に、補助情報は補助情報バッファ１０４にそれぞれ格納される。

オーディオストリームの伝送先となるオーディオ再生装置２００では、単にシステムストリーム分離部１０２で分離されたオーディオストリームのみが提供されても再生を行うことはできない。すなわち、オーディオ再生装置２００でオーディオストリームの再生を行う場合には、このオーディオストリームに付随するコンテンツの情報や再生時間管理を行うための補助情報が必要である。そこで、マルチメディア符号化データ分離伝送装置１００のオーディオストリーム再構成部１０５は、オーディオストリームバッファ１０３に格納されているオーディオストリームに、補助情報バッファ１０４に格納されている補助情報を多重化して、新たなオーディオストリームを再構成する。なお、再構成されたオーディオストリームは、オーディオ再生装置２００で再生可能な状態に生成される。

オーディオストリーム再構成部１０５で再構成されたオーディオストリームは、オーディオストリーム送信部１０６を通じて、マルチメディア符号化データ分離伝送装置１００から物理的に離れたオーディオ再生装置２００に伝送される。なお、マルチメディア符号化データ分離伝送装置１００からオーディオ再生装置２００へのオーディオストリームの伝送方式は、特に限定されるものではなく、例えばＵＳＢ（Universal Serial Bus）を介した有線伝送や、赤外光や電波を用いた無線伝送などを採用することが可能である。また、例えばオーディオストリーム再構成部１０５で再構成されたオーディオストリームが可搬性の記憶媒体に格納され、この可搬性の記憶媒体の着脱によって、マルチメディア符号化データ分離伝送装置１００からオーディオ再生装置２００に、再構成されたオーディオストリームが移動されてもよい。

一方、例えば、オーディオストリーム送信部１０６から送信されたオーディオストリームは、オーディオ再生装置２００のオーディオストリーム受信部２０１で受信され、オーディオ再生装置２００内に設けられているオーディオストリームバッファ２０２に格納されて、再生前の準備（前工程段階）が終了となる。なお、オーディオストリームバッファ２０２に格納された、再構成されたオーディオストリームは、後工程段階の際に後工程処理部２０３で再生処理されるが、後工程処理部２０３に関しては後で詳述する。

以上のように、前工程段階では、マルチメディア符号化データ分離伝送装置１００において、マルチメディア符号化データからオーディオストリーム及び補助情報がいったん分離された後、オーディオストリームに補助情報が多重化されて、ビデオストリームを除いた状態でオーディオストリームが再構成される。そして、この再構成されたオーディオストリームが、オーディオ再生装置２００にあらかじめ格納される。前工程段階において、再構成されたオーディオストリームがオーディオ再生装置２００にあらかじめ格納されることにより、実際の再生処理（後述の後工程段階）の際には、マルチメディア符号化データ分離伝送装置１００からオーディオ再生装置２００に、オーディオデータがリアルタイムで伝送される必要がなくなる。

次に、実際にユーザが視聴を行う再生段階である後工程段階について説明する。図２及び図３はそれぞれ、本発明の実施の形態において、後工程段階に係る処理を行うマルチメディア符号化データ再生装置及びオーディオ再生装置の構成の一例を示すブロック図である。

図２に図示されているマルチメディア符号化データ再生装置３００は、マルチメディアストリームバッファ３０１、システムストリーム分離部３０２、補助情報抽出部３０３、ビデオ復号部３０４、制御部３０５、補助情報／操作情報生成部３０６、ビデオデータバッファ３０７、モニタ３０８、無線送信部３０９、無線受信部３１０、受信情報解読部３１１を有している。

なお、図１に図示されているマルチメディア符号化データ分離伝送装置１００と、図２に図示されているマルチメディア符号化データ再生装置３００とは同一の装置で実現されることが好ましいが、異なる装置によって実現されてもよい。

すなわち、例えば、図１０に図示されている本体装置３００１によって、図２に図示されているマルチメディア符号化データ再生装置３００を実現し、図１０に図示されているヘッドフォン３００２によって、図３に図示されているオーディオ再生装置１００を実現した場合、図１に図示されているマルチメディア符号化データ分離伝送装置１００の機能を、本体装置３００１に設けて、図１に図示されているマルチメディア符号化データ分離伝送装置１００と、図２に図示されているマルチメディア符号化データ再生装置３００の両方の機能を１つの装置によって実現することが好ましい。しかしながら、例えば、図１に図示されているマルチメディア符号化データ分離伝送装置１００を、固定型のＤＶＤプレーヤやＰＣ（Personal Computer：パーソナルコンピュータ）などによって実現する一方、本体装置３００１には、図２に図示されているマルチメディア符号化データ再生装置３００の機能のみを設けることも可能である。この場合には、ユーザは固定型のＤＶＤプレーヤやＰＣでオーディオデータの再構成を行い、この再構成されたオーディオデータが、オーディオ再生装置２００にあらかじめ格納されるとともに、図１０に図示されている本体装置３００１を用いてオーディオ再生装置２００の再生制御が行われる。

図２に図示されているマルチメディア符号化データ再生装置３００において、例えば、ユーザの操作によってコンテンツの再生指示が行われた場合には、まず、再生対象のコンテンツに係るマルチメディア符号化データが、マルチメディアストリームバッファ３０１から読み出される。なお、再生対象のコンテンツは、上述のように、図１に図示されているマルチメディア符号化データ分離伝送装置１００によって再構成処理が行われており、そのコンテンツに係る再構成されたオーディオデータは、既にオーディオ再生装置２００に格納されているものとする。

システムストリーム分離部３０２は、マルチメディアストリームバッファ３０１からシステムストリームを読み込んで分離処理を行い、システムストリーム内に記述されているビデオ・オーディオ同期再生用の補助情報を含むデータを補助情報抽出部３０３に出力する一方、ビデオストリームをビデオ復号部３０４に出力する。

ビデオ復号部３０４は、システムストリーム分離部３０２で分離されたビデオストリームを、ビデオ１フレーム分の各々の画素データを表現する輝度信号と色差信号に変換するなどのビデオ復号処理を行って、処理後のビデオデータをフレームバッファなどのビデオデータバッファ３０７に出力する。ビデオデータはいったんビデオデータバッファ３０７に格納された後、制御部３０５からの出力命令に従ってモニタ３０８に伝送され、モニタ３０８を通して映像出力される。なお、ここでは、ビデオ復号部３０４の後段にビデオデータバッファ３０７を設けて、ビデオ復号部３０４で復号されたビデオデータがビデオデータバッファ３０７にいったん格納されるようにすることによって、ビデオ再生を所定のタイミングに合わせて行うための時間管理が行われるように構成されているが、例えば、ビデオ復号部３０４の前段にビデオデータバッファを設けて時間管理を行うことも可能である。

一方、補助情報抽出部３０３は、システムストリーム分離部３０２で分離された補助情報を含むデータから補助情報を抽出して補助情報とし、この補助情報を補助情報／操作情報生成部３０６に供給する。補助情報／操作情報生成部３０６は、制御部３０５からの指示に従って、コンテンツを識別するコンテンツ識別情報と共に、例えば、再生すべきデータの位置を示す時間情報や、データの処理方法を示す動作指示などが含まれる操作情報を生成し、無線送信部３０９を介してオーディオ再生装置２００に送信する。なお、補助情報の一例は、上述のように、システムストリーム内に含まれる時間情報や、コンテンツを識別するコンテンツ識別情報であり、操作情報の一例は、再生開始／再生停止の指示や、特殊再生の開始／停止の指示などの指示情報である。なお、本明細書では、再生開始／再生停止や特殊再生の開始／停止などを含め、その他の様々なコンテンツの再生に係る動作を再生動作と呼ぶ。また、補助情報／操作情報送信部３０６は、上記の補助情報と操作情報とを１つの情報にまとめて、オーディオ再生装置２００に送信してもよい。

例えば、マルチメディア符号化データ再生装置３００に設けられている操作パネル（図２には不図示）などを用いてユーザが操作入力を行った場合、この操作内容を示す操作情報が制御部３０５を通じて補助情報／操作情報生成部３０６に供給されるとともに、この操作情報に関連する補助情報が補助情報抽出部３０３から読み出される。そして、これらの操作情報や補助情報に基づいて、補助情報／操作情報生成部３０６において、オーディオ再生装置２００に送信される補助情報及び／又は操作情報が生成され、無線送信部３０９を通じてオーディオ再生装置２００に送信される。

なお、無線送信部３０９は、特に、その無線伝送方式などに関する制限はないが、例えば、低消費電力かつ低コストの光送信装置や、ＰＣ又はＰＤＡなどで採用されている赤外線通信方式（ＩｒＤＡ）を用いた無線通信を行うものであることが望ましい。上記の赤外線通信方式は、本発明における制御信号の通信に好適であるとともに、電波による周囲への影響が無く、送光スリットや受光スリットを絞ることによって、他の装置との干渉を容易に防ぐことも可能である。マルチメディア符号化データ再生装置３００から伝送される操作情報、オーディオデータの時間情報、マルチメディア符号化データのコンテンツ識別情報などは、無線送信部３０９を通じて、物理的に離れた位置に存在するオーディオ再生装置２００に無線伝送される。

また、マルチメディア符号化データのコンテンツ識別情報はコンテンツを識別するための情報であり、ファイル名やデータ長などのマルチメディア符号化データの固有情報のことを指している。このコンテンツ識別情報は、オーディオ再生装置２００において、複数のマルチメディア符号化データ（オーディオストリーム）の中から所望のコンテンツを選択する場合に使用される。

オーディオ再生装置２００は、後述のように、マルチメディア符号化データ再生装置３００から伝送された操作情報や補助情報を受信することによって、その動作を開始する。また、オーディオ再生装置２００は、光信号を用いた同様の無線伝送を用いて、その動作結果をマルチメディア符号化データ再生装置３００に応答する。なお、動作結果を示す応答信号には、マルチメディア符号化データ再生装置３００からの操作情報に応じて、オーディオ再生装置２００の動作が正常に行われたか否かの情報が含まれている。マルチメディア符号化データ再生装置３００の無線受信部３１０は、この応答信号を受信するための機能を有している。

無線受信部３１０で受信したオーディオ再生装置２００の状態を示す応答信号は、受信情報解読部３１１において解読される。応答信号が正常動作を示すものである場合には、制御部３０５は、所定のタイミングに従って、待機状態にあったビデオデータバッファ３０７を制御し、ビデオデータの再生を開始する。上記の所定のタイミングは、オーディオ再生装置２００におけるオーディオ再生と同期してビデオ再生が行われるように、遅延を考慮して設定されたビデオ再生の開始タイミングであり、この結果、マルチメディア符号化データ再生装置３００のビデオ再生を、オーディオ再生装置２００におけるオーディオ再生と同期させることが可能となる。

一方、応答信号が異常動作（正常に行われなかった旨）を示すものである場合には、例えばモニタ３０８を用いたメッセージ、スピーカを用いた警告音や案内メッセージ、又は振動装置を用いたバイブレーションなどによって、正常動作が行われなかった旨を報知する。なお、このとき、再度、所定の時間や回数が経過するまで、操作情報及び時間情報の送信動作を繰り返し行うようにしてもよい。

マルチメディア符号化データ再生装置３００とオーディオ再生装置２００との間で通信される光無線信号に不具合が生じる一因として、両者間の光軸のずれなどが考えられるが、上述のようにユーザに異常動作が発生した旨を報知することによって、ユーザに対して、何らかの不具合が生じている旨を伝えることが可能となり、その結果、ユーザに光軸調整を促すことが可能となる。このとき、ユーザによる調整によって光軸が一致して良好な通信状態が得られた場合には正常動作に移行するため、マルチメディア符号化データ再生装置３００におけるビデオ再生待機状態が若干延びるだけで、同期再生そのものは問題なく行われる。

また、マルチメディア符号化データ再生装置３００とオーディオ再生装置２００との間で通信される無線信号に重大な不具合（通信不能状態）が生じた場合には、この通信不能状態は、無線通信の制限時間や制限回数の観測によって検出される。すなわち、所定の時間以上経過しても正常動作に移行できなかった場合（タイムアウトとなった場合）や、所定の回数だけ、操作情報及び時間情報を送信しても正常動作に移行できなかった場合には、最終的に正常動作に移行できなかった旨を示す操作無効メッセージを報知して、再び、初期状態に戻ってもよい。

また、上述の通信不能状態と同様に、例えばオーディオ再生装置２００側の機器不良や、指定されたコンテンツの不備やデータエラー（例えば、コンテンツに係るオーディオデータの欠如や破損）などに関しても、マルチメディア符号化データ再生装置３００において、オーディオ再生装置２００側からの応答信号や無線通信の制限時間、制限回数を管理することで検出可能である。

一方、図３に図示されているオーディオ再生装置２００は、図１に図示されているオーディオ再生装置２００と同一であり、オーディオストリームバッファ２０２に、再構成されたオーディオストリームが格納されている。また、図３には、再構成されたオーディオストリームの再生処理を行うための構成要素（図１に図示されている後工程処理部２０３）の詳細に関しても図示されている。すなわち、図３に図示されているオーディオ再生装置２００は、オーディオストリーム受信部２０１、オーディオストリームバッファ２０２、位置特定及びデータ選定部２０４、制御部２０５、オーディオ復号部２０６、オーディオデータバッファ２０７、スピーカ２０８、無線送信部２０９、無線受信部２１０を有している。

無線受信部２１０は、マルチメディア符号化データ再生装置３００の無線送信部３０９から送信された制御信号（例えば、操作情報や時間情報、コンテンツ識別情報など）を受信する機能を有しており、無線送信部２０９は、マルチメディア符号化データ再生装置３００の無線受信部３１０に対して、オーディオ再生装置２００の動作が正常に行われたか否かの情報を含む応答信号を送信する機能を有している。なお、オーディオ再生装置２００の無線送信部２０９及び無線受信部２１０は、マルチメディア符号化データ再生装置３００の無線受信部３１０及び無線送信部３０９と同一の無線伝送方式を用いることによって、制御信号の受信及び応答信号の送信を行うことが可能となる。

マルチメディア符号化データ再生装置３００の無線送信部３０９から送信され、オーディオ再生装置２００の無線受信部２１０で受信された操作情報や補助情報は、制御部２０５に送られる。制御部２０５は、この操作情報や補助情報の解読を行って、オーディオ再生装置２００における動作を決定する。例えば、制御信号に、特定のコンテンツを示すコンテンツ識別情報、補助情報として再生すべきデータの位置を示す時間情報、操作情報として再生開始を指示する情報が含まれている場合には、制御部２０５は、位置特定及びデータ選定部２０４に対して、コンテンツ識別情報によって特定されるコンテンツを選択し、このオーディオエレメンタリストリームに関して、制御部２０５から通知された時間情報に対応した開始位置から読み出して、再生を開始するように指示を行う。なお、倍速再生や早送り／巻き戻し処理などの特殊再生も同様に、マルチメディア符号化データ再生装置３００からの指示に基づいて行われる。

制御部２０５からの指示に応じて、位置特定及びデータ選定部２０４は、この時間情報に対応した位置以降のオーディオエレメンタリストリームをオーディオストリームバッファ２０２から随時読み出して、読み出したオーディオストリームを操作情報と共にオーディオ復号部２０６に渡し、オーディオ復号部２０６は、操作情報に応じた復号処理（例えば、通常の再生処理）を行うことによって、オーディオストリームを例えばリニアＰＣＭのようなオーディオデータに変換する。オーディオ復号部２０６で復号されたオーディオデータは、オーディオデータバッファ２０７における一時的なバッファを経て、スピーカ２０８より音声出力される。

また、制御部２０５は、オーディオ再生装置２００全体の動作を監視しており、オーディオ再生装置２００の動作が正常に行われたか否かを示す応答信号を、マルチメディア符号化データ再生装置３００に送信する機能を有している。オーディオ再生装置２００において、マルチメディア符号化データ再生装置３００からの指示に基づく正常な処理が行われた場合には、制御部２０５は、オーディオ再生装置２００の動作が正常に行われた旨を示す応答信号を無線送信部２０９に通知し、無線送信部２０９からマルチメディア符号化データ再生装置３００に対して、無線伝送によってこの応答信号が送信される。一方、オーディオ再生装置２００において、マルチメディア符号化データ再生装置３００からの指示に基づく正常な処理が行われなかった場合には、制御部２０５は、オーディオ再生装置２００の動作が正常に行われなかった旨を示す応答信号を無線送信部２０９に通知し、無線送信部２０９からマルチメディア符号化データ再生装置３００に対して無線伝送によってこの応答信号が送信される。

なお、オーディオ再生装置２００の動作が正常に行われなかった場合には、オーディオ再生装置２００は、正常動作が行われなかった旨を示す理由を応答信号に含めて、マルチメディア符号化データ再生装置３００に送信してもよい。正常動作が行われない場合の理由としては、例えば、所定のコンテンツが存在しない、マルチメディア符号化データ再生装置３００から与えられた時間情報とオーディオストリームバッファ２０２にあらかじめ格納されているオーディオストリームの時間情報との間に不整合が見られるなどが挙げられる。こうした不具合を示す情報をマルチメディア符号化データ再生装置３００に伝送することによって、マルチメディア符号化データ再生装置３００側において、オーディオ再生装置２００における動作の不具合による異常な状態を把握することが可能となり、この異常な状態を回避するための処置を行うことが可能となる。

なお、無線送信部２０９及び無線受信部２１０、マルチメディア符号化データ再生装置３００からの制御信号の管理や、この制御信号に基づく動作制御を行う制御部２０５を除けば、従来の半導体メモリやＨＤＤを備えた携帯型オーディオ符号化データ再生装置と同一の構成であり、オーディオ再生装置２００をオーディオ携帯型プレーヤとして単独で使用することも可能である。

次に、マルチメディア符号化データ再生装置３００とオーディオ再生装置２００との間で、マルチメディア符号化データの同期再生が行われる場合の動作の一例について説明する。上述のように、マルチメディア符号化データ再生装置３００の制御部３０５は、オーディオ再生装置２００に対する同期再生制御と共に、オーディオ再生装置２００との間における双方向通信で得られるオーディオ再生装置２００の状態の管理を行う。以下、図４を参照しながら、制御部３０５の動作の一例について説明する。

図４は、本発明の実施の形態において、同期再生を開始する際のマルチメディア符号化データ再生装置の制御部の動作の一例を示すフローチャートである。

マルチメディア符号化データ再生装置３００は、まず、ユーザが操作命令を入力するまで待機状態を保っている（ステップＳ５０１）。ユーザによる操作命令が入力された場合には、その操作命令を解読し（ステップＳ５０２）、まずマルチメディア符号化データを読み出して、ビデオストリームと補助情報ストリームへの分離を開始する（ステップＳ５０３）。続いて、遅延量の大きいビデオ復号処理を開始し（ステップＳ５０４）、ビデオデータバッファ３０７にビデオデータをいったん記録する。このとき、例えば、所定量のビデオデータを復号した後に待機状態となるなど、ビデオ復号部３０４は、バッファの残量に応じて待機状態となってもよい。

また、制御部３０５の制御によって、ビデオ復号開始と共に、再生するマルチメディア符号化データのコンテンツ識別情報、オーディオストリームに付随する時間情報、マルチメディア符号化データ再生装置３００に入力された操作情報などによって構成された制御信号が、無線送信部３０９からオーディオ再生装置２００に無線伝送される（ステップＳ５０５）。

制御信号を伝送した後、制御部３０５は、オーディオ再生装置２００からの応答信号の受信待機状態に移行する。そして、オーディオ再生装置２００から応答信号を受信した場合には、制御部３０５は、この応答信号の解読を行う（ステップＳ５０６）。応答信号が正常動作を示すものである場合には、遅延を考慮して設定された所定のタイミングに合わせて、ビデオデータの再生を開始する（ステップＳ５０７）。ステップＳ５０７におけるビデオデータの再生開始後は、制御部３０５は、ユーザからの操作命令の入力待機状態（ステップＳ５０１）に戻る。

一方、オーディオ再生装置２００からの応答信号が異常動作を示すものである場合にはステップＳ５０８を経て、再びステップＳ５０５に戻って、オーディオ再生装置２００への制御信号の送信を行った後、オーディオ再生装置２００からの応答信号の受信待機状態に移行する。

また、マルチメディア符号化データ再生装置３００は制御信号を複数回送信することで、例えば、光軸ずれなどによる簡易な通信エラーからの復帰を図る。なお、この制御信号の複数回送信は、応答信号の受信に係るタイムアウト制限又は所定回数の制御信号の送信制限を設けることが望ましい。すなわち、最初の制御信号の送信から所定時間以上経過したか否か、又は制御信号の送信が所定回数に達したか否かを監視し（ステップＳ５０８）、所定時間以上経過した場合又は所定回数の送信に達した場合には、正常な動作が行われなかった旨を示す操作無効メッセージを報知し（ステップＳ５０９）、ビデオデータバッファ３０７に格納されているビデオデータを消去して初期化を行い（ステップＳ５１０）、再び、ユーザからの操作命令の入力待機状態（ステップＳ５０１）に戻る。

なお、例えば、重大な通信エラーが生じており、マルチメディア符号化データ再生装置３００とオーディオ再生装置２００との間の双方向通信が確立できなかった場合や、所望のコンテンツがオーディオ再生装置２００側にあらかじめ記録されていなかった場合、時間情報に不整合があった場合などに、正常な動作が行われずに操作無効メッセージが報知されることとなる。ユーザは、この操作無効メッセージの報知によって異常状態を確認することができ、例えば、光軸ずれの修正やファイルの確認などを行うことによって、何らかの異常が発生していることを知覚でき、的確な対策を講じることが可能となる。

また、上述の図４に図示されているフローチャートでは、同期再生を開始する際の動作を例示したが、停止、早送り、巻き戻し、一時停止などのその他の基本的な動作に関してもほぼ同様である。図５は、本発明の実施の形態において、同期再生時に操作入力が行われた際のマルチメディア符号化データ再生装置の制御部の動作の一例を示すフローチャートである。

マルチメディア符号化データ再生装置３００とオーディオ再生装置２００でビデオデータとオーディオデータの同期再生が行われている場合においても、マルチメディア符号化データ再生装置３００は、ユーザが操作命令を入力する待機状態を保っている（ステップＳ６０１）。このとき、例えば、再生時に受ける何らかの操作（停止、早送り、巻き戻し、一時停止）に係る操作命令がユーザによって入力された場合には、制御部３０５はその操作命令を解読し（ステップＳ６０２）、この操作命令の先行処理（この操作命令に係る処理の準備）を実行して（ステップＳ６０３）、待機状態に移る。

また、制御部３０５の制御によって、操作命令の先行処理と共に、ユーザによって入力された操作情報を含む制御信号が、無線送信部３０９からオーディオ再生装置２００に無線伝送される（ステップＳ６０４）。なお、同期再生を開始する場合とは異なり、同期再生が既に行われている場合において送信される制御信号には、コンテンツ識別情報や時間情報などは含まれる必要はない。すなわち、再生状態の変更を示す操作情報のみが、マルチメディア符号化データ再生装置３００からオーディオ再生装置２００に送られればよい。

制御信号を伝送した後、制御部３０５は、オーディオ再生装置２００からの応答信号の受信待機状態に移行する。そして、オーディオ再生装置２００から応答信号を受信した場合には、制御部３０５は、この応答信号の解読を行う（ステップＳ６０５）。応答信号が正常動作を示すものである場合には、遅延を考慮して設定された所定のタイミングに合わせて、ステップＳ６０３で行った先行処理に続く本処理（実際の処理）を開始する（ステップＳ６０６）。ステップＳ６０６におけるビデオデータの再生開始後は、制御部３０５は、ユーザからの操作命令の入力待機状態（ステップＳ６０１）に戻る。一方、オーディオ再生装置２００からの応答信号が異常動作を示すものである場合には、図４に図示されているフローチャートのステップＳ５０８〜Ｓ５１０と同一の処理を行う（ステップＳ６０７〜Ｓ６０９）。

次に、上述の図４及び図５に図示されているマルチメディア符号化データ再生装置３００の動作に対応したオーディオ再生装置２００の動作の一例について説明する。図６は、本発明の実施の形態において、マルチメディア符号化データ再生装置からの制御信号に従うオーディオ再生装置の制御部の動作の一例を示すフローチャートである。

オーディオ再生装置２００は、マルチメディア符号化データ再生装置３００からの制御信号の受信待機状態を保っている（ステップＳ７０１）。そして、マルチメディア符号化データ再生装置３００から制御信号を受信した場合には、その制御信号に含まれる操作命令を解読し（ステップＳ７０２）、その操作命令が実行可能な否かの判定を行う（ステップＳ７０３）。この判定では、例えば、制御信号に含まれるコンテンツ識別情報が復号可能なコンテンツか、そのコンテンツのオーディオストリームが、オーディオストリームバッファ２０２にあらかじめ記録されているか、制御信号に含まれる時間情報が、オーディオストリームバッファ２０２内のオーディオストリームに存在するか、制御信号に含まれる情報に整合性があるかなどが参照される。

ステップＳ７０３において操作命令が実行可能であると判定された場合には、オーディオ再生装置２００の制御部２０５は、その操作命令に係る動作を実行するように制御するとともに（ステップＳ７０４）、マルチメディア符号化データ再生装置３００に対して、正常な動作が行われた旨を示す正常動作情報を発行する（ステップＳ７０５）。一方、ステップＳ７０３において操作命令が実行不可能であると判定された場合には、オーディオ再生装置２００の制御部２０５は、その操作命令に係る動作を実行するように制御するとともに（ステップＳ７０４）、マルチメディア符号化データ再生装置３００に対して、その操作命令に係る動作を実行することが不可能な旨を示す異常動作情報（エラー情報）を発行する（ステップＳ７０６）。そして、制御部２０５は、上記の正常動作情報又は異常動作情報を含む応答信号を生成し、この応答信号が、無線送信部２０９からマルチメディア符号化データ再生装置３００に無線伝送される（ステップＳ７０７）。

次に、オーディオ再生装置２００、マルチメディア符号化データ再生装置３００、ユーザによる操作命令の入力のそれぞれのタイミングの一例について説明する。図７Ａは、本発明の実施の形態における再生命令入力時のオーディオ再生装置、マルチメディア符号化データ再生装置、ユーザによる操作命令の入力のそれぞれのタイミングの一例を示すタイミングチャートであり、図７Ｂは、本発明の実施の形態における停止命令入力時のオーディオ再生装置、マルチメディア符号化データ再生装置、ユーザによる操作命令の入力のそれぞれのタイミングの一例を示すタイミングチャートである。なお、図７Ａ及び図７Ｂは、図面の左から右に時間の流れが表されており、この時間軸上に、オーディオ再生装置、マルチメディア符号化データ再生装置、ユーザによる操作命令の入力のそれぞれのタイミングが図示されている。また、図７Ａ及び図７Ｂには、正常な動作が行われる場合が図示されている。

図７Ａにおいて、オーディオ再生装置２００はマルチメディア符号化データ再生装置３００からの制御信号を待機するスタンバイモードの状態にあり、マルチメディア符号化データ再生装置３００は、ユーザからの命令を待機するスタンバイモードの状態にある。この状態で、マルチメディア符号化データ再生装置３００がユーザから再生命令を受けた場合には、マルチメディア符号化データ再生装置３００は、ビデオ復号処理を行ってビデオデータバッファに復号後のビデオデータを格納するとともに、オーディオ再生装置２００に再生命令を含む制御信号を送信する。また、制御信号の送信後、マルチメディア符号化データ再生装置３００は、オーディオ再生装置２００からのステータス返信待機状態となる。

オーディオ再生装置２００は、マルチメディア符号化データ再生装置３００から制御信号を受信した後、制御信号内の操作命令（再生命令）を解読して、オーディオ復号処理を開始するとともに、正常に動作が開始された旨を通知する正常動作情報を含む応答信号（オーディオステータス）をマルチメディア符号化データ再生装置３００に返信する。

応答信号を受信したマルチメディア符号化データ再生装置３００は、その応答信号に含まれている正常動作情報を確認し、ビデオの再生を開始する。また、このビデオ再生開始処理と同期したタイミング（ビデオ再生及び／又はオーディオ再生の開始タイミングが遅延を考慮して設定されたタイミング）で、オーディオ再生装置２００においてオーディオ再生も開始される。これにより、オーディオ及びビデオの同期再生が開始される。その後、オーディオ再生装置２００及びマルチメディア符号化データ再生装置３００は、再びスタンバイモードの状態に移行する。

また、図７Ｂにおいて、オーディオ再生装置２００及びマルチメディア符号化データ再生装置３００は、同期再生を行っている。このとき、上述のように、オーディオ再生装置２００及びマルチメディア符号化データ再生装置３００は、スタンバイモードの状態にある。この状態で、マルチメディア符号化データ再生装置３００がユーザから停止命令を受けた場合には、マルチメディア符号化データ再生装置３００は、オーディオ再生装置２００に停止命令を含む制御信号を送信する。また、制御信号の送信後、マルチメディア符号化データ再生装置３００は、オーディオ再生装置２００からのステータス返信待機状態となる。

オーディオ再生装置２００は、マルチメディア符号化データ再生装置３００から制御信号を受信した後、制御信号内の操作命令（停止命令）を解読して、正常に動作が開始された旨を通知する正常動作情報を含む応答信号（オーディオステータス）をマルチメディア符号化データ再生装置３００に返信する。

応答信号を受信したマルチメディア符号化データ再生装置３００は、その応答信号に含まれている正常動作情報を確認し、ビデオ再生の停止を実行する。また、このビデオ再生停止処理と同期したタイミング（ビデオ再生及び／又はオーディオ再生の開始タイミングが遅延を考慮して設定されたタイミング）で、オーディオ再生装置２００においてオーディオ再生も停止される。これにより、オーディオ及びビデオの同期再生が停止される。その後、オーディオ再生装置２００及びマルチメディア符号化データ再生装置３００は、再びスタンバイモードの状態に移行する。

なお、マルチメディア符号化データ再生装置３００とオーディオ再生装置２００とは物理的に分離された装置であり、基準となる動作周波数が異なるため、それぞれの動作に時間的なずれが生じる可能性がある。一般的に、このずれは装置のクロック精度に依存するものであるが、このずれは微小なものであるため、ユーザがずれを知覚するまでに時間がかかることもある。したがって、最初に再生を開始する際にのみ制御信号を発信して再生開始タイミングを同期させた後は、基本的にそのまま映像と音声とは同期し続けるので、再生終了時までビデオ再生装置及びオーディオ再生装置を自走させることも可能である。

一方、特に、コンテンツの再生時間が長い場合などには、ユーザが知覚できる程度まで、映像と音声との間にずれが生じる可能性がある。このようなずれに対応するため、マルチメディア符号化データ再生装置３００からオーディオ再生装置２００に対して時間情報を定期的に送信し、オーディオ再生装置２００は、同期再生のずれを検知し、マルチメディア符号化データ再生装置３００から定期的に送られてくる時間情報に従って、オーディオ再生の時間管理を行うことも可能である。ずれが検知された場合には、オーディオ再生装置２００は、例えば、従来の技術（特許文献１に開示されている技術）のようにユーザに違和感を与えないように配慮しながら、オーディオデータを適当なサンプル分だけ挿入又は削除することで、定期的にずれの補正を行うことによって、常にビデオとオーディオの同期付けが継続されるようにすることが可能である。

また、ユーザがずれを知覚した段階で、ユーザ自身がずれの補正指示を行うことによって、マルチメディア符号化データ再生装置３００からオーディオ再生装置２００に対して再生開始命令が再度発信され、ビデオとオーディオの同期再生を再設定できるようにすることも可能である。ユーザの操作による同期の再設定は、必要に応じてずれの補正を行うものである。したがって、マルチメディア符号化データ再生装置３００からオーディオ再生装置２００に対する時間情報の送信は、同期再生の再設定が必要な場合のみ行われることとなり、必要最低限の無線伝送によって同期再生を維持することが可能となるという利点を有している。

また、マルチメディア符号化データ再生装置３００とオーディオ再生装置２００との間の双方向通信に、光無線通信ではなく、電波による無線伝送方式を採用してもよい。本発明は、従来の技術のようにリアルタイムでオーディオデータ伝送を行うものではなく、マルチメディア符号化データ再生装置３００とオーディオ再生装置２００との間で、伝送量の極めて少ない制御信号及び応答信号のやり取りが行われるに過ぎず、電波の利用が好ましくないとされる環境下においても、周囲に影響を与える可能性が非常に小さいと言える。

以上、説明したように、本発明によれば、物理的に離れた状態のビデオ再生装置とオーディオ再生装置を用いる視聴環境下において、あらかじめビデオデータ及びオーディオデータを含むマルチメディア符号化データから、補助情報として時間情報などを付加したオーディオ符号化データを分離しオーディオ再生装置へ伝送することで、リアルタイムデータ転送無しにビデオデータとオーディオデータの同期再生を実現することができ、ワイヤレスの利便性を維持したまま、無線伝送の好ましくない状況でもマルチメディア符号化データのコンテンツを楽しむことができる。

以上、説明したように、本発明によれば、マルチメディア符号化データ再生装置（ビデオ再生装置）とオーディオ再生装置とが物理的に離れた場所に存在し、無線によって接続している状態において、あらかじめマルチメディア符号化データ分離伝送装置で、マルチメディア符号化データからオーディオデータを再構成して、再構成されたオーディオデータをオーディオ再生装置にあらかじめ格納しておき、コンテンツの再生を行う場合には、マルチメディア符号化データ再生装置からオーディオ再生装置に対して、遅延を考慮したタイミングで、再生開始命令（あるいは、その他の操作命令）が無線を介して送信されるようにすることによって、リアルタイムでオーディオデータを無線伝送することなく、ビデオデータとオーディオデータの同期再生を実現することが可能となる。また、オーディオ再生装置が、マルチメディア符号化データ再生装置から受信した制御信号に対して、その制御信号に基づく動作が正常に行えたか否かを示す応答信号を返信することによって、例えば、何らかの不具合によって動作が正常に行われなかった場合の認識や、その原因の早期発見が可能となる。

なお、上述の実施の形態に記載されている構成や動作は一例にすぎず、本発明は、上述の実施の形態の記載に限定されるものではない。また、本発明を説明するために図示されているブロック図の各構成要素は機能を表すものであり、これらの各構成要素は、ハードウェア、ソフトウェア、あるいは、ハードウェアとソフトウェアの組み合わせによって実現可能である。

また、本発明によれば、下記の態様も提供される。

本発明の第５の態様によれば、上記の本発明の第１〜第３の態様において、前記ビデオ復号手段の復号処理によって生成された前記ビデオデータを一時的に格納するビデオデータ格納手段を有し、
前記ビデオ再生制御手段は、あらかじめ前記ビデオ復号手段で復号されて前記ビデオデータ格納手段に格納されている前記ビデオデータの出力開始を指示することによって、前記映像出力の開始を行うように構成されているビデオ再生装置が提供される。

また、本発明の第６の態様によれば、上記の本発明の第１〜第３の態様において、前記ビデオ復号手段に供給される前記ビデオ符号化データを一時的に格納するビデオ符号化データ格納手段を有し、
前記ビデオ再生制御手段は、あらかじめ前記ビデオ符号化データ格納手段に格納されている前記ビデオ符号化データの出力開始を指示することによって、前記映像出力の開始を行うように構成されているビデオ再生装置が提供される。

また、本発明の第７の態様によれば、上記の本発明の第１〜３、５、６の態様において、前記無線信号送信手段及び前記無線信号受信手段が、赤外線を用いた光無線伝送によって無線信号の伝送を行うように構成されているビデオ再生装置が提供される。

また、本発明の第８の態様によれば、上記の本発明の第１〜３、５、６、７の態様において、前記ビデオ再生制御手段が、前記所定のオーディオ再生装置との間における無線伝送の遅延を考慮して設定されたタイミングで、前記映像出力を開始するように構成されているビデオ再生装置が提供される。

また、本発明の第９の態様によれば、上記の本発明の第４の態様において、前記動作実行判断手段において正常に動作を開始することが不可能であると判断された場合には、前記応答信号生成手段は、正常に動作を開始することが不可能である理由を示す情報を含む前記応答信号を生成するように構成されているオーディオ再生装置が提供される。

また、本発明の第１０の態様によれば、上記の本発明の第４、９の態様において、前記無線信号送信手段及び前記無線信号受信手段が、赤外線を用いた光無線伝送によって無線信号の伝送を行うように構成されているオーディオ再生装置が提供される。

本発明は、ビデオ再生装置とオーディオ再生装置とが物理的に離れた場所に存在し、無線によって接続している状態を維持したまま、例えば公共性の高い場所などを始めとする電波使用が制限されている環境においても、簡易な構成によってビデオデータとオーディオデータの同期再生を実現し、ワイヤレス接続に係る利便性の維持、装置の低コスト化、装置の小型化や低重量化を可能にするという効果を有しており、物理的に離れた状態にあるビデオ再生装置及びオーディオ再生装置において、１つのマルチメディア符号化データに含まれるビデオデータ及びオーディオデータの同期再生を可能とするための技術に適用可能である。

本発明の実施の形態において、前工程段階に係る処理を行うマルチメディア符号化データ分離伝送装置及びオーディオ再生装置の構成の一例を示すブロック図である。 本発明の実施の形態において、後工程段階に係る処理を行うマルチメディア符号化データ再生装置及びオーディオ再生装置の構成の一例を示すブロック図である。 本発明の実施の形態において、後工程段階に係る処理を行うオーディオ再生装置の構成の一例を示すブロック図である。 本発明の実施の形態において、同期再生を開始する際のマルチメディア符号化データ再生装置の制御部の動作の一例を示すフローチャートである。 本発明の実施の形態において、同期再生時に操作入力が行われた際のマルチメディア符号化データ再生装置の制御部の動作の一例を示すフローチャートである。 本発明の実施の形態において、マルチメディア符号化データ再生装置からの制御信号に従うオーディオ再生装置の制御部の動作の一例を示すフローチャートである。 本発明の実施の形態における再生命令入力時のオーディオ再生装置、マルチメディア符号化データ再生装置、ユーザによる操作命令の入力のそれぞれのタイミングの一例を示すタイミングチャートである。 本発明の実施の形態における停止命令入力時のオーディオ再生装置、マルチメディア符号化データ再生装置、ユーザによる操作命令の入力のそれぞれのタイミングの一例を示すタイミングチャートである。 従来の技術に係るマルチメディア符号化データ再生装置の一例を示すブロック図である。 従来の技術に係る分離型マルチメディア符号化データ再生装置の一例を示すブロック図である。 従来の技術に係る分離型マルチメディア符号化データ再生装置の一例を示す外観図である。

符号の説明

１００ マルチメディア符号化データ分離伝送装置
１０１、３０１、１００１、２１０１ マルチメディアストリームバッファ
１０２、３０２、１００２、２１０２ システムストリーム分離部
１０３、２０２ オーディオストリームバッファ
１０４ 補助情報バッファ
１０５ オーディオストリーム再構成部
１０６ オーディオストリーム送信部
２００、２００２ オーディオ再生装置
２０１ オーディオストリーム受信部
２０３ 後工程処理部
２０４ 位置特定及びデータ選定部
２０５、３０５、１００５、２１０５ 制御部
２０６ オーディオ復号部
２０７、１００６、２１０６、２２０３ オーディオデータバッファ
２０８、１００８、２２０４ スピーカ
２０９、３０９ 無線送信部
２１０、３１０ 無線受信部
３００、１０００ マルチメディア符号化データ再生装置（ビデオ再生装置）
３０３ 補助情報抽出部
３０４、１００４、２１０４ ビデオ復号部
３０６ 補助情報／操作情報生成部
３０７、１００７、２１０７ ビデオデータバッファ
３０８、１００９、２１０９ モニタ
３１１ 受信情報解読部
１００３、２１０３、２２０２ オーディオ復号部
２００１ マルチメディア符号化データ再生伝送装置
２１１０ オーディオデータ送信部
２２０１ オーディオデータ受信部
３００１ 本体装置
３００２ ヘッドフォン

Claims (4)

1. ビデオ符号化データと、オーディオ符号化データと、前記各符号化データの再生時間の管理を行うための時間情報を含む補助情報とが多重化されたマルチメディア符号化データが記録されている記録媒体から、前記マルチメディア符号化データを読み出すマルチメディア符号化データ読み出し手段と、
   前記マルチメディア符号化データの再生動作に係る外部からの指示を入力するための操作入力手段と、
   前記操作入力手段で入力された前記再生動作に係る再生位置を示す時間情報を含む前記補助情報と、前記再生動作の開始指示を行うための操作情報とを、前記マルチメディア符号化データに含まれる前記オーディオ符号化データがあらかじめ格納されている所定のオーディオ再生装置に無線を介して送信する無線信号送信手段と、
   前記所定のオーディオ再生装置から、前記再生動作の開始指示に対して正常に動作を行うことが可能か否かを示す応答信号を無線を介して受信する無線信号受信手段と、
   前記応答信号を参照して、前記所定のオーディオ再生装置が前記再生動作の開始指示に対して、正常に動作を開始することが可能か否かを解読する応答信号解読手段と、
   前記マルチメディア符号化データに含まれる前記ビデオ符号化データに関し、前記操作入力手段で入力された前記再生動作に係る前記再生位置以降の復号処理を行うビデオ復号手段と、
   前記ビデオ復号手段における前記ビデオ符号化データの復号処理によって生成されたビデオデータによる映像を視覚的に表示する映像表示手段と、
   前記応答信号解読手段における前記応答信号の解読によって、前記所定のオーディオ再生装置が前記再生動作の開始指示に対して正常に動作を開始することが可能である旨を示す応答信号を受信したと判断された場合に、前記操作入力手段で入力された前記再生動作に係る前記再生位置以降の映像出力を開始するように制御するビデオ再生制御手段とを、
   有するビデオ再生装置。
2. 前記応答信号解読手段における前記応答信号の解読によって、前記所定のオーディオ再生装置が前記再生動作の開始指示に対して正常に動作を開始することが不可能である旨を示す応答信号を受信したと判断された場合に、所定時間が経過するまで又は所定回数を超えるまで、前記補助情報及び前記操作情報を繰り返し送信し続けるように制御する無線信号送信制御手段と、
   前記所定時間が経過しても又は前記所定回数を超えても、前記所定のオーディオ再生装置から、前記再生動作の開始指示に対して正常に動作を行うことが可能である旨を示す前記応答信号を受信できなかった場合には、前記操作入力手段で入力された前記再生動作を中止するように制御するビデオ再生待機制御手段とを、
   有する請求項１に記載のビデオ再生装置。
3. 前記所定のオーディオ再生装置から前記再生動作の開始指示に対して正常に動作を開始することが不可能である旨を示す応答信号を受信した場合、及び／又は、所定時間が経過するまで又は所定回数を超えても、前記所定のオーディオ再生装置から前記再生動作の開始指示に対して正常に動作を行うことが可能である旨を示す前記応答信号を受信できなかった場合には、その旨の報知を行う報知手段を有する請求項２に記載のビデオ再生装置。
4. ビデオ符号化データと、オーディオ符号化データと、前記各符号化データの再生時間の管理を行うための時間情報を含む補助情報とが多重化されたマルチメディア符号化データから前記オーディオ符号化データ及び前記補助情報がいったん分離された後、オーディオ符号化データのオーディオ再生が行われるように再構成された前記オーディオ符号化データ及び前記補助情報を格納するデータ格納手段と、
   再生動作に係る再生位置を示す時間情報を含む前記補助情報と、前記再生動作の開始指示を行うための操作情報とを、所定のビデオ再生装置から無線を介して受信する無線信号受信手段と、
   前記無線信号受信手段で受信した前記補助情報及び前記操作情報を参照して、前記再生動作の開始指示に対して、正常に動作を開始することが可能か否かを判断する動作実行判断手段と、
   前記動作実行判断手段における判断結果に基づいて、前記再生動作の開始指示に対して正常に動作を開始することが可能か否かを示す応答信号を生成する応答信号生成手段と、
   前記応答信号生成手段で生成された前記応答信号を、前記所定のビデオ再生装置に無線を介して送信する無線信号送信手段とを、
   前記動作実行判断手段における判断によって、前記再生動作の開始指示に対して正常に動作を開始することが可能であると判断された場合に、前記データ格納手段に格納されている前記オーディオ符号化データに関し、前記再生動作に係る前記再生位置以降の復号処理を行うオーディオ復号手段と、
   前記オーディオ復号手段で復号された前記オーディオ符号化データの音声を出力する音声出力手段とを、
   有するオーディオ再生装置。