JP2007081780A - 再生制御装置、表示装置および再生システム - Google Patents

Abstract

【課題】ネットワークを介して音声出力装置に出力した音声データに基づく音声の出力タイミングと表示部による映像の表示タイミングとを確実に同期させる。
【解決手段】同期して再生すべき一対の再生用映像データおよび再生用音声データを映像音声データに基づいて生成するデータ生成部と、ネットワークを介して再生用音声データを音声出力装置に出力するデータ出力部と、映像を表示させるべく再生用映像データを表示部に出力すると共にデータ出力部を制御して再生用音声データを出力させる制御部と、音声を集音する集音部とを備え、制御部は、データ出力部を制御して音声出力装置に所定の音声データを出力させた時点から（ステップ７３）所定の音声データに基づく音声が集音部によって集音された時点までの時間長に応じて、再生用映像データに基づく映像の表示タイミングを変更する（ステップ７９，８１）。
【選択図】図３

Description

本発明は、映像音声データに基づいて再生用映像データおよび再生用音声データを生成して再生用映像データを表示部に出力してその再生用映像データに基づく映像を表示させると共に再生用音声データを音声出力装置に出力してその再生用音声データに基づく音声を出力させる再生制御装置、その再生制御装置と表示部とを備えた表示装置、並びに、再生制御装置と表示部と音声出力装置とを備えた再生システムに関するものである。

この種の再生制御装置に関連する技術として、映像音声伝送送信装置（以下、「送信装置」ともいう）と、映像音声伝送受信装置（以下、「受信装置」ともいう）とを備えた映像音声伝送システム（以下、「伝送システム」ともいう）が特開２００４−１０４５５４号公報に開示されている。この伝送システムの使用に際しては、まず、送信装置の映像入力端子および音声入力端子に例えばビデオテープレコーダ等の再生装置を接続すると共に、送信装置の音声出力端子に音声出力装置（オーディオアンプ）を接続し、かつ、受信装置の映像出力端子に液晶ビデオプロジェクタ等の表示装置を接続する。次いで、再生装置によるビデオテープの再生処理を開始させてアナログ映像信号およびアナログ音声信号を出力させる。この際に、この伝送システムでは、送信装置が再生装置から出力されたアナログ映像信号に基づいてデジタル映像信号を生成して受信装置に送信すると共に、受信装置が送信されたデジタル映像信号に基づいてアナログ映像信号を生成して表示装置に出力する。これにより、受信装置から出力されたアナログ映像信号に基づく映像が表示装置によって表示される。また、送信装置では、Ａ／Ｄ変換回路が再生装置から出力されたアナログ音声信号をデジタル音声信号に変換すると共に、Ｄ／Ａ変換回路が変換されたデジタル音声信号をアナログ音声信号に変換して音声出力装置に出力する。これにより、送信装置から出力されたアナログ音声信号に基づく音声が音声出力装置によって出力される。

この場合、この伝送システムでは、送信装置と受信装置との間においてデジタル映像信号を無線通信によって送受信する構成を採用している。このため、両装置間におけるデジタル映像信号の送受信量（データ量）を小さくすべく、送信装置においてデジタル映像信号を圧縮処理すると共に、圧縮されているデジタル映像信号を受信装置において伸長処理する構成が採用されている。この結果、この伝送装置では、再生装置から出力されたアナログ映像信号については、対応する映像が表示装置によって表示されるまでの間にデジタル映像データの圧縮処理および伸長処理が実行されるのに対して、再生装置から出力されたアナログ音声信号については、デジタル音声データの圧縮処理および伸長処理等が実行されることなく音声出力装置（オーディオアンプおよびスピーカ）から対応する音声が出力される。したがって、この伝送システムでは、送信装置のＡ／Ｄ変換回路とＤ／Ａ変換回路との間に遅延回路を設けて音声出力装置にアナログ音声信号を出力するまでの間に所定の遅延時間（デジタル映像データの圧縮処理および伸長処理に要する時間長の遅延時間）を生じさせている。これにより、圧縮処理および伸長処理の有無に起因して、スクリーンに映像が表示されるタイミングとスピーカから音声が出力されるタイミングとが非同期状態となる（音声に対して映像が遅れて表示される）事態を回避している。
特開２００４−１０４５５４号公報（第７−８頁、図１）

ところが、従来の伝送システムには、以下の問題点がある。すなわち、この伝送システムでは、デジタル映像データの圧縮処理および伸長処理に要する時間長に応じてアナログ音声信号を音声出力装置に出力するタイミングを遅延させることで、映像の表示タイミングと音声の出力タイミングとを同期させる構成が採用されている。一方、今日では、例えばＤＬＮＡ（Digital Living Network Alliance ）によって、再生装置、表示装置および音声出力装置等を相互にネットワーク接続してデジタル映像データやデジタル音声データを各装置間で送受信させて再生する利用形態が提案されている。この場合、ネットワークを介して各装置間でデジタルデータを送受信させる構成では、各装置間でデジタルデータを送受信するのに要する時間がネットワーク環境（装置の設置環境）に応じて相違する。また、ネットワークの利用状態などに応じてネットワークトラフィックが変化し、この点に起因して各装置間においてデジタルデータの送受信に要する時間が変化することもある。

したがって、圧縮処理および伸長処理に要する時間に応じて遅延時間を１つの時間長に規定している従来の伝送システムの構成を採用し、ネットワークを介してデジタル音声データを音声出力装置に送信しようとした場合には、ネットワーク環境の相違やネットワークトラフィックの変化に起因してデジタル音声データの送受信に要する時間が変化したときに、映像の表示タイミングと音声の出力タイミングとが非同期状態となることがある。具体的には、例えば、ネットワークトラフィックが悪化したときには、ネットワークトラフィックが良好であるときと比較して、音声出力装置によるデジタル音声データの受信が完了するまでに長い時間を要するため、映像の表示タイミングよりも音声の出力タイミングが遅れる事態が生じる。このように、各装置をネットワーク接続した環境下で従来の伝送システムの構成を採用して映像音声データを再生したときには、映像の表示タイミングと音声の出力タイミングとを同期させるのが困難であるという問題点が存在する。

本発明は、かかる問題点に鑑みてなされたものであり、ネットワークを介して音声出力装置に出力した音声データに基づく音声の出力タイミングと表示部による映像の表示タイミングとを確実に同期させ得る再生制御装置、表示装置および再生システムを提供することを主目的とする。

上記目的を達成すべく、本発明に係る再生制御装置は、同期して再生すべき一対の再生用映像データおよび再生用音声データを映像音声データに基づいて生成するデータ生成部と、ネットワークを介して前記再生用音声データを音声出力装置に出力するデータ出力部と、前記再生用映像データに基づく映像を表示させるべく当該再生用映像データを表示部に出力すると共に前記データ出力部を制御して前記再生用音声データを出力させる制御部と、音声を集音する集音部とを備え、前記制御部が、前記データ出力部を制御して前記音声出力装置に所定の音声データを出力させた時点から当該所定の音声データに基づく音声が前記集音部によって集音された時点までの時間長に応じて、前記再生用映像データに基づく前記映像の前記表示部による表示タイミングと前記データ出力部による前記再生用音声データの出力タイミングとの少なくとも一方を変更する。なお、本明細書における「音声」には、人体における発生気管から発せられる音のみならず、鳥の鳴き声、風の音および音楽等の各種の「音」が含まれる。

この再生制御装置によれば、所定の音声データを出力させた時点から所定の音声データに基づく音声が集音された時点までの時間長に応じて制御部が映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更することにより、デジタル音声データを出力する際の遅延時間を１つの時間長に規定している従来の伝送システムとは異なり、例えば、ネットワーク環境の相違に起因して再生用音声データを出力した時点からその再生用音声データに対応する音声が出力される時点までの時間長が相違するときであっても、そのネットワーク環境下における音声出力の遅延時間に応じて映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更して映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。また、再生制御装置と音声出力装置との間において例えばタイムコントロール機能を有する特殊なプロトコルで通信することなく、ｈｔｔｐやｆｔｐ等の極く一般的なプロトコルで通信可能となるため、極く一般的な汎用のネットワークアダプタを用いてデータ出力部を構成し、再生制御装置や音声出力装置を安価に構成することができる。

また、本発明に係る再生制御装置は、前記制御部が、前記データ出力部を制御して前記所定の音声データとして前記再生用音声データを出力させ、前記集音部によって集音された前記音声に基づいて生成された比較用音声データと当該再生用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該再生用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第１の特定処理を実行し、当該特定した時間長に応じて前記映像の表示タイミングと前記再生用音声データの出力タイミングとの少なくとも一方を変更する。

この再生制御装置によれば、制御部が比較用音声データに対応する再生用音声データを出力させた時点から比較用音声データに対応する音声が集音された時点までの時間長を特定する第１の特定処理を実行し、第１の特定処理によって特定した時間長に応じて映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更することにより、デジタル音声データを出力する際の遅延時間を１つの時間長に規定している従来の伝送システムとは異なり、映像音声データの再生時にネットワークトラフィックが変化して再生用音声データを出力した時点からその再生用音声データに対応する音声が出力される時点までの時間長が変化したとしても、その時間長の変化に応じて映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更して映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。

さらに、本発明に係る再生制御装置は、時間差特定用音声データを記憶する第１の記憶部を備え、前記制御部が、前記データ出力部を制御して前記所定の音声データとして前記時間差特定用音声データを出力させ、当該時間差特定用音声データと前記比較用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該時間差特定用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第２の特定処理を前記第１の特定処理に先立って実行し、当該第１の特定処理時において、前記再生用音声データを出力させた時点から前記第２の特定処理によって特定した時間長だけ経過した時点において生成された前記比較用音声データと当該再生用音声データとを比較する。

この再生制御装置では、制御部が比較用音声データに対応する時間差特定用音声データを出力させた時点から比較用音声データに対応する音声が集音された時点までの時間長を特定する第２の特定処理を第１の特定処理に先立って実行し、第１の特定処理時において、再生用音声データを出力させた時点から第２の特定処理によって特定した時間長だけ経過した時点において生成された比較用音声データと再生用音声データとを比較する。したがって、この再生制御装置によれば、第２の特定処理を実行することなく映像音声データの再生時に再生用音声データを出力した時点から再生用音声データに対応する音声が出力された時までの時間長に応じて映像の表示タイミングと音声の出力タイミングとを同期させる構成とは異なり、映像音声データの再生開始直後から映像の表示タイミングと音声の出力タイミングとを同期させることができる。また、映像音声データの再生処理と並行して第１の特定処理を実行することにより、映像音声データの再生中にネットワークトラフィックが変化するなどして再生用音声データに基づく音声の出力に要する時間が変化したとしても、第１の特定処理によって特定される特定される時間長に基づいて映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更して映像の表示タイミングと音声の出力タイミングとを同期させた状態を維持することができる。

また、本発明に係る再生制御装置は、前記再生用音声データを記憶する第２の記憶部を備え、前記制御部が、前記第１の特定処理時において、前記データ出力部を制御して出力させた前記再生用音声データのうちの所定時間分の当該再生用音声データを前記第２の記憶部に記憶させると共に、当該第２の記憶部に記憶させた前記再生用音声データのうちの第１の時点から第２の時点までの間に出力された当該再生用音声データと前記比較用音声データとを比較し、当該比較用音声データに対応する前記再生用音声データが前記第１の時点から前記第２の時点までに出力された当該再生用音声データのなかに存在しなかったときに、当該第１の時点と当該第２の時点との少なくとも一方を予め規定された時間分だけ相違する時点に変更する変更処理を実行し、当該変更処理後の前記第１の時点から当該変更処理後の前記第２の時点までの間に出力された前記再生用音声データと前記比較用音声データとを比較する。

この再生制御装置では、第１の特定処理時において、出力した再生用音声データのうちの所定時間分の再生用音声データを第２の記憶部に記憶させ、その再生用音声データのうちの第１の時点から第２の時点までの間に出力された再生用音声データと比較用音声データとを比較し、比較用音声データに対応する再生用音声データが第１の時点から第２の時点までに出力された再生用音声データのなかに存在しなかったときに、第１の時点と第２の時点との少なくとも一方を予め規定された時間分だけ相違する時点に変更する変更処理を実行し、変更処理後の第１の時点から変更処理後の第２の時点までの間に出力された再生用音声データと比較用音声データとを比較する。したがって、この再生制御装置によれば、データ出力部から出力した再生用音声データのすべてを第２の記憶部に記憶させて、そのすべてを比較対象として比較用音声データと比較する構成とは異なり、少ない記憶容量の記憶素子で第２の記憶部を構成することができると共に、第１の時点および第２の時点を自動的に変更して比較用音声データに対応する再生用音声データを確実に検出することができる。また、比較用音声データに対応する再生用音声データが第１の時点から第２の時点までに出力された再生用音声データのなかに存在しなかったときに、変更処理時において、第１の時点と第２の時点との双方を予め規定された時間分だけ相違する時点にそれぞれ変更することで、第１の特定処理において比較すべき再生用音声データのデータサイズ（データブロック数）を少なくして短時間で処理することができる。

さらに、本発明に係る再生制御装置は、時間差特定用音声データを記憶する第１の記憶部を備え、前記制御部が、前記データ出力部を制御して前記所定の音声データとして前記時間差特定用音声データを出力させ、前記集音部によって集音された前記音声に基づいて生成された比較用音声データと当該時間差特定用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該時間差特定用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第２の特定処理を実行し、当該特定した時間長に応じて前記映像の表示タイミングと前記再生用音声データの出力タイミングとの少なくとも一方を変更する。

この再生制御装置によれば、制御部が比較用音声データに対応する時間差特定用音声データを出力させた時点から比較用音声データに対応する音声が集音された時点までの時間長を特定する第２の特定処理を実行し、第２の特定処理によって特定した時間長に応じて映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更することにより、映像音声データの再生に先立って第２の特定処理によって特定した遅延時間（時間長）に基づき、映像音声データの再生処理中に第１の特定処理等を実行することなく、映像の表示タイミングと音声の出力タイミングとを同期させることができる。

また、本発明に係る再生制御装置は前記制御部が前記映像の表示タイミングおよび前記再生用音声データの出力タイミングのうちの当該表示タイミングのみを前記特定した時間長に応じて変更する。

この再生制御装置によれば、制御部が再生用映像データに基づく映像の表示タイミングのみを変更することにより、再生用音声データの出力タイミングを変更して映像の表示タイミングと音声の出力タイミングとを同期させる構成とは異なり、音声出力装置から出力される音声を途切れさせることなく映像の表示タイミングと音声の出力タイミングとを同期させることができる。したがって、音声が途切れるといった違和感を認識させることなく映像音声データを再生することができる。

また、本発明に係る表示装置は、上記のいずれかの再生制御装置と、前記表示部とを備えて構成されている。

この表示装置によれば、上記の再生制御装置と表示部とを備えたことにより、例えば、外部装置としての表示部に再生用映像データを出力して映像を表示させる構成とは異なり、再生用映像データを表示部に出力した時点から再生用映像データに基づく映像が表示部によって表示される時点までの時間長を十分に短くすることができるしたがって、第１の特定処理によって特定した時間長（遅延時間）に基づき、再生用映像データに基づく映像の表示を遅延させることなく、変更した表示タイミングで映像を正確に表示させることができる。

また、本発明に係る再生システムは、上記のいずれかの再生制御装置と、前記表示部と、前記音声出力装置とを備えて構成されている。

この再生システムによれば、上記の再生制御装置と表示部と音声出力装置とを備えたことにより、再生用映像データに基づく映像の表示タイミングと、その再生用映像データと同期して再生すべき再生用音声データに基づく音声の出力タイミングとを同期させて映像音声データＤを再生することができる。

以下、本発明に係る再生制御装置、表示装置および再生システムの最良の形態について、添付図面を参照して説明する。図１に示すプロジェクタ１は、本発明に係る再生制御装置と本発明における表示部とを一体的に構成した表示装置の一例であって、ネットワークＮを介してコンテンツ配信サーバ２やオーディオアンプ３等に接続されている。なお、プロジェクタ１、コンテンツ配信サーバ２およびオーディオアンプ３の間に存在するＤＨＣＰサーバ等の各種サーバについては、本発明についての理解を容易とするために、その図示および説明を省略する。また、プロジェクタ１とオーディオアンプ３とは、一例として、プロジェクタ１による映像を表示するためのスクリーンと共に同じ居室内に設置されているものとする。この場合、この例では、プロジェクタ１、オーディオアンプ３、およびオーディオアンプ３に接続されたスピーカ４によって本発明における再生システムが構成されている。

プロジェクタ１は、本発明に係る表示装置の一例であって、通常のプロジェクタに相当する映像表示部１４の他に、ネットワークアダプタ１１、映像音声処理部１２および再生処理部１３を備え、コンテンツ配信サーバ２から出力される映像音声データＤに基づく映像を図示しないスクリーンに表示可能に構成されている。この場合、映像音声データＤは、一例として、ＭＰＥＧ−２に準拠した動画データで構成されている。また、このプロジェクタ１は、後述するように、映像音声データＤに基づいて生成した音声データＤａ１をオーディオアンプ３にネットワークＮを介して出力可能に構成されている。ネットワークアダプタ１１は、ネットワークＮに接続して各種デジタルデータを送受信する装置であって、コンテンツ配信サーバ２から映像音声データＤおよび音声データＤｃ等を受信する。また、ネットワークアダプタ１１は、本発明におけるデータ出力部に相当し、後述する制御部２８の制御に従い、ネットワークＮを介してオーディオアンプ３に音声データＤａ１等を出力する。映像音声処理部１２は、本発明におけるデータ生成部に相当し、コンテンツ配信サーバ２から出力された（ネットワークＮを介して受信した）映像音声データＤに基づき、同期して同時に再生すべき一対の映像データＤｖおよび音声データＤａを生成して再生処理部１３に出力する。

再生処理部１３は、映像データ記憶部２１、音声データ記憶部２２、音声処理部２３、バッファ２４、タイマ２５、マイク２６、Ａ／Ｄコンバータ２７、制御部２８およびタイミングデータ記憶部２９を備え、映像音声データＤに基づく映像および音声の再生に際して映像表示部１４による映像の表示タイミングとオーディオアンプ３による音声の出力タイミングとを同期させる機能を有している。映像データ記憶部２１は、制御部２８の制御に従い、映像音声処理部１２によって生成された映像データＤｖ（本発明における再生用映像データの一例）を記憶する。音声データ記憶部２２は、制御部２８の制御に従い、映像音声処理部１２によって生成された音声データＤａ（本発明における再生用音声データの一例）を記憶すると共に、本発明における第１の記憶部を構成して、ネットワークＮを介して受信した音声データＤｃ（本発明における時間差特定用音声データの一例）を記憶する。音声処理部２３は、制御部２８の制御に従い、音声データＤａまたは音声データＤｃに基づいて音声データＤａ１を生成する。この場合、音声データＤａ１は、一例として、ＭＰ３（MPEG-1 Audio Layer-III）に準拠して構成されている。また、音声データＤａ１に代えて例えばＬＰＣＭ方式の音声データＤａ２を生成して出力する構成を採用することもできる。

バッファ２４は、本発明における第２の記憶部に相当し、制御部２８の制御に従い、ネットワークアダプタ１１からオーディオアンプ３に出力された音声データＤａ１のうちの所定時間分の音声データ（音声データＤａ１の一部：以下、「音声データＤａ１１」ともいう）を記憶する。この場合、このプロジェクタ１では、後述するタイミング特定処理９０（図４参照）の開始時においては、一例として５００ｍｓ分の音声データＤａ１１をバッファ２４に記憶させるように設定されている。タイマ２５は、制御部２８の制御に従って所定のタイミングが到来するまでの時間を計時する。マイク２６は、本発明における集音部に相当し、プロジェクタ１の周囲の音声を集音して音声信号Ｓａ２を生成し、Ａ／Ｄコンバータ２７に出力する。この場合、マイク２６は、一例として、無指向性のマイクで構成されている。Ａ／Ｄコンバータ２７は、マイク２６から出力された音声信号Ｓａ２をＡ／Ｄ変換処理して音声データＤａ３（本発明における比較用音声データの一例）を生成する。なお、マイク２６とＡ／Ｄコンバータ２７との間に各種のフィルタやアンプ等を配設した構成や、Ａ／Ｄコンバータ２７と制御部２８との間に各種のフィルタ等を配設した構成を採用することもできる。制御部２８は、プロジェクタ１の各部を総括的に制御する。また、制御部２８は、本発明における制御部を構成し、後述するように、タイミング特定処理６０，９０および再生処理７０（図２〜４参照）を実行して映像音声データＤに基づく映像の表示タイミングと音声の出力タイミングとを同期させる。タイミングデータ記憶部２９は、制御部２８の制御に従い、第１基準タイミングデータＤｔ１および第２基準タイミングデータＤｔ２を記憶する。

映像表示部１４は、本発明における表示部の一例であって、バッファ３１、投射機構３２および表示制御部３３を備えている。バッファ３１は、再生処理部１３から出力された映像データＤｖを一時的に記憶する。投射機構３２は、一例として、ランプ駆動制御部および光学エンジン等を備え、表示制御部３３から出力された映像信号Ｓｖに基づく各種映像を図示しないスクリーンに表示する。具体的には、投射機構３２は、出力された映像信号Ｓｖに基づいてランプからの投射光を光変調してスクリーンに投射光Ｌを投射することで各種映像を表示する。この場合、上記の光学エンジンは、例えば、光変調素子（一例として、デジタルマイクロミラーデバイスや液晶ライトバルブ）と、投射レンズ（いずれも図示せず）とを備え、メタルハライドランプや高圧水銀ランプで構成されたランプを光源として投射光Ｌを射出する構成が採用されている。また、ランプ駆動制御部は、表示制御部３３の制御に従い、ランプを点灯させるためのランプ駆動パルスを生成して供給する。表示制御部３３は、映像データＤｖに基づいて映像信号Ｓｖを生成すると共に、投射機構３２を制御して映像信号Ｓｖに基づく映像を表示させる。なお、上記の映像表示部１４に代えて、スクリーンを一体化したリアプロジェクタや、液晶ディスプレイおよびプラズマディスプレイ等の各種ディスプレイを搭載した構成を採用することができる。

一方、コンテンツ配信サーバ２は、ネットワークＮ（インターネット）を介して各種の映像音声データＤを配信するサーバであって、ネットワークアダプタ４１、記憶装置４２および制御装置４３を備えている。ネットワークアダプタ４１は、ネットワークＮに接続する装置であって、制御装置４３の制御に従い、プロジェクタ１や図示しないパーソナルコンピュータ等に映像音声データＤを出力（配信）すると共に、プロジェクタ１等の要求に応じて音声データＤｃを出力する。記憶装置４２は、プロジェクタ１等に出力する複数の映像音声データＤや音声データＤｃ等を記憶する。制御装置４３は、ネットワークアダプタ４１を制御して記憶装置４２に記憶されている映像音声データＤや音声データＤｃをプロジェクタ１等に出力する。この場合、コンテンツ配信サーバ２とプロジェクタ１との間においては、一例としてｈｔｔｐおよびｆｔｐ等の標準的な通信プロトコルによって映像音声データＤ等が送受信される。

オーディオアンプ３は、プロジェクタ１から出力された音声データＤａ１に基づく音声信号Ｓａ１をスピーカ４に出力して音声を出力させる。この場合、この例では、オーディオアンプ３およびスピーカ４によって本発明における音声出力装置が構成されている。また、オーディオアンプ３は、ネットワークアダプタ５１、デコーダ５２、Ｄ／Ａコンバータ５３およびアンプ５４を備えている。ネットワークアダプタ５１は、オーディオアンプ３をネットワークＮに接続する装置であって、プロジェクタ１から出力された音声データＤａ１等を受信する。デコーダ５２は、例えば、ＭＰ３形式の音声データＤａ１をデコードしてＬＰＣＭ方式の音声データＤａ２を生成する。Ｄ／Ａコンバータ５３は、デコーダ５２によって生成された音声データＤａ２（または、プロジェクタ１から出力された音声データＤａ２）をＤ／Ａ変換処理して音声信号Ｓａ１を生成する。アンプ５４は、音声信号Ｓａ１を増幅してスピーカ４に出力する。スピーカ４は、オーディオアンプ３から出力された音声信号Ｓａ１に基づく音声を出力する。

次に、プロジェクタ１の全体的な動作について、図面を参照して説明する。このプロジェクタ１の使用に際しては、一例として、プロジェクタ１、スクリーン、オーディオアンプ３およびスピーカ４の設置が完了し、プロジェクタ１およびオーディオアンプ３をネットワークＮにそれぞれ接続した状態において、プロジェクタ１の初期設定処理の１つとして、映像音声データＤ（動画コンテンツ）の再生時に映像の表示タイミングと音声の出力タイミングとを同期させるための基準タイミングを特定させる。具体的には、設定開始を指示された際に、制御部２８が図２に示すタイミング特定処理６０（本発明における「第２の特定処理」の一例）を開始する。このタイミング特定処理６０（以下、「特定処理６０」ともいう）では、制御部２８は、まず、タイミングチェック用の音声データＤｃが音声データ記憶部２２に記憶されているか否かを判別する（ステップ６１）。この際に、音声データ記憶部２２に音声データＤｃが記憶されていないときには、制御部２８は、ネットワークアダプタ１１を制御してコンテンツ配信サーバ２に接続し、コンテンツ配信サーバ２から音声データＤｃを出力（送信）させて音声データ記憶部２２に記憶させる（ステップ６２）。次いで、制御部２８は、バッファ２４を消去（クリア）すると共にタイマ２５をリセット（初期化）する（ステップ６３）。

続いて、制御部２８は、音声データＤｃに基づいて生成した音声データＤａ１のオーディオアンプ３への出力を開始する（ステップ６４）。具体的には、制御部２８は、音声処理部２３を制御して音声データＤｃに基づく音声データＤａ１を生成させると共に、ネットワークアダプタ１１を制御して音声データＤａ１をオーディオアンプ３に出力させる。また、制御部２８は、音声データＤａ１の出力開始と同時にタイマ２５を制御して計時を開始させると共に、ネットワークアダプタ１１から出力した音声データＤａ１のうちの所定時間分の音声データＤａ１１をバッファ２４に記憶させる。さらに、制御部２８は、映像表示部１４を制御して、例えば「初期設定処理中です。大きな音をたてずに暫くお待ち下さい」とのメッセージをスクリーンに表示させる。また、制御部２８は、音声データＤａ１の出力開始と共にＡ／Ｄコンバータ２７を制御して、マイク２６によって集音された音声に基づく音声データＤａ３を生成させる。この際に、プロジェクタ１から出力された音声データＤａ１を受信したオーディオアンプ３では、デコーダ５２が音声データＤａ１をデコードして音声データＤａ２を生成し、Ｄ／Ａコンバータ５３が音声データＤａ２をＤ／Ａ変換処理して音声信号Ｓａ１を生成し、アンプ５４が音声信号Ｓａ１を増幅してスピーカ４に出力する。この結果、プロジェクタ１から出力された音声データＤａ１に基づく音声がスピーカ４から出力される。

また、プロジェクタ１では、Ａ／Ｄコンバータ２７から出力される音声データＤａ３に基づき、制御部２８が所定の音圧を超える音声がマイク２６によって集音されたか否かを監視する（ステップ６５）。また、オーディオアンプ３（スピーカ４）によって音声データＤａ１に基づく音声が出力されて所定の音圧を超える音声がマイク２６によって集音されたときには、制御部２８は、バッファ２４に記憶させた音声データＤａ１１と、Ａ／Ｄコンバータ２７によって生成された音声データＤａ３とを比較し（ステップ６６）、音圧パターンが対応するものか否かを判別する（ステップ６７）。この際に、Ａ／Ｄコンバータ２７から出力された音声データＤａ３（すなわち、オーディオアンプ３によってスピーカ４から出力された音声）の音圧パターンと対応する音圧パターンであると判別したときには、制御部２８は、タイマ２５による計時結果に基づき、ネットワークアダプタ１１を制御して音声データＤａ１をオーディオアンプ３に出力させた時点から、音声データＤａ３の音圧パターンと対応する音圧パターンの音声データＤａ１１（音声データＤａ１の一部）を検出した時点までの時間長を音声出力についての遅延時間として演算し、その演算結果に基づいて第１基準タイミングデータＤｔ１を生成してタイミングデータ記憶部２９に記憶させる（ステップ６８）。この後、制御部２８は、音声データＤｃに基づいて生成された音声データＤａ１の出力が完了したときに（ステップ６９）、この特定処理６０を終了する。

一方、コンテンツ配信サーバ２によって配信された映像音声データＤ（動画コンテンツ）を再生する際には、制御部２８は、再生開始を指示された際に、図３に示す再生処理７０を開始する。この再生処理７０では、制御部２８は、まず、第１基準タイミングデータＤｔ１がタイミングデータ記憶部２９に記憶されているか否かを判別し（ステップ７１）、記憶されていないと判別したときには、前述した特定処理６０を実行する。また、第１基準タイミングデータＤｔ１がタイミングデータ記憶部２９に記憶されていると判別したとき、または、上記の特定処理６０を完了したときには、制御部２８は、図４に示すタイミング特定処理９０（本発明における「第１の特定処理」の一例）を開始する（ステップ７２）。この場合、（図４に示すように、）タイミング特定処理９０（以下、「特定処理９０」ともいう）は、映像音声データＤに基づいて生成された映像データＤｖに対応する映像の表示タイミングと、音声データＤａに対応する音声の出力タイミングとを同期させるための基準タイミングを特定するための処理であり、このタイミング特定処理９０が制御部２８によって再生処理７０と並行して実行されることで、再生中の映像音声データＤについての映像の表示タイミングと音声の出力タイミングとの正確な同期が図られ、その状態が再生完了まで維持される。

具体的には、制御部２８は、特定処理９０において、タイマ２５を初期化して計時を開始させると共に、後述する音圧パターンの比較範囲についてのパラメータを初期化する（ステップ９１）。次いで、制御部２８は、映像音声処理部１２を制御することにより、コンテンツ配信サーバ２から出力された映像音声データＤに基づいて映像データＤｖおよび音声データＤａを生成させると共に、音声処理部２３を制御して、音声データＤａに基づく音声データＤａ１を生成させる。この際に、制御部２８は、同期して再生すべき一対の映像データＤｖおよび音声データＤａ１の双方について所定のデータ量毎にブロック化すると共に、ブロック化した映像データＤｖおよび音声データＤａ１の各データブロックを再生すべきタイミングを特定可能なタイムスタンプを各データブロック毎に付与する（ステップ９２）。この結果、同期して再生すべき（同一タイミングで同時に再生すべき）映像データＤｖおよび音声データＤａ１（データブロック）に同一のタイムスタンプが付与される。また、タイムスタンプが付与された映像データＤｖは、制御部２８によって映像表示部１４に出力されてバッファ３１に記憶され、音声データＤａ１は、ネットワークアダプタ１１からネットワークＮを介してオーディオアンプ３に出力される（再生処理７０におけるステップ７３）。また、制御部２８は、ネットワークアダプタ１１から出力した音声データＤａ１のうちの所定時間分の音声データＤａ１１（データブロック）をバッファ２４に記憶させる。

この場合、制御部２８は、一例として、音声データＤａ１の出力を開始した時点から音声データＤａ１１のバッファ２４への記憶を開始すると共に、第１基準タイミングデータＤｔ１に基づいて特定される第１基準タイミングが到来する都度、バッファ２４内の音声データＤａ１１を最新の音声データＤａ１１（音声データＤａ１の他の一部）に更新する。この際に、制御部２８は、音声データＤａ１１の更新時点以前の１００ｍｓ分の音声データ（１００ｍｓ分のデータブロック）と、更新時点以後の４００ｍｓ分の音声データ（４００ｍｓ分のデータブロック）とを音声データＤａ１１としてバッファ２４に記憶させる。なお、特定処理９０の開始直後（すなわち、オーディオアンプ３に対する音声データＤａ１の出力開始直後）においては、図５に示すように、音声データＤａ１の出力開始時点から４００ｍｓ分の音声データのみが音声データＤａ１１としてバッファ２４に記憶される。また、第１基準タイミングが到来した時点以降においては、図６に示すように、例えば、第１基準タイミングが到来する以前の１００ｍｓ分の音声データと、第１基準タイミングが到来した後の４００ｍｓ分の音声データとが音声データＤａ１１としてバッファ２４に記憶される。

一方、制御部２８は、再生処理７０において、タイミングデータ記憶部２９に記憶させた第１基準タイミングデータＤｔ１とタイマ２５による計時結果とに基づき、第１基準タイミングが到来したと判別したとき、すなわち、前述した特定処理６０において音声データＤｃに対応する音声データＤａ１の出力開始時点から、音声データＤａ１に対応する音声がマイク２６によって集音された時点までの時間長と同じ時間が経過したときに（ステップ７４）、映像表示部１４を制御してバッファ３１に記憶されている映像データＤｖに対応する映像の表示を開始させる（「再生用映像データに基づく映像の表示部による表示タイミング」を変化させる一例：ステップ７５）。この際に、映像表示部１４では、表示制御部３３が制御部２８の制御に従ってバッファ３１から映像データＤｖを読み出して映像信号Ｓｖを生成し、生成した映像信号Ｓｖを投射機構３２に出力する。これに応じて、投射機構３２が映像信号Ｓｖに基づく映像を投射するための投射光Ｌをスクリーンに向けて射出する。これにより、映像データＤｖ（映像信号Ｓｖ）に基づく映像がスクリーンに表示される。

また、制御部２８は、特定処理９０において、タイミングデータ記憶部２９に記憶させた第１基準タイミングデータＤｔ１とタイマ２５による計時結果とに基づき、後述する許容時間だけ第１基準タイミングよりも早い所定のタイミングが到来したと判別したときに（ステップ９３）、Ａ／Ｄコンバータ２７を制御してマイク２６によって集音された音声に基づく音声データＤａ３の生成を開始させる。この場合、前述した特定処理６０では、音声データＤｃに対応する音声データＤａ１の出力時点から、その音声データＤａ１に対応する音声がマイク２６によって集音される時点まで（集音された音声に基づく音声データＤａ３が生成された時点まで）の間に第１基準タイミングデータＤｔ１に対応する時間長の遅延が生じている。したがって、音声データＤａに対応する音声データＤａ１の出力時点から、その音声データＤａ１に対応する音声がマイク２６によって集音される時点までの間にも第１基準タイミングデータＤｔ１に対応する時間長と等しいか、または、ほぼ等しい時間の遅延が生じることとなる。

このため、特定処理９０において、音声データＤａに基づく音声データＤａ１の出力開始直後からＡ／Ｄコンバータ２７による音声データＤａ３の生成を開始させた場合、第１基準タイミングデータＤｔ１に対応する第１基準タイミングが到来するまでの間に無音の音声データＤａ３（音声データＤａ１に対応する音声が含まれていない音声データＤａ３）が生成されることとなる。さらに、ネットワークトラフィックの変化に起因して、第１基準タイミングデータＤｔ１に対応する第１基準タイミングとは僅かに相違するタイミングで音声が出力されることもある。したがって、このプロジェクタ１では、第１基準タイミングデータＤｔ１に対応する第１基準タイミングに対して±１００ｍｓのばらつき許容範囲を規定すると共に、特定処理９０において、第１基準タイミングデータＤｔ１に対応する第１基準タイミングよりも１００ｍｓ分だけ早いタイミングが到来するまで待機した後に（ステップ９３）、Ａ／Ｄコンバータ２７を制御して音声データＤａ３の生成を開始させる。この結果、無音状態の音声データＤａ３についての比較処理（後述するステップ９５の処理）を不要とし、かつ、ネットワークトラフィックが変化して音声データＤａ１に対応する音声が僅かに早いタイミングで出力されたとしても、その音声をマイク２６によって集音して音声データＤａ３を生成することが可能となっている。

次いで、制御部２８は、Ａ／Ｄコンバータ２７から出力された音声データＤａ３に基づき、所定の音圧を超える音声がマイク２６によって集音されたか否かを監視する（ステップ９４）。この際に、オーディオアンプ３（スピーカ４）によって音声データＤａ１に基づく音声が出力された際には、所定の音圧を超える音声がマイク２６によって集音されて対応する音声データＤａ３がＡ／Ｄコンバータ２７によって生成される。これに応じて、制御部２８は、バッファ２４に記憶させた音声データＤａ１１（音声データＤａ１の一部）と、Ａ／Ｄコンバータ２７によって生成された音声データＤａ３とを比較し（ステップ９５）、音圧パターンが対応しているか否かを判別する（ステップ９６）。具体的には、制御部２８は、図５に示すように、音声データＤａ１の出力開始時点（時点ｔ０）から４００ｍｓ分の音声データＤａ１１のうちの、時点ｔ０（本発明における第１の時点）から時点ｔ２（本発明における第２の時点）までの１００ｍｓ分の音声データＤａ１１（データブロック）を比較範囲とし、この比較範囲内に、音声データＤａ３の音圧パターンと対応する音圧パターンの音声データＤａ１１（データブロック）が存在するか否かを判別する。

この際に、Ａ／Ｄコンバータ２７から出力された音声データＤａ３（すなわち、オーディオアンプ３によってスピーカ４から出力された音声）の音圧パターンと対応する音圧パターンの音声データＤａ１１を検出したときには、制御部２８は、音声データＤａに基づく音声データＤａ１の再生（音声データＤａ１に対応する音声の出力）に要した時間長（遅延時間）を演算する。具体的には、制御部２８は、音声データＤａ３の音圧パターンと対応する音圧パターンの音声データＤａ１１（データブロック）を特定することにより、音声データＤａ１の出力開始時点から第１基準タイミングデータＤｔ１に対応する遅延時間が経過した時点においてマイク２６によって集音された音声に対応する音声データＤａ３が、いずれの時点においてネットワークアダプタ１１から出力された音声データＤａ１（音声データＤａ１１：データブロック）に対応する音声であるかを特定する。また、制御部２８は、タイマ２５による計時結果と、特定した音声データＤａ１１（データブロック）に付与されたタイムスタンプとに基づき、第２基準タイミングデータＤｔ２を生成してタイミングデータ記憶部２９に記憶させる（ステップ９７）。

一方、制御部２８は、再生処理７０において、映像データＤｖの再生を開始させた後に（ステップ７５）、タイミングデータ記憶部２９に第２基準タイミングデータＤｔ２が記憶されているか否かを判別する（ステップ７６）。この際に、第２基準タイミングデータＤｔ２がタイミングデータ記憶部２９に記憶されていないとき（特定処理９０による第２基準タイミングデータＤｔ２の生成が完了していないとき）には、制御部２８は、映像音声データＤの再生が完了したか否かを判別し（ステップ７７）、完了していないときには、タイミングデータ記憶部２９に第２基準タイミングデータＤｔ２が記憶されているか否か（第２基準タイミングデータＤｔ２の記憶が完了したか否か）を再び判別する（ステップ７６）。また、特定処理９０において第２基準タイミングデータＤｔ２の生成処理が完了してタイミングデータ記憶部２９に記憶させた際には、第１基準タイミングデータＤｔ１に基づいて特定される第１基準タイミングと、第２基準タイミングデータＤｔ２に基づいて特定される第２基準タイミングとの時間的な早さを比較する。

この際に、第１基準タイミングが第２基準タイミングよりも早いとき、すなわち、前述した特定処理６０において音声データＤｃに対応する音声データＤａ１の出力開始時点から、その音声データＤａ１に対応する音声が出力された時点までに要した遅延時間よりも、映像音声データＤに基づいて生成された音声データＤａに対応する音声データＤａ１の出力開始時点から、その音声データＤａ１に対応する音声が出力された時点までに要した遅延時間の方が長いときには（ステップ７８）、制御部２８は、映像表示部１４に対する映像データＤｖの出力を所定時間（一例として、第１基準タイミングと第２基準タイミングとの時間差分）だけ停止させる（ステップ７９）。この結果、例えばネットワークトラフィックが良好となって音声データＤａ１の出力から対応する音声の出力までに要する時間が特定処理６０の実行時よりも長くなったとしても、映像音声データＤに基づいて生成された映像データＤｖに対応する映像の表示タイミングと、同じ映像音声データＤに基づいて生成された音声データＤａ（映像データＤｖと同期して再生されるべき音声データＤａ）に対応する音声の出力タイミングとが同期させられる。

これに対して、第１基準タイミングが第２基準タイミングよりも遅いとき、すなわち、前述した特定処理６０において音声データＤｃに対応する音声データＤａ１の出力開始時点から、その音声データＤａ１に対応する音声が出力された時点までに要した遅延時間よりも、映像音声データＤに基づいて生成された音声データＤａに対応する音声データＤａ１の出力開始時点から対応する音声が出力された時点までに要した遅延時間の方が短いときには（ステップ８０）、制御部２８は、映像表示部１４に対して出力している映像データＤｖを所定時間分（一例として、第１基準タイミングと第２基準タイミングとの時間差分）だけスキップさせる（ステップ８１）。この結果、例えばネットワークトラフィックが悪化して音声データＤａ１の出力から対応する音声の出力までに要する時間が特定処理６０の実行時よりも短くなったとしても、映像音声データＤに基づいて生成された映像データＤｖに対応する映像の表示タイミングと、同じ映像音声データＤに基づいて生成された音声データＤａに対応する音声の出力タイミングとが同期させられる。

一方、制御部２８は、特定処理９０において、バッファ２４に記憶させた音声データＤａ１１のうちの時点ｔ１ａから時点ｔ２ａまでの間に出力された音声データＤａ１１（データブロック：図６参照）の各音圧パターンと、Ａ／Ｄコンバータ２７によって生成された音声データＤａ３の音圧パターンとが対応していないと判別したときには（ステップ９６）、音声データＤａ３と比較する比較範囲（バッファ２４に記憶されている各音声データＤａ１１のうちのいずれを比較対象とするかのパラメータ）を変更する（本発明における変更処理：ステップ９９）。具体的には、制御部２８は、対応する音圧パターンの音声データＤａ１１が存在しなかった比較範囲（図６に示す比較範囲）の時点ｔ１ａ（第１の時点）および時点ｔ２ａ（第２の時点）をそれぞれ２５ｍｓ分だけ後の時点（本発明における「予め規定された時間分だけ相違する時点」の一例）に変更して、図７に示すように時点ｔ１ｂ（変更処理後の第１の時点）から時点ｔ２ｂ（変更処理後の第２の時点）までの２００ｍｓの範囲内（第１基準タイミング以前の７５ｍｓ分、および第１基準タイミング後の１２５ｍｓ分）において出力された音声データＤａ１に対応する音声データＤａ１１を新たな比較範囲として規定する。なお、変更処理によって比較範囲が過剰に拡がる事態を回避するために時点ｔ１ａ（第１の時点）および時点ｔ２ａ（第２の時点）の双方を同じ時間だけそれぞれ変更するのが好ましいが、時点ｔ１ａ（第１の時点）および時点ｔ２ａ（第２の時点）のいずれか一方のみを変更する構成を採用することもできる。

次いで、制御部２８は、新たに規定した比較範囲を対象とする比較処理（前述したステップ９５の処理）が可能であるか否かを判別する（ステップ１００）。具体的には、制御部２８は、比較範囲に対応する音声データＤａ１１のバッファ２４内への記憶が可能か否か、すなわち、新たに規定した時点ｔ２ｂが第１基準タイミング後の４００ｍｓ以内に到来するか否かを判別する。この際に、新たに規定した比較範囲を対象とする比較処理が可能であると判別したときに、制御部２８は、映像音声データＤに基づく映像の表示および音声の出力（映像音声データＤの再生）が完了したか否かを判別し（ステップ９８）、再生が完了していないと判別したときには、映像データＤｖおよび音声データＤａ１にタイムスタンプを付与すると共に（ステップ９２）、ステップ９３以降の処理を実行する。

また、ステップ９９における比較範囲の変更処理が複数回に亘って実行されることで第１基準タイミング以後の２００ｍｓから４００ｍｓまでの２００ｍｓ分の音声データ（音声データＤａ１１）を比較範囲とした状態において、音声データＤａ３の音圧パターンと対応する音圧パターンの音声データＤａ１１がその比較範囲内に存在しなかったときに、制御部２８は、ステップ９５における比較処理が不可能であると判別する（ステップ１００）。この際に、制御部２８は、バッファ２４内に記憶させる音声データＤａ１１のデータ量（バッファサイズ）を拡大する（ステップ１０１）。具体的には、制御部２８は、まず、第１基準タイミング以後の２００ｍｓから４００ｍｓまでの２００ｍｓ分（本発明における「第１の時点から第２の時点まで」の一例）の音声データＤａ１に対応する音声データＤａ１１を比較範囲とした状態において、対応する音圧パターンの音声データＤａ１１が検出されなかったときに（ステップ９６）、第１基準タイミング後２２５ｍｓ（図８に示す時点ｔ１ｃ）から４２５ｍｓ（図８に示す時点ｔ２ｃ）までの２００ｍｓ分（本発明における「変更処理後の第１の時点から変更処理後の第２の時点まで」の一例）の範囲を新たな比較範囲として規定する（ステップ９９）。次いで、制御部２８は、図８に示すように、バッファサイズを１００ｍｓ分だけ拡大して、第１基準タイミング以前の１００ｍｓ分の音声データと、第１基準タイミング後の５００ｍｓ分の音声データとの合計６００ｍｓ分の音声データを音声データＤａ１１（データブロック）としてバッファ２４に記憶させるように規定する（ステップ１０１）。このように、新たな比較範囲を対象とする比較処理が不可能であると判別したときに、制御部２８は、最大で１０００ｍｓ分の音声データＤａ１１をバッファ２４に記憶させるようにバッファサイズを拡大する（ステップ１０１）。

一方、対応する音圧パターンの音声データＤａ１１が検出されず、しかも、バッファサイズの拡大によってバッファサイズを上限まで拡大させたときには（この例では、１０００ｍｓ分の音声データＤａ１１を記憶させるように規定した状態：ステップ１０２）、制御部２８は、前述した比較範囲についてのパラメータおよびバッファサイズを初期化すると共に、第１基準タイミングデータＤｔ１を一例として５００ｍｓ分だけ早いタイミングに補正する（ステップ１０３）。この結果、次の第１基準タイミングが到来したとき（すなわち、補正以前の第１基準タイミングよりも５００ｍｓ早いタイミングが到来したとき）には、補正前の第１基準タイミング以前６００ｍｓの時点から補正前の第１基準タイミング以前１００ｍｓの時点までの５００ｍｓ分の音声データＤａ１１がバッファ２４に記憶されることとなる。

このように、比較範囲の変更（ステップ９９）、バッファサイズの拡大（ステップ１０１）および第１基準タイミングの補正（ステップ１０３）を実行した後にステップ９２以降の一連の処理を実行して、音声データＤａ３の音圧パターンと対応する音圧パターンの音声データＤａ１１がバッファ２４内に記憶されていると判別したときには（ステップ９６）、制御部２８は、前述したように第２基準タイミングデータＤｔ２を生成してタイミングデータ記憶部２９に記憶させる（ステップ９７）。これにより、再生処理７０のステップ７８，８０において第１基準タイミングデータＤｔ１に対応する第１基準タイミングと第２基準タイミングデータＤｔ２に対応する第２基準タイミングとが比較され、その比較結果に応じて映像データＤｖの出力タイミング（映像データＤｖに基づく映像の表示タイミング）が変更される。この結果、映像データＤｖ（音声データＤａ１）に対応する音声の出力タイミングと、映像データＤｖに対応する映像の表示タイミングとが同期させられる。

さらに、制御部２８は、再生処理７０において、映像データＤｖの出力を停止したとき（ステップ７９）、出力する映像データＤｖをスキップしたとき（ステップ８１）、および第１基準タイミングが第２基準タイミングと一致すると判別したとき（ステップ８０）のいずれかの時点において、映像音声データＤに基づく映像の表示および音声の出力（映像音声データＤの再生）が完了したか否かを判別する（ステップ７７）。この際に、再生を完了していないと判別したときには、制御部２８は、新たな第２基準タイミングデータＤｔ２をタイミングデータ記憶部２９に記憶させたか否か（新たな第２基準タイミングデータＤｔ２の記憶が完了したか否か）を監視する（ステップ７６）。また、映像音声データＤの再生が完了したと判別したときには（ステップ７７）、制御部２８は、この再生処理７０を終了する。

このように、このプロジェクタ１によれば、所定の音声データ（この例では、音声データＤｃ，Ｄａに対応する音声データＤａ１）を出力させた時点から所定の音声データに基づく音声が集音された時点（音声データＤａ３の音圧パターンと対応する音圧パターンの音声データＤａ１１が検出された時点）までの時間長に応じて制御部２８が映像データＤｖに基づく映像の映像表示部１４による表示タイミングを変更することにより、デジタル音声データを出力する際の遅延時間を１つの時間長に規定している従来の伝送システムとは異なり、例えば、ネットワーク環境の相違に起因して音声データＤａ１を出力した時点からその音声データＤａ１に対応する音声が出力される時点までの時間長が相違するときであっても、そのネットワーク環境下における音声出力の遅延時間に応じて映像データＤｖに基づく映像の表示タイミングを変更して映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。また、プロジェクタ１とオーディオアンプ３との間において例えばタイムコントロール機能を有する特殊なプロトコルで通信することなく、ｈｔｔｐやｆｔｐ等の極く一般的なプロトコルで通信可能となるため、極く一般的な汎用のネットワークアダプタ１１，５１を用いてプロジェクタ１やオーディオアンプ３を安価に構成することができる。

また、このプロジェクタ１では、制御部２８が音声データＤａ３に対応する時間差特定用音声データ（この例では、音声データＤｃ基づいて生成した音声データＤａ１）を出力させた時点から音声データＤａ３に対応する音声が集音された時点までの時間長を特定するタイミング特定処理６０を実行し、タイミング特定処理９０におけるステップ９５において、再生用音声データ（この例では、音声データＤａ基づいて生成した音声データＤａ１）を出力させた時点からタイミング特定処理６０によって特定した時間長だけ経過した時点（この例では、第１基準タイミングデータＤｔ１に基づいて特定される第１基準タイミングが到来した時点）において生成された音声データＤａ３と再生用音声データとを比較する。したがって、このプロジェクタ１によれば、特定処理６０を実行することなく（第１基準タイミングデータＤｔ１を生成するための基準タイミングを特定する処理を実行することなく）映像音声データＤの再生時に音声データＤａに対応する音声データＤａ１を出力した時点から音声データＤａ１に対応する音声が出力された時までの時間長に応じて映像の表示タイミングと音声の出力タイミングとを同期させる構成とは異なり、映像音声データＤの再生開始直後から映像の表示タイミングと音声の出力タイミングとを同期させることができる。また、再生処理７０と並行して特定処理９０を実行することにより、映像音声データＤの再生中にネットワークトラフィックが変化するなどして音声データＤａ１に基づく音声の出力に要する時間が変化したとしても、特定処理９０によって生成される第２基準タイミングデータＤｔ２に基づいて映像データＤｖに対応する映像の表示タイミングを逐次変更して映像の表示タイミングと音声の出力タイミングとを同期させた状態を維持することができる。

さらに、このプロジェクタ１では、出力した再生用音声データ（この例では、音声データＤａ基づいて生成した音声データＤａ１）のうちの所定時間分（一例として、５００ｍｓ分）の再生用音声データ（音声データＤａ１１）をバッファ２４に記憶させ、タイミング特定処理９０において、バッファ２４に記憶されている再生用音声データのうちの第１の時点（例えば、時点ｔ１ａ）から第２の時点（例えば、時点ｔ２ａ）までの間に出力された再生用音声データと音声データＤａ３とを比較し、音声データＤａ３に対応する再生用音声データが第１の時点から第２の時点までの間に出力された再生用音声データのなかに存在しなかったときに、第１の時点と第２の時点とを予め規定された時間分（この例では、２５ｍｓ分）だけ後の時点にそれぞれ変更して変更処理後の第１の時点（この例では、時点ｔ１ｂ）から変更処理後の第２の時点（この例では、時点ｔ２ｂ）までの間に出力された再生用音声データと音声データＤａ３とを比較する。したがって、このプロジェクタ１によれば、ネットワークアダプタ１１から出力した音声データＤａ１のすべてを音声データＤａ１１としてバッファ２４に記憶させてそのすべてを比較対象として音声データＤａ３と比較する構成とは異なり、少ない記憶容量の記憶素子でバッファ２４を構成することができると共に、第１の時点および第２の時点を自動的に変更して音声データＤａ３に対応する再生用音声データを確実に検出することができる。また、音声データＤａ３に対応する再生用音声データが第１の時点から第２の時点までに出力された再生用音声データのなかに存在しなかったときに、上記の変更処理時において、第１の時点と第２の時点との双方を予め規定された時間分だけ相違する時点（この例では、後の時点）にそれぞれ変更することで、特定処理９０のステップ９５において比較すべき音声データＤａ１１のデータサイズ（データブロック数）を少なくして短時間で処理することができる。

また、このプロジェクタ１によれば、映像データＤｖに基づく映像の表示タイミングのみを変更することにより、音声データＤａに基づく音声データＤａ１の出力タイミングを変更して映像の表示タイミングと音声の出力タイミングとを同期させる構成とは異なり、オーディオアンプ３（スピーカ４）から出力される音声を途切れさせることなく映像の表示タイミングと音声の出力タイミングとを同期させることができる。したがって、音声が途切れるといった違和感を認識させることなく映像音声データＤを再生することができる。

また、このプロジェクタ１によれば、本発明に係る再生制御装置と本発明における表示部とを備えて一体的に構成したことにより、例えば、外部装置としての表示部に映像データＤｖを出力して映像を表示させる構成とは異なり、映像表示部１４に映像データＤｖを出力した時点から映像データＤｖに基づく映像が表示される時点までの時間長を十分に短くすることができるしたがって、特定処理９０によって特定した時間長（遅延時間）に基づき、映像データＤｖに基づく映像の表示を遅延させることなく、変更した表示タイミングで映像を正確に表示させることができる。

また、本発明に係る再生システムによれば、プロジェクタ１（本発明に係る再生制御装置および本発明における表示部）と、オーディオアンプ３およびスピーカ４（音発明における音声出力装置）とを備えて構成したことにより、映像データＤｖに基づく映像の表示タイミングと、その映像データＤｖと同期して再生すべき音声データＤａに基づく音声の出力タイミングとを同期させて映像音声データＤを再生することができる。

なお、本発明は、上記の構成に限定されない。例えば、上記のプロジェクタ１では、プロジェクタ１の初期設定処理の１つとして特定処理６０を実行した後に、特定処理６０によって生成された第１基準タイミングデータＤｔ１を利用して再生処理７０と特定処理９０とを並行して実行する構成を採用しているが、映像の表示タイミングと音声の出力タイミングとを同期させるための基準タイミングを特定する処理（上記の特定処理６０，９０と同様の処理）については、例えばプロジェクタ１の初期設定時と、映像音声データＤの再生時とのいずれか一方のみに実行する構成を採用することができる。具体的には、特定処理６０を実行することなく、かつ、上記の再生処理７０に代えて図９に示す再生処理１１０を実行することで映像の表示タイミングと音声の出力タイミングとを同期させることができる。

この再生処理１１０では、映像音声データＤの再生を指示された際に、まず、前述した特定処理９０を開始させる（ステップ１１１）。この場合、再生処理１１０と並行して実行する特定処理９０では、ステップ９３におけるタイミングの到来までの待機を実行せずに、その他のステップについては前述した処理と同様に実行する。したがって、この特定処理９０についての説明を省略する。次いで、制御部２８が、音声データＤａに基づく音声データＤａ１のオーディオアンプ３への出力を開始すると共に（ステップ１１２）、映像表示部１４による映像データＤｖの再生を開始させる（ステップ１１３）。続いて、制御部２８は、第２基準タイミングデータＤｔ２がタイミングデータ記憶部２９に記憶されているか否かを判別する（ステップ１１４）。この際に、第２基準タイミングデータＤｔ２の記憶が完了していないときには、制御部２８は、映像音声データＤの再生が完了したか否かを判別し（ステップ１１５）、再生が完了していないときには、第２基準タイミングデータＤｔ２が記憶されたか否かを判別する（ステップ１１４）。また、並行して実行している特定処理９０によって第２基準タイミングデータＤｔ２を生成してタイミングデータ記憶部２９に記憶させた際には、制御部２８は、生成された（タイミングデータ記憶部２９に記憶させた）第２基準タイミングデータＤｔ２に基づく第２基準タイミングが変化したか否かを判別し（ステップ１１６）、変化が生じていないときには、映像音声データＤの再生が完了したか否かを判別した後に（ステップ１１５）、新たな第２基準タイミングデータＤｔ２が記憶されたか否かを判別する（ステップ１１４）。

一方、第２基準タイミングに変化が生じたときには（ステップ１１６）、制御部２８は、第２基準タイミングに遅れが生じたか否かを判別する（ステップ１１７）。この際に、遅れが生じているときには、映像表示部１４に対する映像データＤｖの出力を所定時間だけ（第２基準タイミングが遅れた時間分だけ）一時的に停止する（ステップ１１８）。これにより、映像の表示タイミングと音声の出力タイミングとが同期させられる。また、第２基準タイミングが早くなったときには（ステップ１１７）、制御部２８は、映像表示部１４に対する映像データＤｖの出力を所定時間分だけ（第２基準タイミングが早まった分だけ）スキップする（ステップ１１９）。これにより、映像の表示タイミングと音声の出力タイミングとが同期させられる。この後、制御部２８は、映像音声データＤの再生が完了したか否かを判別し（ステップ１１５）、完了したときにこの再生処理１１０を終了する。

このように、再生処理７０に代えて再生処理１１０を実行するプロジェクタ１によれば、制御部２８が音声データＤａ３に対応する再生用音声データ（この例では、音声データＤａ基づいて生成した音声データＤａ１）を出力させた時点から音声データＤａ３に対応する音声が集音された時点までの時間長を特定するタイミング特定処理９０を実行し、タイミング特定処理９０によって特定した時間長（この例では、第２基準タイミングデータＤｔ２）に応じて映像データＤｖに基づく映像の映像表示部１４による表示タイミングを変更することにより、デジタル音声データを出力する際の遅延時間を１つの時間長に規定している従来の伝送システムとは異なり、映像音声データＤの再生時にネットワークトラフィックが変化して音声データＤａ１を出力した時点からその音声データＤａ１に対応する音声が出力される時点までの時間長が変化したとしても、その時間長の変化に応じて映像データＤｖに基づく映像の表示タイミングを変更して映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。

また、上記の再生処理７０，１１０に代えて、図１０に示す再生処理１２０を実行することで映像音声データＤに基づく映像の表示タイミングと音声の出力タイミングとを同期させる構成を採用することもできる。この再生処理１２０では、映像音声データＤの再生開始を指示された際に、制御部２８がタイミングデータ記憶部２９に第１基準タイミングデータＤｔ１が記憶されているか否かを判別する（ステップ１２１）。また、第１基準タイミングデータＤｔ１が記憶されていないときには、制御部２８は、前述した特定処理６０を実行する。この結果、チェック用の音声データＤｃを利用して特定した第１基準タイミングについての第１基準タイミングデータＤｔ１がタイミングデータ記憶部２９に記憶される。次に、制御部２８は、ネットワークアダプタ１１を制御して音声データＤａに基づいて生成された音声データＤａ１のオーディオアンプ３への出力を開始させると共に（ステップ１２２）、第１基準タイミングデータＤｔ１に基づいて特定される第１基準タイミングが到来するまで待機する（ステップ１２３）。また、第１基準タイミングが到来したときには、制御部２８は、映像音声データＤに基づいて生成した映像データＤｖの映像表示部１４による再生を開始させる（ステップ１２４）。これにより、特定処理６０によって特定された遅延時間分だけ映像データＤｖに基づく映像の表示が遅れることにより、音声データＤａ１に基づく音声の出力タイミングと、映像表示部１４による映像の表示タイミングとが同期する。この後、制御部２８は、映像音声データＤの再生が完了したときに（ステップ１２５）、この再生処理１２０を終了する。

このように、再生処理７０，１１０に代えて再生処理１２０を実行するプロジェクタ１によれば、制御部２８が音声データＤａ３に対応する時間差特定用音声データ（この例では、音声データＤｃ基づいて生成した音声データＤａ１）を出力させた時点から音声データＤａ３に対応する音声が集音された時点までの時間長を特定するタイミング特定処理６０を実行して、タイミング特定処理６０によって特定した時間長（この例では、第１基準タイミングデータＤｔ１）に応じて映像データＤｖに基づく映像の映像表示部１４による表示タイミングを変更することにより、映像音声データＤの再生に先立って特定処理６０によって特定した遅延時間（第１基準タイミングデータＤｔ１）に基づき、映像音声データＤの再生処理中に特定処理９０等を実行することなく、映像の表示タイミングと音声の出力タイミングとを同期させることができる。

さらに、前述したプロジェクタ１では、音声データＤａ１の出力時点から対応する音声の出力時点までの時間長（遅延時間）に応じて、映像データＤｖに基づく映像の表示タイミングのみを変更することで映像の表示タイミングと音声の出力タイミングとを同期させる構成を採用しているが、本発明はこれに限定されない。例えば、上記の遅延時間分だけ音声データＤａ１をスキップして出力することで映像の表示タイミングと音声の出力タイミングとを同期させる構成を採用することができる。また、映像データＤｖに基づく映像の表示タイミングと、オーディオアンプ３への音声データＤａ１の出力タイミングとの双方を変化させることで映像の表示タイミングと音声の出力タイミングとを同期させる構成を採用することもできる。これらの構成を採用した場合にも、前述したプロジェクタ１と同様にして、ネットワーク環境の相違やネットワークトラフィックの変化に影響されることなく、映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。

また、プロジェクタ１の設置が完了した状態で特定処理６０を実行する例について説明したが、特定処理６０の実行タイミングは初期設定処理時に限定されず、例えば、プロジェクタ１の電源投入時や、利用者が指定した任意のタイミングで実行する構成を採用することができる。さらに、特定処理６０において音声データＤａ１の出力を開始した際に（ステップ６４）、所定のメッセージを映像表示部１４に表示させる構成を採用しているが、メッセージに代えて、例えば広告映像やリラクゼーション映像等の各種映像を表示させることもできる。また、本発明に係る再生制御装置をプロジェクタ１に搭載した例について説明したが、投射機構３２に代えて、液晶表示器、プラズマ表示器、有機ＥＬ表示器およびＣＲＴ等の各種表示器を備えた表示装置に本発明に係る再生制御装置を搭載することができる。さらに、本発明は、表示装置に再生制御装置を搭載した構成に限定されず、外部装置としての表示装置に映像信号Ｓｖを出力して映像を表示させる構成を採用することもできる。この場合、例えば屋外広告表示システムのように音声出力装置と表示装置とが遠く離れた場所に設置されている状態であっても、本発明に係る再生制御装置を用いることによって映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。

さらに、コンテンツ配信サーバ２から取得した映像音声データＤを再生する例について説明したが、本発明における映像音声データは、ネットワークＮを介して取得した動画コンテンツに限定されず、例えばＤＶＤプレーヤ等の各種再生装置から出力される映像音声データＤや、チューナを介して受信した映像音声データＤ等がこれに含まれる。また、本発明における時間差特定用音声データ（音声データＤｃ）についても、コンテンツ配信サーバ２等から取得したものに限定されず、本発明に係る再生制御装置内に予め記憶させた音声データを利用する構成を採用することができる。

プロジェクタ１の構成を示す構成図である。 タイミング特定処理６０のフローチャートである。 再生処理７０のフローチャートである。 タイミング特定処理９０のフローチャートである。 バッファ２４内に記憶した音声データＤａ１１の概念図である。 バッファ２４内に記憶した音声データＤａ１１の他の概念図である。 バッファ２４内に記憶した音声データＤａ１１のさらに他の概念図である。 バッファ２４内に記憶した音声データＤａ１１のさらに他の概念図である。 再生処理１１０のフローチャートである。 再生処理１２０のフローチャートである。

符号の説明

１ プロジェクタ、３ オーディオアンプ、４ スピーカ、１１ ネットワークアダプタ、１２ 映像音声処理部、１３ 再生処理部、１４ 映像表示部、２３ 音声処理部、２４ バッファ、２５ タイマ、２６ マイク、２７ Ａ／Ｄコンバータ、２８ 制御部、２９ タイミングデータ記憶部、６０，９０ タイミング特定処理、７０，１１０，１２０ 再生処理、Ｄ 映像音声データ、Ｄａ，Ｄａ１〜Ｄａ３，Ｄａ１１，Ｄｃ 音声データ、Ｄｔ１ 第１基準タイミングデータ、Ｄｔ２ 第２基準タイミングデータ、Ｄｖ 映像データ、Ｎ ネットワーク、Ｓａ１，Ｓａ２ 音声信号、Ｓｖ 映像信号、ｔ０，ｔ２，ｔ１ａ，ｔ２ａ，ｔ１ｂ，ｔ２ｂ，ｔ１ｂ，ｔ２ｂ 時点

Claims (8)

1. 同期して再生すべき一対の再生用映像データおよび再生用音声データを映像音声データに基づいて生成するデータ生成部と、ネットワークを介して前記再生用音声データを音声出力装置に出力するデータ出力部と、前記再生用映像データに基づく映像を表示させるべく当該再生用映像データを表示部に出力すると共に前記データ出力部を制御して前記再生用音声データを出力させる制御部と、音声を集音する集音部とを備え、
   前記制御部は、前記データ出力部を制御して前記音声出力装置に所定の音声データを出力させた時点から当該所定の音声データに基づく音声が前記集音部によって集音された時点までの時間長に応じて、前記再生用映像データに基づく前記映像の前記表示部による表示タイミングと前記データ出力部による前記再生用音声データの出力タイミングとの少なくとも一方を変更する再生制御装置。
2. 前記制御部は、前記データ出力部を制御して前記所定の音声データとして前記再生用音声データを出力させ、前記集音部によって集音された前記音声に基づいて生成された比較用音声データと当該再生用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該再生用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第１の特定処理を実行し、当該特定した時間長に応じて前記映像の表示タイミングと前記再生用音声データの出力タイミングとの少なくとも一方を変更する請求項１記載の再生制御装置。
3. 時間差特定用音声データを記憶する第１の記憶部を備え、
   前記制御部は、前記データ出力部を制御して前記所定の音声データとして前記時間差特定用音声データを出力させ、当該時間差特定用音声データと前記比較用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該時間差特定用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第２の特定処理を前記第１の特定処理に先立って実行し、当該第１の特定処理時において、前記再生用音声データを出力させた時点から前記第２の特定処理によって特定した時間長だけ経過した時点において生成された前記比較用音声データと当該再生用音声データとを比較する請求項２記載の再生制御装置。
4. 前記再生用音声データを記憶する第２の記憶部を備え、
   前記制御部は、前記第１の特定処理時において、前記データ出力部を制御して出力させた前記再生用音声データのうちの所定時間分の当該再生用音声データを前記第２の記憶部に記憶させると共に、当該第２の記憶部に記憶させた前記再生用音声データのうちの第１の時点から第２の時点までの間に出力された当該再生用音声データと前記比較用音声データとを比較し、当該比較用音声データに対応する前記再生用音声データが前記第１の時点から前記第２の時点までに出力された当該再生用音声データのなかに存在しなかったときに、当該第１の時点と当該第２の時点との少なくとも一方を予め規定された時間分だけ相違する時点に変更する変更処理を実行し、当該変更処理後の前記第１の時点から当該変更処理後の前記第２の時点までの間に出力された前記再生用音声データと前記比較用音声データとを比較する請求項２または３記載の再生制御装置。
5. 時間差特定用音声データを記憶する第１の記憶部を備え、
   前記制御部は、前記データ出力部を制御して前記所定の音声データとして前記時間差特定用音声データを出力させ、前記集音部によって集音された前記音声に基づいて生成された比較用音声データと当該時間差特定用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該時間差特定用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第２の特定処理を実行し、当該特定した時間長に応じて前記映像の表示タイミングと前記再生用音声データの出力タイミングとの少なくとも一方を変更する請求項１記載の再生制御装置。
6. 前記制御部は、前記映像の表示タイミングおよび前記再生用音声データの出力タイミングのうちの当該表示タイミングのみを前記特定した時間長に応じて変更する請求項１から５のいずれかに記載の再生制御装置。
7. 請求項１から６のいずれかに記載の再生制御装置と、前記表示部とを備えて構成されている表示装置。
8. 請求項１から６のいずれかに記載の再生制御装置と、前記表示部と、前記音声出力装置とを備えて構成されている再生システム。

Images