JP2007081780A - 再生制御装置、表示装置および再生システム - Google Patents
再生制御装置、表示装置および再生システム Download PDFInfo
- Publication number
- JP2007081780A JP2007081780A JP2005266393A JP2005266393A JP2007081780A JP 2007081780 A JP2007081780 A JP 2007081780A JP 2005266393 A JP2005266393 A JP 2005266393A JP 2005266393 A JP2005266393 A JP 2005266393A JP 2007081780 A JP2007081780 A JP 2007081780A
- Authority
- JP
- Japan
- Prior art keywords
- data
- audio data
- output
- audio
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Receiver Circuits (AREA)
Abstract
【課題】ネットワークを介して音声出力装置に出力した音声データに基づく音声の出力タイミングと表示部による映像の表示タイミングとを確実に同期させる。
【解決手段】同期して再生すべき一対の再生用映像データおよび再生用音声データを映像音声データに基づいて生成するデータ生成部と、ネットワークを介して再生用音声データを音声出力装置に出力するデータ出力部と、映像を表示させるべく再生用映像データを表示部に出力すると共にデータ出力部を制御して再生用音声データを出力させる制御部と、音声を集音する集音部とを備え、制御部は、データ出力部を制御して音声出力装置に所定の音声データを出力させた時点から(ステップ73)所定の音声データに基づく音声が集音部によって集音された時点までの時間長に応じて、再生用映像データに基づく映像の表示タイミングを変更する(ステップ79,81)。
【選択図】図3
【解決手段】同期して再生すべき一対の再生用映像データおよび再生用音声データを映像音声データに基づいて生成するデータ生成部と、ネットワークを介して再生用音声データを音声出力装置に出力するデータ出力部と、映像を表示させるべく再生用映像データを表示部に出力すると共にデータ出力部を制御して再生用音声データを出力させる制御部と、音声を集音する集音部とを備え、制御部は、データ出力部を制御して音声出力装置に所定の音声データを出力させた時点から(ステップ73)所定の音声データに基づく音声が集音部によって集音された時点までの時間長に応じて、再生用映像データに基づく映像の表示タイミングを変更する(ステップ79,81)。
【選択図】図3
Description
本発明は、映像音声データに基づいて再生用映像データおよび再生用音声データを生成して再生用映像データを表示部に出力してその再生用映像データに基づく映像を表示させると共に再生用音声データを音声出力装置に出力してその再生用音声データに基づく音声を出力させる再生制御装置、その再生制御装置と表示部とを備えた表示装置、並びに、再生制御装置と表示部と音声出力装置とを備えた再生システムに関するものである。
この種の再生制御装置に関連する技術として、映像音声伝送送信装置(以下、「送信装置」ともいう)と、映像音声伝送受信装置(以下、「受信装置」ともいう)とを備えた映像音声伝送システム(以下、「伝送システム」ともいう)が特開2004−104554号公報に開示されている。この伝送システムの使用に際しては、まず、送信装置の映像入力端子および音声入力端子に例えばビデオテープレコーダ等の再生装置を接続すると共に、送信装置の音声出力端子に音声出力装置(オーディオアンプ)を接続し、かつ、受信装置の映像出力端子に液晶ビデオプロジェクタ等の表示装置を接続する。次いで、再生装置によるビデオテープの再生処理を開始させてアナログ映像信号およびアナログ音声信号を出力させる。この際に、この伝送システムでは、送信装置が再生装置から出力されたアナログ映像信号に基づいてデジタル映像信号を生成して受信装置に送信すると共に、受信装置が送信されたデジタル映像信号に基づいてアナログ映像信号を生成して表示装置に出力する。これにより、受信装置から出力されたアナログ映像信号に基づく映像が表示装置によって表示される。また、送信装置では、A/D変換回路が再生装置から出力されたアナログ音声信号をデジタル音声信号に変換すると共に、D/A変換回路が変換されたデジタル音声信号をアナログ音声信号に変換して音声出力装置に出力する。これにより、送信装置から出力されたアナログ音声信号に基づく音声が音声出力装置によって出力される。
この場合、この伝送システムでは、送信装置と受信装置との間においてデジタル映像信号を無線通信によって送受信する構成を採用している。このため、両装置間におけるデジタル映像信号の送受信量(データ量)を小さくすべく、送信装置においてデジタル映像信号を圧縮処理すると共に、圧縮されているデジタル映像信号を受信装置において伸長処理する構成が採用されている。この結果、この伝送装置では、再生装置から出力されたアナログ映像信号については、対応する映像が表示装置によって表示されるまでの間にデジタル映像データの圧縮処理および伸長処理が実行されるのに対して、再生装置から出力されたアナログ音声信号については、デジタル音声データの圧縮処理および伸長処理等が実行されることなく音声出力装置(オーディオアンプおよびスピーカ)から対応する音声が出力される。したがって、この伝送システムでは、送信装置のA/D変換回路とD/A変換回路との間に遅延回路を設けて音声出力装置にアナログ音声信号を出力するまでの間に所定の遅延時間(デジタル映像データの圧縮処理および伸長処理に要する時間長の遅延時間)を生じさせている。これにより、圧縮処理および伸長処理の有無に起因して、スクリーンに映像が表示されるタイミングとスピーカから音声が出力されるタイミングとが非同期状態となる(音声に対して映像が遅れて表示される)事態を回避している。
特開2004−104554号公報(第7−8頁、図1)
ところが、従来の伝送システムには、以下の問題点がある。すなわち、この伝送システムでは、デジタル映像データの圧縮処理および伸長処理に要する時間長に応じてアナログ音声信号を音声出力装置に出力するタイミングを遅延させることで、映像の表示タイミングと音声の出力タイミングとを同期させる構成が採用されている。一方、今日では、例えばDLNA(Digital Living Network Alliance )によって、再生装置、表示装置および音声出力装置等を相互にネットワーク接続してデジタル映像データやデジタル音声データを各装置間で送受信させて再生する利用形態が提案されている。この場合、ネットワークを介して各装置間でデジタルデータを送受信させる構成では、各装置間でデジタルデータを送受信するのに要する時間がネットワーク環境(装置の設置環境)に応じて相違する。また、ネットワークの利用状態などに応じてネットワークトラフィックが変化し、この点に起因して各装置間においてデジタルデータの送受信に要する時間が変化することもある。
したがって、圧縮処理および伸長処理に要する時間に応じて遅延時間を1つの時間長に規定している従来の伝送システムの構成を採用し、ネットワークを介してデジタル音声データを音声出力装置に送信しようとした場合には、ネットワーク環境の相違やネットワークトラフィックの変化に起因してデジタル音声データの送受信に要する時間が変化したときに、映像の表示タイミングと音声の出力タイミングとが非同期状態となることがある。具体的には、例えば、ネットワークトラフィックが悪化したときには、ネットワークトラフィックが良好であるときと比較して、音声出力装置によるデジタル音声データの受信が完了するまでに長い時間を要するため、映像の表示タイミングよりも音声の出力タイミングが遅れる事態が生じる。このように、各装置をネットワーク接続した環境下で従来の伝送システムの構成を採用して映像音声データを再生したときには、映像の表示タイミングと音声の出力タイミングとを同期させるのが困難であるという問題点が存在する。
本発明は、かかる問題点に鑑みてなされたものであり、ネットワークを介して音声出力装置に出力した音声データに基づく音声の出力タイミングと表示部による映像の表示タイミングとを確実に同期させ得る再生制御装置、表示装置および再生システムを提供することを主目的とする。
上記目的を達成すべく、本発明に係る再生制御装置は、同期して再生すべき一対の再生用映像データおよび再生用音声データを映像音声データに基づいて生成するデータ生成部と、ネットワークを介して前記再生用音声データを音声出力装置に出力するデータ出力部と、前記再生用映像データに基づく映像を表示させるべく当該再生用映像データを表示部に出力すると共に前記データ出力部を制御して前記再生用音声データを出力させる制御部と、音声を集音する集音部とを備え、前記制御部が、前記データ出力部を制御して前記音声出力装置に所定の音声データを出力させた時点から当該所定の音声データに基づく音声が前記集音部によって集音された時点までの時間長に応じて、前記再生用映像データに基づく前記映像の前記表示部による表示タイミングと前記データ出力部による前記再生用音声データの出力タイミングとの少なくとも一方を変更する。なお、本明細書における「音声」には、人体における発生気管から発せられる音のみならず、鳥の鳴き声、風の音および音楽等の各種の「音」が含まれる。
この再生制御装置によれば、所定の音声データを出力させた時点から所定の音声データに基づく音声が集音された時点までの時間長に応じて制御部が映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更することにより、デジタル音声データを出力する際の遅延時間を1つの時間長に規定している従来の伝送システムとは異なり、例えば、ネットワーク環境の相違に起因して再生用音声データを出力した時点からその再生用音声データに対応する音声が出力される時点までの時間長が相違するときであっても、そのネットワーク環境下における音声出力の遅延時間に応じて映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更して映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。また、再生制御装置と音声出力装置との間において例えばタイムコントロール機能を有する特殊なプロトコルで通信することなく、httpやftp等の極く一般的なプロトコルで通信可能となるため、極く一般的な汎用のネットワークアダプタを用いてデータ出力部を構成し、再生制御装置や音声出力装置を安価に構成することができる。
また、本発明に係る再生制御装置は、前記制御部が、前記データ出力部を制御して前記所定の音声データとして前記再生用音声データを出力させ、前記集音部によって集音された前記音声に基づいて生成された比較用音声データと当該再生用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該再生用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第1の特定処理を実行し、当該特定した時間長に応じて前記映像の表示タイミングと前記再生用音声データの出力タイミングとの少なくとも一方を変更する。
この再生制御装置によれば、制御部が比較用音声データに対応する再生用音声データを出力させた時点から比較用音声データに対応する音声が集音された時点までの時間長を特定する第1の特定処理を実行し、第1の特定処理によって特定した時間長に応じて映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更することにより、デジタル音声データを出力する際の遅延時間を1つの時間長に規定している従来の伝送システムとは異なり、映像音声データの再生時にネットワークトラフィックが変化して再生用音声データを出力した時点からその再生用音声データに対応する音声が出力される時点までの時間長が変化したとしても、その時間長の変化に応じて映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更して映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。
さらに、本発明に係る再生制御装置は、時間差特定用音声データを記憶する第1の記憶部を備え、前記制御部が、前記データ出力部を制御して前記所定の音声データとして前記時間差特定用音声データを出力させ、当該時間差特定用音声データと前記比較用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該時間差特定用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第2の特定処理を前記第1の特定処理に先立って実行し、当該第1の特定処理時において、前記再生用音声データを出力させた時点から前記第2の特定処理によって特定した時間長だけ経過した時点において生成された前記比較用音声データと当該再生用音声データとを比較する。
この再生制御装置では、制御部が比較用音声データに対応する時間差特定用音声データを出力させた時点から比較用音声データに対応する音声が集音された時点までの時間長を特定する第2の特定処理を第1の特定処理に先立って実行し、第1の特定処理時において、再生用音声データを出力させた時点から第2の特定処理によって特定した時間長だけ経過した時点において生成された比較用音声データと再生用音声データとを比較する。したがって、この再生制御装置によれば、第2の特定処理を実行することなく映像音声データの再生時に再生用音声データを出力した時点から再生用音声データに対応する音声が出力された時までの時間長に応じて映像の表示タイミングと音声の出力タイミングとを同期させる構成とは異なり、映像音声データの再生開始直後から映像の表示タイミングと音声の出力タイミングとを同期させることができる。また、映像音声データの再生処理と並行して第1の特定処理を実行することにより、映像音声データの再生中にネットワークトラフィックが変化するなどして再生用音声データに基づく音声の出力に要する時間が変化したとしても、第1の特定処理によって特定される特定される時間長に基づいて映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更して映像の表示タイミングと音声の出力タイミングとを同期させた状態を維持することができる。
また、本発明に係る再生制御装置は、前記再生用音声データを記憶する第2の記憶部を備え、前記制御部が、前記第1の特定処理時において、前記データ出力部を制御して出力させた前記再生用音声データのうちの所定時間分の当該再生用音声データを前記第2の記憶部に記憶させると共に、当該第2の記憶部に記憶させた前記再生用音声データのうちの第1の時点から第2の時点までの間に出力された当該再生用音声データと前記比較用音声データとを比較し、当該比較用音声データに対応する前記再生用音声データが前記第1の時点から前記第2の時点までに出力された当該再生用音声データのなかに存在しなかったときに、当該第1の時点と当該第2の時点との少なくとも一方を予め規定された時間分だけ相違する時点に変更する変更処理を実行し、当該変更処理後の前記第1の時点から当該変更処理後の前記第2の時点までの間に出力された前記再生用音声データと前記比較用音声データとを比較する。
この再生制御装置では、第1の特定処理時において、出力した再生用音声データのうちの所定時間分の再生用音声データを第2の記憶部に記憶させ、その再生用音声データのうちの第1の時点から第2の時点までの間に出力された再生用音声データと比較用音声データとを比較し、比較用音声データに対応する再生用音声データが第1の時点から第2の時点までに出力された再生用音声データのなかに存在しなかったときに、第1の時点と第2の時点との少なくとも一方を予め規定された時間分だけ相違する時点に変更する変更処理を実行し、変更処理後の第1の時点から変更処理後の第2の時点までの間に出力された再生用音声データと比較用音声データとを比較する。したがって、この再生制御装置によれば、データ出力部から出力した再生用音声データのすべてを第2の記憶部に記憶させて、そのすべてを比較対象として比較用音声データと比較する構成とは異なり、少ない記憶容量の記憶素子で第2の記憶部を構成することができると共に、第1の時点および第2の時点を自動的に変更して比較用音声データに対応する再生用音声データを確実に検出することができる。また、比較用音声データに対応する再生用音声データが第1の時点から第2の時点までに出力された再生用音声データのなかに存在しなかったときに、変更処理時において、第1の時点と第2の時点との双方を予め規定された時間分だけ相違する時点にそれぞれ変更することで、第1の特定処理において比較すべき再生用音声データのデータサイズ(データブロック数)を少なくして短時間で処理することができる。
さらに、本発明に係る再生制御装置は、時間差特定用音声データを記憶する第1の記憶部を備え、前記制御部が、前記データ出力部を制御して前記所定の音声データとして前記時間差特定用音声データを出力させ、前記集音部によって集音された前記音声に基づいて生成された比較用音声データと当該時間差特定用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該時間差特定用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第2の特定処理を実行し、当該特定した時間長に応じて前記映像の表示タイミングと前記再生用音声データの出力タイミングとの少なくとも一方を変更する。
この再生制御装置によれば、制御部が比較用音声データに対応する時間差特定用音声データを出力させた時点から比較用音声データに対応する音声が集音された時点までの時間長を特定する第2の特定処理を実行し、第2の特定処理によって特定した時間長に応じて映像の表示タイミングと再生用音声データの出力タイミングとの少なくとも一方を変更することにより、映像音声データの再生に先立って第2の特定処理によって特定した遅延時間(時間長)に基づき、映像音声データの再生処理中に第1の特定処理等を実行することなく、映像の表示タイミングと音声の出力タイミングとを同期させることができる。
また、本発明に係る再生制御装置は前記制御部が前記映像の表示タイミングおよび前記再生用音声データの出力タイミングのうちの当該表示タイミングのみを前記特定した時間長に応じて変更する。
この再生制御装置によれば、制御部が再生用映像データに基づく映像の表示タイミングのみを変更することにより、再生用音声データの出力タイミングを変更して映像の表示タイミングと音声の出力タイミングとを同期させる構成とは異なり、音声出力装置から出力される音声を途切れさせることなく映像の表示タイミングと音声の出力タイミングとを同期させることができる。したがって、音声が途切れるといった違和感を認識させることなく映像音声データを再生することができる。
また、本発明に係る表示装置は、上記のいずれかの再生制御装置と、前記表示部とを備えて構成されている。
この表示装置によれば、上記の再生制御装置と表示部とを備えたことにより、例えば、外部装置としての表示部に再生用映像データを出力して映像を表示させる構成とは異なり、再生用映像データを表示部に出力した時点から再生用映像データに基づく映像が表示部によって表示される時点までの時間長を十分に短くすることができるしたがって、第1の特定処理によって特定した時間長(遅延時間)に基づき、再生用映像データに基づく映像の表示を遅延させることなく、変更した表示タイミングで映像を正確に表示させることができる。
また、本発明に係る再生システムは、上記のいずれかの再生制御装置と、前記表示部と、前記音声出力装置とを備えて構成されている。
この再生システムによれば、上記の再生制御装置と表示部と音声出力装置とを備えたことにより、再生用映像データに基づく映像の表示タイミングと、その再生用映像データと同期して再生すべき再生用音声データに基づく音声の出力タイミングとを同期させて映像音声データDを再生することができる。
以下、本発明に係る再生制御装置、表示装置および再生システムの最良の形態について、添付図面を参照して説明する。図1に示すプロジェクタ1は、本発明に係る再生制御装置と本発明における表示部とを一体的に構成した表示装置の一例であって、ネットワークNを介してコンテンツ配信サーバ2やオーディオアンプ3等に接続されている。なお、プロジェクタ1、コンテンツ配信サーバ2およびオーディオアンプ3の間に存在するDHCPサーバ等の各種サーバについては、本発明についての理解を容易とするために、その図示および説明を省略する。また、プロジェクタ1とオーディオアンプ3とは、一例として、プロジェクタ1による映像を表示するためのスクリーンと共に同じ居室内に設置されているものとする。この場合、この例では、プロジェクタ1、オーディオアンプ3、およびオーディオアンプ3に接続されたスピーカ4によって本発明における再生システムが構成されている。
プロジェクタ1は、本発明に係る表示装置の一例であって、通常のプロジェクタに相当する映像表示部14の他に、ネットワークアダプタ11、映像音声処理部12および再生処理部13を備え、コンテンツ配信サーバ2から出力される映像音声データDに基づく映像を図示しないスクリーンに表示可能に構成されている。この場合、映像音声データDは、一例として、MPEG−2に準拠した動画データで構成されている。また、このプロジェクタ1は、後述するように、映像音声データDに基づいて生成した音声データDa1をオーディオアンプ3にネットワークNを介して出力可能に構成されている。ネットワークアダプタ11は、ネットワークNに接続して各種デジタルデータを送受信する装置であって、コンテンツ配信サーバ2から映像音声データDおよび音声データDc等を受信する。また、ネットワークアダプタ11は、本発明におけるデータ出力部に相当し、後述する制御部28の制御に従い、ネットワークNを介してオーディオアンプ3に音声データDa1等を出力する。映像音声処理部12は、本発明におけるデータ生成部に相当し、コンテンツ配信サーバ2から出力された(ネットワークNを介して受信した)映像音声データDに基づき、同期して同時に再生すべき一対の映像データDvおよび音声データDaを生成して再生処理部13に出力する。
再生処理部13は、映像データ記憶部21、音声データ記憶部22、音声処理部23、バッファ24、タイマ25、マイク26、A/Dコンバータ27、制御部28およびタイミングデータ記憶部29を備え、映像音声データDに基づく映像および音声の再生に際して映像表示部14による映像の表示タイミングとオーディオアンプ3による音声の出力タイミングとを同期させる機能を有している。映像データ記憶部21は、制御部28の制御に従い、映像音声処理部12によって生成された映像データDv(本発明における再生用映像データの一例)を記憶する。音声データ記憶部22は、制御部28の制御に従い、映像音声処理部12によって生成された音声データDa(本発明における再生用音声データの一例)を記憶すると共に、本発明における第1の記憶部を構成して、ネットワークNを介して受信した音声データDc(本発明における時間差特定用音声データの一例)を記憶する。音声処理部23は、制御部28の制御に従い、音声データDaまたは音声データDcに基づいて音声データDa1を生成する。この場合、音声データDa1は、一例として、MP3(MPEG-1 Audio Layer-III)に準拠して構成されている。また、音声データDa1に代えて例えばLPCM方式の音声データDa2を生成して出力する構成を採用することもできる。
バッファ24は、本発明における第2の記憶部に相当し、制御部28の制御に従い、ネットワークアダプタ11からオーディオアンプ3に出力された音声データDa1のうちの所定時間分の音声データ(音声データDa1の一部:以下、「音声データDa11」ともいう)を記憶する。この場合、このプロジェクタ1では、後述するタイミング特定処理90(図4参照)の開始時においては、一例として500ms分の音声データDa11をバッファ24に記憶させるように設定されている。タイマ25は、制御部28の制御に従って所定のタイミングが到来するまでの時間を計時する。マイク26は、本発明における集音部に相当し、プロジェクタ1の周囲の音声を集音して音声信号Sa2を生成し、A/Dコンバータ27に出力する。この場合、マイク26は、一例として、無指向性のマイクで構成されている。A/Dコンバータ27は、マイク26から出力された音声信号Sa2をA/D変換処理して音声データDa3(本発明における比較用音声データの一例)を生成する。なお、マイク26とA/Dコンバータ27との間に各種のフィルタやアンプ等を配設した構成や、A/Dコンバータ27と制御部28との間に各種のフィルタ等を配設した構成を採用することもできる。制御部28は、プロジェクタ1の各部を総括的に制御する。また、制御部28は、本発明における制御部を構成し、後述するように、タイミング特定処理60,90および再生処理70(図2〜4参照)を実行して映像音声データDに基づく映像の表示タイミングと音声の出力タイミングとを同期させる。タイミングデータ記憶部29は、制御部28の制御に従い、第1基準タイミングデータDt1および第2基準タイミングデータDt2を記憶する。
映像表示部14は、本発明における表示部の一例であって、バッファ31、投射機構32および表示制御部33を備えている。バッファ31は、再生処理部13から出力された映像データDvを一時的に記憶する。投射機構32は、一例として、ランプ駆動制御部および光学エンジン等を備え、表示制御部33から出力された映像信号Svに基づく各種映像を図示しないスクリーンに表示する。具体的には、投射機構32は、出力された映像信号Svに基づいてランプからの投射光を光変調してスクリーンに投射光Lを投射することで各種映像を表示する。この場合、上記の光学エンジンは、例えば、光変調素子(一例として、デジタルマイクロミラーデバイスや液晶ライトバルブ)と、投射レンズ(いずれも図示せず)とを備え、メタルハライドランプや高圧水銀ランプで構成されたランプを光源として投射光Lを射出する構成が採用されている。また、ランプ駆動制御部は、表示制御部33の制御に従い、ランプを点灯させるためのランプ駆動パルスを生成して供給する。表示制御部33は、映像データDvに基づいて映像信号Svを生成すると共に、投射機構32を制御して映像信号Svに基づく映像を表示させる。なお、上記の映像表示部14に代えて、スクリーンを一体化したリアプロジェクタや、液晶ディスプレイおよびプラズマディスプレイ等の各種ディスプレイを搭載した構成を採用することができる。
一方、コンテンツ配信サーバ2は、ネットワークN(インターネット)を介して各種の映像音声データDを配信するサーバであって、ネットワークアダプタ41、記憶装置42および制御装置43を備えている。ネットワークアダプタ41は、ネットワークNに接続する装置であって、制御装置43の制御に従い、プロジェクタ1や図示しないパーソナルコンピュータ等に映像音声データDを出力(配信)すると共に、プロジェクタ1等の要求に応じて音声データDcを出力する。記憶装置42は、プロジェクタ1等に出力する複数の映像音声データDや音声データDc等を記憶する。制御装置43は、ネットワークアダプタ41を制御して記憶装置42に記憶されている映像音声データDや音声データDcをプロジェクタ1等に出力する。この場合、コンテンツ配信サーバ2とプロジェクタ1との間においては、一例としてhttpおよびftp等の標準的な通信プロトコルによって映像音声データD等が送受信される。
オーディオアンプ3は、プロジェクタ1から出力された音声データDa1に基づく音声信号Sa1をスピーカ4に出力して音声を出力させる。この場合、この例では、オーディオアンプ3およびスピーカ4によって本発明における音声出力装置が構成されている。また、オーディオアンプ3は、ネットワークアダプタ51、デコーダ52、D/Aコンバータ53およびアンプ54を備えている。ネットワークアダプタ51は、オーディオアンプ3をネットワークNに接続する装置であって、プロジェクタ1から出力された音声データDa1等を受信する。デコーダ52は、例えば、MP3形式の音声データDa1をデコードしてLPCM方式の音声データDa2を生成する。D/Aコンバータ53は、デコーダ52によって生成された音声データDa2(または、プロジェクタ1から出力された音声データDa2)をD/A変換処理して音声信号Sa1を生成する。アンプ54は、音声信号Sa1を増幅してスピーカ4に出力する。スピーカ4は、オーディオアンプ3から出力された音声信号Sa1に基づく音声を出力する。
次に、プロジェクタ1の全体的な動作について、図面を参照して説明する。このプロジェクタ1の使用に際しては、一例として、プロジェクタ1、スクリーン、オーディオアンプ3およびスピーカ4の設置が完了し、プロジェクタ1およびオーディオアンプ3をネットワークNにそれぞれ接続した状態において、プロジェクタ1の初期設定処理の1つとして、映像音声データD(動画コンテンツ)の再生時に映像の表示タイミングと音声の出力タイミングとを同期させるための基準タイミングを特定させる。具体的には、設定開始を指示された際に、制御部28が図2に示すタイミング特定処理60(本発明における「第2の特定処理」の一例)を開始する。このタイミング特定処理60(以下、「特定処理60」ともいう)では、制御部28は、まず、タイミングチェック用の音声データDcが音声データ記憶部22に記憶されているか否かを判別する(ステップ61)。この際に、音声データ記憶部22に音声データDcが記憶されていないときには、制御部28は、ネットワークアダプタ11を制御してコンテンツ配信サーバ2に接続し、コンテンツ配信サーバ2から音声データDcを出力(送信)させて音声データ記憶部22に記憶させる(ステップ62)。次いで、制御部28は、バッファ24を消去(クリア)すると共にタイマ25をリセット(初期化)する(ステップ63)。
続いて、制御部28は、音声データDcに基づいて生成した音声データDa1のオーディオアンプ3への出力を開始する(ステップ64)。具体的には、制御部28は、音声処理部23を制御して音声データDcに基づく音声データDa1を生成させると共に、ネットワークアダプタ11を制御して音声データDa1をオーディオアンプ3に出力させる。また、制御部28は、音声データDa1の出力開始と同時にタイマ25を制御して計時を開始させると共に、ネットワークアダプタ11から出力した音声データDa1のうちの所定時間分の音声データDa11をバッファ24に記憶させる。さらに、制御部28は、映像表示部14を制御して、例えば「初期設定処理中です。大きな音をたてずに暫くお待ち下さい」とのメッセージをスクリーンに表示させる。また、制御部28は、音声データDa1の出力開始と共にA/Dコンバータ27を制御して、マイク26によって集音された音声に基づく音声データDa3を生成させる。この際に、プロジェクタ1から出力された音声データDa1を受信したオーディオアンプ3では、デコーダ52が音声データDa1をデコードして音声データDa2を生成し、D/Aコンバータ53が音声データDa2をD/A変換処理して音声信号Sa1を生成し、アンプ54が音声信号Sa1を増幅してスピーカ4に出力する。この結果、プロジェクタ1から出力された音声データDa1に基づく音声がスピーカ4から出力される。
また、プロジェクタ1では、A/Dコンバータ27から出力される音声データDa3に基づき、制御部28が所定の音圧を超える音声がマイク26によって集音されたか否かを監視する(ステップ65)。また、オーディオアンプ3(スピーカ4)によって音声データDa1に基づく音声が出力されて所定の音圧を超える音声がマイク26によって集音されたときには、制御部28は、バッファ24に記憶させた音声データDa11と、A/Dコンバータ27によって生成された音声データDa3とを比較し(ステップ66)、音圧パターンが対応するものか否かを判別する(ステップ67)。この際に、A/Dコンバータ27から出力された音声データDa3(すなわち、オーディオアンプ3によってスピーカ4から出力された音声)の音圧パターンと対応する音圧パターンであると判別したときには、制御部28は、タイマ25による計時結果に基づき、ネットワークアダプタ11を制御して音声データDa1をオーディオアンプ3に出力させた時点から、音声データDa3の音圧パターンと対応する音圧パターンの音声データDa11(音声データDa1の一部)を検出した時点までの時間長を音声出力についての遅延時間として演算し、その演算結果に基づいて第1基準タイミングデータDt1を生成してタイミングデータ記憶部29に記憶させる(ステップ68)。この後、制御部28は、音声データDcに基づいて生成された音声データDa1の出力が完了したときに(ステップ69)、この特定処理60を終了する。
一方、コンテンツ配信サーバ2によって配信された映像音声データD(動画コンテンツ)を再生する際には、制御部28は、再生開始を指示された際に、図3に示す再生処理70を開始する。この再生処理70では、制御部28は、まず、第1基準タイミングデータDt1がタイミングデータ記憶部29に記憶されているか否かを判別し(ステップ71)、記憶されていないと判別したときには、前述した特定処理60を実行する。また、第1基準タイミングデータDt1がタイミングデータ記憶部29に記憶されていると判別したとき、または、上記の特定処理60を完了したときには、制御部28は、図4に示すタイミング特定処理90(本発明における「第1の特定処理」の一例)を開始する(ステップ72)。この場合、(図4に示すように、)タイミング特定処理90(以下、「特定処理90」ともいう)は、映像音声データDに基づいて生成された映像データDvに対応する映像の表示タイミングと、音声データDaに対応する音声の出力タイミングとを同期させるための基準タイミングを特定するための処理であり、このタイミング特定処理90が制御部28によって再生処理70と並行して実行されることで、再生中の映像音声データDについての映像の表示タイミングと音声の出力タイミングとの正確な同期が図られ、その状態が再生完了まで維持される。
具体的には、制御部28は、特定処理90において、タイマ25を初期化して計時を開始させると共に、後述する音圧パターンの比較範囲についてのパラメータを初期化する(ステップ91)。次いで、制御部28は、映像音声処理部12を制御することにより、コンテンツ配信サーバ2から出力された映像音声データDに基づいて映像データDvおよび音声データDaを生成させると共に、音声処理部23を制御して、音声データDaに基づく音声データDa1を生成させる。この際に、制御部28は、同期して再生すべき一対の映像データDvおよび音声データDa1の双方について所定のデータ量毎にブロック化すると共に、ブロック化した映像データDvおよび音声データDa1の各データブロックを再生すべきタイミングを特定可能なタイムスタンプを各データブロック毎に付与する(ステップ92)。この結果、同期して再生すべき(同一タイミングで同時に再生すべき)映像データDvおよび音声データDa1(データブロック)に同一のタイムスタンプが付与される。また、タイムスタンプが付与された映像データDvは、制御部28によって映像表示部14に出力されてバッファ31に記憶され、音声データDa1は、ネットワークアダプタ11からネットワークNを介してオーディオアンプ3に出力される(再生処理70におけるステップ73)。また、制御部28は、ネットワークアダプタ11から出力した音声データDa1のうちの所定時間分の音声データDa11(データブロック)をバッファ24に記憶させる。
この場合、制御部28は、一例として、音声データDa1の出力を開始した時点から音声データDa11のバッファ24への記憶を開始すると共に、第1基準タイミングデータDt1に基づいて特定される第1基準タイミングが到来する都度、バッファ24内の音声データDa11を最新の音声データDa11(音声データDa1の他の一部)に更新する。この際に、制御部28は、音声データDa11の更新時点以前の100ms分の音声データ(100ms分のデータブロック)と、更新時点以後の400ms分の音声データ(400ms分のデータブロック)とを音声データDa11としてバッファ24に記憶させる。なお、特定処理90の開始直後(すなわち、オーディオアンプ3に対する音声データDa1の出力開始直後)においては、図5に示すように、音声データDa1の出力開始時点から400ms分の音声データのみが音声データDa11としてバッファ24に記憶される。また、第1基準タイミングが到来した時点以降においては、図6に示すように、例えば、第1基準タイミングが到来する以前の100ms分の音声データと、第1基準タイミングが到来した後の400ms分の音声データとが音声データDa11としてバッファ24に記憶される。
一方、制御部28は、再生処理70において、タイミングデータ記憶部29に記憶させた第1基準タイミングデータDt1とタイマ25による計時結果とに基づき、第1基準タイミングが到来したと判別したとき、すなわち、前述した特定処理60において音声データDcに対応する音声データDa1の出力開始時点から、音声データDa1に対応する音声がマイク26によって集音された時点までの時間長と同じ時間が経過したときに(ステップ74)、映像表示部14を制御してバッファ31に記憶されている映像データDvに対応する映像の表示を開始させる(「再生用映像データに基づく映像の表示部による表示タイミング」を変化させる一例:ステップ75)。この際に、映像表示部14では、表示制御部33が制御部28の制御に従ってバッファ31から映像データDvを読み出して映像信号Svを生成し、生成した映像信号Svを投射機構32に出力する。これに応じて、投射機構32が映像信号Svに基づく映像を投射するための投射光Lをスクリーンに向けて射出する。これにより、映像データDv(映像信号Sv)に基づく映像がスクリーンに表示される。
また、制御部28は、特定処理90において、タイミングデータ記憶部29に記憶させた第1基準タイミングデータDt1とタイマ25による計時結果とに基づき、後述する許容時間だけ第1基準タイミングよりも早い所定のタイミングが到来したと判別したときに(ステップ93)、A/Dコンバータ27を制御してマイク26によって集音された音声に基づく音声データDa3の生成を開始させる。この場合、前述した特定処理60では、音声データDcに対応する音声データDa1の出力時点から、その音声データDa1に対応する音声がマイク26によって集音される時点まで(集音された音声に基づく音声データDa3が生成された時点まで)の間に第1基準タイミングデータDt1に対応する時間長の遅延が生じている。したがって、音声データDaに対応する音声データDa1の出力時点から、その音声データDa1に対応する音声がマイク26によって集音される時点までの間にも第1基準タイミングデータDt1に対応する時間長と等しいか、または、ほぼ等しい時間の遅延が生じることとなる。
このため、特定処理90において、音声データDaに基づく音声データDa1の出力開始直後からA/Dコンバータ27による音声データDa3の生成を開始させた場合、第1基準タイミングデータDt1に対応する第1基準タイミングが到来するまでの間に無音の音声データDa3(音声データDa1に対応する音声が含まれていない音声データDa3)が生成されることとなる。さらに、ネットワークトラフィックの変化に起因して、第1基準タイミングデータDt1に対応する第1基準タイミングとは僅かに相違するタイミングで音声が出力されることもある。したがって、このプロジェクタ1では、第1基準タイミングデータDt1に対応する第1基準タイミングに対して±100msのばらつき許容範囲を規定すると共に、特定処理90において、第1基準タイミングデータDt1に対応する第1基準タイミングよりも100ms分だけ早いタイミングが到来するまで待機した後に(ステップ93)、A/Dコンバータ27を制御して音声データDa3の生成を開始させる。この結果、無音状態の音声データDa3についての比較処理(後述するステップ95の処理)を不要とし、かつ、ネットワークトラフィックが変化して音声データDa1に対応する音声が僅かに早いタイミングで出力されたとしても、その音声をマイク26によって集音して音声データDa3を生成することが可能となっている。
次いで、制御部28は、A/Dコンバータ27から出力された音声データDa3に基づき、所定の音圧を超える音声がマイク26によって集音されたか否かを監視する(ステップ94)。この際に、オーディオアンプ3(スピーカ4)によって音声データDa1に基づく音声が出力された際には、所定の音圧を超える音声がマイク26によって集音されて対応する音声データDa3がA/Dコンバータ27によって生成される。これに応じて、制御部28は、バッファ24に記憶させた音声データDa11(音声データDa1の一部)と、A/Dコンバータ27によって生成された音声データDa3とを比較し(ステップ95)、音圧パターンが対応しているか否かを判別する(ステップ96)。具体的には、制御部28は、図5に示すように、音声データDa1の出力開始時点(時点t0)から400ms分の音声データDa11のうちの、時点t0(本発明における第1の時点)から時点t2(本発明における第2の時点)までの100ms分の音声データDa11(データブロック)を比較範囲とし、この比較範囲内に、音声データDa3の音圧パターンと対応する音圧パターンの音声データDa11(データブロック)が存在するか否かを判別する。
この際に、A/Dコンバータ27から出力された音声データDa3(すなわち、オーディオアンプ3によってスピーカ4から出力された音声)の音圧パターンと対応する音圧パターンの音声データDa11を検出したときには、制御部28は、音声データDaに基づく音声データDa1の再生(音声データDa1に対応する音声の出力)に要した時間長(遅延時間)を演算する。具体的には、制御部28は、音声データDa3の音圧パターンと対応する音圧パターンの音声データDa11(データブロック)を特定することにより、音声データDa1の出力開始時点から第1基準タイミングデータDt1に対応する遅延時間が経過した時点においてマイク26によって集音された音声に対応する音声データDa3が、いずれの時点においてネットワークアダプタ11から出力された音声データDa1(音声データDa11:データブロック)に対応する音声であるかを特定する。また、制御部28は、タイマ25による計時結果と、特定した音声データDa11(データブロック)に付与されたタイムスタンプとに基づき、第2基準タイミングデータDt2を生成してタイミングデータ記憶部29に記憶させる(ステップ97)。
一方、制御部28は、再生処理70において、映像データDvの再生を開始させた後に(ステップ75)、タイミングデータ記憶部29に第2基準タイミングデータDt2が記憶されているか否かを判別する(ステップ76)。この際に、第2基準タイミングデータDt2がタイミングデータ記憶部29に記憶されていないとき(特定処理90による第2基準タイミングデータDt2の生成が完了していないとき)には、制御部28は、映像音声データDの再生が完了したか否かを判別し(ステップ77)、完了していないときには、タイミングデータ記憶部29に第2基準タイミングデータDt2が記憶されているか否か(第2基準タイミングデータDt2の記憶が完了したか否か)を再び判別する(ステップ76)。また、特定処理90において第2基準タイミングデータDt2の生成処理が完了してタイミングデータ記憶部29に記憶させた際には、第1基準タイミングデータDt1に基づいて特定される第1基準タイミングと、第2基準タイミングデータDt2に基づいて特定される第2基準タイミングとの時間的な早さを比較する。
この際に、第1基準タイミングが第2基準タイミングよりも早いとき、すなわち、前述した特定処理60において音声データDcに対応する音声データDa1の出力開始時点から、その音声データDa1に対応する音声が出力された時点までに要した遅延時間よりも、映像音声データDに基づいて生成された音声データDaに対応する音声データDa1の出力開始時点から、その音声データDa1に対応する音声が出力された時点までに要した遅延時間の方が長いときには(ステップ78)、制御部28は、映像表示部14に対する映像データDvの出力を所定時間(一例として、第1基準タイミングと第2基準タイミングとの時間差分)だけ停止させる(ステップ79)。この結果、例えばネットワークトラフィックが良好となって音声データDa1の出力から対応する音声の出力までに要する時間が特定処理60の実行時よりも長くなったとしても、映像音声データDに基づいて生成された映像データDvに対応する映像の表示タイミングと、同じ映像音声データDに基づいて生成された音声データDa(映像データDvと同期して再生されるべき音声データDa)に対応する音声の出力タイミングとが同期させられる。
これに対して、第1基準タイミングが第2基準タイミングよりも遅いとき、すなわち、前述した特定処理60において音声データDcに対応する音声データDa1の出力開始時点から、その音声データDa1に対応する音声が出力された時点までに要した遅延時間よりも、映像音声データDに基づいて生成された音声データDaに対応する音声データDa1の出力開始時点から対応する音声が出力された時点までに要した遅延時間の方が短いときには(ステップ80)、制御部28は、映像表示部14に対して出力している映像データDvを所定時間分(一例として、第1基準タイミングと第2基準タイミングとの時間差分)だけスキップさせる(ステップ81)。この結果、例えばネットワークトラフィックが悪化して音声データDa1の出力から対応する音声の出力までに要する時間が特定処理60の実行時よりも短くなったとしても、映像音声データDに基づいて生成された映像データDvに対応する映像の表示タイミングと、同じ映像音声データDに基づいて生成された音声データDaに対応する音声の出力タイミングとが同期させられる。
一方、制御部28は、特定処理90において、バッファ24に記憶させた音声データDa11のうちの時点t1aから時点t2aまでの間に出力された音声データDa11(データブロック:図6参照)の各音圧パターンと、A/Dコンバータ27によって生成された音声データDa3の音圧パターンとが対応していないと判別したときには(ステップ96)、音声データDa3と比較する比較範囲(バッファ24に記憶されている各音声データDa11のうちのいずれを比較対象とするかのパラメータ)を変更する(本発明における変更処理:ステップ99)。具体的には、制御部28は、対応する音圧パターンの音声データDa11が存在しなかった比較範囲(図6に示す比較範囲)の時点t1a(第1の時点)および時点t2a(第2の時点)をそれぞれ25ms分だけ後の時点(本発明における「予め規定された時間分だけ相違する時点」の一例)に変更して、図7に示すように時点t1b(変更処理後の第1の時点)から時点t2b(変更処理後の第2の時点)までの200msの範囲内(第1基準タイミング以前の75ms分、および第1基準タイミング後の125ms分)において出力された音声データDa1に対応する音声データDa11を新たな比較範囲として規定する。なお、変更処理によって比較範囲が過剰に拡がる事態を回避するために時点t1a(第1の時点)および時点t2a(第2の時点)の双方を同じ時間だけそれぞれ変更するのが好ましいが、時点t1a(第1の時点)および時点t2a(第2の時点)のいずれか一方のみを変更する構成を採用することもできる。
次いで、制御部28は、新たに規定した比較範囲を対象とする比較処理(前述したステップ95の処理)が可能であるか否かを判別する(ステップ100)。具体的には、制御部28は、比較範囲に対応する音声データDa11のバッファ24内への記憶が可能か否か、すなわち、新たに規定した時点t2bが第1基準タイミング後の400ms以内に到来するか否かを判別する。この際に、新たに規定した比較範囲を対象とする比較処理が可能であると判別したときに、制御部28は、映像音声データDに基づく映像の表示および音声の出力(映像音声データDの再生)が完了したか否かを判別し(ステップ98)、再生が完了していないと判別したときには、映像データDvおよび音声データDa1にタイムスタンプを付与すると共に(ステップ92)、ステップ93以降の処理を実行する。
また、ステップ99における比較範囲の変更処理が複数回に亘って実行されることで第1基準タイミング以後の200msから400msまでの200ms分の音声データ(音声データDa11)を比較範囲とした状態において、音声データDa3の音圧パターンと対応する音圧パターンの音声データDa11がその比較範囲内に存在しなかったときに、制御部28は、ステップ95における比較処理が不可能であると判別する(ステップ100)。この際に、制御部28は、バッファ24内に記憶させる音声データDa11のデータ量(バッファサイズ)を拡大する(ステップ101)。具体的には、制御部28は、まず、第1基準タイミング以後の200msから400msまでの200ms分(本発明における「第1の時点から第2の時点まで」の一例)の音声データDa1に対応する音声データDa11を比較範囲とした状態において、対応する音圧パターンの音声データDa11が検出されなかったときに(ステップ96)、第1基準タイミング後225ms(図8に示す時点t1c)から425ms(図8に示す時点t2c)までの200ms分(本発明における「変更処理後の第1の時点から変更処理後の第2の時点まで」の一例)の範囲を新たな比較範囲として規定する(ステップ99)。次いで、制御部28は、図8に示すように、バッファサイズを100ms分だけ拡大して、第1基準タイミング以前の100ms分の音声データと、第1基準タイミング後の500ms分の音声データとの合計600ms分の音声データを音声データDa11(データブロック)としてバッファ24に記憶させるように規定する(ステップ101)。このように、新たな比較範囲を対象とする比較処理が不可能であると判別したときに、制御部28は、最大で1000ms分の音声データDa11をバッファ24に記憶させるようにバッファサイズを拡大する(ステップ101)。
一方、対応する音圧パターンの音声データDa11が検出されず、しかも、バッファサイズの拡大によってバッファサイズを上限まで拡大させたときには(この例では、1000ms分の音声データDa11を記憶させるように規定した状態:ステップ102)、制御部28は、前述した比較範囲についてのパラメータおよびバッファサイズを初期化すると共に、第1基準タイミングデータDt1を一例として500ms分だけ早いタイミングに補正する(ステップ103)。この結果、次の第1基準タイミングが到来したとき(すなわち、補正以前の第1基準タイミングよりも500ms早いタイミングが到来したとき)には、補正前の第1基準タイミング以前600msの時点から補正前の第1基準タイミング以前100msの時点までの500ms分の音声データDa11がバッファ24に記憶されることとなる。
このように、比較範囲の変更(ステップ99)、バッファサイズの拡大(ステップ101)および第1基準タイミングの補正(ステップ103)を実行した後にステップ92以降の一連の処理を実行して、音声データDa3の音圧パターンと対応する音圧パターンの音声データDa11がバッファ24内に記憶されていると判別したときには(ステップ96)、制御部28は、前述したように第2基準タイミングデータDt2を生成してタイミングデータ記憶部29に記憶させる(ステップ97)。これにより、再生処理70のステップ78,80において第1基準タイミングデータDt1に対応する第1基準タイミングと第2基準タイミングデータDt2に対応する第2基準タイミングとが比較され、その比較結果に応じて映像データDvの出力タイミング(映像データDvに基づく映像の表示タイミング)が変更される。この結果、映像データDv(音声データDa1)に対応する音声の出力タイミングと、映像データDvに対応する映像の表示タイミングとが同期させられる。
さらに、制御部28は、再生処理70において、映像データDvの出力を停止したとき(ステップ79)、出力する映像データDvをスキップしたとき(ステップ81)、および第1基準タイミングが第2基準タイミングと一致すると判別したとき(ステップ80)のいずれかの時点において、映像音声データDに基づく映像の表示および音声の出力(映像音声データDの再生)が完了したか否かを判別する(ステップ77)。この際に、再生を完了していないと判別したときには、制御部28は、新たな第2基準タイミングデータDt2をタイミングデータ記憶部29に記憶させたか否か(新たな第2基準タイミングデータDt2の記憶が完了したか否か)を監視する(ステップ76)。また、映像音声データDの再生が完了したと判別したときには(ステップ77)、制御部28は、この再生処理70を終了する。
このように、このプロジェクタ1によれば、所定の音声データ(この例では、音声データDc,Daに対応する音声データDa1)を出力させた時点から所定の音声データに基づく音声が集音された時点(音声データDa3の音圧パターンと対応する音圧パターンの音声データDa11が検出された時点)までの時間長に応じて制御部28が映像データDvに基づく映像の映像表示部14による表示タイミングを変更することにより、デジタル音声データを出力する際の遅延時間を1つの時間長に規定している従来の伝送システムとは異なり、例えば、ネットワーク環境の相違に起因して音声データDa1を出力した時点からその音声データDa1に対応する音声が出力される時点までの時間長が相違するときであっても、そのネットワーク環境下における音声出力の遅延時間に応じて映像データDvに基づく映像の表示タイミングを変更して映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。また、プロジェクタ1とオーディオアンプ3との間において例えばタイムコントロール機能を有する特殊なプロトコルで通信することなく、httpやftp等の極く一般的なプロトコルで通信可能となるため、極く一般的な汎用のネットワークアダプタ11,51を用いてプロジェクタ1やオーディオアンプ3を安価に構成することができる。
また、このプロジェクタ1では、制御部28が音声データDa3に対応する時間差特定用音声データ(この例では、音声データDc基づいて生成した音声データDa1)を出力させた時点から音声データDa3に対応する音声が集音された時点までの時間長を特定するタイミング特定処理60を実行し、タイミング特定処理90におけるステップ95において、再生用音声データ(この例では、音声データDa基づいて生成した音声データDa1)を出力させた時点からタイミング特定処理60によって特定した時間長だけ経過した時点(この例では、第1基準タイミングデータDt1に基づいて特定される第1基準タイミングが到来した時点)において生成された音声データDa3と再生用音声データとを比較する。したがって、このプロジェクタ1によれば、特定処理60を実行することなく(第1基準タイミングデータDt1を生成するための基準タイミングを特定する処理を実行することなく)映像音声データDの再生時に音声データDaに対応する音声データDa1を出力した時点から音声データDa1に対応する音声が出力された時までの時間長に応じて映像の表示タイミングと音声の出力タイミングとを同期させる構成とは異なり、映像音声データDの再生開始直後から映像の表示タイミングと音声の出力タイミングとを同期させることができる。また、再生処理70と並行して特定処理90を実行することにより、映像音声データDの再生中にネットワークトラフィックが変化するなどして音声データDa1に基づく音声の出力に要する時間が変化したとしても、特定処理90によって生成される第2基準タイミングデータDt2に基づいて映像データDvに対応する映像の表示タイミングを逐次変更して映像の表示タイミングと音声の出力タイミングとを同期させた状態を維持することができる。
さらに、このプロジェクタ1では、出力した再生用音声データ(この例では、音声データDa基づいて生成した音声データDa1)のうちの所定時間分(一例として、500ms分)の再生用音声データ(音声データDa11)をバッファ24に記憶させ、タイミング特定処理90において、バッファ24に記憶されている再生用音声データのうちの第1の時点(例えば、時点t1a)から第2の時点(例えば、時点t2a)までの間に出力された再生用音声データと音声データDa3とを比較し、音声データDa3に対応する再生用音声データが第1の時点から第2の時点までの間に出力された再生用音声データのなかに存在しなかったときに、第1の時点と第2の時点とを予め規定された時間分(この例では、25ms分)だけ後の時点にそれぞれ変更して変更処理後の第1の時点(この例では、時点t1b)から変更処理後の第2の時点(この例では、時点t2b)までの間に出力された再生用音声データと音声データDa3とを比較する。したがって、このプロジェクタ1によれば、ネットワークアダプタ11から出力した音声データDa1のすべてを音声データDa11としてバッファ24に記憶させてそのすべてを比較対象として音声データDa3と比較する構成とは異なり、少ない記憶容量の記憶素子でバッファ24を構成することができると共に、第1の時点および第2の時点を自動的に変更して音声データDa3に対応する再生用音声データを確実に検出することができる。また、音声データDa3に対応する再生用音声データが第1の時点から第2の時点までに出力された再生用音声データのなかに存在しなかったときに、上記の変更処理時において、第1の時点と第2の時点との双方を予め規定された時間分だけ相違する時点(この例では、後の時点)にそれぞれ変更することで、特定処理90のステップ95において比較すべき音声データDa11のデータサイズ(データブロック数)を少なくして短時間で処理することができる。
また、このプロジェクタ1によれば、映像データDvに基づく映像の表示タイミングのみを変更することにより、音声データDaに基づく音声データDa1の出力タイミングを変更して映像の表示タイミングと音声の出力タイミングとを同期させる構成とは異なり、オーディオアンプ3(スピーカ4)から出力される音声を途切れさせることなく映像の表示タイミングと音声の出力タイミングとを同期させることができる。したがって、音声が途切れるといった違和感を認識させることなく映像音声データDを再生することができる。
また、このプロジェクタ1によれば、本発明に係る再生制御装置と本発明における表示部とを備えて一体的に構成したことにより、例えば、外部装置としての表示部に映像データDvを出力して映像を表示させる構成とは異なり、映像表示部14に映像データDvを出力した時点から映像データDvに基づく映像が表示される時点までの時間長を十分に短くすることができるしたがって、特定処理90によって特定した時間長(遅延時間)に基づき、映像データDvに基づく映像の表示を遅延させることなく、変更した表示タイミングで映像を正確に表示させることができる。
また、本発明に係る再生システムによれば、プロジェクタ1(本発明に係る再生制御装置および本発明における表示部)と、オーディオアンプ3およびスピーカ4(音発明における音声出力装置)とを備えて構成したことにより、映像データDvに基づく映像の表示タイミングと、その映像データDvと同期して再生すべき音声データDaに基づく音声の出力タイミングとを同期させて映像音声データDを再生することができる。
なお、本発明は、上記の構成に限定されない。例えば、上記のプロジェクタ1では、プロジェクタ1の初期設定処理の1つとして特定処理60を実行した後に、特定処理60によって生成された第1基準タイミングデータDt1を利用して再生処理70と特定処理90とを並行して実行する構成を採用しているが、映像の表示タイミングと音声の出力タイミングとを同期させるための基準タイミングを特定する処理(上記の特定処理60,90と同様の処理)については、例えばプロジェクタ1の初期設定時と、映像音声データDの再生時とのいずれか一方のみに実行する構成を採用することができる。具体的には、特定処理60を実行することなく、かつ、上記の再生処理70に代えて図9に示す再生処理110を実行することで映像の表示タイミングと音声の出力タイミングとを同期させることができる。
この再生処理110では、映像音声データDの再生を指示された際に、まず、前述した特定処理90を開始させる(ステップ111)。この場合、再生処理110と並行して実行する特定処理90では、ステップ93におけるタイミングの到来までの待機を実行せずに、その他のステップについては前述した処理と同様に実行する。したがって、この特定処理90についての説明を省略する。次いで、制御部28が、音声データDaに基づく音声データDa1のオーディオアンプ3への出力を開始すると共に(ステップ112)、映像表示部14による映像データDvの再生を開始させる(ステップ113)。続いて、制御部28は、第2基準タイミングデータDt2がタイミングデータ記憶部29に記憶されているか否かを判別する(ステップ114)。この際に、第2基準タイミングデータDt2の記憶が完了していないときには、制御部28は、映像音声データDの再生が完了したか否かを判別し(ステップ115)、再生が完了していないときには、第2基準タイミングデータDt2が記憶されたか否かを判別する(ステップ114)。また、並行して実行している特定処理90によって第2基準タイミングデータDt2を生成してタイミングデータ記憶部29に記憶させた際には、制御部28は、生成された(タイミングデータ記憶部29に記憶させた)第2基準タイミングデータDt2に基づく第2基準タイミングが変化したか否かを判別し(ステップ116)、変化が生じていないときには、映像音声データDの再生が完了したか否かを判別した後に(ステップ115)、新たな第2基準タイミングデータDt2が記憶されたか否かを判別する(ステップ114)。
一方、第2基準タイミングに変化が生じたときには(ステップ116)、制御部28は、第2基準タイミングに遅れが生じたか否かを判別する(ステップ117)。この際に、遅れが生じているときには、映像表示部14に対する映像データDvの出力を所定時間だけ(第2基準タイミングが遅れた時間分だけ)一時的に停止する(ステップ118)。これにより、映像の表示タイミングと音声の出力タイミングとが同期させられる。また、第2基準タイミングが早くなったときには(ステップ117)、制御部28は、映像表示部14に対する映像データDvの出力を所定時間分だけ(第2基準タイミングが早まった分だけ)スキップする(ステップ119)。これにより、映像の表示タイミングと音声の出力タイミングとが同期させられる。この後、制御部28は、映像音声データDの再生が完了したか否かを判別し(ステップ115)、完了したときにこの再生処理110を終了する。
このように、再生処理70に代えて再生処理110を実行するプロジェクタ1によれば、制御部28が音声データDa3に対応する再生用音声データ(この例では、音声データDa基づいて生成した音声データDa1)を出力させた時点から音声データDa3に対応する音声が集音された時点までの時間長を特定するタイミング特定処理90を実行し、タイミング特定処理90によって特定した時間長(この例では、第2基準タイミングデータDt2)に応じて映像データDvに基づく映像の映像表示部14による表示タイミングを変更することにより、デジタル音声データを出力する際の遅延時間を1つの時間長に規定している従来の伝送システムとは異なり、映像音声データDの再生時にネットワークトラフィックが変化して音声データDa1を出力した時点からその音声データDa1に対応する音声が出力される時点までの時間長が変化したとしても、その時間長の変化に応じて映像データDvに基づく映像の表示タイミングを変更して映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。
また、上記の再生処理70,110に代えて、図10に示す再生処理120を実行することで映像音声データDに基づく映像の表示タイミングと音声の出力タイミングとを同期させる構成を採用することもできる。この再生処理120では、映像音声データDの再生開始を指示された際に、制御部28がタイミングデータ記憶部29に第1基準タイミングデータDt1が記憶されているか否かを判別する(ステップ121)。また、第1基準タイミングデータDt1が記憶されていないときには、制御部28は、前述した特定処理60を実行する。この結果、チェック用の音声データDcを利用して特定した第1基準タイミングについての第1基準タイミングデータDt1がタイミングデータ記憶部29に記憶される。次に、制御部28は、ネットワークアダプタ11を制御して音声データDaに基づいて生成された音声データDa1のオーディオアンプ3への出力を開始させると共に(ステップ122)、第1基準タイミングデータDt1に基づいて特定される第1基準タイミングが到来するまで待機する(ステップ123)。また、第1基準タイミングが到来したときには、制御部28は、映像音声データDに基づいて生成した映像データDvの映像表示部14による再生を開始させる(ステップ124)。これにより、特定処理60によって特定された遅延時間分だけ映像データDvに基づく映像の表示が遅れることにより、音声データDa1に基づく音声の出力タイミングと、映像表示部14による映像の表示タイミングとが同期する。この後、制御部28は、映像音声データDの再生が完了したときに(ステップ125)、この再生処理120を終了する。
このように、再生処理70,110に代えて再生処理120を実行するプロジェクタ1によれば、制御部28が音声データDa3に対応する時間差特定用音声データ(この例では、音声データDc基づいて生成した音声データDa1)を出力させた時点から音声データDa3に対応する音声が集音された時点までの時間長を特定するタイミング特定処理60を実行して、タイミング特定処理60によって特定した時間長(この例では、第1基準タイミングデータDt1)に応じて映像データDvに基づく映像の映像表示部14による表示タイミングを変更することにより、映像音声データDの再生に先立って特定処理60によって特定した遅延時間(第1基準タイミングデータDt1)に基づき、映像音声データDの再生処理中に特定処理90等を実行することなく、映像の表示タイミングと音声の出力タイミングとを同期させることができる。
さらに、前述したプロジェクタ1では、音声データDa1の出力時点から対応する音声の出力時点までの時間長(遅延時間)に応じて、映像データDvに基づく映像の表示タイミングのみを変更することで映像の表示タイミングと音声の出力タイミングとを同期させる構成を採用しているが、本発明はこれに限定されない。例えば、上記の遅延時間分だけ音声データDa1をスキップして出力することで映像の表示タイミングと音声の出力タイミングとを同期させる構成を採用することができる。また、映像データDvに基づく映像の表示タイミングと、オーディオアンプ3への音声データDa1の出力タイミングとの双方を変化させることで映像の表示タイミングと音声の出力タイミングとを同期させる構成を採用することもできる。これらの構成を採用した場合にも、前述したプロジェクタ1と同様にして、ネットワーク環境の相違やネットワークトラフィックの変化に影響されることなく、映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。
また、プロジェクタ1の設置が完了した状態で特定処理60を実行する例について説明したが、特定処理60の実行タイミングは初期設定処理時に限定されず、例えば、プロジェクタ1の電源投入時や、利用者が指定した任意のタイミングで実行する構成を採用することができる。さらに、特定処理60において音声データDa1の出力を開始した際に(ステップ64)、所定のメッセージを映像表示部14に表示させる構成を採用しているが、メッセージに代えて、例えば広告映像やリラクゼーション映像等の各種映像を表示させることもできる。また、本発明に係る再生制御装置をプロジェクタ1に搭載した例について説明したが、投射機構32に代えて、液晶表示器、プラズマ表示器、有機EL表示器およびCRT等の各種表示器を備えた表示装置に本発明に係る再生制御装置を搭載することができる。さらに、本発明は、表示装置に再生制御装置を搭載した構成に限定されず、外部装置としての表示装置に映像信号Svを出力して映像を表示させる構成を採用することもできる。この場合、例えば屋外広告表示システムのように音声出力装置と表示装置とが遠く離れた場所に設置されている状態であっても、本発明に係る再生制御装置を用いることによって映像の表示タイミングと音声の出力タイミングとを確実に同期させることができる。
さらに、コンテンツ配信サーバ2から取得した映像音声データDを再生する例について説明したが、本発明における映像音声データは、ネットワークNを介して取得した動画コンテンツに限定されず、例えばDVDプレーヤ等の各種再生装置から出力される映像音声データDや、チューナを介して受信した映像音声データD等がこれに含まれる。また、本発明における時間差特定用音声データ(音声データDc)についても、コンテンツ配信サーバ2等から取得したものに限定されず、本発明に係る再生制御装置内に予め記憶させた音声データを利用する構成を採用することができる。
1 プロジェクタ、3 オーディオアンプ、4 スピーカ、11 ネットワークアダプタ、12 映像音声処理部、13 再生処理部、14 映像表示部、23 音声処理部、24 バッファ、25 タイマ、26 マイク、27 A/Dコンバータ、28 制御部、29 タイミングデータ記憶部、60,90 タイミング特定処理、70,110,120 再生処理、D 映像音声データ、Da,Da1〜Da3,Da11,Dc 音声データ、Dt1 第1基準タイミングデータ、Dt2 第2基準タイミングデータ、Dv 映像データ、N ネットワーク、Sa1,Sa2 音声信号、Sv 映像信号、t0,t2,t1a,t2a,t1b,t2b,t1b,t2b 時点
Claims (8)
- 同期して再生すべき一対の再生用映像データおよび再生用音声データを映像音声データに基づいて生成するデータ生成部と、ネットワークを介して前記再生用音声データを音声出力装置に出力するデータ出力部と、前記再生用映像データに基づく映像を表示させるべく当該再生用映像データを表示部に出力すると共に前記データ出力部を制御して前記再生用音声データを出力させる制御部と、音声を集音する集音部とを備え、
前記制御部は、前記データ出力部を制御して前記音声出力装置に所定の音声データを出力させた時点から当該所定の音声データに基づく音声が前記集音部によって集音された時点までの時間長に応じて、前記再生用映像データに基づく前記映像の前記表示部による表示タイミングと前記データ出力部による前記再生用音声データの出力タイミングとの少なくとも一方を変更する再生制御装置。 - 前記制御部は、前記データ出力部を制御して前記所定の音声データとして前記再生用音声データを出力させ、前記集音部によって集音された前記音声に基づいて生成された比較用音声データと当該再生用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該再生用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第1の特定処理を実行し、当該特定した時間長に応じて前記映像の表示タイミングと前記再生用音声データの出力タイミングとの少なくとも一方を変更する請求項1記載の再生制御装置。
- 時間差特定用音声データを記憶する第1の記憶部を備え、
前記制御部は、前記データ出力部を制御して前記所定の音声データとして前記時間差特定用音声データを出力させ、当該時間差特定用音声データと前記比較用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該時間差特定用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第2の特定処理を前記第1の特定処理に先立って実行し、当該第1の特定処理時において、前記再生用音声データを出力させた時点から前記第2の特定処理によって特定した時間長だけ経過した時点において生成された前記比較用音声データと当該再生用音声データとを比較する請求項2記載の再生制御装置。 - 前記再生用音声データを記憶する第2の記憶部を備え、
前記制御部は、前記第1の特定処理時において、前記データ出力部を制御して出力させた前記再生用音声データのうちの所定時間分の当該再生用音声データを前記第2の記憶部に記憶させると共に、当該第2の記憶部に記憶させた前記再生用音声データのうちの第1の時点から第2の時点までの間に出力された当該再生用音声データと前記比較用音声データとを比較し、当該比較用音声データに対応する前記再生用音声データが前記第1の時点から前記第2の時点までに出力された当該再生用音声データのなかに存在しなかったときに、当該第1の時点と当該第2の時点との少なくとも一方を予め規定された時間分だけ相違する時点に変更する変更処理を実行し、当該変更処理後の前記第1の時点から当該変更処理後の前記第2の時点までの間に出力された前記再生用音声データと前記比較用音声データとを比較する請求項2または3記載の再生制御装置。 - 時間差特定用音声データを記憶する第1の記憶部を備え、
前記制御部は、前記データ出力部を制御して前記所定の音声データとして前記時間差特定用音声データを出力させ、前記集音部によって集音された前記音声に基づいて生成された比較用音声データと当該時間差特定用音声データとを比較した結果に基づき、当該比較用音声データに対応する当該時間差特定用音声データを出力させた時点から当該比較用音声データに対応する音声が集音された時点までの時間長を特定する第2の特定処理を実行し、当該特定した時間長に応じて前記映像の表示タイミングと前記再生用音声データの出力タイミングとの少なくとも一方を変更する請求項1記載の再生制御装置。 - 前記制御部は、前記映像の表示タイミングおよび前記再生用音声データの出力タイミングのうちの当該表示タイミングのみを前記特定した時間長に応じて変更する請求項1から5のいずれかに記載の再生制御装置。
- 請求項1から6のいずれかに記載の再生制御装置と、前記表示部とを備えて構成されている表示装置。
- 請求項1から6のいずれかに記載の再生制御装置と、前記表示部と、前記音声出力装置とを備えて構成されている再生システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005266393A JP2007081780A (ja) | 2005-09-14 | 2005-09-14 | 再生制御装置、表示装置および再生システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005266393A JP2007081780A (ja) | 2005-09-14 | 2005-09-14 | 再生制御装置、表示装置および再生システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007081780A true JP2007081780A (ja) | 2007-03-29 |
Family
ID=37941619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005266393A Withdrawn JP2007081780A (ja) | 2005-09-14 | 2005-09-14 | 再生制御装置、表示装置および再生システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007081780A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010541323A (ja) * | 2007-09-21 | 2010-12-24 | トムソン ライセンシング | ユーザー観察可能な信号を同期化させるための装置および方法 |
US8977330B2 (en) | 2010-12-06 | 2015-03-10 | Fujitsu Ten Limited | In-vehicle apparatus |
WO2015052908A1 (ja) * | 2013-10-11 | 2015-04-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 送信方法、受信方法、送信装置および受信装置 |
JP2015076881A (ja) * | 2013-10-11 | 2015-04-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 送信方法、受信方法、送信装置および受信装置 |
-
2005
- 2005-09-14 JP JP2005266393A patent/JP2007081780A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010541323A (ja) * | 2007-09-21 | 2010-12-24 | トムソン ライセンシング | ユーザー観察可能な信号を同期化させるための装置および方法 |
US8977330B2 (en) | 2010-12-06 | 2015-03-10 | Fujitsu Ten Limited | In-vehicle apparatus |
WO2015052908A1 (ja) * | 2013-10-11 | 2015-04-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 送信方法、受信方法、送信装置および受信装置 |
JP2015076881A (ja) * | 2013-10-11 | 2015-04-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 送信方法、受信方法、送信装置および受信装置 |
JP2019169948A (ja) * | 2013-10-11 | 2019-10-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 送信方法、受信方法、送信装置および受信装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI556656B (zh) | 具有藍牙功能之音訊播放裝置及音訊播放方法 | |
US20120155657A1 (en) | Communication device and communication methods | |
KR100902013B1 (ko) | 타일드 디스플레이 시스템 및 상기 시스템에서의 동기화방법 | |
WO2006011400A1 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
CN108366283A (zh) | 多设备间的媒体同步播放方法 | |
US20160267878A1 (en) | Display control apparatus, display control system, and display control method | |
US7738772B2 (en) | Apparatus and method for synchronizing video data and audio data having different predetermined frame lengths | |
JP2007081780A (ja) | 再生制御装置、表示装置および再生システム | |
JP5212593B2 (ja) | プロジェクタ、投写システムおよび投写方法 | |
US10925014B2 (en) | Method and apparatus for synchronization in a network | |
JP4256710B2 (ja) | Av伝送方法及びav伝送装置、並びにav送信装置及びav受信装置 | |
JP2007096971A (ja) | 無線送信装置および無線受信装置 | |
JP2017147594A (ja) | オーディオ機器 | |
JP2005079614A (ja) | 移動型音声出力装置、コンテンツ再生装置、無線チャネル制御方法及び同期制御方法 | |
JP6956354B2 (ja) | 映像信号出力装置、制御方法、及び、プログラム | |
JP4168269B2 (ja) | 携帯電話端末および携帯電話端末の同期制御方法 | |
JPWO2019163085A1 (ja) | コンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システム | |
JPH11313273A (ja) | 表示装置 | |
JP6575684B2 (ja) | 同期設定装置、配信システム、同期設定方法、及びプログラム | |
JP2007134963A (ja) | 再生システム及びサーバ | |
JP2010085688A (ja) | プロジェクター、会議システム、音源方向決定方法およびカメラ制御方法 | |
JP7406169B2 (ja) | 同期制御装置、同期制御方法、および、同期制御プログラム | |
US11657777B2 (en) | Control method for display device and display device | |
US20150371603A1 (en) | Output system, output apparatus, and power control method | |
US11704088B2 (en) | Intelligent control method and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070405 |
|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081202 |