JP2013115782A - 電子機器及び音声出力方法 - Google Patents

Abstract

【課題】第一及び第二の再生装置において、好適な音声再生出力制御を可能とする電子機器及び音声出力方法を提供する。
【解決手段】実施形態の電子機器は、オーディオ出力部と、送信部と、第一の検知部と、第二の検知部と、第三の検知部と、制御部と、を具備する。オーディオ出力部は、オーディオを再生して第一の再生出力を出力する。送信部は、相手先機器に対してオーディオを送信する。第一の検知部は、送信部が送信したオーディオを相手方機器が再生した第二の再生出力、もしくは相手方機器が出力するオーディオを検知する。第二の検知部は、相手方機器と自機器との位置関係に関するパラメータを検知する。第三の検知部は、相手方機器による第二の再生出力と第一の再生出力との時間的なずれを検知する。制御部は、自機器と相手方機器との位置関係に応じて、タイミングの制御の実行と非実行とを切り替える。
【選択図】図２Ａ

Description

この発明は、動画や静止画等の映像や音声（オーディオ）からなるコンテンツを再生するする電子機器及び音声出力方法に関する。

動画や静止画等の映像や音声（オーディオ）からなるコンテンツ（番組あるいはタイトルと称する場合もある）を視聴する方法として、電子機器（第一の装置、ソース機器と称する場合もある）で再生・表示している映像のデータを、ユーザーが保持する携帯端末装置（第二の装置、シンク機器と称する場合もある）に送信し、当該携帯端末装置にて再生する技術がある。

特開２００８−２１９８１９号公報

しかし、このような技術においては、電子機器（ソース機器）での映像や音声の出力タイミングと、携帯端末装置（シンク機器）での映像や音声の出力タイミングとに時間差が生じる恐れがある。

しかしながら、遅延量の補正を行うことを想定すると、シンク機器−ソース機器間の遅延補正処理により処理が複雑化し、機器の即応性を失う恐れがある。このため、シンク機器とソース機器とにおいては、遅延対策と即応性のバランスがとれるよう好適に音声再生出力を制御できることが好ましい。

これに対しこの発明の目的は、第一及び第二の再生装置において、好適な音声再生出力制御を可能とする電子機器及び音声出力方法を提供することである。

実施形態によれば、電子機器は、表示部と、オーディオ出力部と、送信部と、第一の検知部と、第二の検知部と、第三の検知部と、制御部と、を具備する。表示部は、映像を表示する。オーディオ出力部は、オーディオ信号を再生して第一の再生出力を出力する。送信部は、相手先機器に対してオーディオ信号を送信する。第一の検知部は、送信部が送信したオーディオ信号を相手方機器が再生した第二の再生出力、もしくは相手方機器が出力するオーディオ出力を検知する。第二の検知部は、前記相手方機器と自機器との位置関係に関するパラメータを検知する。第三の検知部は、前記第一の検知部が検知した前記相手方機器による前記第二の再生出力と前記オーディオ出力部が出力する前記第一の再生出力との時間的なずれを検知する。制御部は、自機器と前記相手方機器との位置関係に応じて、前記タイミングの制御の実行と非実行とを切り替える。

実施形態を適用する再生装置（電子機器）及び再生装置（電子機器）相互の無線通信を用いる接続の一例を示す。 実施形態を適用する再生装置（電子機器）及び再生装置（電子機器）相互の無線通信を用いる接続の一例を示す。 実施形態における第一の再生装置（ソース機器）と第二の再生装置（シンク機器）の主要部の一例を示す。 実施形態における第一の再生装置（ソース機器）と第二の再生装置（シンク機器）の主要部の一例を示す。 実施形態における再生装置相互間の距離検知及びオーディオ出力の送信タイミングの設定の一例を示す。 実施形態における再生装置相互間の距離検知及びオーディオ出力の送信タイミングの設定の一例を示す。 実施形態における再生装置相互間の距離検知の原理を示す。 実施形態における再生装置相互間の距離検知の原理を示す。 実施形態における再生装置相互間の音声再生出力検知（ノイズ判別）を示す。 実施形態における再生装置相互間の音声再生出力検知（同一性）を示す。

以下、図面を参照して、本発明の実施の一形態について説明する。

図１Ａ及び図１Ｂは、実施形態を適用する記録再生装置を含むネットワークの接続の一例を示す。なお、以下に説明する様々な要素（構成）は、ハードウエアで実現するものであってもよいし、ＣＰＵ（マイクロコンピュータ）等を用いて、ソフトウエアで実現するものであってもよい。

図１Ａにおいて、第一の再生装置（ソース機器と称する場合がある）１００は、無線通信部（無線通信モジュール（手段）１）１０１により、第二の再生装置（シンク機器と称する場合がある）２００の無線通信部（無線通信モジュール（手段）２）２０１との間の制御信号の受け渡しと、第二の再生装置２００へのデータ（コンテンツ、映像及びオーディオ（音声））の送信が可能である。なお、第一の再生装置１００と接続する無線通信部（無線通信モジュール１）１０１あるいは第二の再生装置２００と接続する無線通信部（無線通信モジュール２）２０１は、それぞれ接続相手先と一体に用意されてもよいし、それぞれが所定のンターフェース装置により接続されるものであってもよい。

第一の再生装置１００は、たとえばテレビジョン放送受信装置（単にテレビ装置と称する場合がある）、レコーダ装置とモニタ装置との組み合わせ、あるいはＳＴＢ（Set Top Box、外部チューナー装置と解される）とモニタ装置との組み合わせ、等、映像信号と音声（オーディオ）信号に基づく映像の表示と音声信号に基づく音声（オーディオ）の再生が可能であれば、その内部構成や組み合わせは任意である。

第二の再生装置２００は、例えばＡＶ（Audio Visual）アンプ装置（リピータ機器と称する場合がある）及び接続されたスピーカー（音声再生装置）、ＡＶアンプ装置とスピーカーが組み合わせられた音響装置、レコーダ装置とモニタ装置との組み合わせ、携帯端末装置（タブレット型ＰＣ（パーソナルコンピュータ）、ノート型ＰＣ、映像データを再生可能な携帯電話装置、スマートフォン等）、テレビ装置、等、映像信号と音声（オーディオ）信号に基づく映像の表示と音声信号に基づく音声（オーディオ）の再生が可能であれば、その内部構成や組み合わせは任意である。

図１Ｂに示すように、第一の再生装置１００と第二の再生装置２００とは、例えば家庭内ＬＡＮ（Local Area Network）を構成するルータ（ネットワーク管理装置）１を経由して相互に接続するもの（制御信号及びデータの受け渡しが可能）であってもよい。なお、図１Ｂにおいて、ルータ１は、家庭内ＬＡＮをワイヤレス（無線式）システムとする無線式（wireless，ワイヤレスと称される）であってもよいし、接続（経路）の一部が無線式であってもよい。ルータ１を含むネットワークは、例えば、今日、高速化（通信容量の増加）がめざましい、近距離無線通信規格、例えばブルートゥース（登録商標）／Bluetooth（登録商標）や、ＰＬＣ（Power Line Communication）を用いることも可能である。なお、ルータ１は、サーバとしての機能をもつものであってもよい。

図２Ａに、図１Ａに示した第一の再生装置（ソース機器）と第二の再生装置（シンク機器）の主要部を説明する。

ソース機器（テレビ装置）１００は、主制御部（ＭＰＵ（Main Processing Unit，主制御ブロック）制御手段１）１１１、記録装置（記録手段１）１１２、信号処理部（ＤＳＰ（Digital Signal Processor）１）１１３、モニタ部（映像表示装置、ディスプレイ（表示部１）１１４、ソース−シンク位置関係検出部（位置関係検出手段１）１１５、遅延量検知制御回路（タイムスタンプ検知制御回路、遅延検出手段１）１１６、スピーカー（音声再生手段１）１１７、マイク（音響信号検出手段）１１８、及び映像信号と音声（オーディオ）信号すなわちコンテンツの入力を受けつける入力部（入力手段１）１１９を含む。なお、主制御部（制御手段１）１１１は、上述した無線通信部（無線通信モジュール（手段）１）１０１と接続する。また、無線通信部（無線通信モジュール（手段）１）１０１は、図１Ｂに示す例の通り、通信相手方装置（第二の再生装置２００）との間の直接的な通信に限らず、ルータ１との間の通信が可能であればよい。

主制御部（制御手段１）１１１は、例えば記録・再生処理部（管理情報処理部／タイムスタンプ処理部）、エンコードパラメータ検出・処理部、ＧＵＩ（Graphical User Interface）表示制御部、ＳＤＲＡＭ（メインメモリ）等を含み、再生装置１００内部の各要素を制御するとともにリモートコントローラ等によるユーザー操作（入力指示）に対応し、コンテンツ（番組）の記録、再生、複製、移動、消去及び編集等を制御する。主制御部（制御手段１）１１１はまた、無線通信部１０１による通信相手方機器との間の通信を制御する。なお、通信相手方機器からのウエイクアップ（Wake UP）コマンドや、ルータ１を経由した通信相手方機器Ｗｏｎ（Wake on Lan）コマンドの受けつけ及び受けつけたコマンドに従う一部の処理は、無線通信部１０１が単独で処理できる。また、その処理結果に従い、主制御部１１１を通じて、ソース機器１００の特定の構成に、所定の制御信号を供給する。

記録装置（記録手段１）１１２は、ＤＳＰ１１３あるいは主制御部１１１において所定の形式に処理された入力部１１９を通じて入力のあるコンテンツ、放送波を復調した番組、等を所定の形式で記録する。なお、記録装置１１２は、デジタル信号化された様々なファイルを、上述の情報として保持する。ファイルとしては、オーディオ（Audio）／ビデオ（Video）コンテンツ、あるいは文字などのテキストデータや写真データ等の種々のデータ、例えばビデオ（Video、動画）については、例えばＭＰＥＧ（Moving Picture Experts Group）−１、−２、−４（Ｈ．２６４／ＡＶＣ）、オーディオ（Audio、音声／音楽）については、例えばＭＰ３（MPEG Audio layer-3）、ＡＣ３（Audio Code number 3）、リニアＰＣＭ（Pulse Coded Module）、静止画については、例えばＪＰＥＧ（Joint Photographic Experts Group）、等が、広く知られている。また、今日、記録媒体としては、半導体メモリ（ＳＤ（Secure Digital）カード）等のＳＳＤ（Solid State Drive）を用いることも可能である。

ＤＳＰ１１３は、主として制御部１１１による制御に従い、ＳＤＲＡＭをワークメモリとして、データ（コンテンツ）の転送、コンテンツの任意の映像（静止画または動画）に対応するサムネイル画像（縮小画像）の生成等、ならびにモニタ部１１４が表示可能な映像信号及びスピーカー１１７が再生可能な音声信号の生成、等を行う。

モニタ部１１４は、ＤＳＰ１１３から供給される映像信号を再生して、ユーザーが見ることのできる映像を表示する。なお、モニタ部１１４が表示する表示は、ＧＵＩ表示制御部が出力するＧＵＩ画像が所定の透過率で重ね合わせられた（例えばユーザーによる指示入力の入力待ち）状態の表示であることもある。

ソース−シンク位置関係検出部（位置関係検出手段１）１１５は、後段に詳しく説明するが、無線通信部１０１により通信する通信相手先（例えば第二の再生装置２００）との間の距離や、相互間の境界（例えば家庭内における壁）の存在を推定（検出）する。

遅延量検知制御回路（タイムスタンプ検知制御回路、遅延検出手段１）１１６は、ソース−シンク位置関係検出部（位置関係検出手段１）１１５が推定する相互間の距離や境界の有無に応じて遅延補正処理の実行／非実行を制御する。また遅延量検知制御回路１１６は、ソース機器１００がシンク機器２００にコンテンツデータを送信して映像表示及び音声出力させた場合の、自機器（ソース機器１００）での映像表示及び音声出力に対する遅延量を検出し、当該遅延量をメモリに記憶する。当該遅延量の検出において遅延量検知制御回路１１６は、シンク機器２００において出力された音声と自機器において出力する音声との時間差（遅延量、遅延時間）を検出する。

なお遅延量検出は、例えば以下のようにして実行する。まず、遅延補正を実行していない状態においてコンテンツデータを読み込むと、自機器においてデコード及び出力するとともに、シンク機器２００に送信して当該コンテンツデータの音声を出力させる。ここでシンク機器２００では、当該コンテンツデータを受信するとデコードして出力するので、ソース機器１００においては、シンク機器２００が出力した音声を検出し、自機器において出力する音声との時間差を検出する。なお遅延量検出に用いるコンテンツデータは例えば遅延量検出用のモデル音を含むコンテンツデータであってもよいし、通常のコンテンツ（映画や放送等のコンテンツ）のコンテンツデータであってもよい。

そして遅延量検知制御回路１１６は、遅延補正を実行する際には、メモリに記憶された遅延量に基づいて自機器における映像表示及び音声出力のタイミングを制御する。つまり、シンク機器２００での表示・出力タイミングが自機器（ソース機器１００）での表示・出力のタイミングに対して遅れていた場合は、自機器での映像表示・音声出力を遅らせてソース機器１００の表示・出力タイミングに合わせる。一方、シンク機器２００での映像表示と音声出力のタイミングが、自機器での映像表示と音声出力のタイミングよりも早い場合には、例えば無線通信部１０１を用いて、シンク機器２００に遅延量を通知するとともに、映像表示と音声出力を当該遅延量分遅らせるように指示する。なおここでの遅延量は、シンク機器２００での出力タイミングに対するソース機器１００での出力タイミングの遅延量である。

また遅延量検知制御回路１１６は、コンテンツデータの符号化形式毎に遅延量を検出し、検出した当該符号化形式毎の遅延量をメモリに記憶してもよい。これは、シンク機器２００がコンテンツデータを受信して映像・音声出力までの時間が符号化形式によって異なる場合があるためである。また、ソース機器においても、コンテンツデータを読み込んでから映像・音声出力するまでの時間が符号化形式によって異なる場合がある。

そしてこの場合に遅延量検知制御回路１１６は、コンテンツデータをシンク機器に送信する場合に、当該コンテンツの符号化形式を判別し、判別した符号化形式に応じた遅延量補正を実行しても良い。更に遅延量検知制御回路１１６は、同一の符号化形式のコンテンツであっても、著作権保護コンテンツか否かにより異なる遅延量で補正してもよい。保護コンテンツは所定の暗号化形式により暗号化して送信される。このため、保護コンテンツを処理する場合においては、非保護コンテンツの場合に実行される処理に、ソース機器１００での暗号化処理とシンク機器での復号処理が加わる場合がある。つまり、ソース機器１００での出力タイミングとシンク機器での出力タイミングは、コンテンツが保護されているか否かにより異なる遅延量になる場合がある。よって遅延量検知制御回路１１６は、同一の符号化形式のコンテンツデータに対して、保護コンテンツ用と非保護コンテンツ用の遅延量を検出し、これらを記憶し、コンテンツ送信の際には、符号化形式と保護コンテンツであるか否かと、に応じた遅延量制御を実行してもよい。

スピーカー（音声再生手段１）１１７は、ＤＳＰ１１３から供給される音声信号を、音声（オーディオ）を再生して、ユーザーに聞こえる音声（オーディオ）を出力する。

マイク（音響信号検出手段）１１８は、ユーザーの会話、通信相手先機器が出力する音声（オーディオ）等を検出し、ソース−シンク位置関係検出部１１５による通信相手先（例えば第二の再生装置２００）との間の距離や相互間の境界（例えば家庭内における壁）の存在を推定（検出）に利用可能な音声（オーディオ）データの生成もしくは音声入力と呼ばれるユーザー指示の入力方法の１つに利用される。

なお、ソース機器１００においては、ソース−シンク位置関係検出部１１５、遅延量検知制御回路１１６及びマイク１１８は、再生装置の用途や大きさ（据え置き／携帯可能）等に基づいて省略されることができる。例えばマイク１１８は、スピーカー１１７と兼用されることができる。

図２Ｂに、図１Ｂに示した第一の再生装置（ソース機器）と第二の再生装置（シンク機器）の主要部を説明する。

シンク機器（携帯端末装置）２００は、主制御部（制御手段２）２１１、記録装置（記録手段２）２１２、信号処理部（ＤＳＰ（Digital Signal Processor）２）２１３、モニタ部（映像表示装置、ディスプレイ（表示部２）２１４、シンク−ソース位置関係検出部（位置関係検出手段２）２１５、遅延量検知制御回路（タイムスタンプ検知制御回路、遅延検出手段２）２１６、スピーカー（音声再生手段２）２１７、マイク（音響信号検出手段）２１８、及び映像信号と音声（オーディオ）信号すなわちコンテンツの入力を受けつける入力部（入力手段２）２１９を含む。なお、主制御部（制御手段２）２１１は、上述した無線通信部（無線通信モジュール（手段）２）２０１と接続する。また、無線通信部（無線通信モジュール（手段）２）２０１は、図１Ｂに示す例の通り、通信相手方装置（第一の再生装置１００）との間の直接的な通信に限らず、ルータ１との間の通信が可能であればよい。

なお、図２Ｂに示すシンク機器２００における主要部の構成及び動作については、図２Ａにより説明したソース機器に準じる（同一の名称の要素は実質的に同様に機能する）ため、その説明は省略する。

シンク−ソース位置関係検出部（位置関係検出手段２）２１５は、後段に詳しく説明するが、無線通信部２０１により通信する通信相手先（例えば第一の再生装置１００）との間の距離や、相互間の境界（例えば家庭内における壁）の存在を推定（検出）する。

遅延量検知制御回路（タイムスタンプ検知制御回路、遅延検出手段２）２１６は、図２Ａにより既に説明した例と実質的に同等であるが、ソース−シンク位置関係検出部（位置関係検出手段１）１１５が推定する相互間の距離や境界の有無に応じて遅延補正処理の実行／非実行を制御する。また遅延量検知制御回路２１６は、ソース機器からコンテンツデータを受信して映像表示及び音声出力した場合の、ソース機器での映像表示及び音声出力に対する自機器での映像表示及び音声出力の遅延量を検出し、当該遅延量をメモリに記憶する。当該遅延量の検出において遅延量検知制御回路２１６は、ソース機器において出力された音声と自装置において出力する音声との時間差（遅延量、遅延時間）を検出する。

なお遅延量検出は、例えば以下のようにして実行する。まず、遅延補正を実行していない状態においてソース機器１００からコンテンツデータを受信すると、シンク機器１００（自機器）においてデコード及び出力する。ここでソース機器１００においても、当該コンテンツデータをデコードして出力するので、シンク機器２００においては、ソース機器１００が出力した音声を検出し、自機器において出力する音声との時間差を検出する。なお遅延量検出に用いるコンテンツデータは例えば遅延量検出用のモデル音を含むコンテンツデータであってもよいし、通常のコンテンツであってもよい。

そして遅延量検知制御回路２１６は、遅延補正を実行する際には、メモリに記憶された遅延量に基づいて自装置における映像表示及び音声出力のタイミングを制御する。つまり、シンク機器２００（自機器）での出力タイミングがソース機器１００に対して遅れていた場合は、ソース機器１００に対して遅延量を通知し、映像表示・音声出力を当該遅延量分遅らせるように指示する。一方、シンク機器２００（自機器）での映像表示・音声出力のタイミングが、ソース機器１００での映像表示と音声出力のタイミングよりも早い場合には、自機器での映像表示・音声出力を遅延量分遅らせる、又はソース機器１００に対して遅延量を通知してコンテンツデータの送信タイミングを遅延量分遅らせる。

また遅延量検知制御回路２１６は、コンテンツデータの符号化形式毎に遅延量を検出し、検出した当該符号化形式毎の遅延量をメモリに記憶してもよい。そしてこの場合に遅延量検知制御回路２１６は、コンテンツデータをシンク機器に送信する場合に、当該コンテンツの符号化形式を判別し、判別した符号化形式に応じた遅延量補正を実行しても良い。更に遅延量検知制御回路２１６は、同一の符号化形式のコンテンツであっても、著作権保護コンテンツか否かにより異なる遅延量で補正してもよい。即ち遅延量検知制御回路２１６は、同一の符号化形式のコンテンツデータに対して、保護コンテンツ用と非保護コンテンツ用の遅延量を検出し、これらを記憶し、コンテンツ受信して映像表示・音声出力する際には、符号化形式と保護コンテンツであるか否かと、に応じた遅延量制御を実行してもよい。

なお、シンク機器２００においては、表示部２１４、ソース−シンク位置関係検出部２１５、遅延量検知制御回路２１６及びマイク２１８は、再生装置の用途や大きさ（据え置き／携帯可能）等に基づいて、省略されることができる。例えばマイク２１８は、スピーカー２１７と兼用されることができる。

図３に、実施形態の主要な動作を、ソフトウエア的に示す。

図１Ａ及び図２Ａまたは図１Ｂ及び図２Ｂに示すソース機器−シンク機器の相互接続においては、例えば、
（Ａ）ソース機器とシンク機器が同一の部屋（空間）に位置する、
ａ）ソース機器が出力した音声がシンク機器の位置においても十分聞き取れる、
ｂ）ソース機器が出力した音声がシンク機器の位置においても十分聞き取れるが、字幕表示等をシンク機器においても再生する、
ｃ）ソース機器が出力した音声がシンク機器の位置においても十分聞き取れるがシンク機器においては、異なる言語の音声を再生する、
ｄ）シンク機器は、ソース機器が出力した音声を聞き取れるほどの距離よりも離れて、位置する（シンク機器の位置では）ソース機器が出力した音声を聞き取れない、
ｅ）シンク機器とソース機器との間に、仕切り（例えば観葉植物等、音を遮蔽しない）がある、
ｆ）シンク機器とソース機器との間に、仕切り（例えば本棚等、音を遮蔽する）がある、
（Ｂ）ソース機器とシンク機器が異なる部屋（空間）に位置する、
ａ´）ソース機器が出力した音声がシンク機器の位置においても十分聞き取れる、
ｃ´）ソース機器が出力した音声がシンク機器の位置においても十分聞き取れるがシンク機器においては、異なる言語の音声を再生する、
ｄ´）シンク機器の位置では、ソース機器が出力した音声を聞き取れない、
等の様々な要因により、シンク機器において、ソース機器と独立に音声を再生する、あるいはシンク機器は、音声を再生しない（音声出力を「０」とする）、
というような、シンク機器における音声再生（音声出力）について、いろいろな出力形態が生じる。

なお、シンク機器が携帯可能な装置である場合においては、例えば、
Ｃ）シンク機器は、非ＡＣ（商用）電源、例えばバッテリーあるいは燃料電池により駆動する、という場合もある。

すなわち、図３に示すように、シンク機器が、遅延補正エリア内に位置することを検知し［３１１］、
シンク機器が、遅延補正エリア内に位置することを検知した場合に、遅延補正が必要であることを検知し［３１２］、
遅延補正が実施可能であることを検知し［３１３］、
例えば、シンク機器が再生する音声について、『遅延補正』する［３１４］ことにより、シンク機器における音声再生（音声出力）の形態（再生映像との間のリップシンク）を好適に設定できる。

なお、『遅延補正』は、多くの場合、上述したように、ソース機器が送信し、シンク機器が再生する音声とソース機器が再生する音声とのずれを解消するために実施されるが、例えばシンク機器の映像の復号速度（復号に必要な時間）に応じ、シンク機器による映像の再生についても、『遅延処理』が実施されてもよい。また、シンク機器の音声の復号速度（復号に必要な時間）に応じ、『遅延補正』が実質的に必要ない、ということもありうる。

一方、シンク機器が遅延補正エリア内に位置することを検知した場合であって［３１１−ＹＥＳ］、遅延補正が必要ではない（『遅延補正』が不要である）ことを検知した場合［３１２−ＮＯ］、現在の再生設定（条件）が維持される。

また、シンク機器が遅延補正エリア内に位置することを検知した場合であって［３１１−ＹＥＳ］、遅延補正が必要であることが検知された場合において［３１２−ＹＥＳ］、遅延補正が実施できないことを検知した場合［３１３−ＮＯ］、例えば音声出力を停止する『遅延軽減処理』が実施可能であることが検知される［３１５］。

『遅延軽減処理』が実施可能であることが検知された場合［３１５−ＹＥＳ］、音声出力を優先して停止すべき機器、例えばバッテリー駆動（非ＡＣ駆動）の機器があることを検知し［３１６］、優先して音声出力を停止する［３１７］。なお、音声出力を優先して停止すべき機器が存在しない場合［３１５−ＮＯ］、シンク機器及びソース機器のいずれか一方の音声出力を停止できる機器（音声出力を停止しても差支えがないか、あまり影響のない機器）からの音声出力を停止する［３１８］。

また、シンク機器が、遅延補正エリア内に位置しない場合［３１１−ＮＯ］、対象となるシンク機器において既に『遅延補正』が実施されている場合を考慮して、『遅延補正』が実施されていることが検知される［３１９］。

すなわち、遅延補正エリア内に位置していた機器が、ユーザーの移動等に起因してエリア外に移動したような場合には、既に実施されている『遅延補正』は不要となるため、シンク機器の位置が、『遅延補正』対象エリア外であることが検知された場合、『遅延対策（遅延補正）』を終了する（ソース−シンク同期により音声を出力する）ことが好ましい［３２０］。

なお、図３において上述した『遅延対策（遅延補正）』は、シンク機器及びソース機器のそれぞれが『遅延対策（遅延補正）』が可能である機器相互において実現できるものであることから、初期設定［３０１］において、
１）遅延補償回路が用意（搭載）されていること
２）ソース−シンク機器相互において、同期が可能であること
３）遅延補正有無の確認周期Ｘを個別に設定できること（Ｘは所定の単位で規定される数値）
４）機器 capability （能力）情報
等が、予めチェックされることが好ましい。

また、シンク機器が、『遅延補正』には対応しないが上述の通り、音声出力の停止に代表される『補正軽減策』が実施可能な場合があるため、
５）相手先機器が、省エネ（省エネルギー対応）対応、すなわち非ＡＣ（バッテリー）駆動される装置か？
を、初期情報（初期設定）において取得することが好ましい。

なお、初期情報（初期設定）から『遅延補正』が実施可能である場合においては、ソース機器からシンク機器へのコンテンツの送信に際して、補正の有無の判断に必要な確認時間に相当する「所定の待ち時間」を保持する（一定期間、コンテンツの送信を保留する）ことが好ましい。

また、上述した『遅延補正』の実施（あるいは解除）等の情報は、記録媒体（例えば、主制御部内のファームウエア、あるいはＳＤＲＡＭ）に保持されることが好ましい。なお、例えば家庭内等に代表されるソース−シンク間距離が変化する要因が少ないことを考慮して、上述の『遅延補正』の実施等の情報は、録画予約情報の保持等に用いる、図示しない不揮発性メモリに記録されてもよい。

図４に、図３に示した実施形態を実現するシーケンシャルを説明する。

先ず、ソース機器は、所定期間毎に、シンク機器の存在を確認するため、「beacon（探知信号）」を出力する［４０１］。

「beacon（探知信号）」に対するシンク機器の応答があった場合、ソース機器及びシンク機器のそれぞれにおいて、相手方機器が認識される（device discovery（検出））［４０２］。

以下、ソース機器及びシンク機器のそれぞれにおいて、相手方機器が『遅延補正』／『遅延対策』可能であることが認証（authentification/association（認証＜同意・批准＞）される［４０３］。

続いて、機器相互において、「capability exchange（能力（情報）交換）」により→「機器 capability （能力）情報」がチェックされる［４０４］。

次に、ソース機器から「sink device への inquire(y)（問い合わせ）」が開始され［４０５］、シンク機器からの応答に従い、後段に説明する確認方法を用いて＜無線または他の検知手段を利用＞シンク機器が「補正エリア内に位置するか（否か）が確認される［４０６］。

また、シンク機器から現行の（現在）適用されている『遅延補正』の有無、等が通知される（遅延情報交換）［４０７］。

以下、シンク機器からの現行の（現在）適用されている『遅延補正』の有無の通知を受け取ったソース機器とシンク機器との間で、『遅延補正』の適用の設定の可否、適用する場合の「補正量」、『遅延補正』が適用できない場合の『遅延低減対策』の実施の可否、等について、「遅延補正／遅延軽減指示」と「現行遅延情報交換」とが繰り返される［４０８−１〜４０８−ｍ（ｍは正の整数）、４０９−１〜４０９−ｎ（ｎは正の整数）］。

これにより、シンク機器またはソース機器のいずれかに実施される『遅延補正』の補正量あるいは『遅延軽減策』の実施が設定される。

なお、図３により既に説明した通り、シンク機器の位置は、ユーザーの移動に伴って変化することもあるため、上述の［４０５］〜［４０９−ｎ］は、定期的に（一定期間毎に）、繰り返されることが好ましい。

また、上述の［４０５］〜［４０９−ｎ］が繰り返されることによりシンク機器の位置が変化して『遅延補正』エリア外に（シンク機器が）位置することを検知した場合、図３により既に説明した「遅延補正／遅延軽減策」の解除が必要か否か、がチェックされ、解除が必要（「遅延補正／遅延軽減策」が不要）であることが検知できた場合［４１１］、『遅延補正』が実行されているシンク機器またはソース機器のいずれかに対して、解除指示が指示される［４１２］。

以下、解除指示が指示されたシンク機器またはソース機器のいずれかにおいて、現在実施されている『遅延補正』／『遅延軽減策』が終了されることで、相手方機器に対して、「解除完了」通知が通知される［４１３］。

次に、シンク機器の位置が『遅延補正』エリア内であるか、エリア外であるかを検知する方法の一例を示す。

図５は、ソース機器１００のマイク（音声（オーディオ）出力検知手段）１１８（シンク機器のマイク２１８）が取得する音の大きさ（エネルギー）と、無線通信部１０１（シンク機器では２０１）により受信する信号の大きさ（電界強度）との関係を示す。

図５から明らかなように、音の大きさと無線信号の大きさは、実質的に正比例する。このため、ソース機器の多く、あるいはシンク機器の多くに設けられるマイクにより相手方機器が再生した音声（もしくは電源が投入された際に出力される起動メロディ）等を取得し、その大きさから、相手方機器との間の距離を推定できる。

図６は、マイク（音声（オーディオ）出力検知手段）が検知する相手方機器の音声（起動メロディ）の大きさと機器相互間の距離との関係を示す。

機器相互間に、仕切り（例えば本棚等、音を遮蔽する）があるような特別な場合、（一般に見通し距離）においては、マイクが取得する音声（起動メロディ）の減衰の大きさ（減衰量）は、相互間距離の２乗に比例する（距離が大きくなるにつれて距離の２乗分の１の大きさになる）。

従って、音源（相手方機器）が出力する音声（起動メロディ）の大きさが一定の条件下であることがわかれば、マイクが検知する音声（起動メロディ）の大きさに基づいて、機器相互間の距離を推定できる。反面、マイクが検知する音声（起動メロディ）が送信側から送信した信号に対応する音声（起動メロディ）であることが必須（単にマイクが取得した音は、ノイズに過ぎないことを考慮する必要）であり、図７及び図８により以下に説明する「自己相関関数（ＡＣＦ（Auto Correlation Function））」を用いて、マイクが取得する音声（起動メロディ）が、相手方機器との機器相互間の距離の測定（検知）に用いる音であることを特定し、上述の機器相互間の距離を検知する。

すなわち、以下に示す（１）式〜（３）式において、「ｔ」を遅れ時間、「２Ｔ」を積分区間とすると、時間関数ｐ（ｔ）とＡＣＦとの関係を求めることができ、音源信号のパワースペクトルＰｄ（ω）とすると、ＡＣＦとパワースペクトルが数学的に同じ情報を含むことが認められる。

なお、上述の（１）式、（２）式、（３）式は、一般式であり、例えば［ｗｗｗ．ｙｍｅｃ．ｃｏｍ／ｈｐ／ｓｉｇｎａｌ／ａｃｆ．ｈｔｍ］等にも記載がある。

一方、ＡＣＦは、図７に示すように、積分区間「２Ｔ」の長さの信号ｐ（ｔ）で切り出すことで、時間だけが遅れた信号は、ｐ（ｔ＋ｔ）として検知できる。すなわち、ｐ（ｔ）とｐ（ｔ＋ｔ）の振幅が大きく、同じような繰り返し成分である場合、両者のＡＣＦ（相関値Ｆｐ（ｔ））が大きくなり、類似性が高いことを検知できる。なお、音声とは異なるノイズ成分（雑音）は、図８に一例を示すように、ＡＣＦの値が短時間で小さくなるため、ＡＣＦを用いることで、音声（起動メロディ）の類似性を検知することができる。

具体的には、ソース機器のスピーカーを介して伝わってきたオーディオ（音声）をシンク機器のマイクにより収集した実オーディオ信号とを一定時間記録するとともに、所定の２Ｔの区間で、無線通信によりシンク機器に到着、デコードされたオーディオ信号との相関を計算する。２Ｔの区間の開始時刻を順次ずらしていくことで、最も相関の高い、すなわち波形の類似性の高くなる時刻差を算出する。使われる信号が時間軸において変化を有する場合には、この波形の類似性が最も高い時刻差が遅延時間であり、時間軸上の補正量となる。この時間軸上の補正量すなわち前述の時刻差が、無線経由の場合と、人（ユーザー）が実際聞きとるであろう音をマイクで収集したときの差に相当している。ユーザーの手元にシンク機器がある場合には、シンク機器の手元で音声を収集することは、ソース−シンク間の距離による音声の遅れ分も加味された状態で遅延時間を決定できる。すなわち、遠くにあるものは音が遅れて届くという、より自然に近い状態での遅延量を決定できることになる。補正に際して必要な音声信号は、いわゆるトレーニング（図４により後段に説明するが、［４０５］〜［４０９−ｎ］の動作の繰り返し）用の周期パルス等である必要が必ずしもなく、上述のＡＣＦを利用することで、任意波形である実際に流れている音声を利用して補正量の決定もできる。

なお、音声（起動メロディ）の大きさは、相手方機器の再生レベル（ボリューム設定）及びマイクの感度（ゲイン）により変化することから、図４に示した［４０５］〜［４０９−ｎ］の動作の繰り返し（トレーニング）により、補正量（及び機器相互間距離）を設定することが好ましい。

一方、実際の遅延量は、ソース機器１００（図１Ａ、図１Ｂ、図２Ａ参照）の遅延量検知制御回路（タイムスタンプ検知制御回路、遅延検出手段１）１１６によりコンテンツから取得するタイムスタンプ、すなわちＴＳ（Transport Stream、トランスポートストリーム）のＴＳパケットに付属するパケット識別子（Packet Identifier、ＰＩＤ）のうちのタイムスタンプ情報と、シンク機器２００（図１Ａ、図１Ｂ、図２Ｂ参照）の遅延量検知制御回路（タイムスタンプ検知制御回路、遅延検出手段２）２１６によりコンテンツから取得するタイムスタンプ情報と、を比較することで、容易に求めることができる。

すなわち、上述のトレーニングにおいて、距離の推定、推定した距離に従う遅延量の設定及び相手方機器で再生した音声（オーディオ）出力に基づいて設定された遅延量が推定した距離に対して最適な遅延量であるかを、図４により上述した［４０５］〜［４０９−ｎ］の繰り返しにより設定することで、所定距離はなれて位置するソース機器とシンク機器との間で、例えば音声（オーディオ）再生出力に時間的なずれが生じて、ユーザーが（音声）を聞き取りにくい、という影響が生じることが防止できる。

このようにして、ソース機器とシンク機器との間の機器相互間距離を求めることで、上述した「（Ａ）ａ）〜（Ａ）ｆ）」及び「（Ｂ）ａ´）、（Ｂ）ｃ´）、（Ｂ）ｄ´）」に区分した様々な要因に対して、シンク機器（またはソース機器）において、ソース機器（シンク機器）と独立に音声を再生する、あるいはシンク機器（ソース機器）は、音声を再生しない（音声出力を「０」とする）、
というような、シンク機器（ソース機器）における音声再生（音声出力）について、ユーザーの指示あるいはユーザーの位置に応じて、いろいろな出力形態を設定することができる。

以上から、例えば家族が集まっている場合に、コンテンツを再生する大きな画面のテレビ装置をソース機器から少し離れた位置で、例えばタブレット装置（シンク機器）を保持し、タブレット装置が表示する映像と同時にタブレット装置が再生する音声を視聴する人がいる場合に、タブレット装置を保持する人に、タブレット装置で再生された音声とソース機器において再生され、直接タブレット装置の近傍に到達する音声とが、時間的なずれを伴って同時に（重複して）聞こえるような場合に、一方の音声出力に『遅延補正』を与えることで、それぞれの装置が再生する音声が重複して聞こえる、といった問題を防止できる。

また、例えばタブレット装置によりコンテンツを視聴する人がソース機器の近傍にいる、等の場合には、タブレット装置が出力する音声出力を「０」とする、あるいは複数ユーザーがそれぞれのタブレット装置により同一のコンテンツを再生する場合、等において、音声（オーディオ）を出力するタブレット装置の数を、例えば１台のみとすることにより、同一の再生映像に対して２以上の音声出力が重複して聞こえる、といった違和感が生じることを抑えることができる。

なお、タブレット装置（シンク機器）を保持したユーザーが移動して、ソース機器との間の機器相互間距離が変化した場合には、図４により上述した［４０５］〜［４０９−ｎ］の繰り返しにより新たな『遅延補正』の設定量を設定することで、あるいは『遅延補正』を解除することで、同一の再生映像に対して２以上の音声出力が重複して聞こえる、といった違和感が生じることを抑えることができる。

なお、上述した実施形態は、以下に説明する様々な形態として実現できる。

例えば、映像の表示または音声の発生を行うソース機器と、前記映像または音声信号情報を無線経由により受信するシンク機器とからなり、前記ソース機器は、表示部と無線モジュール（１）、制御手段（１）、記録手段（１）、スピーカー（１）、外部入力手段（１）を有し、前記シンク側は、無線モジュール（２）、スピーカー（２）、制御手段（２）、外部入力手段（２）を有し、前記ソース機器またはシンク機器のいずれかに、少なくとも１つのマイクと遅延量検知制御回路あるいはタイムスタンプ検知制御回路およびソース−シンク位置関係検知手段を有し、前記遅延量検知制御回路あるいはタイムスタンプ検知制御回路により得られた情報をもとに、前記ソース機器またはシンク機器に付属のいずれかのスピーカー（１）あるいはスピーカー（２）より発生した音声を、他方の機器に付属するマイク（１）あるいはマイク（２）により受信し、時間軸上の音声または映像の遅延量を決定し、遅延制御するとともに、前記ソース−シンク位置関係検知手段により、前記遅延制御の有無および前記スピーカー（１）、（２）のオン／オフを制御をすることを特徴とする前記ソース機器または前記シンク機器として実現できる。

すなわち、一方のスピーカーから発生する音声を他方のマイクで検知することにより遅延量を決定し、一方または両方のマイクからの音声出力をすることができるとともに、シンク機器、ソース機器内のそれぞれの音声と画像のリップシンクにより、音声間の同期を画像間の同期にリンクさせることができる。また、前記ソース−シンク位置関係検知手段により、前記遅延制御のオン／オフができることで、たとえば同一の部屋内にいるときは、同期モード、ことなる部屋となったときは、独立動作による遅延最小化を、自動制御することができるという利点が得られる。

また、上述した実施形態は、例えば、
前記音遅延制御の有無および前記スピーカー（１）、（２）のオン／オフ制御をする判断手段として、前記ソース−シンク位置関係検知手段をもちいることを特徴とするものとして実現できる。

これにより、ソース−シンクの位置関係がわかるため、ソース−シンクが近接している場合には、遅延制御を行うか、あるいはいずれか一方のみのマイクからの出力とする一方、シンク−ソースが乖離した位置関係のときには、遅延制御はユーザーにとって不要であり、むしろ即応性を優先するため、遅延制御をオフとすることができる。

また、上述した実施形態は、例えば、
前記ソース−シンク位置関係検知手段が、音声マイク、カメラ、無線受信感度／受信品質、人感センサー、ＧＰＳ（Global Positioning System）受信出力、無線料金収受機構（Paid）網基地局情報または無線ＬＡＮ（Lokal Area Network）基地局情報を利用する位置特定手段または、これらの組み合わせによる複合の位置特定手段であることを特徴とするものとして実現できる。

すなわち、ソース機器とシンク機器との距離が離れたとえば、異なる部屋に行った場合を、専用の検知手段をもちいずとも、アクティブな（利用可能な／オン状態にある）いずれかの手段で検知することができる。

また、上述した実施形態は、例えば、
複数の検知手段間のそれぞれの検出値を、変換テーブルとして用意しておくことを特徴とするものとして実現できる。

すなわち、通常動作させている位置関係検知手段により、ソース機器とシンク機器との間の位置関係を知ることができ、音声（オーディオ）の制御ができるという利点ががある。たとえば、音源からの距離の２乗に反比例して、マイクで受信される音のエネルギー量は決まることが知られている。一方、ソース機器からシンク機器への映像/音声の伝送につかわれる無線信号も、信号源からの距離の２乗に反比例して減衰していくことが、フリスの公式などので知られている。これらのことから、遮るもののない見通し区間であれば、横軸を受信された音のエネルギー、縦軸を受信無線信号電力としたときに、両者の関係は原点を通る直線で近似できることは自明であり、図５により説明したが、所定の閾値を境に、前記遅延量補正の有無を決定することができる。

また、上述した実施形態は、例えば、
前記遅延量検知制御回路／タイムスタンプ検知制御回路が、ソース機器またはシンク機器単独のスピーカー（１）またはスピーカー（２）において発生した音声（オーディオ）信号［Ａ］と前記スピーカー以外のスピーカーからの出力を含む音声（オーディオ）信号［Ｂ］とを比較することをもとに補正遅延量および、補正の要不要を判断することを特徴とするものとして実現できる。

すなわち、音声の遅延がない場合においては、音声信号［Ａ（１）］と音声信号［Ｂ（２）］の数学的特徴量（例えば、スライディング相関を計算した際のスライディング量に対する相関値が、同様の振る舞いをするのに対して、音声の遅延がある場合においては、相関値が一致しないことを利用し、単一の音源の状態に近づくような遅延量を推定するものとして実現できる（自己相関をとることで、推定できる）。

例えば、自己相関は、以下に示す（４）式において、ｈ（ｔ）とｘ（ｔ）という二つの関数の相関が、ｚ（τ）で表和されるとき、ｚ（τ）はｈ（ｔ）とｘ（ｔ）をτだけずらし乗算したものを、所定区間の範囲について積分したものであり、

により、求めることができる。

また、上述した実施形態は、例えば、
前記遅延量検知制御回路／タイムスタンプ検知制御回路が、ハードウエアまたはソフトウエア処理により実現されることをのいずれかにより構成されているものとして実現できる。

すなわち、ハードウエアを有さない場合でも、ソフトウエア実装にて、実現できる。

また、上述した実施形態は、例えば、
前記ソース機器、または前記シンク機器のいずれにもスピーカーを有し、ソース−シンク位置検知手段が音声マイクであり、ソース機器、またはシンク機器のいずれかのスピーカー出力の検知音声出力が第１の閾値を超える場合、前記いずれかのスピーカーのみを利用し、第２の閾値以下になる場合には、前記ソース機器およびシンク機器いずれのスピーカーもオンにするものとして実現できる。

すなわち、簡易な構成で、音声の遅延の問題を回避することができ、例えば、同一の部屋の場合は、一方の機器のみからの音声が出力され、異なる部屋で音声が届かない場合には、両方の機器からの音声が出力されるとして実現できる。

また、上述した実施形態は、例えば、
前記ソース機器、またはシンク機器いずれかのスピーカー出力が、電池駆動をしている機器がある場合には、電池駆動をしていない側の機器に付属するスピーカーからの出力であることを特徴とするものとして実現できる。

すなわち、電池駆動機器の電力消耗を防ぐことができる。

また、上述した実施形態は、例えば、
前記時間軸上の遅延量を測定する方法として、前記スピーカー（１）または前記スピーカー（２）からの音声（オーディオ）出力の有無による、音源状態として複数の状態を測定し、時間軸上の自己相関をそれぞれ求めることにより、補正すべき遅延量を求めることを特徴とするものとして実現できる。

すなわち、時間軸上での自己相関により、音のピッチと、その音のピッチの強さを知ることができ、１音源状態におけるそれと比較することにより、求めるべき遅延量を得ることができる。自己相関は、マイクにより収集した音をサンプリング及びフィルタ（フィルタリング）処理をしたのち、レジスタ（信号処理部／あるいはそのファームウエアであってもより）に、サンプリングピッチまたはその整数倍で、時刻順に記録し、同じデータを、レジスタ位置をずらして、各レジスタを掛け算して得られた値の総和をとる方法で、容易に求めることができる。単一音源の場合の自己相関は、横軸をレジスタのシフト量（遅延時間）としたとき単一のピークになる。２つの音源があっても、マイクへ到達する時刻が同じであれば、遅延量は「０」で、単一音源とおなじ位置にピークを有する。遅延のある２つの音源では、単一ピークとならないために、単一音源の波形を参照値としてそれに一致するレジスタのシフト量を求めることで、補正すべき遅延時間が求められる。従って、ソース機器、シンクK機器それぞれは、リップシンク（映像と音声の同期）を行っているために、音声がシンクK機器と同期されると、それに合わせて映像の同期も改善されることになる。

また、上述した実施形態は、例えば、
前記複数の検知手段間の、同時刻における所得値（取得値）をもとに前記変換テーブルを作成することを特徴とするものとして実現できる。

この場合、同時刻すなわち、ソース−シンク機器の位置関係が一意のときに得られるそれぞれの値から、変換テーブルを容易に作成することができ、補正エリア内にあるかどうかを判断することができる。

また、上述した実施形態は、例えば、
前記変換テーブルを作成するトレーニング期間と、音声情報を除く他の検知手段を、前記ソース−シンク位置関係検知手段として利用することを特徴とするものとして実現できる。

すなわち、トレーニング期間が終わった時点でマイクによる音声受信を終了し、通常利用しているたとえば無線受信強度をもとに、エリア内に入ったかを、容易に判断することができる。

また、上述した実施形態は、例えば、
前記少なくとも１つのマイクと前記スピーカー（１）または前記スピーカー（２）が、兼用の機構、回路構成をとっており、時間軸上で前記マイクとスピーカーとしての機能を切り替えて利用することを特徴とするものとして実現できる。

すなわち、多くの移動用情報端末においては、マイクとスピーカーを兼用していることがあるが、それらを用いることによっても上述の実施の形態を実現できる。

また、上述した実施形態は、例えば、
前記ソー￥ス機器からシンク機器へ無線信号の伝送を、無線信号の中継器を介して行うに、前記ソース−シンク位置関係検知手段を、ソース機器およびシンク機器のうち、移動に伴う無線信号の品質の変化の大きい機器と、前記無線信号の中継器との間の位置関係検知手段により代替することによっても、上述の実施の形態を実現できる。

すなわち、ＡＰ（アクセスポイント，Access Point）経由で無線信号を送る際に、ソース−シンクの無線経路間で、変化するものを検知手段とすることにより、より正確に位置関係を知ることができる。

また、上述した実施形態は、例えば、
前記少なくとも１つのマイクが、ソース機器あるいはシンク機器いずれかのうち、ユーザーに近い側のマイクを利用することによっても、上述の実施の形態を実現できる。

すなわち、音の遅延補正をする際の基準位置を、ユーザーに近接したマイクの位置とすることにより、周辺からの残響を含めより適切な補正をすることができる。たとえば、ソース機器とシンク機器とが１０ｍ（メートル）離れている場合には、音速を３００ｍ／秒として換算すると３０ミリ秒程度の音の到着時間に遅延が生ずる。従って、ソース機器あるいはシンク機器のいずれの機器のマイクを利用するかによって補正量が変わることから、よりユーザーに近い適したマイクを選ぶとことで、精度の高い遅延補正が、可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

なお、上述の実施形態の記載においては、ソース機器側をたとえばテレビジョン受信装置（ＴＶ）というようにしたが、必ずしも限定されるものでなく、シンク機器側として記載の種々の機器がソース機器であっても良い。また、シンク機器側でマイクがあれば遅延量の測定は可能であり、シンク機器が音声出力をするハードウエアであるスピーカーを有していない場合においても、本遅延補正方法は有効である。その場合は、シンク機器からは音声をださず、シンク−ソース間の映像同期の目的で、本手法が用いられることになる。

１…ルータ（ネットワーク管理装置）、１００…第一の再生装置（ソース機器）、１０１…無線通信部、１１１…主制御部（制御手段１）、１１２…記録装置（記録手段１）、１１３…信号処理部（ＤＳＰ）、１１４…モニタ部（映像表示装置、ディスプレイ（表示部１）、１１５…ソース−シンク位置関係検出部（位置関係検出手段１）、１１６…遅延量検知制御回路（タイムスタンプ検知制御回路、遅延検出手段１）、１１７…スピーカー（音声再生手段１）、１１８…マイク（音響信号検出手段）、２００…第二の再生装置（シンク機器）、２０１…無線通信部、２１１…主制御部（制御手段２）、２１２…記録装置（記録手段２）、２１３…信号処理部（ＤＳＰ）、２１４…モニタ部（映像表示装置、ディスプレイ（表示部２）、２１５…ソース−シンク位置関係検出部（位置関係検出手段２）、２１６…遅延量検知制御回路（タイムスタンプ検知制御回路、遅延検出手段２）、２１７…スピーカー（音声再生手段１）、２１８…マイク（音響信号検出手段）。

実施形態によれば、電子機器は、表示部と、オーディオ出力部と、送信部と、第一の検知部と、第二の検知部と、第三の検知部と、制御部と、を具備する。表示部は、映像を表示する。オーディオ出力部は、オーディオ信号を再生した第一の再生出力を自機器のスピーカから出力する。送信部は、前記オーディオ信号を相手方機器に送信する。第一の検知部は、前記送信部が前記相手方機器に送信した前記オーディオ信号を前記相手方機器が再生した第二の再生出力を前記相手方機器のスピーカから出力する相手方機器オーディオ出力部の出力、もしくは前記相手方機器が独自に出力する独自再生出力を検知する。第二の検知部は、前記相手方機器と自機器との位置関係に関するパラメータを検知する。第三の検知部は、前記第一の検知部が検知した前記相手方機器による前記第二の再生出力と前記オーディオ出力部が出力する前記第一の再生出力との時間的なずれを検知する。制御部は、前記第三の検知部が検知した前記時間的なずれが所定時間以下になるよう、前記送信部が前記オーディオ信号を前記相手方機器に送信するタイミングと前記オーディオ出力部が前記第一の再生出力を出力するタイミングとのうち少なくとも一方を制御するタイミング制御の実行と非実行とを、前記第二の検知部が検出する前記パラメータに基づく自機器と前記相手方機器との位置関係に応じて切り替える。

ソース−シンク位置関係検出部（位置関係検出手段１）１１５は、後段に詳しく説明するが、無線通信部１０１により通信する通信相手方（例えば第二の再生装置２００）との間の距離や、相互間の境界（例えば家庭内における壁）の存在を推定（検出）する。

マイク（音響信号検出手段）１１８は、ユーザーの会話、通信相手方機器が出力する音声（オーディオ）等を検出し、ソース−シンク位置関係検出部１１５による通信相手方（例えば第二の再生装置２００）との間の距離や相互間の境界（例えば家庭内における壁）の存在を推定（検出）に利用可能な音声（オーディオ）データの生成もしくは音声入力と呼ばれるユーザー指示の入力方法の１つに利用される。

シンク−ソース位置関係検出部（位置関係検出手段２）２１５は、後段に詳しく説明するが、無線通信部２０１により通信する通信相手方（例えば第一の再生装置１００）との間の距離や、相互間の境界（例えば家庭内における壁）の存在を推定（検出）する。

また、シンク機器が、『遅延補正』には対応しないが上述の通り、音声出力の停止に代表される『補正軽減策』が実施可能な場合があるため、
５）相手方機器が、省エネ（省エネルギー対応）対応、すなわち非ＡＣ（バッテリー）駆動される装置か？
を、初期情報（初期設定）において取得することが好ましい。

具体的には、ソース機器のスピーカーを介して伝わってきたオーディオ（音声）とシンク機器のマイクにより収集した実オーディオ信号とを一定時間記録するとともに、所定の２Ｔの区間で、無線通信によりシンク機器に到着、デコードされたオーディオ信号との相関を計算する。２Ｔの区間の開始時刻を順次ずらしていくことで、最も相関の高い、すなわち波形の類似性の高くなる時刻差を算出する。使われる信号が時間軸において変化を有する場合には、この波形の類似性が最も高い時刻差が遅延時間であり、時間軸上の補正量となる。この時間軸上の補正量すなわち前述の時刻差が、無線経由の場合と、人（ユーザー）が実際聞きとるであろう音をマイクで収集したときの差に相当している。ユーザーの手元にシンク機器がある場合には、シンク機器の手元で音声を収集することは、ソース−シンク間の距離による音声の遅れ分も加味された状態で遅延時間を決定できる。すなわち、遠くにあるものは音が遅れて届くという、より自然に近い状態での遅延量を決定できることになる。補正に際して必要な音声信号は、いわゆるトレーニング（図４により後段に説明するが、［４０５］〜［４０９−ｎ］の動作の繰り返し）用の周期パルス等である必要が必ずしもなく、上述のＡＣＦを利用することで、任意波形である実際に流れている音声を利用して補正量の決定もできる。

すなわち、通常動作させている位置関係検知手段により、ソース機器とシンク機器との間の位置関係を知ることができ、音声（オーディオ）の制御ができるという利点がある。たとえば、音源からの距離の２乗に反比例して、マイクで受信される音のエネルギー量は決まることが知られている。一方、ソース機器からシンク機器への映像/音声の伝送につかわれる無線信号も、信号源からの距離の２乗に反比例して減衰していくことが、フリスの公式などで知られている。これらのことから、遮るもののない見通し区間であれば、横軸を受信された音のエネルギー、縦軸を受信無線信号電力としたときに、両者の関係は原点を通る直線で近似できることは自明であり、図５により説明したが、所定の閾値を境に、前記遅延量補正の有無を決定することができる。

すなわち、時間軸上での自己相関により、音のピッチと、その音のピッチの強さを知ることができ、１音源状態におけるそれと比較することにより、求めるべき遅延量を得ることができる。自己相関は、マイクにより収集した音をサンプリング及びフィルタ（フィルタリング）処理をしたのち、レジスタ（信号処理部／あるいはそのファームウエアであってもより）に、サンプリングピッチまたはその整数倍で、時刻順に記録し、同じデータを、レジスタ位置をずらして、各レジスタを掛け算して得られた値の総和をとる方法で、容易に求めることができる。単一音源の場合の自己相関は、横軸をレジスタのシフト量（遅延時間）としたとき単一のピークになる。２つの音源があっても、マイクへ到達する時刻が同じであれば、遅延量は「０」で、単一音源とおなじ位置にピークを有する。遅延のある２つの音源では、単一ピークとならないために、単一音源の波形を参照値としてそれに一致するレジスタのシフト量を求めることで、補正すべき遅延時間が求められる。従って、ソース機器、シンク機器それぞれは、リップシンク（映像と音声の同期）を行っているために、音声がシンク機器と同期されると、それに合わせて映像の同期も改善されることになる。

また、上述した実施形態は、例えば、
前記ソース機器からシンク機器へ無線信号の伝送を、無線信号の中継器を介して行う場合に、前記ソース−シンク位置関係検知手段を、ソース機器およびシンク機器のうち、移動に伴う無線信号の品質の変化の大きい機器と、前記無線信号の中継器との間の位置関係検知手段により代替することによっても、上述の実施の形態を実現できる。

また、上述した実施形態は、例えば、
前記ソース機器からシンク機器へ無線信号の伝送を、無線信号の中継器を介して行う場合に、前記ソース−シンク位置関係検知手段を、ソース機器およびシンク機器のうち、移動に伴う無線信号の品質の変化の大きい機器と、前記無線信号の中継器との間の位置関係検知手段により代替することによっても、上述の実施の形態を実現できる。

Claims (17)

1. 映像を表示する表示部と、
   オーディオ信号を再生して第一の再生出力を出力するオーディオ出力部と、
   相手先機器に対してオーディオ信号を送信する送信部と、
   前記送信部が送信した前記オーディオ信号を前記相手方機器が再生した第二の再生出力、もしくは前記相手方機器が出力するオーディオ出力を検知する第一の検知部と、
   前記相手方機器と自機器との位置関係に関するパラメータを検出する第二の検知部と、
   前記第一の検知部が検知した前記相手方機器による前記第二の再生出力と前記オーディオ出力部が出力する前記第一の再生出力との時間的なずれを検知する第三の検知部と、
   前記第三の検知部が検知した前記時間的なずれに基づいて、前記送信部が前記オーディオ信号を送信するタイミングと前記オーディオ出力部が第一の再生出力を出力するタイミングとのうち少なくとも一方を制御するとともに、自機器と前記相手方機器との位置関係に応じて、前記タイミングの制御の実行と非実行とを切り替える制御部と、
   を具備する電子機器。
2. 前記第二の検知部は、前記第一の検知部が検知した前記相手方機器による前記第二の再生出力もしくは前記相手方機器が出力する前記オーディオ出力に基づいて、前記相手方機器との間の距離を検知する請求項１記載の電子機器。
3. 前記相手方機器と自機器とが所定の位置関係にある場合に、前記タイミングの制御を非実行として前記電子機器及び前記相手側装置のうち一方のオーディオ出力部から音声を出力させ、他方のオーディオ出力部からの音声の出力を停止させる請求項１記載の電子機器。
4. 前記第二の検知部は、マイク、カメラ、無線受信感度／受信品質、人感センサー、ＧＰＳ信号、無線料金収受機構網基地局情報または無線ＬＡＮ基地局情報のうち、いずれか複数の検知手段であり、前記複数の検知手段間の、同時刻における取得値をもとに変換テーブルを作成する請求項１〜３のいずれか１に記載の電子機器。
5. 相手先機器からのオーディオ信号を受信する受信部と、
   前記受信部が受信した前記オーディオ信号を再生した第一のオーディオ再生出力を出力するオーディオ出力部、もしくは前記相手方機器が出力する第二のオーディオ再生出力を検知する第一の検知部と、
   前記相手方機器と自機器との位置関係に関するパラメータを検出する第二の検知部と、
   前記第一の検知部が検知した前記相手方機器による前記第二のオーディオ再生出力と前記第一のオーディオ出力部が出力する前記第一の再生出力との時間的なずれを検知する第三の検知部と、
   前記第三の検知部が検知した前記時間的なずれに基づいて、前記相手方機器が前記オーディオ信号を送信するタイミングと前記オーディオ出力部が前記第一のオーディオ再生出力を出力するタイミングとのうち少なくとも一方を制御するとともに、自機器と前記相手方機器との位置関係に応じて、前記タイミングの制御の実行と非実行とを切り替える制御部と、
   を具備する電子機器。
6. 前記第二の検知部は、前記受信部が受信する前記相手先機器からの前記オーディオ信号と前記第一の検知部が検知した前記相手方機器による前記第二のオーディオ再生出力に基づいて、前記相手方機器との間の距離を検出する請求項５記載の電子機器。
7. 前記相手方機器と自機器とが所定の位置関係にある場合に、前記タイミングの制御を非実行として前記電子機器及び前記相手側装置のうち一方のオーディオ出力部から音声を出力させ、他方のオーディオ出力部からの音声の出力を停止させる請求項５記載の電子機器。
8. 前記第二の検知部は、マイク、カメラ、無線受信感度／受信品質、人感センサー、ＧＰＳ信号、無線料金収受機構網基地局情報または無線ＬＡＮ基地局情報のうち、いずれか複数の検知手段であり、前記複数の検知手段間の、同時刻における取得値をもとに変換テーブルを作成する請求項５〜７のいずれか１に記載の電子機器。
9. オーディオ信号に対応する第一のオーディオ再生出力を出力するとともに映像信号に対応する映像を表示する第一の再生装置と、少なくとも前記オーディオ信号を受信し、前記オーディオ再生出力と独立して第二のオーディオ再生出力を出力する第二の再生装置と、により前記オーディオ信号を再生する音声出力方法において、
   第二の再生装置が出力する第二のオーディオ再生出力を第一の再生装置により受信し、
   第一のオーディオ再生出力と第二のオーディオ再生出力の時間的な（時間軸上の）ずれを検出し、
   検出した時間的なずれに基づいて、第一の再生装置及び第二の再生装置の相互間の距離を検出し、
   検出した第一の再生装置及び第二の再生装置の相互間の距離に基づいて、第二の再生装置にオーディオ信号を送信する条件を設定する
   音声出力方法。
10. 前記第一の再生装置または前記第二の再生装置のいずれかの前記オーディオ再生出力の出力部が非商用電源により駆動する機器である場合、商用電源により駆動する機器の前記オーディオ再生出力の出力部から前記オーディオ再生出力を出力する請求項９記載の音声出力方法。
11. 前記第一の再生装置の前記オーディオ再生出力の出力部または前記第二の再生装置の前記オーディオ再生出力の出力部からの前記オーディオ再生出力の有無による、音源状態として複数の状態を測定して前記時間的な（時間軸上の）自己相関をそれぞれ求めることにより、遅延量を測定し、補正すべき遅延量を求める請求項９記載の音声出力方法。
12. 前記第二の検知部の前記複数の検知手段間の、同時刻における取得値をもとに変換テーブルを作成する請求項５記載の電子機器。
13. 前記第二の検知部は、前記変換テーブルを作成するトレーニング期間において利用されるオーディオ情報の検出を除いた他の検知手段により構成される請求項５記載の電子機器。
14. 前記第一の再生装置の前記オーディオ再生出力の出力部または前記第二の再生装置の前記オーディオ再生出力の出力部は、兼用の機構、回路構成をとっており、時間軸上でオーディオ入力部として機能を切り替えて利用する請求項９記載の音声出力方法。
15. 前記第一の再生装置のオーディオ入力部または前記第二の再生装置のオーディオ入力部のうちのオーディオ再生出力の検出位置に近い側の入力部をオーディオ入力部として利用する請求項１４記載の音声出力方法。
16. 前記相手方機器へ中継器を介して無線信号を送る場合に、前記第二の検知部を、自機器及び前記相手方機器のうち、移動に伴う無線信号の品質の変化の大きい機器と前記無線信号の中継器との間の位置関係検知手段により代替する請求項１記載の電子機器。
17. 前記制御部は、前記オーディオ出力部が第一の再生出力を出力するタイミングを、無線伝送するコンテンツが保護コンテンツであるか否かに応じて切り替える、請求項１記載の電子機器。

Images