JP6140385B2 - 音響操作システム、操作方法およびコンピュータ・プログラム - Google Patents

Description

本発明は、単純な操作音で対象装置を制御する技術に関し、さらには、無指向性の操作音でユーザが意図する対象装置を特定する技術に関する。

テレビ、空調機、および照明器具といったホーム・アプライアンスは、専用のまたは集約した赤外線式のリモート・コントローラで制御することができる。近年、ＩｏＴ（Internet of Things）およびＭ２Ｍ（Machine to Machine）といった、個別に稼働している機器をネットワークで接続し、各機器が生成したデータをリアルタイムで統合して機器の制御に利用するシステムが発展を遂げてきている。ホーム・アプライアンスは、ＩｏＴ／Ｍ２Ｍシステムに組み込んだ携帯式電子機器を通じて制御することも可能である。

特許文献１は、携帯端末装置に入力した音声コマンドを音声認識して操作する方法を開示する。特許文献２は、ＶＴＲやテレビジョン受像機などを音声コマンドで操作する音声コマンド遠隔制御装置を開示する。同文献は、利用者が、所望の電子機器に操作部を向けて押ボタンスイッチを押した後に、その電子機器に対するコマンドを音声で入力すると、その音声信号が無線でベース部に送信されてＶＴＲの再生動作が開始することを記載する。

特開２００６−２２１２７０号公報 特開平１１−１２０６４７号公報

ホーム・アプライアンスの操作における１つの課題として、操作を意図するユーザがその場ですみやかに操作できることを挙げることができる。専用のリモート・コントローラは、操作したい瞬間にユーザの手の届く範囲にあるとはいえず、さらにボタン操作は、すみやかな操作という要請に十分に応えることはできない。ＩｏＴ／Ｍ２Ｍシステムを構成する携帯式電子機器から操作コマンドを送る方法も同様である。

このような課題に応える１つの方法として、カメラでユーザのジェスチャを撮影して操作する方法がある。また、音声認識装置を搭載するホーム・アプライアンスまたはＩｏＴ／Ｍ２Ｍシステムが、ユーザ発声した、「オープン」、「クローズ」などのような言語コマンドを認識して対応する操作をする方法もある。しかし、画像認識装置および音声認識装置はシステムの規模が大がかりであることや認識精度などの問題が残る。

そこで本発明の目的は、単純な操作音を利用して対象装置を操作する方法を提供することにある。さらに本発明の目的は、ユーザが意図するときにただちに対象装置を操作できる方法を提供することにある。さらに本発明の目的は、そのような方法を実現する音響操作システム、制御装置、ネットワーク・サーバ、携帯式電子機器およびコンピュータ・プログラムを提供することにある。

本発明は、複数の対象装置の中から音響操作で選択した目的対象装置を操作する音響操作システムを提供する。音響操作システムは、第１の操作位置と第２の操作位置で音源が生成した操作音を検出する複数の対象マイクロフォンを利用して操作音のデータを受け取り、音源から対象マイクロフォンまでの操作音の伝搬時間に基づいて、第１の操作位置から対象マイクロフォンまでの第１の音源距離および第２の操作位置から対象マイクロフォンまでの第２の音源距離を計算する音源距離計算部と、第１の音源距離、第２の音源距離および第１の操作位置から第２の操作位置までの移動距離に基づいて選択した対象マイクロフォンに関連する目的対象装置を特定する対象装置特定部を有する。

操作音は空間において指向性を有しないが、音響操作システムは、第１の操作位置と第２の操作位置で発生した操作音の伝搬時間と移動距離を計算することで、操作音にユーザが意図する方向情報を抽出する。本発明では、音声認識をする必要がないため、指を鳴らしたり掌を叩いたりあるいは携帯式電子機器の筐体を叩いたりする単純なユーザの人体の動きによって操作音を生成するだけで実現できるため、ユーザがその場でただちに操作するのに都合がよい。なお、本発明ではユーザが発生する音声を単純な操作音として利用することもできる。対象マイクロフォンは、対象装置に搭載されていてもよい。

第２の操作位置は、目的対象装置に関連付けられた対象マイクロフォンから第１の操作位置に向かう方向に存在するように設定することができる。この場合、ユーザは第１の操作位置で音響操作をしたあとに、目的対象装置に関連付けられた対象マイクロフォンを目安にして第２の操作位置を選択することで、音響操作システムに容易に目的対象装置を選択する意思を伝えることができる。

音源距離計算部は、操作音の生成時刻と対象マイクロフォンが検出した操作音の検出時刻の時間差から第１の音源距離および第２の音源距離を計算することができる。また、音源距離計算部は、第１の操作位置および第２の操作位置において音源から既知の参照距離に配置した参照マイクロフォンを利用して操作音のデータを受信し、対象マイクロフォンが検出した操作音の検出時刻、参照マイクロフォンが検出した操作音の検出時刻および参照距離を利用して第１の音源距離および第２の音源距離を計算することができる。この場合、音源が生成した操作音の生成時刻を取得する必要がないため、指先や掌のような人体の部位を音源にすることが可能になる。

参照マイクロフォンをユーザが装着するウェアラブル・デバイスに搭載し、音源をユーザの指先または掌とすることができる。この場合、第１の操作位置と第２の操作位置で参照距離を保ちながら音源を容易に第２の操作位置に移動させることができる。さらに、指先や掌による操作音の生成は、直感的かつ迅速な操作を可能にする。参照マイクロフォンをユーザが保持して使用する携帯式電子機器に搭載し、音源を携帯式電子機器の筐体の一部とすることができる。

対象マイクロフォンおよび参照マイクロフォンが検出した雑音を含む検出音から操作音の時間的な発生パターンに基づいて音響操作の有効性を判断する音響操作認識部を備えれば、雑音による誤操作を防ぐことができる。音響操作認識部は、対象マイクロフォンが検出した検出音の検出時刻と参照マイクロフォンが検出した検出音の検出時刻の差に基づいて同一の発生音について対象マイクロフォンと参照マイクロフォンが検出した検出音のペアが操作音のペアを形成しないと判断したときに、音響操作を無効にすることができる。この場合、雑音を誤って操作音と認識したときや、対象マイクロフォンの音響データから操作音を認識できないようなときの誤操作を防ぐことができる。

音響操作認識部は、参照マイクロフォンまたは対象マイクロフォンが検出した先行する検出音の検出時刻と後続の検出音の検出時刻の時間差が所定値以上のときに、当該検出音を破棄して検出音から雑音を取り除くことができる。音響操作システムは、第１の操作位置および第２の操作位置においてそれぞれ生成した複数個の操作音に対応する操作コマンドを目的対象装置に出力する操作コマンド生成部を有していてもよい。

本発明の第２の態様は、複数の対象装置の中から選択した目的対象装置を音響操作に応じて音響操作システムが操作する方法を提供する。音源が第１の操作位置で生成した操作音と第２の操作位置で生成した操作音を複数の対象装置が検出する。つづいて音源から対象装置までの操作音の伝搬時間に基づいて、第１の操作位置から対象装置までの第１の音源距離および第２の操作位置から対象装置までの第２の音源距離を計算する。第１の操作位置と第２の操作位置の移動距離を取得する。つづいて、第１の音源距離、第２の音源距離および移動距離に基づいて目的対象装置を特定する。つづいて、目的対象装置に操作コマンドを送る。

第２の操作位置が、第１の操作位置から目的対象装置に向かう方向に存在する場合に、第１の音源距離と第２の音源距離の差から参照距離を減算した評価パラメータを所定の閾値と比較することで目的対象装置を特定することができる。あるいは複数の対象装置についてそれぞれ計算した評価パラメータを相互に比較することで目的対象装置を特定することができる。

音源から既知の参照距離で操作音を検出した第１の検出時刻を取得し、複数の対象装置が操作音を検出した第２の検出時刻を取得し、第２の検出時刻と第１の検出時刻の差を計算して、第１の音源距離と第２の音源距離を計算することができる。第１の操作位置で第１の個数の操作音を検出し、第２の操作位置で第２の個数の操作音を検出し、第１の個数と第２の個数の組み合わせで複数の操作コマンドを生成し、第１の個数または第２の個数が所定値以上のときに音響操作を無効にすることができる。

本発明により、単純な操作音を利用して対象装置を操作する方法を提供することができた。さらに本発明により、ユーザが意図するときにただちに対象装置を操作できるようにする方法を提供することができた。さらに本発明により、そのような方法を実現する音響操作システム、制御装置、ネットワーク・サーバおよび携帯式電子機器を提供することができた。

本実施の形態にかかる音響操作システム１００の概要を説明するための図である。 音響操作システム１００を構成する参照デバイス１５の一例を説明するための図である。 操作音を検出して音源１７から対象装置１３までの音源距離ｄを計算する方法を説明するための図である。 音源距離ｄと移動距離ｄ０から操作を意図する対象装置１３ｄを特定する方法を説明するための図である。 音響システム１００の構成の一例を説明するための概略の機能ブロック図である。 参照デバイス１５および対象装置１３が検出した検出音３０の波形の一例を模式的に示した図である。 音響操作認識部４０３が、各対象装置１３について音響操作の有効性を判断する方法を説明するための図である。 音響操作認識部４０３が、音響操作の有効性を判断する方法を説明するためのフローチャートである。 音響操作システム１００の動作を説明するためのフローチャートである。 音響操作システム６００の構成を説明するための概略の機能ブロック図である。 音響操作システム７００の構成を説明するための概略の機能ブロック図である。

［定義］
本願明細書で使用する用語の意味を説明する。操作音は、ユーザが音響操作により発生させる時間軸上での離散的な音を意味する。音響操作は、ユーザが第１の操作位置と第２の操作位置のそれぞれで１個または複数個の操作音を生成して複数の対象装置の中から操作を意図する目的対象装置を選択して制御する操作を意味する。発生音は、操作音と雑音を含んだ音響操作の実行環境で発生するすべての音を意味する。検出音は、音響操作システムが検出した発生音を意味する。

［音響操作システム］
図１は、本実施の形態にかかる音響操作システム１００の概要を説明するための図である。図２は、音響操作システム１００を構成する参照デバイス１５の一例を説明するための図である。ユーザ１０が存在する３次元空間には、操作対象となる対象装置１３ａ〜１３ｅ、ネットワーク・サーバ１１および参照デバイス１５が存在する。対象装置１３ａ〜１３ｅは特に限定する必要はないが、一例として、空調機、照明装置、テレビ、ドア施錠装置、およびカーテンなどのホーム・アプライアンスとすることができる。対象装置１３ａ〜１３ｅは、それぞれマイクロフォン２０１ａ〜２０１ｅを搭載している。

マイクロフォン２０１ａ〜２０１ｅは必ずしも対象装置１３ａ〜１３ｅに搭載する必要はなく、対応する対象装置１３ａ〜１３ｅに接続され、かつ、ユーザにとって両者の関連性が理解できるようになっていればよい。以下においては、対象装置１３ａ〜１３ｅ、およびマイクロフォン２０１ａ〜２０１ｅを個々に区別する必要がないときは、それらを総称して対象装置１３、およびマイクロフォン２０１と記載することにする。対象装置１３と記載した場合には、単一の対象装置を示す場合と複数の対象装置を示す場合がある。

ユーザ１０は、複数の対象装置１３のなかから選択した対象装置１３ｄ（たとえばテレビ）に、ネットワーク・サーバ１１を通じてオン／オフや音量調整などの操作コマンドを送ろうとしている。対象装置１３は、既存のリモート・コントローラやネットワーク・デバイスとの操作を併用してもよい。ユーザ１０は、対象装置１３ｄの選択と操作コマンドの送信を第１の操作位置１８ａと第２の操作位置１８ｂにおける音響操作で行う。

ユーザ１０と対象装置１３ｄの間には、第１の操作位置１８ａで音響操作をした後に音響操作を行う第２の操作位置１８ｂを決めるための仮想的な方向直線１９を定義する。ユーザ１０は、第１の操作位置１８ａで音響操作をした後に、方向直線１９を意識しながら第２の操作位置１８ｂを決めることができる。第１の操作位置１８ａと第２の操作位置１８ｂの距離を移動距離ｄ０ということにする。

ユーザ１０の手１０ａには、装着または保持といった態様で参照デバイス１５が存在している。参照デバイス１５はマイクロフォン３０１を搭載しており、操作音４０を生成した音源１７から各対象装置１３までの距離を測定するための参照情報を提供する。参照デバイス１５は、ユーザ１０の手１０ａを音源にするのに都合がよく、かつ第１の操作場所１８ａから第２の操作場所１８ｂまでの移動が容易な携帯式電子機器とすることができる。携帯式電子機器の一例として腕時計のように腕に装着するウェアラブル・デバイス１５ａを採用することができる（図２（Ａ））。

図２でウェアラブル・デバイス１５ａは、マイクロフォン３０１ａを実装している。参照デバイス１５としてウェアラブル・デバイス１５ａを採用する場合は、ユーザが、親指に押し当てた中指をはじいて指を鳴らすことで、指先で操作音４０ａを生成する音源１７ａを構成することができる。音源１７で発生した１個または複数個の操作音４０ａは、空中を球面状に伝搬してマイクロフォン３０１、２０１に到達する。

マイクロフォン３０１は、少なくともユーザが操作音４０を生成する際に音源１７から既知の参照距離ｒに存在すればよい。マイクロフォン２０１は音響操作の際に音源１７から未知の距離に存在する。ウェアラブル・デバイス１５ａの場合は、音源１７ａとなる指先とマイクロフォン３０１ａの参照距離ｒを一般的な人間の掌の大きさとしてあらかじめ想定しておくことができる。また、ウェアラブル・デバイス１５ａでは、空間をユーザ１０が移動したり姿勢を変えたりしても参照距離ｒが変化しないので都合がよい。音源１７ａは、ユーザが指先に装着する器具や打楽器を利用して構成してもよい。

参照デバイス１５としてのウェアラブル・デバイスは、めがねのように顔に装着したりベルトのように腰に装着したりするものでもよい。音源１７ａは、音響操作の際にマイクロフォン３０１ａから既知の参照距離ｒに存在していれば指先に限定する必要はなく、ユーザ１０の声でもよいしクラッピングする掌でもよい。このような音響操作は、リモート・コントローラやネットワーク・デバイスから操作するよりも、ユーザが意図するときにただちに直感的に行うことができる。参照デバイス１５は、少なくとも操作音４０を生成する際にマイクロフォン３０１が音源１７から既知の参照距離ｒに存在するものであれば、ウェアラブル・デバイス１５ａに限定する必要はない。

図２（Ｂ）は、参照デバイス１５の他の例としてユーザ１０が手に保持して使用する携帯式電子機器１５ｂを示している。携帯式電子機器１５ｂは、マイクロフォン３０１ｂを搭載するスマートフォンやタブレット端末とすることができる。ユーザは、マイクロフォン３０１ｂから既知の参照距離にある筐体の所定の部位を指やペンで叩いて操作音４０ｂを生成する。叩かれる筐体の所定の部位が音源１７ｂとなる。操作音４０ｂは空中を伝搬してマイクロフォン２０１に到達し、空中および筐体を伝搬してマイクロフォン３０１に到達する。

音源１７ａ、１７ｂは、人体の単純な動作で操作音４０ａ、４０ｂを生成することができる。また、ウェアラブル・デバイス１５ａや携帯式電子機器１５ｂは常にユーザの身近に存在する。したがって、ユーザが意図するときにただちに方向直線１９上の第１の操作位置１８ａ、第２の操作位置１８ｂで音響操作をするのに都合がよい。また、音源１７ａ、１７ｂからマイクロフォン３０１ａ、３０１ｂまでの参照距離ｒは事前に想定でき、かつ、第１の操作位置１８ａ、第２の操作位置１８ｂで参照距離ｒを保つのに都合がよい。ただし、本発明は参照デバイス１５および音源１７をここに例示した範囲に限定するものではなく、本発明の思想を逸脱しない範囲で当業者が容易に想起できるさまざまな参照デバイス１５および音源１７を採用することができる。

図１に戻って、音響操作システム１００は原理上、方向直線１９上に複数の対象装置１３が重なって存在しないことを前提にする。参照デバイス１５と対象装置１３は、無線ネットワークでネットワーク・サーバ１１に接続している。無線ネットワークの規格は特に限定する必要はなく、無線ＬＡＮやBluetooth（登録商標）などを採用することができる。なお、本発明は有線ネットワークの適用を排除しない。特にネットワーク・サーバ１１と対象装置１３は、位置を変化させる必要がないため、有線ネットワークで接続しても音響操作には支障がない。

ネットワーク・サーバ１１は、ネットワークを通じて参照デバイス１５および対象装置１３と操作音４０の処理に必要なデータをリアルタイムで交換する。一例において、ネットワーク・サーバ１１は、操作音４０を処理して、対象装置１３を操作するための操作コマンドを生成する。参照デバイス１５、対象装置１３およびネットワーク・サーバ１１は、一例においてＩｏＴ／Ｍ２Ｍシステムとして構成することができる。他の例では、ネットワーク・サーバ１１を利用しないで、操作音４０の処理に必要なデータを参照デバイス１５または対象装置１３の一方が処理したり、両方で分散して処理したりすることもできる。

音源１７で発生した操作音４０は、ほぼ球面波となって対象装置１３まで伝搬する。音源１７は、無指向性の点音源とすることができる。音響操作システム１００は、操作音４０を時間軸上で離散的に存在する物理的な音として利用するため、操作音４０はユーザ１０と対象装置１３を関連付けるための方向の情報を保有する必要がない。したがって、各対象装置１３のマイクロフォン２０１が操作音４０を検出しただけでは、ユーザ１０が操作を意図する対象装置１３ｄを特定することができない。ここで、たとえば同じ操作音４０を検出するマイクロフォン２０１ｃ、２０１ｄは音源１７からの距離が相違するため伝搬時間に差が生ずることに着目する。本実施の形態では以下に説明するように、伝搬時間の差を利用して、方向直線１９上に存在する対象装置１３ｄとそれ以外の対象装置を区別して操作を意図する対象装置１３ｄを特定する。

音響操作は、第１の操作位置１８ａおよび第２の操作位置で操作音４０を生成する。ユーザ１０は、第１の操作位置１８ａで１回目の操作音４０を生成し、第１の操作位置１８ａと対象装置１３ｄのマイクロフォン２０１ｄを結ぶ方向直線１９上の第２の操作位置１８ｂで２回目の操作音を生成する。このとき参照デバイス１５のマイクロフォン３０１と音源１７はともに既知の参照距離ｒを保ちながら第１の操作位置から第２の操作位置まで移動する。

参照デバイス１５および対象装置１３は、同じ操作音４０を異なる検出時刻で検出する。参照デバイス１５と各対象装置１３は操作音４０を瞬時にデータ化してネットワーク・サーバ１１に送る。ネットワーク・サーバ１１は、第１の操作位置１８ａおよび第２の操作位置１８ｂにおける音源１７から各対象装置１３が搭載するマイクロフォン２０１までの操作音の伝搬時間の差、および参照距離ｒに基づいて各マイクロフォン２０１と音源１７の距離を計算することができる。各マイクロフォン２０１と音源１７の距離を音源距離ｄ（図３）という。音源距離ｄに対して対象装置１３のサイズが十分に小さい場合は、音源距離ｄを対象装置１３と音源１７の距離として扱うことができる。

２つの操作位置１８ａ、１８ｂでそれぞれ計算した音源距離ｄは、ユーザが操作を意図する対象装置１３ｄを他の対象装置から区別する情報を与える。ネットワーク・サーバ１１は、特定した対象装置１３ｄにあらかじめ定義した操作コマンドを送る。音響操作は、第１の操作位置１８ａおよび第２の操作位置１８ｂでそれぞれ１個の操作音４０を生成してもよい。

この場合、対象装置１３に対して現在の状態を変更する１個の情報を操作コマンドで送ることができる。具体的には、動作している対象装置を停止させたり、停止している対象装置を動作させたりする操作コマンドを送ることができる。操作コマンドの数をさらに増やすために、第１の操作位置１８ａおよび第２の操作位置１８ｂでそれぞれ連続的に複数個の操作音４０を生成することができる。第１の操作位置１８ａと第２の操作位置１８ｂのそれぞれにおける操作音４０の数の複数の組み合わせに対して複数の操作コマンドを対応付けることができる。

［音源距離の計算］
つぎに図３を参照して、操作音４０を検出して音源１７から対象装置１３までの音源距離ｄを計算する方法を説明する。操作音４０の発生時刻をｔ０とし、音源１７とマイクロフォン３０１の参照距離をｒとし、音源１７とマイクロフォン２０１の音源距離をｄとする。図３（Ａ）は、マイクロフォン３０１、音源１７およびマイクロフォン２０１の空間的な位置関係に対応する図で、図３（Ｂ）はそれらを時間軸上に配置した図である。マイクロフォン３０１は少なくとも音響操作をする際に、音源１７を中心とし参照距離ｒを半径とする円１６上に存在する。

任意の発生時刻ｔ０でユーザ１０が音響操作をする。音源１７で発生した操作音４０は音速ｓで空間を伝搬する。マイクロフォン３０１は操作音４０を検出時刻ｔ１で検出し、マイクロフォン２０１は同じ操作音４０を検出時刻ｔ２で検出する。操作音４０がマイクロフォン３０１まで伝搬する時間ｔｔ１は空気中の音速をｓとしたとき、ｔｔ１＝ｔ１−ｔ０＝ｒ／ｓとなる。したがって、ネットワーク・サーバ１１はマイクロフォン３０１の検出音を利用すると操作音４０の発生時刻ｔ０を、ｔ０＝ｔ１−ｒ／ｓで計算することができる。操作音４０がマイクロフォン２０１まで伝搬する時間ｔｔ２は、ｔｔ２＝ｔ２−ｔ０＝ｄ／ｓとなる。したがってネットワーク・サーバ１１は音源距離ｄを
ｄ＝（ｔ２−ｔ０）ｓ （１）
で計算することができる。

式（１）で音源距離ｄを計算するネットワーク・サーバ１１は、音源１７が操作音４０を生成する発生時刻ｔ０を電気的に取得する必要がある。たとえば、参照デバイス１５が、携帯式電子機器１５ｂの場合は、音源１７ｂの直下に操作音、振動、または圧力などを検知するセンサを設けて、センサが動作した時刻を発生時刻ｔ０とすることができる。ここで、式（１）は、マイクロフォン３０１が検出した検出時刻ｔ１を使って、
ｄ＝（ｔ２−ｔ１）ｓ＋ｒ （２）
で計算することができる。

ｔ２−ｔ１は、音源１７からマイクロフォン３０１およびマイクロフォン２０１までの操作音４０の伝搬時間の差に相当する。式（２）は、操作音４０のマイクロフォン２０１での検出時刻ｔ２、マイクロフォン３０１での検出時刻ｔ１、および参照距離ｒを取得すれば音源距離ｄを計算できることを示している。式（２）は、指先や掌のような発生時刻ｔ０を計時することが困難な音源１７を採用する場合でも適用できる。

参照デバイス１５が携帯式電子機器１３ｂの場合は、マイクロフォン３０１ｂから参照距離ｒの筐体の所定の位置を叩いたときに、操作音４０ｂが空気中と筐体を伝搬する。マイクロフォン３０１ｂが筐体を伝搬する検出する操作音４０を検出する場合は、筐体の媒質の音速をｍとすれば、ｔ０＝ｔ１−ｒ／ｍとなり、ネットワーク・サーバ１１は音源距離ｄを、
ｄ＝（ｔ２−ｔ１）ｓ＋ｒｓ／ｍ （３）
で計算することができる。

［ユーザの操作を意図する対象装置の特定］
図４は、音源距離ｄと移動距離ｄ０から操作を意図する対象装置１３ｄを特定する方法を説明するための図である。ここでは、操作を意図する対象装置１３ｄを対象装置１３ｃから区別する場合を例にして説明するが、対象装置１３ｄを他の対象装置から区別する原理も同様に理解することができる。ユーザ１０は、最初に任意の操作位置１８ａに音源１７を位置付けて操作音４０を生成する。

任意の操作位置１８ａは、ユーザが操作を意図した場所として自由に選択することができる。ネットワーク・サーバ１１は、図３を参照して説明した方法で、操作位置１８ａからマイクロフォン２０１ｃ、２０１ｄまでの音源距離ｄ１、ｄ３を計算する。つぎにユーザ１０は方向直線１９上の対象装置１３ｄに近い第２の操作位置１８ｂに音源１７を位置付けて操作音４０を生成する。第２の操作位置１８ｂは、第１の操作位置１８ａに対して、対象装置１３ｄより遠い位置とすることもできる。移動距離ｄ０はあらかじめ決めておいてもよいが、本実施の形態では任意の移動距離ｄを後に説明するように参照デバイス１５を利用して、または他の方法でネットワーク・サーバ１１が計測する。

第２の操作位置１８ｂは、厳密に方向直線１９上に存在する必要はない。第２の操作位置１８ｂが方向直線１７から離れるときの許容値は、音響操作システム１００の対象装置１３に対する分解能または対象装置１３の相互間の距離に依存する。ネットワーク・サーバ１１は図３で説明した方法で、第２の操作位置１８ｂからマイクロフォン２０１ｃ、２０１ｄまでの音源距離ｄ２、ｄ４を計算する。第１の操作位置１８ａにおける参照距離ｒと、第２の操作位置１８ｂにおける参照距離ｒはネットワーク・サーバ１１が距離を認識していれば異なる値でもよい。

ネットワーク・サーバ１１は、音源距離ｄ１、ｄ２の差および音源距離ｄ３、ｄ４の差を計算する。ここで、音源距離ｄ１、ｄ２の差の絶対値および音源距離ｄ３、ｄ４の差の絶対値をそれぞれΔ１２、Δ３４とする。第２の操作位置１８ｂがほぼ方向直線１９上に存在すれば、対象装置１３ｄに関するΔ１２は、Δ１２＝ａｂｓ（ｄ１−ｄ２）≒ｄ０となる。また、対象装置１３ｃに関するΔ３４は、三角形の３つの辺の大小関係より、移動距離ｄ０より小さくなって、Δ３４＝ａｂｓ（ｄ３−ｄ４）≠ｄ０となる。

ここで、Δ１２およびΔ３４と移動距離ｄ０の差を評価パラメータＺということにする。ユーザが操作を意図する対象装置１３ｄの評価パラメータＺは、他の対象装置１３ｃの評価パラメータＺよりも小さくなる。この性質を利用してネットワーク・サーバ１１は、以下の方法で評価パラメータＺから対象装置１３ｄを特定することができる。

第１の方法では、ネットワーク・サーバ１１が、第１の操作位置１８ａにおける音源距離をｄｐとし、第２の操作位置１８ｂにおける音源距離をｄｑとして、すべての対象装置１３について評価パラメータＺを計算する。ネットワーク・サーバ１１は、評価パラメータＺに対して所定の閾値Ｔｈを設定して、式（４）を満たす対象装置１３をユーザが操作を意図する対象装置１３ｄであると認識することができる。

Ｚ＝ａｂｓ（ｄｐ−ｄｑ）−ｄ０＜Ｔｈ （４）
式（４）は、評価パラメータＺを閾値Ｔｈで絶対値評価しているため、ユーザが不用意に行った音響操作に対して、いずれの対象装置１３も反応しないようにすることができる。他方で閾値Ｔｈを操作環境ごとに設定する必要があり、第２の操作位置１８ｂが方向直線１９から外れる程度によっては、対象装置１３ｄを特定できない場合もでてくる。

第２の方法では、すべての対象装置１３について計算した評価パラメータＺの中で、式（５）を満たすように評価パラメータＺが最小を示した対象装置１３ｄを操作対象として特定することができる。
Ｚ＝ａｂｓ（ｄｐ−ｄｑ）−ｄ０＝ｍｉｎ （５）
式（５）は、評価パラメータＺを相対値評価しているため、第２の操作位置１８ｂが方向直線１９から外れても、操作直線１９に最も近いいずれかの対象装置１３が特定される。ただし、ユーザが不用意に行った音響操作に対してもいずれかの対象装置１３が反応することになる。いずれの特定方法を採用するかは、音響操作システム１００を導入する環境に基づいて選択することができる。

［音響操作システム］
図５は、音響操作システム１００の構成の一例を説明するための概略の機能ブロック図である。音響操作システム１００は一例において、複数の対象装置１３、参照デバイス１５およびネットワーク・サーバ１１で構成する。音響操作システム１００は、他の例において図１０、図１１を参照して説明するように、ネットワーク・サーバ１１を利用しないで構成することもできる。対象装置１３、参照デバイス１５およびネットワーク・サーバ１１はペアリングを完了すると、ネットワークを通じてデータ交換をして音響操作システム１００としてまとまりのある動作をする。ネットワークを通じたデータ交換の速度は、音響が空間や個体媒質を伝搬する時間よりも十分に短い。

複数の対象装置１３はそれぞれ、操作音４０を検出するマイクロフォン２０１、Ａ／Ｄ変換部２０３、対象装置機能２０５、対象装置操作部２０７およびネットワーク・インターフェース２０９を備えている。対象装置機能２０５は、たとえば、テレビ、空調機といった各ホーム・アプライアンスの本来の機能に相当する。対象装置操作部２０７は、ネットワーク・サーバ１１から操作コマンドを受け取って対象装置機能２０５を制御する。対象装置操作部２０７は、赤外線式のリモート・コントローラから操作信号を受け取って対象装置機能２０５を制御してもよい。

参照デバイス１５は、マイクロフォン３０１、Ａ／Ｄ変換部３０３、モーション・センサ３０５、Ａ／Ｄ変換部３０７およびネットワーク・インターフェース３０９を備えている。モーション・センサ３０５は、加速度、角速度および地磁気をそれぞれ３軸で検出する。モーション・センサ３０５は、第１の操作位置１８ａから第２の操作位置１８ｂまでの移動距離ｄ０を計測するための状態信号を出力する。Ａ／Ｄ変換部２０３、３０３、３０７は、マイクロフォン２０１，３０１またはモーション・センサ３０５から受け取ったアナログ信号に対して標本化処理および量子化処理をしてディジタル・データに変換し、ネットワーク・サーバ１１に出力する。

ネットワーク・サーバ１１は、ネットワーク・インターフェース４０１、音響操作認識部４０３、移動距離計算部４０５、計時部４０７、音源距離計算部４０９、対象装置特定部４１１および操作コマンド生成部４１３を含んでいる。これらの要素は、ＯＳやアプリケーション・プログラムのようなソフトウェア資源とそれらを実行するＣＰＵ、チップ・セット、およびシステム・メモリなどのハードウェア資源の協働で構成することができる。ソフトウェア資源は、あらかじめネットワーク・サーバ１１の不揮発性メモリに格納したり、ネットワークを通じてダウンロードしたりすることができる。

音響操作認識部４０３は、複数の対象装置１３および参照デバイス１５から受け取った検出音の音響データから、有効な音響操作を認識する。音響操作認識部４０３は、有効な音響操作を認識したときに、各対象装置１３の検出時刻ｔ２および参照デバイス１５の検出時刻ｔ１を音源距離計算部４０９および移動距離計算部４０５に送る。音響操作認識部４０３は、第１の操作位置１８ａおよび第２の操作位置１８ｂで行われたそれぞれの操作音４０の数を操作コマンド生成部４１３に送る。

計時部４０７は時刻を計時して、音響操作認識部４０３に提供する。音源距離計算部４０９は、あらかじめ音速ｓ、ｍ、および参照距離ｒを取得している。音源距離計算部４０９は、図３を参照して説明した方法で、各対象装置１３について第１の操作位置１８ａおよび第２の操作位置１８ｂにおける音源距離ｄを計算する。

移動距離計算部４０５は、検出時刻ｔ１、ｔ２におけるモーション・センサ３０５の状態信号から計算した移動距離ｄ０を対象装置特定部４１１に送る。対象装置特定部４１１は、評価パラメータＺを使った絶対値評価または相対値評価でユーザが操作を意図する対象デバイス１３ｄを特定してその識別子を出力する。操作コマンド生成部４１３は、音響操作認識部４０３から受け取った第１の操作位置１８ａ、第２の操作位置１８ｂのそれぞれの操作音４０の個数と、対象装置特定部４１１から受け取った対象装置１３ｄの識別子から操作コマンドを生成してネットワーク・インターフェース４０１を通じて対象装置操作部２０７に出力する。

たとえば第１の操作位置１８ａ、第２の操作位置１８ｂでそれぞれ１個または２個の操作音を生成するときは、２つの操作位置１８ａ、１８ｂで行う１回の音響操作で、（１個，１個）、（１個，２個）、（２個，１個）、（２個，２個）の４つの操作情報を生成することができる。操作コマンド生成部４１３は、あらかじめ各対象装置１３について、操作情報と操作コマンドを対応づけておくことができる。

［音響操作の認識］
つぎに、音響操作認識部４０３の動作の一例を図６、図７、図８を参照して説明する。図６は、参照デバイス１５および対象装置１３が検出した検出音３０の波形の一例を模式的に示した図である。図７は音響操作認識部４０３が、各対象装置１３について音響操作の有効性を判断する方法を説明するための図である。図８は、音響操作認識部４０３が音響操作の有効性を判断する手順を説明するためのフローチャートである。

マイクロフォン２０１、３０１が検出する検出音３０には操作音４０に加えて雑音も含まれている。また検出音３０の音圧レベルが小さいと音響操作認識部４０３は操作音４０を認識できない。したがって、誤操作を防ぐために雑音と操作音４０を区別する必要がある。また、複数個の操作音４０で複数の操作コマンドを生成する場合は、連続して生成される後続の操作音４０と、第２の操作位置１８ｂで生成される操作音４０を区別する必要がある。音響操作認識部４０３は、対象装置１３および参照デバイス１５から受け取った雑音を含む検出音３０から有効な操作音４０を認識して検出時刻および操作音４０の個数を抽出する。

図６は、操作位置１８ａ、１８ｂにおいてそれぞれ最大３個の操作音で構成する音響操作を例示して、検出音３０から音響操作の有効性を判断する方法の一例を説明するための図である。図６は、第１の操作位置１８ａにおいて発生時刻ｔ０で発生した連続する２個の発生音について、参照デバイス１５が検出した検出音３１ａ、３２ａと、対象装置１３が検出した検出音３１ｂ、３２ｂを示している。図６はまた、第２の操作位置１８ｂにおいて発生時刻ｔ００で発生した連続する３個の発生音について、参照デバイス１５が検出した検出音３３ａ〜３５ａと、対象装置１３が検出した検出音３３ｂ〜３５ｂを示している。

この時点で音響操作認識部４０３は発生時刻ｔ０、ｔ００を認識せず、また、検出音３０と操作場所１８ａ、１８ｂの関係を認識していない。音響操作認識部４０３は検出音３０に対して、第１の操作位置１８ａおよび第２の操作位置１８ｂで最初に検出した検出音３１ａ、３３ａの検出時刻ｔ０、ｔ００からの経過時間に、それぞれの操作位置１８ａ、１８ｂで音響操作を完了するまでの閾値Ｔｈ１を設定している。第１の操作位置１８ａおよび第２の操作位置１８ｂを認識する方法は後に説明する。

また、音響操作認識部４０３は検出音３０に対して、第１の操作位置１８ａで最初に検出した検出音３１ａの検出時刻ｔ０からの経過時間に、第２の操作位置１８ｂでの音響操作を開始および終了するまでの時間としての閾値Ｔｈ２、Ｔｈ３を設定している。最小の閾値Ｔｈ２は、第１の操作位置１８ａから第２の操作位置１８ｂまで音源１７が移動するまでの移動時間の最小値に基づいて設定することができる。最大の閾値Ｔｈ３は、第１の操作位置１８ａで音響操作をしたのちに第２の操作位置１８ｂで音響操作をしない場合に、音響操作システム１００が今回の音響操作をリセットするまでの許容時間に基づいて設定することができる。

図８のブロック５０１で音響操作認識部４０３はリセットされている。リセットされた音響操作認識部４０３は、リセット後に最初に取得した検出音３１ａ、３１ｂを、第１の操作位置１８ａで生成されたものとして扱う。音響操作認識部４０３は、各対象装置１３および参照デバイス１５から音響データを受信して検出音３０の分析を開始する。ブロック５０３で音響操作認識部４０３は、時間軸上で離散的に存在する各検出音３０の発生時刻と消滅時刻を特定するために、一例において振幅に対して所定の振幅レベル３６を設定する。音響操作認識部４０３は、音源１７から対象装置１３までの音源距離ｄが長い場合に、必要に応じて音圧レベルの減衰を補正するために波形処理をすることができる。

音響操作認識部４０３は、振幅レベル３６で各検出音３０の検出時刻と消滅時刻を特定して持続時間ｗを計算する。音響操作認識部４０３は、あらかじめ音源１７が生成する操作音４０の持続時間や周波数成分などの特徴情報を登録しておく。音響操作認識部４０３は、検出音３０の持続時間ｗに対して、下限の閾値Ｔｈ４および上限の閾値Ｔｈ５を設定し、
Ｔｈ４＜ｗ≦Ｔｈ５ （６）
を満たさない検出音を雑音とみなすことができる。音響操作認識部４０３は、登録した周波数成分と検出音３０の周波数成分とを比較して操作音４０か否かを認識する。音響操作認識部４０３は、ブロック５５１で持続時間ｗや周波数成分から操作音４０として認識できない検出音３０を雑音として破棄することができる。

ブロック５０５で音響操作認識部４０３は、各検出音３０の検出時刻に基づいて先行する検出音と後続の検出音の時間差ａを計算する。図６では、検出音３１ａ、３２ａの時間差ａ１、検出音３３ａ、３４ａの時間差ａ２、検出音３４ａ、３５ａの時間差ａ３を示している。対象装置１３が検出した検出音についての時間差ａも同様に計算することができる。なお、第１の操作位置１８ａで最後に検出した検出音３２ａと第２の操作位置１８ｂで最初に検出した検出音３３ａの時間差は時間差ａから除外する。

音響操作認識部４０３は、時間差ａに対して最小の閾値Ｔｈ６および最大の閾値Ｔｈ７を設定する。最小の閾値Ｔｈ６は、ユーザが連続的に操作音４０を生成することができる最小の時間差に基づいて設定し、最大の閾値Ｔｈ７は、閾値Ｔｈ１と操作音の個数から設定することができる。音響操作認識部４０３は、
Ｔｈ６＜ａ≦Ｔｈ７ （７）
の条件を満たさない後続の検出音３０を雑音と見なしてブロック５５１で破棄することができる。

ここまでの手順で処理された検出音３０は、操作音４０であっても十分な音圧レベルがないために雑音として破棄されたり、ブロック５０３、５０５で分別できない雑音が混入していたりする可能性がある。本実施の形態では、さらに以下の手順を実行して音響操作認識部４０３が、検出音３０の時間的発生パターンに基づいて音響操作の有効性を判断することができる。音響操作システム１００は、図３を参照して説明したように音源距離ｄを計測するために、同一の操作音４０について、参照デバイス１５が検出した操作音４０と各対象装置１３が検出した操作音４０で、操作音４０のペアを形成する必要がある。

ブロック５０７で音響操作認識部４０３は、音響操作の有効性を判断するために、雑音を含む同一の発生音に対する検出音３０のペア候補が操作音４０のペアを形成するか否かを判断する。音響操作認識部４０３は、対象装置１３で検出したたとえば検出音３１ｂに対して、参照デバイス１５が検出した先行する最も近い検出音（この場合検出音３１ａ）を検出音３０のペア候補として選択することができる。図６は、検出音３０のペア候補（３１ａ，３１ｂ）、（３２ａ，３２ｂ）、（３３ａ，３３ｂ）、（３４ａ，３４ｂ）および（３５ａ，３５ｂ）を示している。

音響操作システム１００は、音響操作の利用環境における音源距離ｄの最大値を、あらかじめ想定することができる。音響操作認識部４０３は、検出音３０のペア候補の有効性を判断するために、検出時刻の時間差（ｔ２−ｔ１）に対して最小の閾値Ｔｈ８と最大の閾値Ｔｈ９を設定する。最小の閾値Ｔｈ８は、想定する最小の音源距離ｄと参照距離ｒとの差に基づいて設定することができる。最大の閾値値Ｔｈ９は、想定する最大の音源距離ｄと参照距離ｒとの差に基づいて設定することができる。

音響操作認識部４０３は検出音３０のペア候補が、
Ｔｈ８＜（ｔ２−ｔ１）≦Ｔｈ９ （８）
を満たさないときに当該対象装置１３については操作音４０のペアが形成できないため、ブロック５５３で音響操作を無効として扱う。式（８）を満たす対象装置１３については、ブロック５０９に移行する。図７（Ａ）は、対象装置１３が検出音３１ｂを検出しないために、音響操作認識部４０３は、後続の検出音３２ｂと先行する検出音３１ａによる検出音３０のペア候補が有効でないことを示している。

音響操作認識部４０３は、各対象装置１３について、リセット後に最初に検出した検出音３１ａ、３１ｂおよび式（７）を満たす後続の検出音３２ａ、３２ｂを第１の操作位置１８ａで発生した検出音３０とみなす。音響操作認識部４０３は、閾値Ｔｈ１を経過した後に最初に検出した検出音３３ａ、３３ｂおよび式（７）を満たす後続の検出音３４ａ、３５ａ、３４ｂ、３５ｂを第２の操作位置１８ｂで発生した検出音３０とみなす。ブロック５０９で音響操作認識部４０３は、第１の操作位置１８ａで最初に検出した検出音３１ａと第２の操作位置１８ｂで最初に検出した検出音３３ａの時間差ｂを計算する。対象装置１３についても同様に計算することができる。

音響操作認識部４０３は、時間差ｂが
Ｔｈ２＜ｂ≦Ｔｈ３ （９）
を満たさないときに当該対象装置１３については、ブロック５５３で当該音響操作を無効として扱う。式（９）を満たす対象装置１３については、ブロック５１１に移行する。図７（Ｂ）は、検出音３３ａを検出するまでの時間差ｂが長すぎて、当該対象装置１３については、音響操作認識部４０３がリセットされるときの様子を示している。

ブロック５１１で音響操作認識部４０３は、検出時刻ｔ１から閾値Ｔｈ１の間に検出した検出音３０の数および、検出時刻ｔ００から閾値Ｔｈ１の間に検出した検出音３０の数を計算する。音響操作認識部４０３は、検出音３０の数が設定した最大個数（この場合は３個）を超える場合は、雑音が混入しているとみなして、当該対象装置１３については、ブロック５５３で音響操作を無効として扱う。最大個数以下の対象装置１３については、ブロック５１３に移行する。図７（Ｃ）は、閾値Ｔｈ１の間に、４個の検出音３１ａ、３２ａ、３６ａ、３７ａが検出されて音響操作が無効になるときの様子を示している。

ブロック５１３で音響操作認識部４０３は、有効な音響操作を認識した対象装置１３について図９のブロック６０７に移行する。ブロック５５３で音響操作認識部４０３は、有効な音響操作を認識しない対象装置１３について音響操作認識部４０３をリセットして図９のブロック６０３に移行し、新たに第１の操作位置１８ａで音響操作が行われるまで待機する。ブロック５０３〜５１１の手順は、音響操作の環境に応じて適宜選択して採用することができる。また、処理の順番は図８に例示したものに限定する必要はなく、たとえば、ブロック５０３、５０５は順番を入れ替えてもよく、また、ブロック５０７〜５１１も順番を入れ替えてもよい。

［音響操作システムの動作］
図９は音響操作システム１００の動作を説明するためのフローチャートである。ブロック６０１で対象装置１３、ネットワーク・サーバ１１および参照デバイス１５が相手のネットワーク・アドレスを取得して相互認証を完了し、ネットワークを構築している。ブロック６０３で音響操作認識部４０３は発生時刻ｔ０、ｔ００で検出音３０を受け取る。

ブロック６０５で音響操作認識部４０３は、図８の手順で各対象装置１３について音響操作の有効性を判断する。ブロック６０７で音響操作認識部４０３は、音響操作が有効であると認識した対象装置１３について、たとえば図６に例示した検出音３０に対応する操作音４０を認識する。音響操作認識部４０３は、第１の操作位置１８ａおよび第２の操作位置１８ｂに関する検出時刻ｔ１、ｔ２、ｔ１１、ｔ１２を音源距離計算部４０９と移動距離計算部４０５に送る。

ブロック６０９で音響操作認識部４０３は、第１の操作位置１８ａにおける操作音４０の個数（２個）と第２の操作位置１８ｂにおける操作音４０の個数（３個）を操作コマンド生成部４１３に送る。ブロック６１１で移動距離計算部４０５は、検出時刻ｔ１、ｔ２２と、モーション・センサ３０５が出力した状態データから移動距離ｄ０を計算して対象装置特定部４１１に送る。

ブロック６１３で音源距離計算部４０９が各対象装置１３について式（１）〜（３）のいずれかを利用して、各対象装置１３について、第１の操作位置１８ａおよび第２の操作位置１８ｂにおける音源距離ｄを計算する。ブロック６１５で対象装置特定部４１１は、音響操作認識部４０３が有効な音響操作を認識した対象装置について式（４）または式（５）のいずれかを適用し、操作を意図している対象装置１３ｄを特定する。ブロック６１７で操作コマンド生成部４１３は、特定した対象装置１３ｄの対象装置操作部２０７に対して、操作音の個数の組み合わせに対応する操作コマンドを出力して音響操作システム１００をリセットする。

音響操作システム１００は、ネットワーク・サーバ１１の機能を対象装置１３および参照デバイス１５に分散することができる。たとえば、音響操作認識部４０３、計時部４０７を対象装置１３および参照デバイス１５に分散して搭載することもできる。計時部４０７を対象装置１３および参照デバイス１５に分散するときは、必要に応じてＮＴＰサーバや同期コマンドを使って、分散した計時部４０７のＲＴＣ（Real Time Clock）を同期することができる。計時部４０７を分散するときは、音響操作認識部４０３は、対象装置１３と参照デバイス１５から検出時刻ｔ１、ｔ２を受け取るようにしてもよい。移動距離計算部４０５は参照デバイス１５に実装することもできる。

マイクロフォン３０１と移動距離ｄ０を測定するデバイスは参照デバイス１５から分離することができる。このとき移動距離ｄ０をモーション・センサ３０５に代えてステレオ・カメラで計測するようにしてもよい。音響操作システム１００の分解能は、対象装置１３の相互間の距離に依存する。音源距離ｄの測定精度は要求される分解能に相応のものにすることができる。この場合、図２（Ａ）に示したように指を鳴らして操作音４０ａを生成するときに、第１の操作位置１８ａを胸の近くに設定し、前腕を伸ばした位置を第２の操作位置１８ｂに設定して、標準的な上腕の長さを移動距離ｄ０に設定するようにしてもよい。

［音響操作システムの他の構成例］
図１０、図１１は、音響操作システム６００、７００の構成を説明するための概略の機能ブロック図である。図１０、図１１では、図５と同一の要素または図５から容易に機能が理解できる要素に同一の参照番号を付して説明を省略する。音響操作システム６００、７００はネットワーク・サーバ１１を利用しないで構成している。音響操作システム６００はネットワークで接続した、参照デバイス６０５と対象装置６０３で構成している。音響操作システム６００では、ネットワーク・サーバの機能を参照デバイス６０５に組み込んでいる。ネットワーク・インターフェース６０７には、複数の対象装置６０３が接続される。

音響操作システム７００は、対象装置７０３と参照デバイス７０５で構成している。音響操作システム７００では、ネットワーク・サーバの機能を対象装置７０３に組み込んでいる。ネットワーク・インターフェース３０９には、複数の対象装置７０３が接続される。音響操作システム６００、７００においても、参照デバイス６０５および対象装置７０３が搭載する機能を分散することができる。本発明は図５、図１０、図１１で説明した音響操作システム１００、６００、７００に限定するものではなく、所定の機能を他の方法で分散したり類似の機能を採用したりする場合も本発明の思想を含み当業者が容易に想起できるものは本発明の範囲に含む。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。

１０ ユーザ
１１ ネットワーク・サーバ
１００、６００、７００ 音響操作システム
１３、１３ａ〜１３ｅ、６０３、７０３ 対象装置
１５、６０５、７０５ 参照デバイス
１５ａ ウェアラブル・デバイス（参照デバイス）
１５ｂ 携帯式電子機器（参照デバイス）
１７、１７ａ、１７ｂ 音源
１８ａ 第１の操作位置
１８ｂ 第２の操作位置
１９ 方向直線
３０、３１ａ〜３５ａ、３１ｂ〜３５ｂ 検出音
４０、４１ａ〜４５ａ、４１ｂ〜４５ｂ 操作音
２０１、２０１ａ〜２０１ｅ、３０１、３０１ａ、３０１ｂ マイクロフォン
ｄ 音源距離
ｒ 参照距離

Claims (20)

1. 複数の対象装置の中から音響操作で選択した目的対象装置を操作する音響操作システムであって、
   第１の操作位置と第２の操作位置で音源が生成した操作音を検出する複数の対象マイクロフォンを利用して前記操作音のデータを受信し、前記音源から前記対象マイクロフォンまでの前記操作音の伝搬時間に基づいて、前記第１の操作位置から前記対象マイクロフォンまでの第１の音源距離および前記第２の操作位置から前記対象マイクロフォンまでの第２の音源距離を計算する音源距離計算部と、
   前記第１の音源距離と前記第２の音源距離の差と、前記第１の操作位置から前記第２の操作位置までの移動距離との差に基づいて選択した前記対象マイクロフォンに関連付けられた前記目的対象装置を特定する対象装置特定部と
   を有する音響操作システム。
2. 前記第２の操作位置が前記目的対象装置に関連付けられた対象マイクロフォンから前記第１の操作位置に向かう方向に存在する請求項１に記載の音響操作システム。
3. 前記音源距離計算部は、前記操作音の生成時刻と前記対象マイクロフォンが検出した前記操作音の検出時刻の時間差から前記第１の音源距離および前記第２の音源距離を計算する請求項１に記載の音響操作システム。
4. 前記音源距離計算部は、前記第１の操作位置および前記第２の操作位置において前記音源から既知の参照距離に配置した参照マイクロフォンを利用して前記操作音のデータを受信し、前記対象マイクロフォンが検出した前記操作音の検出時刻、前記参照マイクロフォンが検出した前記操作音の検出時刻および前記参照距離を利用して前記第１の音源距離および前記第２の音源距離を計算する請求項１に記載の音響操作システム。
5. 前記参照マイクロフォンを携帯式電子機器に搭載し、前記音源をユーザの指先または掌とした請求項４に記載の音響操作システム。
6. 前記携帯式電子機器が、前記移動距離を取得するための状態情報を出力するモーション・センサを搭載する請求項５に記載の音響操作システム。
7. 前記参照マイクロフォンを携帯式電子機器に搭載し、前記音源を前記携帯式電子機器の筐体の一部とした請求項４に記載の音響操作システム。
8. 前記対象マイクロフォンおよび前記参照マイクロフォンが検出した雑音を含む検出音の時間的発生パターンに基づいて前記音響操作の有効性を判断する音響操作認識部を有する請求項４に記載の音響操作システム。
9. 前記音響操作認識部は、前記対象マイクロフォンが検出した検出音の検出時刻と前記参照マイクロフォンが検出した検出音の検出時刻の差に基づいて同一の発生音について前記対象マイクロフォンと前記参照マイクロフォンが検出した検出音のペアが前記操作音のペアを形成しないと判断したときに、前記音響操作を無効にする請求項８に記載の音響操作システム。
10. 前記音響操作認識部は、前記参照マイクロフォンまたは前記対象マイクロフォンが検出した先行する検出音の検出時刻と後続の検出音の検出時刻の時間差が所定値以上のときに、前記検出音を破棄する請求項８に記載の音響操作システム。
11. 前記第１の操作位置および前記第２の操作位置においてそれぞれ生成した複数個の操作音に対応する操作コマンドを前記目的対象装置に出力する操作コマンド生成部を有する請求項１に記載の音響操作システム。
12. 複数の対象装置の中から音響操作で選択した目的対象装置を操作する音響操作システムを構成することが可能なネットワーク・サーバであって、
    音源が生成した操作音を検出できるように第１の操作位置と第２の操作位置で前記音源から既知の参照距離に配置した参照マイクロフォンを搭載する参照デバイスから前記操作音のデータを受け取る第１のインターフェースと、
    前記第１の操作位置および前記第２の操作位置で前記音源が生成した前記操作音を検出する対象マイクロフォンをそれぞれ搭載する前記複数の対象装置から前記操作音のデータを受け取る第２のインターフェースと、
    前記操作音の前記音源から前記対象マイクロフォンまでの伝搬時間と前記音源から前記参照マイクロフォンまでの伝搬時間の差と前記参照距離に基づいて前記対象マイクロフォンと前記第１の操作位置との第１の音源距離および対象マイクロフォンと前記第２の操作位置との第２の音源距離を計算する音源距離計算部と、
    前記第１の音源距離と前記第２の音源距離の差と、前記第１の操作位置から前記第２の操作位置までの移動距離との差に基づいて選択した前記対象マイクロフォンを搭載する前記目的対象装置を特定する対象装置特定部と、
    前記第２のインターフェースを通じて前記目的対象装置に操作コマンドを送る操作コマンド生成部と
    を有するネットワーク・サーバ。
13. 音響操作で操作することが可能な対象装置に搭載する制御装置であって、
    音源が生成した操作音を検出できるように第１の操作位置と第２の操作位置で前記音源から既知の参照距離に配置した参照マイクロフォンを搭載する参照デバイスから前記操作音のデータを受け取るインターフェースと、
    前記操作音を検出する対象マイクロフォンと、
    前記操作音の前記音源から前記対象マイクロフォンまでの伝搬時間と前記音源から前記参照マイクロフォンまでの伝搬時間の差と前記参照距離に基づいて前記対象マイクロフォンと前記第１の操作位置との第１の音源距離および前記対象マイクロフォンと前記第２の操作位置との第２の音源距離を計算する音源距離計算部と、
    前記第１の音源距離と前記第２の音源距離の差と、前記第１の操作位置から前記第２の操作位置までの移動距離との差に基づいて目的対象装置であることを認識する対象装置特定部と
    を有する制御装置。
14. 複数の対象装置の中から音響操作で選択した目的対象装置を操作することが可能な携帯式電気機器であって、
    音源が生成した操作音を検出できるように第１の操作位置と第２の操作位置で前記音源から既知の参照距離に配置した参照マイクロフォンと、
    それぞれ対象マイクロフォンを搭載する前記複数の対象装置から前記操作音のデータを受け取るインターフェースと、
    前記操作音の前記音源から前記対象マイクロフォンまでの伝搬時間と前記音源から前記参照マイクロフォンまでの伝搬時間の差と前記参照距離に基づいて前記対象マイクロフォンと前記第１の操作位置との第１の音源距離および前記対象マイクロフォンと前記第２の操作位置との第２の音源距離を計算する音源距離計算部と、
    前記第１の音源距離と前記第２の音源距離の差と、前記第１の操作位置から前記第２の操作位置までの移動距離との差に基づいて選択した前記目的対象装置を特定する対象装置特定部と、
    前記インターフェースを通じて前記目的対象装置に操作コマンドを送る操作コマンド生成部と
    を有する携帯式電子機器。
15. 複数の対象装置の中から選択した目的対象装置を音響操作に応じて音響操作システムが操作する方法であって、
    音源が第１の操作位置で生成した操作音と第２の操作位置で生成した操作音を前記複数の対象装置が検出するステップと、
    前記音源から前記対象装置までの前記操作音の伝搬時間に基づいて前記第１の操作位置から前記対象装置までの第１の音源距離および前記第２の操作位置から前記対象装置までの第２の音源距離を計算するステップと、
    前記第１の操作位置と前記第２の操作位置の移動距離を取得するステップと、
    前記第１の音源距離と前記第２の音源距離の差と、前記移動距離との差に基づいて前記目的対象装置を特定するステップと
    前記目的対象装置に操作コマンドを送るステップと
    を有する方法。
16. 前記第２の操作位置が、前記第１の操作位置から前記目的対象装置に向かう方向に存在し、
    前記目的対象装置を特定するステップが、前記第１の音源距離と前記第２の音源距離の差から前記移動距離を減算した評価パラメータが所定の閾値より小さい前記対象装置を前記目的対象装置として特定するステップを含む請求項１５に記載の方法。
17. 前記第２の操作位置が、前記第１の操作位置から前記目的対象装置に向かう方向に存在し、
    前記目的対象装置を特定するステップが、前記複数の対象装置についてそれぞれ計算した前記第１の音源距離と前記第２の音源距離の差から前記移動距離を減算した評価パラメータを相互に比較して前記評価パラメータが最小の前記対象装置を前記目的対象装置として特定するステップを含む請求項１５に記載の方法。
18. 前記第１の音源距離と前記第２の音源距離を計算するステップが、
    前記音源から既知の参照距離で前記操作音を検出した第１の検出時刻を取得するステップと、
    前記複数の対象装置がそれぞれ前記操作音を検出した第２の検出時刻を取得するステップと、
    前記第２の検出時刻と前記第１の検出時刻の差を計算するステップと
    を有する請求項１５に記載の方法。
19. 前記第１の操作位置で第１の個数の操作音を検出するステップと、
    前記第２の操作位置で第２の個数の操作音を検出するステップと、
    前記第１の個数と前記第２の個数の組み合わせで複数の前記操作コマンドを生成するステップと、
    前記第１の個数または前記第２の個数が所定値以上のときに前記音響操作を無効にするステップと
    を有する請求項１５に記載の方法。
20. 音響操作に応じて複数の対象装置の中から選択した目的対象装置を操作する音響操作システムに、
    音源が第１の操作位置で生成した操作音と第２の操作位置で生成した操作音を前記複数の対象装置が検出する機能と、
    前記音源から前記対象装置までの前記操作音の伝搬時間に基づいて前記第１の操作位置から前記対象装置までの第１の音源距離および前記第２の操作位置から前記対象装置までの第２の音源距離を計算する機能と、
    前記第１の操作位置と前記第２の操作位置の移動距離を取得する機能と、
    前記第１の音源距離と前記第２の音源距離の差と、前記移動距離との差に基づいて前記目的対象装置を特定する機能と
    を実現させるためのコンピュータ・プログラム。
    
    
    
    

Images