JP2014504112A - データ取得装置の集合を用いた情報処理 - Google Patents

Abstract

複数の装置からの情報を処理するための分散型システム、コントローラ、及び方法が提供される。分散型システムは、環境内に分散された複数の装置を含む。各装置は、装置の他のものと、及び／又は通信システムと情報を交換するための通信機能を少なくとも有する。少なくともいくつかの装置はそれぞれ、装置に近接した環境と関連するセンサデータを取得するための１つ以上のセンサを有する。少なくとも１つの通信システム又は１つ以上の装置は、コントローラとして構成される。コントローラは、複数の装置の中からの装置のサブセットを選択し、選択されたサブセットの取得されたセンサデータに基づいて情報を受信し、１つ以上の装置に近接した環境の特徴を判定するために選択されたサブセットから受信された情報を組み合わせるように構成される。
【選択図】図１

Description

［関連出願］
この出願は「データ取得装置の集合を用いた情報処理」と題して２０１１年１月１１日に出願された米国特許仮出願第６１／４３１，５０７号及び「データ取得装置の集合を用いた情報処理」と題して２０１０年１２月３０日に出願された米国特許仮出願第６１／４２８，３６９号に関連し、且つ各仮出願の利益を主張し、これらの内容は、参考文献として本明細書に援用される。

［技術分野］
本発明は、データ取得装置の集合（ｐｏｐｕｌａｔｉｏｎ）からの情報の処理に係り、いくつかの例において、個人用無線装置の適応的に選択可能な集合から取得した音声データの処理又はマルチメディアデータの処理に関する。

装置のローカル環境から音声情報又はマルチメディア情報を得ることができ、且ついくつかの場合においてそれらをローカルで処理できる装置は、過去数年の間にどこにでもある（ｕｂｉｑｕｉｔｏｕｓ）ようになり、このような傾向が続かないと予想する理由はほとんどない。例えば、「スマート」携帯電話（例えば、アップル社のｉＰｈｏｎｅ（登録商標）及びＡｎｄｒｏｉｄ（商標）オペレーティングシステムベースの電話）は、音声及びビデオ取得装置だけでなく、重要なローカル処理機能も有する。

本発明の１つの態様において、概して、一連の装置の音声及びマルチメディア取得機能は、例えば音声シーンを分析するために、取得するコンテンツを集約し、そのコンテンツ内の情報を融合させるために利用されてもよい。いくつかの実施形態の例において、大集合からの装置（ｄｅｖｉｃｅｓ ｆｒｏｍ ａ ｌａｒｇｅ ｐｏｐｕｌａｔｉｏｎ）は、装置において、又はネットワークによって、検出されたトリガとなるイベントに従って適応的に選択及び／又は構成されてもよい。音声シーンに関連して、ユーザの要件及びユーザの過去情報消費行動のモデルなどの要素に基づいて、音響及び他の情報をユーザに軽減、増幅、又は渡すために、１つ以上の装置から感知され取得される情報が、消費者に対して処理され、カスタマイズされ、パーソナライズされてもよい。従って、本発明の好ましいシステムは、周囲で明示的に供給された情報、特に音声情報、を仲介してもよいし、ユーザのための情報のアービタ（ａｒｂｉｔｅｒ）として動作してもよい。他の動作が多種（ｍｕｌｔｉｐｌｅ）の装置からの情報に基づいてもよい一方で、いくつかのシステム動作は、１つの装置からの情報に基づいてもよい。ユーザに対してフィルタリングされた情報は、共通の関心事及び共通の情報に基づいて仮想コミュニティを形成し、警報、マーケティング情報、及びニュースを含む関連情報がこれらのコミュニティに届くことを保証するために利用されてもよい。

本発明の別の態様によれば、概して、分散型システムは、通信システムの少なくとも１つ又はコントローラとして構成された分散型装置の１つ以上を持つ、複数の分散型装置を含んでもよい。各装置は、少なくとも装置の他のものと、及び／又は通信システムと情報を交換するための通信機能（ａ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｃａｐａｂｉｌｉｔｙ）を有する。少なくとも１つの装置は、装置の環境と関連するセンサデータを取得するための１つ以上のセンサを含んでもよい。コントローラは、少なくとも複数の装置の位置を判定し、複数の装置の中から装置を選択して、選択された装置にて取得されたセンサデータに基づいて情報を受信し、１つ以上の装置の１つ以上の環境の特徴を判定するために、多種（ｍｕｌｔｉｌｅ）の選択された装置から受信された情報を組み合わせることを含む機能を行なうように構成される。

本発明の他の態様において、分散型システムは、情報を軽減、増幅、又は渡すために装置にて感知されたすべての音声情報を仲介する装置を含んでもよい。いくつかの例において、このような情報は、傾向関連の情報を判定するために必要に応じて記録され分析される。

本発明の他の特徴及び有効性は、以下の説明、及び特許請求の範囲から明らかである。

本発明は、添付の図面と合わせて読み進めれば、以下の詳細な説明から理解され得る。一般の慣行に従って、図面の様々な特徴は、原寸に比例していないことを強調しておく。それどころか、様々な特徴の寸法は、明確にするために、任意に拡大縮小されているかもしれない。更に、図面において、共通の参照番号が同様の特徴を表すために使用される。以下の図が図面に含まれる。

本発明の好ましい実施形態による情報処理システムの機能ブロック図である。 本発明の好ましい実施形態による、図１に示すシステムの分散型装置の機能ブロック図である。 本発明の好ましい実施形態による、図１に示すシステムのコントローラの機能ブロック図である。 本発明の好ましい実施形態による、複数の分散型装置からの情報を処理する好ましい方法のフローチャート図である。

１．システム概要
個人用無線装置が他の種類の計算装置又は通信装置だけでなく、我々の環境でどこにでもある（ｕｂｉｑｕｉｔｏｕｓ）ようになった。概して、このような装置は、例えば、マイクロホン、カメラ、加速度センサを含んでもよい多くのセンサを有し、場合により心拍数などのバイオメトリック情報のためのセンサを更に有してもよい。このような装置は、また、概して、１つ以上の通信システム、例えば、携帯電話の無線方式、（例えば、符号分割多重アクセス（ＣＤＭＡ）又はモバイル通信のためのグローバルシステム（ＧＳＭ（登録商標）））、無線ローカルエリアネットワークシステム（例えば、Ｗｉ−Ｆｉ、ＩＥＥＥ８０２．１１）、有線コンピュータネットワーク接続（例えば、ＵＳＢクレードル（ｃｒａｄｌｅｓ）を介する、おそらくはデスクトップコンピュータアプリケーションを介するデータネットワーク接続）、及びいくつかのケースにおいては無線周波数（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））又は光（例えば、赤外線）通信に基づいた、他のシステムを含む。そして、このような装置は、概して、それらが動作するインフラによって「位置を識別する」及び／又は位置が定まる。例えば、このような装置は、全地球測位システム（ＧＰＳ）受信機、機能強化型ＧＰＳ（それは、携帯電話インフラと協同して動作する）、及び／又はＷｉ−Ｆｉベースのマップ（それらは、装置の位置を特定するためにＷｉ−Ｆｉアクセスポイントのマップを用いる）を有してもよい。携帯電話インフラは、例えば、携帯電話の信号強度及び／又は三角測量アプローチに基づいて装置の位置を特定できてもよい。

本発明のいくつかの態様において、これらの装置の特徴の組み合わせは、任意の個別の装置に対して必ずしも利用可能でない価値のある情報を生成する方法に組み合わせてもよい潜在的に豊富な情報源を提供する。説明のための例として、様々な装置でローカル処理される音声は、装置にて検出された発話のキーワード又は他の音響イベント（例えば咳）に基づいて地理的又はソーシャルグループの傾向を識別するために組み合わせてもよい。

咳の検出は、非発話の音響イベントの検出が有用であるかもしれない一例である。咳は、大抵の場合急であって、反復して生じる反射作用であるので、頻繁な咳は、疾病（例えば、多くのウイルス及びバクテリアは、宿主が咳をする原因となることから進化的に（ｅｖｏｌｕｔｉｏｎａｒｉｌｙ）恩恵を受け、新しい宿主に疾病を広げることを支援する）の存在を知らせるかもしれない。通常、咳は呼吸器感染症によってもたらされるが、息詰まり、喫煙、大気汚染、喘息、胃食道逆流疾患、後鼻漏、慢性気管支炎、肺腫瘍、心不全、及びＡＣＥ阻害薬などの薬剤により触発される可能性がある。装置の近くでのこのようなイベントの検出は、重要な情報を提供するかもしれない。

本発明の他の態様において、装置の豊富なセンサ機能は、（検索又はパーソナライズなどのような）様々なコンピュータアプリケーションによってユーザの経験を向上させるために装置のユーザ（例えば所有者）の活動を追跡する方法を提供してもよい。説明のための例として、装置の近くでの会話のトピックは、検索結果のランキング又は装置上のニュース記事の表示の順序に影響を与えてもよい。

本発明のいくつかの態様において、多くの装置を通じての豊富な情報源及び個人の活動の追跡を、それらの相乗作用から恩恵を受けるために組み合わせてもよい。

図１を参照すると、システム１００として概して示された好ましい情報処理システムの機能ブロック図が示される。システム１００は、環境内に、１つ以上の分散型装置１２０（本明細書では装置１２０とも呼ばれる）と、装置１２０’（コントローラ１２０’とも呼ばれる）とを含んでもよい。装置１２０及び装置１２０’のうちの１つ以上は、音声シーン１３０に関連する情報を得るように構成されてもよい。装置１２０の中から選択的にセンサ情報を得て、且つ音声シーン１３０の特徴を決定するためのコントローラとして動作するように装置１２０’が構成されてもよいことを除いては、装置１２０’は、装置１２０と同一であってもよい。１つの装置１２０’がコントローラであるように図示されているが、多種（ｍｕｌｔｉｌｅ）の装置１２０’がコントローラとして動作してもよいことは理解される。

装置１２０’は、センサ情報を集め、音声シーン１３０の特徴を判定するためのコントローラとして図示されるが、通信システム１５０及び／又はサーバ１４０も、また、コントローラとして動作するように構成されてもよいことは理解される。通信システム１５０又はサーバ１４０は、装置１２０、１２０’からセンサ情報、装置１２０、１２０’からローカルデータ分析情報、又は装置１２０’からシーン分析情報のうちの少なくとも１つを収集してもよい。

装置１２０及び装置１２０’は、通信リンク１５４を介して互いに直接通信ができてもよい。装置１２０及び装置１２０’は、また、通信リンク１５２を介して通信システム１５０との通信ができてもよい。装置１２０及び装置１２０’は、また、通信システム１５０及び通信リンク１５２を介して中央サーバ１４０と通信してもよい。装置１２０、１２０’は、有線又は無線装置を含んでもよい。更に以下に論じるように、装置１２０、１２０’は、固定の位置にあってもよいし、又は、モバイル機器であってもよい。

１つの好ましい実施形態において、多くの装置１２０が環境内にある。いくつかの例において、装置１２０（及び装置１２０’）は、携帯電話（例えば「スマートフォン」）である。音声シーン１３０によって表される環境は、例えば、市街に、オフィスビルの中に、又はユーザの家の中に存在する装置１２０、１２０’を有する都市環境であってもよい。概して、装置１２０、１２０’は、（装置の）ユーザ／所有者の個人用であってもよいし、１日を通じてユーザが携帯するモバイル機器であってもよい。

図１において、少数の代表的な装置１２０、１２０’が図示される。更に以下に論じるように、潜在的に使用可能な装置１２０、１２０’は、装置（例えば、大都市圏内の大部分の電話）の大集合の一部であってもよく、システム１００は、装置１２０の特有のサブセットを適応的に使用可能にしてもよいし、及び／又は、使用可能な装置１２０を選択的に構成してもよい。例えば、装置１２０’（又はサーバ１４０）は、１つ以上の装置１２０、１２０’にて検出されたトリガとなるイベントに従って、装置１２０を使用可能にしてもよいし、及び／又は構成してもよい。

以下の説明が、一例としてスマートフォンに焦点を合わせており、他の種類の固定機器又はモバイル機器が、スマートフォンと協同して、又はスマートフォンの代わりに用いられてもよいことは理解されるべきである。また、以下の説明は、一例として音声情報の集約又は組み合わせに焦点を合わせるが、ビデオ及びバイオメトリック情報を含む情報の他の形式の集約及び処理が、以下に記載される音声情報の例と協同して、又はその代わりに行なわれてもよい。

上で紹介したように、任意の特有の装置１２０、１２０’は、その環境において、全体的な音声「シーン」のある程度の状況（ａｓｐｅｃｔ）を感知することができる。このようなシーンは、例えば、通話をしないときであっても装置所有者自身の発話（ｓｐｅｅｃｈ）、所有者によって出された他の音（咳など）、ユーザのすぐ近くの他者の発話、及びユーザのすぐ近くの環境音（サイレン、発射音など）を含んでもよい。

概して、システム１００は、１つの以上の装置１２０、１２０’によって音声シーン１３０の風景と関連する情報を抽出するために、装置１２０、１２０’のうちの１つ以上の音声取得機能を利用する。未加工のコンテンツの取得のための１つの好ましいアプローチにおいて、すべての装置１２０が、通信システム１５０を通じて（通信リンク１５２を介して）その取得信号を中央サーバ１４０に継続的に伝えることができる。例えば、通信システム１５０は、携帯電話システム及び／又は無線データ通信ネットワークを備えてもよい。しかしながら、このような連続的な伝達は、野外にある多くの装置１２０、１２０’に供給される莫大な量のために実行可能ではないかもしれないし、装置１２０、１２０’の環境内のもののプライバシに関する他の問題を引き起こすかもしれない。

情報の抽出の別の好ましいアプローチは、その装置によって取得される信号に基づいてローカル信号分析を行なう各装置１２０、１２０’のためのものである。しかしながら、このようなアプローチは、装置１２０、１２０’の計算上の制約による制約を有するかもしれない。また、純然たるローカル処理は、多種（ｍｕｌｔｉｌｅ）の装置１２０、１２０’からの情報の融合によって得ることができたであろう有効性を失うかもしれない。

以下に記載される好ましいアプローチは、以下の特徴の１つ以上の組み合わせを用いて、純然たるローカルアプローチ又は純然たる集中型アプローチのいくつかの制約に対処し、特徴は、１）少なくとも興味深いであろうイベントの発生を識別する（装置１２０の）取得信号のローカル処理と、２）例えば、継続的に、又は装置１２０’又はサーバ１４０からのリクエストに基づいた、又は、（１つ以上の装置１２０での）ローカルイベントのローカル識別に基づいた、装置１２０’又は中央サーバ１４０への選択的な伝達のための音声のローカルバッファリングと、３）それらの地理的位置及び／又は他の近接距離（例えば、地理的な距離メトリックよりむしろソーシャルネットワーク）に基づいて、特有の装置１２０、１２０’における取得及び／又は処理（又は処理する種類の仕様）を選択的に使用可能にすることである。

装置１２０、１２０’の位置（例えば三次元座標）が、概して、装置１２０、１２０’及び／又は中央サーバ１４０によって識別されることに留意されたい。一例として、測位システム１８０は、装置の位置の推定を継続するために、ＧＰＳ衛星１８２、据え付けの携帯電話の送電塔やＷｉ−Ｆｉのアクセスポイントなどの位置を識別するユニットを利用する。

図２Ａを参照すると、好ましい装置１２０の機能ブロック図が示される。装置１２０は、センサモジュール２０２、ローカルデータ分析モジュール２０４、通信モジュール２０６、コントローラ２０８、媒体／状態記憶装置２１０（ｍｅｄｉａ／ｓｔａｔｅ ｓｔｏｒａｇｅ）、位置モジュール２１２、ユーザインタフェース２１４、ディスプレイ２１６、警告指示器２１８、スピーカ２２０、及びプライバシモジュール２３６のうちの１つ以上を含んでもよい。

典型的な装置１２０は、通信システム１５０を通じてサーバ１４０に通信リンク１５２を、及び／又は他の装置１２０、１２０’に通信リンク１５４を提供する、通信モジュール２０６を含む。通信モジュール２０６は、また、測位信号（例えば、ＧＰＳ信号及びＷｉ−Ｆｉ信号の強度など）を取得する役割を果たしてもよいし、また、他の装置１２０と直接通信するための方法を提供してもよい。

装置１２０は、センサ情報の取得のためのセンサモジュール２０２を含んでもよい。センサモジュール２０２は、音声シーン１３０（図１）に関する音響情報の収集のための１つ以上のマイクロホン２２２を含んでもよい。センサモジュール２０２は、また、装置１２０に関連する環境情報の収集のための１つ以上の環境センサ（温度センサ、加速度センサなどの動作センサなど）を含んでもよい。センサモジュール２０２は、また、装置１２０のユーザに関するバイオメトリック情報を感知するための１つ以上のバイオメトリックセンサ２２６（心拍数など）を含んでもよい。センサモジュール２０２は、また、装置１２０の周囲環境の静止画像及び／又は映像をキャプチャするためのカメラ２２８（すなわち、イメージセンサ）を含んでもよい。センサモジュール２０２は、また、位置情報を提供するコンパスを含んでもよい。概して、センサモジュール２０２は、物理量を測定し、且つそれをシステム１００によって用いられてもよい信号に変換できる任意のセンサを含んでもよい。例えば、センサモジュール２０２内のセンサは、また、光検出センサ、近接センサ、重力検出センサ、磁界検出センサ、電界検出センサ、振動センサ、圧力センサ、湿度センサ、水分センサ、毒素検出センサ、栄養分検出センサ、又はフェロモン検出センサのうちの１つ以上を、限定されることなく含んでもよい。

ユーザインタフェース２１４は、センサモジュール２０２、ローカルデータ分析モジュール２０４、通信モジュール２０６、媒体／状態記憶装置２１０（ｍｅｄｉａ／ｓｔａｔｅ ｓｔｏｒａｇｅ）、位置モジュール２１２、ディスプレイ２１６、警告指示器２１８、及びスピーカ２２０、及びプライバシモジュール２３６の１つ以上にパラメータを提供できる任意の好適なユーザインタフェースを含んでもよい。ユーザインタフェース２１４は、例えば、ポインティング装置、キーボード、及び／又は表示装置を含んでもよい。

装置１２０は、装置１２０のユーザに対して情報を提示するためのディスプレイ２１６、警告指示器２１８、及び／又はスピーカ２２０を含んでもよい。ディスプレイ２１６は、装置１２０の情報を提示できる任意の好適な表示装置を含んでもよい。警告指示器２１８は、装置１２０の警報を提示するための任意の好適な可視的表示器を含んでもよい。警報は、例えば、音声情報が記録されている表示を含んでもよい。スピーカ２２０が聞き取れるように警報表示を提示してもよいことは理解される。ユーザインタフェース２１４及びディスプレイ２１６は、個別の装置として図示されるが、ユーザインタフェース２１４及びディスプレイ２１６の機能を１つの装置に組み合わせてもよいことは理解される。好ましい実施形態によれば、装置１２０は、１つ以上の装置１２０から取得した情報に基づいて、装置１２０’（図１）から装置１２０に軽減され、増幅され、及び／又は渡された音響及び／又は他の情報（ディスプレイ２１６、警告指示器２１８、及び／又はスピーカ２２０を介して）受信してもよい。

装置１２０は、装置１２０の位置の推定を継続するための位置モジュール２１２を含んでもよい。例えば、位置モジュール２１２は、位置推定値を取得するために測位システム１８０（図１）を用いてもよい。

媒体／状態記憶装置２１０（ｍｅｄｉａ／ｓｔａｔｅ ｓｔｏｒａｇｅ）は、（センサモジュール２０２から）未加工のセンサ情報、（ローカルデータ分析モジュール２０４から）ローカルで分析された情報、又は（位置モジュール２１２から）位置情報のうちの少なくとも１つを保存してもよい。媒体／状態記憶装置２１０（ｍｅｄｉａ／ｓｔａｔｅ ｓｔｏｒａｇｅ）は、例えば、磁気ディスク、光ディスク、フラッシュメモリ、又はハードドライブを含んでもよい。

コントローラ２０８は、例えば、データ及び制御バス（図示せず）を介して、センサモジュール２０２、ローカルデータ分析モジュール２０４、通信モジュール２０６、媒体／状態記憶装置２１０（ｍｅｄｉａ／ｓｔａｔｅ ｓｔｏｒａｇｅ）、位置モジュール２１２、ユーザインタフェース２１４、ディスプレイ２１６、警告指示器２１８、スピーカ２２０、及びプライバシモジュール２３６のうちの１つ以上に連結されてもよい。コントローラ２０８は、（ディスプレイ２１６、警告指示器２１８、及び／又はスピーカ２２０などを介した）装置１２０による情報の任意の提示と同様に、センサ情報の取得、センサ情報のローカル分析、センサ情報の送信及び／又は受信、ローカル分析情報の送信及び／又は受信を制御するように構成されてもよい。コントローラ２０８は、例えば、論理回路、デジタル信号プロセッサ、又はマイクロプロセッサを含んでもよい。ローカルデータ分析モジュール２０４の１つ以上の機能が、コントローラ２０８によって行なわれてもよいことは理解される。

ローカルデータ分析モジュール２０４は、装置１２０用のセンサモジュール２０２によってローカルで収集された情報を分析するように構成されてもよい。ローカルデータ分析モジュール２０４は、（１つ以上のマイクロホン２２２などからの）音声情報の分析のための音響分析モジュール２３０を含んでもよい。音声情報は、環境音（接近する列車など）だけでなく、発話や音楽を含んでもよい。発話は、装置１２０に近接する他人だけでなく、装置１２０のユーザによって生み出されてもよい。ローカルデータ分析モジュール２０４は、ローカルで、又はバックエンドサーバーアーキテクチャ又は同様の機構の支援により、分析を行ってもよい。

ローカルデータ分析モジュール２０４は、また、センサモジュール２０２の他のセンサからの情報を分析するための他のセンサ分析モジュール２３２を含んでもよい。例えば、他のセンサ分析モジュール２３２は、環境センサ２２４（複数可）、バイオメトリックセンサ２２６（複数可）、及び／又はカメラ２２８のうちの１つ以上からの情報を分析してもよい。ローカルデータ分析モジュール２０４は、１つ以上の特有のイベント（及び／又は音声シーン１３０の特徴）の発生を判定するために音響分析モジュール２３０（キーワード、標的音など）及び他のセンサ分析モジュール２３２から生じるものを組み合わせてもよい。

音響分析モジュール２３０及び／又は他のセンサモジュール２３２は、また、例えば、ノイズを実質的に除去又は低減するために、それぞれのセンサ情報を前処理してもよい。モジュール２３０、２３２は、また、特有のイベントの発生を示す高値信号を識別するためにノイズが低減されたセンサ情報をフィルタリングしてもよい。

ローカルデータ分析モジュール２３０は、音響分析モジュール及び／又は他のセンサ分析モジュールに関連する分類器（ｃｌａｓｓｉｆｉｅｒｓ）２３４を含んでもよい。分類器２３４は、音声情報、環境情報、バイオメトリック情報、及び／又は画像情報のプロファイルを構築するために用いられてもよい。

好ましい実施形態において、音響分析モジュール２３０は、発話を認識し、音声情報のキーワードスポッティング（ｋｅｙｗｏｒｄ ｓｐｏｔｔｉｎｇ）を行ない、装置の可聴範囲内に様々なスピーカの音声モデルを更に構築するために、発話情報を前処理してもよい。モデルは、例えば、音声信号から性別、推定年齢幅、国籍、及び他の人口統計学的な特徴を識別するために分類器２３４及び機械学習方法を用いてもよい。

更に、例えば、アルコール又は類似物質の影響によるあらゆる不明瞭な発音を認識する分類器２３４と、特定言語群に属するアクセントパターンを検出し識別するアクセント分類器と、話者及び発話を、幸福な状態、悲しみの状態、ストレスがかけられた状態、怒りの状態、又は他の感情の状態に分類する感情分類器とがあってもよい。従って、任意の音声入力があらゆる発話も含むと仮定すると、全体として個人の装置１２０又はシステム１００（図１）は、入力という点において各発話の当事者の音響プロファイルを構築することができてもよい。ここで、プロファイルは、スポットされたキーワード（ｓｐｏｔｔｅｄ ｋｅｙｗｏｒｄ）を含むだけでなく、感情の状態に関する分類器の結果及び／又は話者が影響下にいるか否かと同様に、性別、推定年齢、推定国籍などを含む各話者に関する人口統計データなどの他のデータも含む。

人口統計データを有するキーワードの取得は、広告主が性別、年齢、可処分所得の潜在レベルなどの要素に基づいて販売をターゲットとすることを、及びそれらの広告に注目するユーザから実際に購入するユーザまでのそれらの販売サイクルを追跡することを支援してもよい。感情表示は、顧客不満足を回避するための緩和又は予防の段階をとるために用いられてもよい。不明瞭な発音のような他の情報は、アクシデントなどの状況において確証的な情報として用いられてもよいし、又はアクシデントを防止するために用いられてもよい。

プライバシモジュール２３６は、多くのキャリヤに関連する１つ以上の装置によって、音声情報を含む多種類の情報の取得及び使用に関するアプリケーションのためのプライバシ及び／又はセキュリティ要件及びポリシーを実装するメカニズムを含んでもよい。これらのポリシー及びメカニズムは、感知（例えば、受信して）のスイッチを遠隔でオン／オフする能力、これらの装置１２０（及び装置１２０’（図１））によって蓄積された任意の音声情報の所有権、感知及び情報取得を容易に制御するためのユーザの能力、アプリケーションの選択及び非選択のメカニズム、キャリヤ全体に亘る又はネットワーク全体に亘るデータ収集、蓄積される任意の音声個人情報（ＰＩＩ）の保護、及び多くの装置１２０（装置１２０’（図１））及びネットワークから生成される任意の集約データを含む装置１２０（及び装置１２０’（図１））の使用を制御してもよい。ポリシー又は標準的な習慣は、また、すべてのユーザがデータ取得を選んだとは限らない場合にプライベート又は半プライベートな状況のために構築されてもよい。例えば、システム１００（図１）が情報取得を選択しそうなユーザからの発話を記録するとき、システム１００は、音声情報が記録されていることを示すために、すぐ近くのすべての装置１２０に警報表示を提供してもよい。警報表示は、警告指示器２１８上に提供されてもよい。

次に図２Ｂを参照すると、好ましい装置１２０’の機能ブロック図が示される。装置１２０’は、装置１２０’が装置選択／データ取得モジュール２４０及びシーン分析モジュール２４２も含んでもよいことを除いては、装置１２０（図２Ａ）と同様である。装置１２０（図２Ａ）と同様に、装置１２０’の構成要素は、データ及び制御バス（図示せず）を介して相互に連結されてもよい。

装置選択／データ取得モジュール２４０（本明細書ではモジュール２４０とも呼ばれる）は、選択された装置１２０（図１）からセンサ情報及び／又はローカルで分析された情報を受信してもよい。シーン分析モジュール２４２は、音声シーン１３０（又は、概して環境）の少なくとも１つの特徴を判定するために、センサ情報及び／又は選択装置の中からローカルで分析された情報を組み合わせてもよい。

モジュール２４０は、少なくともいくつかの装置１２０（図１）の位置を判定してもよい。モジュール２４０は、例えば、シーン分析モジュール２４２によって判定された任意の特徴（イベントなど）だけでなく、これらの装置１２０の位置に基づいて、複数の装置１２０の中から１つ以上の装置１２０（図１）を選択してもよい。従って、モジュール２４０は、（シーン分析モジュール２４２によって）特徴が検出されるとき、音声シーン１３０をより効果的に分析するために、選択された装置１２０（図１）から情報を適応的に取得してもよい。モジュール２４０は、また特定の情報を取得するために選択された装置１２０（図１）を構成してもよい。例えば、１つの装置１２０は、カメラ２２８（図２Ａ）を介して画像データを取得してもよい。しかし、別のセンサは、マイクロホン２２２（図２Ａ）を介して音声情報を取得するように構成されてもよい。別の例として、モジュール２４０は、多種（ｍｕｌｔｉｌｅ）のマイクロホン２２２がビームフォーミング配列（ｂｅａｍ ｆｏｒｍｉｎｇ ａｒｒａｙ）を形成するように、それぞれのマイクロホン２２２（図２Ａ）を介して音声情報を取得するように多種（ｍｕｌｔｉｌｅ）の装置１２０を構成してもよい。

図１、図２Ａ及び図２Ｂを概して参照すると、システム１００は、遡及的分析（ｒｅｔｏｒｏｓｐｅｃｔｉｖｅ ａｎａｌｙｓｉｓ）のために記録されたデータへのアクセス及び（シーン分析モジュール２４２などによる）イベントのリアルタイム通知を先見的に監視するために（装置選択／データ取得モジュール２４０を介して）使用可能に構成する１つの以上の装置を利用する。システム１００のこの適応は、装置１２０、１２０’においてトリガとなるイベントの検出に基づいてもよい。例えば、装置１２０’は、ある音響イベント（例えば、単語、話されたトピック、音楽、及び環境音）の検出を可能にしてもよいし、他の装置１２０からのレポートに基づいて選択された装置１２０の構成を適応させてもよい。

装置１２０’（及び装置１２０）は、一連の装置１２０の調整のためのソフトウェアを含んでもよい。ソフトウェアは、集中制御、ピアツーピア制御、又は集中制御、ピアツーピア制御、及び他の制御メカニズムを含むハイブリッドモデルを有してもよい。個人の装置１２０と１２０’は、他の装置を制御するマスタ装置と、他の装置の一時的な部分的制御下のスレーブ装置との間で切り替わってもよい。装置１２０、１２０’のネットワークは、多くの装置１２０、１２０’の間に感知の負荷を分散することによって、又は装置１２０、１２０’の間で帯域幅を共有するなどの他のメカニズムによって、個人の装置１２０の消費電力を最適化するようにそれ自体を構成してもよい。用いるネットワーキングは、モバイルアドホックネットワーク（ＭＡＮＥＴ）、スキャッタネット（ｓｃａｔｔｅｒｎｅｔ）、又は他のメカニズムと関連する概念に基づいてもよい。

例えば、システム１００は、他の恐らく地理的に近接した装置がスレイブノードになるように選択される一方で、マスタノードになるように選ばれたいくつかの装置１２０、１２０’とともに、そのノードを階層又はグラフに動的に編成し、再編してもよい。スレイブノードは、マスタノードからの指示に基づいた動作を行ってもよい。それらは、取得した情報をすべて伝達する代わりに、情報を前処理し、処理情報をマスタノードに伝達してもよく、それにより、ノードの間で演算を分散し、通信帯域幅を低減する。更に、接続（Ｎ^２／２）を必要とする互いに通信しようと試みるすべての装置、例えばＮ個の装置の代わりに、少数のマスタノードのみが互いに通信してもよいので、伝達要件は改善され得る。

各ノードがシステム要件に応じてその位置を識別するので、ネットワークは、１つ以上の線形鎖（ｌｉｎｅａｒ ｃｈａｉｎｓ）又はローカルグループを編成してもよい。ここで、情報は、情報を伝達するバケットブリゲード（ｂｕｃｋｅｔ ｂｒｉｇａｄｅ）によく似た物理的に近接した装置間に渡される。ピアツーピアアーキテクチャにより、個人の装置１２０、１２０’、単なるマスタノード、又はマスタノード及びスレイブノードの双方のいずれか、は、例えば、計算上の低いコストにて任意の対のノード間の接続性を容易に且つ効果的に構築することができるように、近隣ノード、及びそれらの機能及び特徴に関する情報を記録してもよい。

他の最適化技法も採用してもよく、例えば、データログが記録される際に、システムは、いくつかの装置が同一の音声又は他のセンサコンテキストにあるか否かを判定してもよい。例えば、いくつかの電話機１２０、１２０’が同一のコンテキスト内に位置する場合、すべての電話１２０、１２０’がすべてのデータを記録しなければならないわけではない。システム１００は、データのための、及びクラウド内のいくつかの集中型サーバ１４０（又は装置１２０’）にデータが格納されることを保証するための、ローカルの貯蔵所として機能するスクライブノード（ｓｃｒｉｂｅ ｎｏｄｅ）を指定してもよい。これは、他のノードの一部分への相当なロギングの負担を救うかもしれない。

その代わりに、又は更に、すべてのノードが、センサモジュール２０２内のそのセンサのすべてを介して情報を取得するとは限らないように、システム１００は、装置１２０、１２０’の間にセンサの負荷を分散してもよい。いくつかのセンサモジュール２０２は、音声情報の取得に専念してもよい。一方、他の装置１２０、１２０’は、位置情報を取得してもよく、他のセンサモジュール２０２は、体温又は高度情報などを取得してもよい。これは、システム全体１００にとって、電力及び通信帯域幅の要件を低減し得る。いくつかのこのようなスキームは、全体としてのシステムのスループット及び効率を最適化するために考案されてもよい。好ましい実施形態による、システム１００は、また、個別のタスクが装置１２０、１２０’によって行なわれるように、装置１２０、１２０’の間にセンサ情報の処理を分散してもよい。これは、特定タスクのための適切な処理能力を有しなくてもよい、いくつかの装置１２０（又は装置１２０’）上での計算の負荷を低減し得る。

全体としてのシステム１００は、クラウドにおけるキャリヤに依存しないハンドラ（ｃａｒｒｉｅｒ−ａｇｎｏｓｔｉｃ ｈａｎｄｌｅｒ）を用いてもよい。具体的には、ネットワーキングは、多くの無線電信、Ｗｉ−Ｆｉ又は他のキャリヤからサービスを利用してもよく、好適なポリシーが、キャリヤに依存しない動作（ｃａｒｒｉｅｒ−ａｇｎｏｓｔｉｃ ｂｅｈａｖｉｏｒｓ）を可能にするために導入されてもよい。具体的には、ユーザは、特定のキャリヤとの関連のために情報の共有を拒否しなくてもよいし、所望のキャリヤの間で情報を共有するためにデジタルブリッジが存在するようにしてもよい。変形において、いくつかの特徴は、マーケティングの理由でキャリヤに特有になされてもよい。

装置１２０、１２０’は電話機である必要がないことは理解される。装置１２０、１２０’は、スタンドアロン型装置であってよいし、又は、ＧＰＳ、補聴器、携帯電話、テレビリモコンユニット、自動車のキーホブ、ポータブルゲームコントローラ、又は同様の装置の一体部分であってもよい。装置１２０（及び／又は装置１２０’）は、ユーザの身体によって携帯されてもよいし、又は自動車などの車両内又は車両上に設置されてもよい。

あるアプリケーションに関しては、装置１２０（及び／又は装置１２０’）は、家に固定されて設置されてもよいし、又は固定電話、デスクトップコンピュータ、テレビ受像機又はゲーム機の一部であってもよい。各装置１２０（及び／又は装置１２０’）は、関連するソフトウェアを有する１つ以上のセンサを含んでもよい。個別のタイプの装置１２０、１２０’は、個別のセンサ及び／又は個別のソフトウェアを含んでもよい。もし、装置１２０又は１２０’がスマートフォンのようなものである場合、システム１００は、電子メール、チャット記録及びドキュメント、及び電話での会話、装置上の音楽又は装置に配信された音楽、マイクロホンによって採集された周囲の音声、及びユーザの検索ログを含む音声情報を含むテキスト形式のデータにアクセスしてもよい。このデータは、すべて、ユーザに関連してもよい。このデータは、ユーザのコンテキスト及び環境変数とともに、ユーザによって消費された情報のパーソナル化し、ユーザ又は一般社会への商用アプリケーションを適切に再利用する場合のために、用いられてもよい。

図３を参照すると、複数の分散型装置からの情報を処理する好ましい方法のフローチャート図が示される。図３に図示されたステップは、本発明の実施形態の例を表す。図示されるものとは異なる順序で一部のステップを行ってもよいことは理解される。また、一部のステップが省かれてもよいことは理解される。

ステップ３００において、装置１２０（図１）の位置は、例えば、前もって装置１２０から受信された情報に基づいてコントローラ１２０’によって判定されてもよい。例えば、コントローラ１２０’（図１）は、装置１２０の位置を判定するために装置１２０と直接通信してもよい。別の例として、装置１２０（図１）の位置は、通信システム１５０及び／又はサーバ１４０との通信から識別されてもよい。

ステップ３０２において、装置１２０（図１）のサブセットは、例えば、コントローラ１２０’の装置選択／データ取得モジュール２４０（図２Ｂ）によって選択されてもよい。例えば、コントローラ１２０’（図１）は、環境及び装置１２０の位置の所定の特徴に基づいて１つ以上の装置１２０を選択してもよい。

ステップ３０４において、センサ情報及び／又はローカルで処理された情報は、例えば、装置選択／データ取得モジュール２４０（図２Ｂ）によって選択されたサブセットから、コントローラ１２０’（図１）によって受信されてもよい。例えば、コントローラ１２０’（図１）は、それぞれのセンサモジュール２０２（図２Ａ）、及び／又はそれぞれのローカルデータ分析モジュール２０４（図２Ａ）からローカルで処理された情報から、未加工のセンサ情報を受信してもよい。コントローラ１２０’（図２Ｂ）は、また、それ自身のセンサモジュール２０２及びローカルデータ分析モジュール２０４から、センサ情報及び／又はローカルで処理された情報を取得してもよい。装置１２０のうちの少なくとも１つからの情報は、コントローラに対してそのそれぞれの情報を公表する装置１２０による容認（ａｌｌｏｗａｎｃｅ）を表示するために、それぞれの装置１２０からの確認表示（ｃｏｎｆｉｒｍａｔｉｏｎ ｉｎｄｉｃａｔｉｏｎ）に応答して受信されてもよい。例えば、確認表示は、それぞれの装置１２０のユーザによって手動で提供されてもよいし、又は、装置１２０のプライバシ設定に基づいて、それぞれの装置１２０によって自動的に提供されてもよい。

ステップ３０６において、サブセット（必要に応じてコントローラ１２０’（図１）と同様に）から受信された情報は、例えば、環境の特徴を判定するためにコントローラ１２０’のシーン分析モジュール２４２（図２Ｂ）によって組み合わせられる。

ステップ３０８において、例えば、コントローラ１２０’の装置選択／データ取得モジュール２４０（図２Ｂ）によってサブセットが調整されるべきか否かが判定される。例えば、サブセットは、１つ以上の装置１２０のローカルデータ分析モジュール２０４（図２Ａ）によって検出されたイベント、環境の特徴、特徴からの任意のコンテキスト、装置１２０（図１）の位置（例えば位置、空間における配向性）、特徴からの人口統計、装置１２０の中の任意のソーシャルグラフメンバーシップなどに基づいて調整されてもよい。例えば、１つの装置１２０（図１）が発射音を検出する場合、装置１２０’は、（発射音の位置を三角測量するために）及び／又は範囲内のすべての装置１２０に警報表示を送信するために、付加的な装置に対して装置１２０のサブセットを拡大（ｅｘｐａｎｄ）してもよい。

ステップ３０８において、サブセットを調整すべきであると判定する場合、ステップ３０８は、ステップ３１０に進む。ステップ３１０において、サブセット内の装置の選択が調整されてもよいし、及び／又は、サブセットの選択装置の構成が、例えば装置選択／データ取得モジュール２４０（図２Ｂ）によって調整されてもよい。例えば、異なる装置１２０の（図１）スイッチがオン又はオフされてもよい。別の例として、センサモジュール２０２（図２Ａ）の異なるセンサは、センサ情報を取得するように構成されてもよい。

ステップ３０８において、サブセットを調整すべきでないと判定する場合、ステップ３０８は、環境の特徴を継続的に判定するためにステップ３０４に進む。

交互に、ステップ３０８は、ステップ３１２（環境監視）、ステップ３１４（位置特定及び追跡）、ステップ３１６（トピック監視）、ステップ３１８（トリガとなるイベント）及び／又はステップ３２０（他の監視及び規制（ｒｅｇｕｌａｔｉｏｎ））に進んでもよい。以下に更に記載される多くの異なるアプリケーションのために、環境の特徴を用いてもよい。

概して図１を参照すると、好ましい実施形態において、プラットホームは、ユーザがアプリケーションを開発できるように開発されてもよい。該アプリケーションは、これらの一連の装置１２０を利用し、装置１２０から信号を取得し、（位置、空間における配向性、ソーシャルグラフメンバーシップ、及び人口統計を含む、コンテキストに関する情報に基づいて）装置１２０のサブセットのスイッチをオン又はオフし、装置１２０のセンサから得られた情報を処理して分析し、感知、処理、又は分析を作動又は停止させるトリガをセットし、システム１００を感知、処理、又は分析情報に適応させる。プラットホームは、１つ以上の装置から取得された音響情報及び他の情報に基づいて、音響情報及び他の情報をユーザに軽減、増幅、又は渡すために、個人の装置１２０、１２０’をユーザ（消費者）に対してカスタマイズしパーソナライズすることを可能にしてもよい。

このようなプラットホームが一旦開発されれば、アプリケーションは、本明細書に記載する多数のシナリオ及びユースケース（ｕｓｅ−ｃａｓｅｓ）用に開発されてもよい。プラットホームは、最小限のセンサ番号及び構成、ハードウェア及びソフトウェアの観点から最小限の搭載コンピューティング資源、及び開発者が装置上の利用可能なすべての特徴及びリソースにアクセスすることを可能にするためのアプリケーションプログラミングインタフェース（ＡＰＩ）などの最小のハードウェア要件を規定してもよい。

プラットホーム仕様は、１つ以上のマイクロホン又は１つのマイクロホン配列と、動作又は配向の２軸又は３軸を典型的にカバーするためには１つ以上の加速度センサと、コンパスと、搭載ＧＰＳシステムと、接触又は非接触温度センサなどの０個以上の他のセンサと、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、及び他の機能を有する最小限の必要解像度を有するカメラと、音楽、映像、及び静止画像を含む媒体（ｍｅｄｉａ）を分析するために発話を分析する分類器を含むソフトウェアと、環境メトリクスを取得し、郊外対都市、及び住宅対産業などの様々なコンテキストにおいて環境メトリクスを分析するためのソフトウェアと、ノイズを除去又は低減するために取得された信号を前処理し、高値信号を識別するための残りの信号をフィルタリングし、必要に応じて圧縮形式で、サーバ１４０に対してそれらを送信するためのソフトウェアと、サウンドシグネチャのデータベースと、センサデータに応じて反応的な（ｒｅａｃｔｉｖｅ）機械的作業を操作するためのソフトウェアとを含んでもよく、すべてのものは、現実的で許容できるユーザエクスペリエンス（ｕｓｅｒ ｅｘｐｅｒｉｅｎｃｅ）を提供するのに充分な能力を持つ。
２．ユースケースの例

このセクションにおいては、上述した好ましいシステム１００（図１）が実際にどのように用いられ得るのかを示すために、多くのユースケースの例が供される。
２．１ 環境監視

いくつかの用途は、一連のスマートフォンの環境を監視することに関連する。公衆衛生を監視する例において、搭載音声プロセッサは、装置の所有者又は他人によって、装置の近くの咳の発生を典型的に検出するように構成されてもよい。このような検出は、例えば、普遍背景モデル（Ｕｎｉｖｅｒｓａｌ Ｂａｃｋｇｒｏｕｎｄ Ｍｏｄｅｌ）として知られている咳の録音のコーパス向けの統計的なスポッティング技術（ｓｐｏｔｔｉｎｇ ｔｅｃｈｎｉｑｕｅｓ）（例えば、隠れマルコフモデル（ＨＭＭ）技術、混合ガウスモデル（ＧＭＭ）技術）を用いてもよい。ローカルで集約された結果の伝達は、例えば１時間当たりの咳の数が、スケジュール通りに、又はペースが予想値又は最大値から逸脱したときに、中央サーバ１４０又は装置１２０’にアップロードされてもよい。このように、コントローラ１２０’（又はサーバ１４０）は、咳のローカル「ホットスポット」を識別することができてもよい。

他の教育や公衆衛生の用途は、このようなシステムの疫学的なアプリケーションにより可能であってもよい。例えば、百日咳（ｗｈｏｏｐｉｎｇ ｃｏｕｇｈ）は、接触伝染病であり、ワクチン剤の使用により予防可能である世界的な死亡の原因の代表的な１つである。好ましいシステム１００は、咳により、又はいつ医療救済を求めるかを決定するのを助長する喘息の徴候などの他の徴候により、子供の親に情報を提供するために、及び百日咳、喘息、及び関連する病気に関する疫学データを提供するために、用いられてもよい。

このような監視のいくつかのシナリオにおいて、装置の限定的なサブセットのみが咳を検出するために必要とされるローカル処理を行なうように当初は構成されてもよい。しかしながら、起こり得る活動のホットスポットがあるとコントローラ１２０’が判定する場合、コントローラ１２０’は、ホットスポットの地理的に近くのさらなる装置が状況の程度に関する詳細情報を獲得するように作動させてもよい。いくつかの例において、コントローラ１２０’は、社会的近接性に基づくさらなる装置が、例えば、社会的な意味で近い他人に対して起こり得る病気の伝染を明らかにするように作動させてもよい。さらなる装置を作動させることに加えて、コントローラ１２０’は、装置を停止させ、作業のための全体的な監視機器を制御してもよい。

変形において、システム１００は、子供が迅速な治療又は緩和処置を受けられるのを保証することを可能にするために、子供の発病の発症時点の環境の情報とともに、子供の喘息の発病について患者に警告する感知情報を用いてもよい。

更に別の変形において、システムは、睡眠時無呼吸などの呼吸障害の患者に警告を出すために用いられてもよい。睡眠時無呼吸は、大抵の場合いびきを伴い、睡眠の間の異常に低い呼吸、又は呼吸の異常な一時停止を特徴とする障害である。大抵の場合、いびきをかく人は、自分がいびきをかくことや、自分が命を脅かす（ｔｈｒｅａｔｉｎｇ）医療問題を抱えているかもしれないことに気づいていない。また、いびきをかく人は、大抵の場合何年間も、疲労、日中の眠気、及び他の徴候に悩まされる。診断は、大抵の場合、センサによりセットアップされた特殊な検査室内での夜間の睡眠検査を必要とする。いびきに関する情報、及びいびきをかく動作の記録を有する情報は、この状態の診断及び矯正を支援することができる。システム１００は、いびきをかくことを認識するように、且つ、他の種類の同様のノイズを区別し、呼吸障害を持つ人が彼らの課題を識別し、適切な支援を求めるのを支援するために、いびきをかく動作を、検出し記録することを支援するように仕込まれてもよい。

別の監視のユースケースにおいて、装置１２０は、例えば、環境音レベル（例えば音圧レベル）を監視するために工場作業場所内の作業者用に用いられてもよい。作業者の装置１２０は、ノイズレベルを、例えば、ノイズレベルの様々な範囲の累積的な期間、監視し、記録を継続する。例えば、ノイズレベルが、ある規定された限界値（例えば、絶対的な限界値、規定された音圧レベルを超えて蓄積された時間に対する限界値など）を超える場合、このローカルで判定された情報は、規則的又はローカルでトリガベースに基づいて提供されてもよい。コントローラ１２０’（又はサーバ１４０）は、例えば、作業場所内のノイズレベルと位置とを関連づけるローカルで記録された詳細情報に基づいて、高いノイズレベルの位置を判定するために、さらなる装置１２０に問い合わせしてもよい。また、例えば、音源に関連づけられた環境音の他の特徴が検出されてもよい。例えば、機械の種類（例えば、ホイッスル、エンジン、プレス機、のこぎり、ドリルなど）が、例えばパターンマッチング技法（例えばＨＭＭ、ＧＭＭ技術）を用いて識別されてもよい。

同様の騒音レベルの監視が、環境音レベル、例えば、特定のレストラン、特定の街路などを追跡するために用いられてもよいし、このような監視は、また、このようなレベルの時刻変化を識別してもよい。鳥類学者は、鳥の鳴き声の有無を時間と空間に亘って監視する機能に関心を持つかもしれない。他の者は、昆虫の来襲を監視するために音配列を用いることに関心を持つかもしれない。好ましいシステム１００は、処置室（ｔｒｅａｔｍｅｎｔ ａｒｅａｓ）と、提案された対応策の効果を測定する制御装置（ｃｏｎｔｒｏｌｓ）とを比較することを可能にしてもよい。いくつかの例において、装置１２０が通信システム１５０に接続されない場合、情報は、記録され、タイムスタンプを押されて不揮発性メモリに保存され、その後、装置１２０が再度接続される、又はそのメモリが問い合わせられるときにアップロードされる。これは、自動車事故、又は他の致命的もしくは致命的でない事故の後に特徴的かもしれない。

多くの自動車が同一のハイウェイ上で同時に急減速する場合、ネットワークは、障害物の数マイル後ろの自動車に警報を出すように判断してもよい。更に、（通信ネットワーク、及び加速度センサ及びマイクロホン及びＧＰＳ／位置センサなどのセンサを装備した）一連のスマートフォンを用いて交通流を測定する機能は、短期的に交通経路及び長期的に交通計画を向上させる潜在能力を有する。本発明において予見された、多くのアプリケーションは、短期間の効果及び長期間の効果の両方を有してもよい。短期間の効果は、少ない待ち時間（ｌａｔｅｎｃｙ）（無線スタックなど）でネットワークを用いるが、長期的アプリケーションは、長い待ち時間でネットワークを利用することができる（装置がネットワーククレードルにドッキングする１日の終わりに情報をアップロードするなど）。

別の監視する用途において、電話機は、環境のメロディの名前を挙げることを可能にしてもよく、装置ライブラリに対してその曲をダウンロードし、且つ中央制御装置に対して演奏の場所をアップロードすることの双方を所有者に提供する。中央制御装置は、集約された異なる曲の有無を監視する。異なるグループが演奏している幾つかのステージを有する音楽祭を検討する。これらのステージの周囲をユーザが歩くとき、システムのネットワークは、連続的に音声データを取得し、例えば音楽を検出・分離し、音楽を識別し、演奏されている楽曲の名前、アルバム、演奏するアーティストなどをユーザに示してもよい。システムは、ユーザが、音楽に対して興味を持つ場合に、音楽を購入するためのメカニズムを提供してもよい。演奏されている音楽を識別するためのスタンドアロンプログラムがある。しかし、スタンドアロンプログラムは、音楽の良いサンプルを収集し、サーバにそれを送信し、場合によって音楽を識別する単一装置を必要とする。対照的に、装置１２０のネットワークがデータを収集することによって、データ取得は、より分散され、ユーザは音楽をより早く識別できる。

装置の環境において演奏されている特定の音楽の検出は、マーケティング関連情報を判定するために集約されてもよい。人が日常生活をしているときに人が聞き取るものを監視によって、システムは、媒体（ｍｅｄｉａ）セグメントに関する重要な情報を取得してもよい。演奏された音楽をキャプチャした情報、演奏されているアーティスト／グループ、購入した音楽のボリュームなどは、特に様々な範囲に展開された場合に非常に価値がある。更に、販売された音楽を格納する場合において、音声バックグラウンド（ａｕｄｉｏ ｂａｃｋｇｒｏｕｎｄ）及び消えるまで時間がかかる作用（ｌｉｎｇｅｒｉｎｇ ｂｅｈａｖｉｏｒ）などの特徴も、また、価値があるかもしれない。

これらの装置も、また、ユーザが聞く又は見るものに関する情報を共有するために、又は友人が見るもしくは聞くものを探し出すために、用いられてもよい。現在、ユーザは、彼らの楽曲の再生行動又は映像の視聴行動を、ツイッターでつぶやく又は投稿するための努力が必要である。しかしながら、これは数日で退屈になる可能性あり、すぐに、ユーザは、彼らの視聴習慣の情報を投稿しなくなるかもしれない。好ましい装置１２０は、自動的に曲又はテレビ番組を識別してもよいし、ユーザのソーシャルグラフ内の友人に通知してもよいし、又は同様の視聴の興味を持つユーザの仮想コミュニティを生成してもよい。
２．２ 位置特定（Ｌｏｃａｌｉｚａｔｉｏｎ）及び追跡（Ｔｒａｃｋｉｎｇ）

いくつかのユースケースは、音源の位置特定及び／又は追跡を行なう装置１２０の多種（ｍｕｌｔｉｌｅ）の場所を駆使する。一例において、航空機騒音データは、一連の装置１２０の搭載音声プロセッサにより実現される「ジェット検出器」を有することによって取得されてもよい。コントローラ１２０’（又はサーバ１４０）に報告される大きなジェット騒音の検出に際して、報告装置１２０（複数可）の近くの他の装置１２０が作動される。バッファリングされてタイムスタンプを押された音声及び装置の位置データは、コントローラ１２０’（又はサーバ１４０）にアップロードされる。ここで、三角測量アプローチ（ｔｒｉａｎｇｕｌａｔｉｏｎ ａｐｐｒｏａｃｈ）は、検出された音源のトラックを判定するために用いられてもよい。トラックに基づいて、音源が追跡され続けるように、さらなる装置１２０が、プロジェクトトラック（ｐｒｏｊｅｃｔ ｔｒａｃｋ）に沿って作動されてもよい。音源を失った（すなわち、予想された地域を追従しない）場合、より大きな領域一帯のより多くの装置１２０によって音源の場所を再取得することができてもよい。このように、航空機の大音量の音声トラックの全体的な評価は、集約され取得された音声データに基づいて判定されてもよい。

選択された一連の装置１２０は、音声データを取得するように構成可能なマイクロホンメッシュとして効果的に機能する。他の例において、装置１２０は、空間的に及び／又は一時的に分配された動作関連データを取得するように構成可能な加速度センサメッシュとして機能することができる。

同様の追跡情報は、例えば、都市におけるサイレンを追跡するために用いられてもよい。このような追跡は、例えば、非常事態によって影響を受ける都市の交通流を予測するために用いられてもよい。

別の種類の位置特定は、ほぼリアルタイム又は事件後の法医学的モードにおいて用いられてもよい。例えば、装置１２０は、射撃のシーンの近くの警官又は第三者によって携帯されてもよい。１つ以上の装置１２０（例えば、警察官の装置）により射撃イベントの検出後、コントローラ１２０’（又はサーバ１４０）は、警察官の装置１２０又は環境内の他の装置１２０からローカルでバッファリングされる音声をアップロードし、射手の場所のソースの位置特定を行ってもよい。ほぼリアルタイムの例において、この情報は、警察官の警察服務を支援するために、警察官に提供されてもよい。同様の種類の設備は、音声が多種（ｍｕｌｔｉｌｅ）の兵士によって携帯された装置１２０にてバッファリングされる軍事状況において用いられてもよいし、組み合わせた情報は、スナイパーの場所の方向を推定するために用いられてもよい。

中央サーバ１４０を必ずしも必要としないことに留意されたい。例えば、装置１２０は、位置特定などの集約された分析を行なうために情報をローカルで交換してもよい。１つのこのような例において、各装置１２０は、関心のあるイベント（例えば、発射音）のための検出器を含んでもよいし、イベントの検出に際して未加工の音声又は部分的に処理されたバージョンの音声（例えば、強度時間プロファイル）を（例えば、アドホック無線通信を用いて）近くの装置１２０に渡してもよい。その近くの装置１２０は、それらが取得する情報に基づいて射手の方向のローカル評価を行なう。

更に別のシナリオにおいて、これらの装置１２０は適応可能な群衆整理のために用いられてもよい。交通量の多い状況において、車の交通であろうと歩行者であろうと、これらの装置１２０は、任意の固定又は埋め込みセンサを必要とせずに、ノイズから交通量を推定するモバイルアドホックネットワークとして構成されてもよい。動的に取得した交通パターン情報を用いて、システム１００は、装置１２０を通じて、又はより少ない交通量の経路を通じて人を方向づける他の手段を通じて、指示を広め、異なるゲート又は経路を開放し、交通量の多い経路対交通量の少ない経路についてユーザに知らせるために音響処理又は音響の可視化を用いてもよい。

関連する概念は、システム１００が、周囲条件及び音声傾向について迅速に学習することができ、正常状態から離れた状況を示すために用いることができる、モバイルのサウンドベースのセキュリティーシステムを生成することである。

別のユースケースにおいて、これらの装置１２０は、大群衆の障害の重心（ｃｅｎｔｒｏｉｄｓ）を識別するために、情感検出及び感情検出を用いてもよい。このシステム１００の変形は、例えば店内のより多くのカウンタを開放するように経営者側に注意喚起するために、ユーザの会話又は非発話の音声におけるユーザ不満を検出するために用いることができる。

ユーザが大きな観客席又はスポーツスタジアム内で友人と会おうとするときに、携帯電話を用いることや、又は電話機の会話を聞き取ることが、大抵の場合できない。ユーザが友人に近づくとき、システム１００は、トーン又はボリュームのいくつかの変化とともに、指向性のある音の可視化又は音響処理を用いて友人の有無を表示するために、ユーザのソーシャルグラフの情報を用いてもよい。その近隣の装置１２０及び彼らの特徴についての各装置１２０における情報とともにシステム１００のピアツーピアアーキテクチャを用いて、システム１００は、可能性のある友人の場所を迅速且つ効果的に判定することができる。システム１００は、ユーザが彼らの友人に向かって移動しているか、又は友人から遠ざかって移動しているか（及び彼らが友人に向かった方向に向いているか、又は友人から離れた方向に向いているか）を示す特異なトーン、ボリューム、又は他の信号を提供でき、彼らがどれくらいの距離を離れているのかに関する表示を提供できる。この表示の精度は、システム１００に対して情報を提供する、ピア装置１２０の数により上昇するかもしれない。

別の位置特定ユースケースにおいて、多くの装置１２０は、例えばグループ電話会議のために、音声を感知できてもよい。ローカルで取得する音声は、話者の場所を識別し、且つ呼び出し用の音声を生成するためにどの装置１２０（又は複数の装置１２０）を用いるのかを制御するために、用いられてもよい。例えば、人の会話に最も近い装置１２０、又は最高の信号品質もしくは通じやすさを提供する装置１２０が、選択されてもよく、それによって、より改善された音声音質を提供できる。

別の位置特定のユースケースにおいて、装置１２０は、買い物旅行の間に、例えば、食料雑貨店内で、又はモールにて、追跡されてもよい。対応する音声又はビデオ情報を持つユーザによって得られたトラックは、顧客の志向及び関心があるエリアを識別し、且つユーザ固有の情報、例えば、装置１２０の近くの購入のきっかけに関する宣伝用の情報、を提供するために用いられてもよい。

トラックの事後分析は、実際に購入がなされた動き、又は様々なクラスの品目の可能性のある関心事に関連づけるために、用いられてもよい。例えば、製品タイプの近くにおいて費やされた比較的高いレベルの時間は、その製品タイプに対する関心事を表示してもよい。ユーザは、昇進と引き換えに彼らの進路が追跡されることを選択することに関心を持つかもしれない。
２．３ トピックの監視

別の用途の例において、装置１２０は、所有者が昼間の間に会話するとき、及び彼らが媒体（ｍｅｄｉａ）ブロードキャストを聞くとき、所有者の環境を監視できてもよい。例えばトピック関連のキーワードのスポッティングに基づいたトピック検出技術は、ユーザに対して興味のあるトピックを評価するために用いられてもよい。昼間の間に、又は定期的要約（ｐｅｒｉｏｄｉｃ ｓｕｍｍａｒｙ）において、ユーザは、トピックと関連する付随的な情報が提示される。例えば、ユーザが特定のトピックに関する会話を始めれば、最近のニュース又は参考資料が装置１２０上に提示されてもよい。このようなトピックの監視は、また、例えば、ユーザの興味に関連する広告の形状で、ユーザに他の目的資料を提供することが有用かもしれない。

他の装置１２０の構成は、ユーザの装置１２０において検出されるものに基づいて構成されてもよい。例えば、ユーザの装置１２０に対して地理的又は社会的近接性にある他の装置１２０が、同様のトピックの有無を検出するように構成されてもよい。このように、他の装置１２０は、正確にトピックを検出するより高い可能性を有してもよい。更に、コントローラ１２０’又はサーバ１４０は、トピック内の興味のある範囲を追跡できてもよい。

別のトピック関連の監視用途は、広告がどこで再生されたかを判定するために、これらの広告の音声コンポーネントなどの可聴信号の検出に要求するサードパーティに関連してもよい。例えば、広告主は、広告を検出するための装置１２０を構成し、広告がどこで再生され、場合によって聞き取られたのかを判定するコントローラ１２０’又はサーバ１４０を有してもよい。

関連するユースケースにおいて、システム１００は、何の番組をユーザが視聴しているか識別し、ニールセンのような視聴率統計値を取得し、又は産業スパイ活動の取得するために、装置１２０のセンサ、及び電子番組ガイド（ＥＰＧ）などの他のソースから蓄積された情報を用いてもよい。現在のシステムは、ホームシステム又は手動で生成されたスケジュールに依存する傾向があり、それらの双方は誤りを起こしやすい。好ましい装置１２０及び好ましいシステム１００を用いることは、ユーザが存在するところならどこでも、及びユーザが用いるメディア装置（ｍｅｄｉａ ｄｅｖｉｃｅ）なら何でも、この監視が行なわれ、例えばテレビ再生から空室まで活動中の視聴を区別するためにユーザ活動度からの情報を用いることを可能にし得る。
２．４ トリガとなるイベント

概して、上記のユースケースは、音声のローカルの記録を開始するために、及び／又はサーバ１４０、装置１２０’、及び／又は他の近くの装置１２０との通信を開始するために、様々なトリガとなるイベントを用いる。音声ベースのイベント（例えば、特定の単語、話されたトピック、音楽、音など）に加えて、他のイベントは、監視及び／又は通信のトリガとなってもよい。例えば、テキスト通信（例えば、ショートメッセージサービス（ＳＭＳ）メッセージ）のコンテンツは、監視を始動してもよいし、及び／又は検索されるものを構成してもよい。加速度センサのデータ、バイオメトリック情報、及び装置に利用可能な（輝度の変更などの）ビデオ画像の検出などの他のデータも、また、トリガに用いてもよい。例えば、高加速度は、自動車の事故又は落下に関連してもよいし、これは、音声監視又はサーバ１４０（又は装置１２０’）との通信を始動してもよく、緊急援助が呼び出されるかもしれない場合に、事故が音声シーン１３０に基づいて発生したか否かを判定することができてもよい。

システム１００は、また、高齢者及び障害者のケアに用いられてもよい。現在、高齢者及び身障者は、例えば、彼らが倒れたり、めまいがしたりする場合、彼らが支援を必要とするときを伝えるために従来の装置を購入できる。しかしながら、これらの従来システムは、支援を求めるために、意識的に決心して装置上のボタンを押すことをユーザに求める。問題は、ユーザが決心することができない状況があるかもしれない、恥ずかしくて支援を求めることができないことがあるかもしれない、彼らの病気が支援を求めるには重篤でないと思うかもしれない、又は支援を要求するためにボタンに近づくことさえもできないかもしれないということである。例えば、ユーザが脳卒中にかかったときに、又は彼らが転倒した場合、初老のユーザにとってボタンを押すことが難しいかもしれない。本明細書に記載されたシステム１００は、援助のための呼び出し、又は落盤、落下物などの音を検出し、誤認警報と実際の問題とを区別し、及び同様に必要とされたときに支援を呼び出すために、他の加速度センサデータとともに、１つ以上の装置１２０から、発話及びノイズの検出を組み合わせるデータ融合概念を用いてもよい。システム１００は、また、呼び出しの「援助」の側面を持つダイアログを得るためにスピーカーフォンをオンにすることができてもよい。

トリガとなるイベントの別の形式において、装置１２０が、例えばユーザのポケットに入れられることによって音響環境から直接取り除かれる場合、音声信号特性の変更は、装置１２０が不充分な信号対ノイズ比（ＳＮＲ）の動作環境に基づいて音声を取得するにはもはや役に立たないことを示すコントローラ１２０’又はサーバ１４０へのメッセージのトリガとなってもよい。同様に装置１２０がポケットの外に取り出される場合、環境を再び監視し始めてもよいし、及び／又は、もう一度利用可能であることをコントローラ１２０’（又はサーバ１４０）に通知してもよい。更に、装置がもはや適切なＳＮＲを取得していない場合、装置１２０は、その近くの範囲内の他の装置１２０が信号を取得し、従って全体的なＳＮＲを向上させることを可能にできてもよい。更に、多くの装置は、ユーザのための改善されたＳＮＲを取得するように多種（ｍｕｌｔｉｌｅ）のマイクロホン（主としてビーム形成に用いられる）により製造される。ユーザが大抵の場合装置１２０を彼らのポケット又は財布内に携帯してもよいように、システム１００は、装置１２０内のどのマイクロホンが望ましく作動されるか、又は、最大のＳＮＲを取得するために何のビーム形成配列が最も良く誘起されるかを、選択できてもよい。

いくつかの例において、車両でのメール作成は、システム１００によって無効にされる。移動する車両と一致する加速度シグネチャの検出によって、及び／又は、運転の間にピックアップされた音の種類をピックアップすることによって、装置１２０は、道路ノイズ、エンジンノイズ、ベアリングノイズ、ブレーキノイズを検出することができる。これらのすべての音は、自動車が動いている間にユーザがメールを書くための彼らの装置１２０を利用することを不能又は可能にするために用いてもよい。装置１２０は、その近くを問い合わせ、他の装置１２０が自動車の本体の内部に存在するか否か判定してもよい。回答がイエスだったと想定すると、メールを作成する個人との均衡させている（ａｌｌｏｗｉｎｇ ｔｈｅ ｂａｌａｎｃｅ）間、メール作成からドライバの装置１２０を制限することを提供するために、さらなる分析が用いられてもよい。自動車が動いている場合、いくつかの自動車は、また、安全上の理由のために選択したナビゲーション制御装置を不能にする、又は制限する。装置１２０が助手席の乗客を検出できる場合、システムは、ナビゲーションの制御装置を制限しないことを選択してもよい。

いくつかの例において、現場での会話から得られるキーワードスポッティングは、送信者及び受信者の両方から集約される。通常の電話会話の過程の間に、装置１２０は、会話の両当事者によって発せられる特定の音及び単語などを識別してもよい。システム１００は、これらの音を調べて、グラフィカルユーザインタフェース（ＧＵＩ）又は音声ベースもしくはテキストベースのフィードバックのいずれかを通じてユーザに情報を提供してもよい。一例として、呼び出しがパリへの旅行に関するものであったと想定すると、装置１２０は、パリへの航空機の販売促進価格づけに関する情報を与えることができた。

これらの装置１２０の１つ以上は、例えば音声ストリーム内のキーワードスポッティングを用いて、これらの装置１２０によって取得される音声情報及び他の情報における傾向を識別するために用いられてもよい。キーワード傾向は、ユーザによって消費された情報を適応的に仲介又は変更するために用いられてもよい。１つのシナリオにおいて、ニュースメディア、検索エンジン及び、同様の情報出口（ｉｎｆｏｒｍａｔｉｏｎ ｏｕｔｌｅｔ）などの情報源は、個人ユーザ又はユーザのグループからの傾向情報を取得し、キーワード傾向に基づいて異なるユーザに対して異なる項目を示してもよい。具体的には、そのようなシステム１００は、ユーザが好むと認識されているトピックを選択してもよい。

非発話の音声の傾向は、人の流れ又は車の流れのパターンを識別するために用いられてもよい。発話及び非発話の集約されたログは、賃貸又は購入するための騒々しくないアパート又は家、及び優れた防音装置を施したホテル又は劇場ホールのエリアを識別することを含む、多くの異なるアプリケーションに用いられてもよい。長期的な傾向、及び傾向と定期的な変化との識別は、防音、又は事務所及び住宅に耐候性のために用いられてもよい。
２．５ 他の態様及び用途

多くのスマートフォンを通じて情報を集約するための機能は、キャリヤと協働をして、又は協働せずに、提供できる。それは、例えば、特定のキャリヤの承認を必要とせずに、Ｗｉ−Ｆｉ又はＢｌｕｅｔｏｏｔｈ（登録商標）を介して通信するサードパーティアプリケーションにより可能であろう。このように、情報は、多種（ｍｕｌｔｉｌｅ）の競合するキャリヤによって提供された電話機を越えて集約され得る。

システム１００のいくつかの好ましい実施形態において、システム１００は、同じ時及び場所、サイレン、キーワードなどで、いくつかの自動車の急減速などの重要イベントを発動してもよい。莫大な量のデータを収集するための機能が、トリガ機能を向上させてもよい。概して検索会社が最新の検索エンジンの流行以前に可能だったものよりも多くのデータを収集しているので、検索会社は、以前よりもよい調査関連性を提供している。しかし、好ましいシステム１００により、より多くのデータを収集することが可能になってもよい。もしすべての電話機が１日に１時間音声データを収集すれば、総計値リソースは、大規模な検索会社によってもこれまでのところ収集されたデータコレクションよりも非常に大きく、非常に多くの価値があるだろう。

システム１００のいくつかの好ましい実施形態において、システム１００における装置１２０が「火事」のような、ある重要なキーワード及び語句を検出するかもしれない場合、システム１００は、適切に応答してもよい。用語の重要性及び緊急性は、情報検索の分野において周知の用語重み付け概念だけでなく無活動の重要性（ｃｏｎｓｅｑｕｅｎｃｅｓ ｏｆ ｉｎａｃｔｉｏｎ）の両方に依存する。

同様に、システム１００が重要な用語（「火事」のようなキーワード、又は咳などの非言語、又は急減速などの装置１２０のいくつかの他のセンサで採集されたイベントなど）を聞き取る場合、システムは、次に、イベントを確認するために、信号対ノイズ比を向上させるために、及び／又は時間と空間内のイベントの位置特定するために、配列内の多数の他の近くのセンサをオンにしてもよい。

いくつかの用途において、傾向分析は、システム１００を通じて利用可能な大量のデータを用いてもよい。上述の咳の例を検討する。時間と空間に亘る咳の集約は、時間と空間に亘って健康の追跡を提供してもよい。アプローチは、インフルエンザを疾病対策予防センタ（ＣＤＣ）よりも２、３週間速く予測できるかもしれないことを示した、クエリに基づいたインフルエンザの予測のためのいくつかのアプローチと同様である。しかし、提案された咳の測定基準は、大量の感知データに基づくので、時間と空間に亘って、更に優れた治癒（ｒｅｓｏｌｕｔｉｏｎ）させるべきである。

大量の感知されたデータの収集は、シーケンス又は他の情報の一連の感知されたイベントを（例えば、統計モデルに従って）系統的に予測する方法を提供する。このような予測は、例えば、このようなイベントのための伝送容量を向上させるために、Ｓｈａｎｎｏｎの雑音性通信路モデル（Ｎｏｉｓｙ Ｃｈａｎｎｅｌ Ｍｏｄｅｌ）に関連する原理に基づいて、効果的に利用されてもよい。例えば、このようなデータは、人がイベントのためのより優れた「言語モデル」を生成することを可能にする。このようなデータは、無名の音（警報を鳴らして、録音を始めるべきであるトリガ）だけでなく、どの音を聞くつもりなのかを（雑音性通信路モデルに先だって）予測する優れた仕事をするだろう。

いくつかの例において、作業場所の監視（及び環境の監視）は、システム１００によって可能にされてもよい。システム１００は、咳のような音響のイベントを測定することによって健康問題のために作業場所を監視することができる「スマートダスト」をスマートフォン上に効果的に提供してもよい。更に、いくつかの用途において、システム１００は、ノイズなどのストレスの相関を感知してもよい。いくつかのコールセンタは、電話問い合わせ件数が比較的多い不満な顧客を有するので、例えば病気に関連する多くのストレスを有する。徴候が生じる前に、作業場所並びに他の場所の両方において、ある種類の病気のリスクを充分に予測することが可能であってもよい。

装置１２０のアドホックネットワークは、多くの特徴を微調整するために用いられてもよい。例えばコンサートホールの音響効果を検討する。コンサートホールは、典型的にはそれらの空間の主用途のために調整される。例えば、シンフォニホールは、特にアーティストの大集団及び彼らの楽器のために調整されるかもしれず、例えばソロボーカリストにとっては充分に適しないかもしれない。また、ホール内の音質は、聴衆の規模、彼らの周囲騒音特性などに左右される。システム１００のネットワークは、ホール管理者側が、周囲騒音レベルに対して適応することができ、何人もの演奏者及び楽器とともに、及び個別の聴衆とともに、あらゆる演奏のための騒音レベルを微調整できるように、聴衆の多くの装置１２０からデータを取得することを可能にしてもよい。

アドホックネットワークは、また、監視及び規制の目的にも用いることができる。ロックコンサート、体育館クラス、及び他の潜在的にノイズの多い環境の音圧レベル又は同様の測定値は、安全なリスニングレベル、及び、適切な管理者側又は規制当局に対して報告される違反に対して監視されてもよい。

同様のスキームは、大規模な観客席、部屋、又はホール内の温度を、その空間内の多くの装置１２０及び個別のセンサから取得されるデータに基づいて微調整するために用いられてもよい。大規模な空間は、通風ダクト、窓、ドア、及び他の開放部の位置に基づいて、それ自身の空気の流れ及び加熱／冷却のパターンを有する。加熱／冷却は、典型的には、１つの及び時にはより多くの感知場所の温度を測定することに基づく。センサが、日当たりがよい窓、又は絶えず開いたドアを通ってもたらされる通気に近い場合、その空間内の温度は、不充分になる可能性がある。いくつかの場所において、この発明に記載されたような一連の装置１２０を用いて温度を測定することによって、より良質で、よりローカライズされた温度制御を得ることは可能だろう。

システム１００のいくつかの好ましい実施形態は、予測を「オプト・イン（ｏｐｔ ｉｎｓ）」の少ないサンプルに基づいて行ってもよい。システム１００内に参加することを選択する電話機１２０から蓄積された情報に基づいてどのようにして適切な推測を行なうのかを判定するために、システム１００（例えば「クラウド」）は、適切なロジックを装備してもよい。サンプルがランダムサンプルではないという事実を明らかにするために注意する必要があるかもしれないが、これらの推測の多くは、比較的簡単である。スマートフォンを所有し、且つ参加することを選択する一連の人は、少なくとも近いうちに、ある人口統計に向かって偏るだろう。
３．バックアップ通信の用途

システムのいくつかのバージョンにおいて、一連の個人用装置１２０のメッシュ状の特徴が利用されてもよい。携帯電話は、比較的受動的な（受信専用）装置として見なされるかもしれない。しかし、より伝統的な電話及びインターネットネットワークに対するオーバレイ（ｏｖｅｒｌａｙ）のように、動作中の通信ネットワークを極めて迅速に展開させ得ることが望まれる、緊急の間などの時がある。

９／１１（同時多発テロ事件）のような人災又は大規模なハリケーンなどの天災などの緊急の間に、重要な通信インフラストラクチャの一部が停止することは起こり得る。通信網が、近頃よりも極めて保護された時期があった。電話回線網は、かつては送電網よりも確実だった。電話局は、典型的には、バッテリ及び発電機（及び浸水を被ったニューオーリンズのような場所の潜水艦のドア（ｓｕｂｍａｒｉｎｅ ｄｏｏｒｓ））によりバックアップされる。旧来の一般電話サービス（ＰＯＴＳ）の受話器には、標準的な送電網が停止したとしてもサービスを継続できるように、かつては電話局から電力が供給された。

近頃は、一般の店で市販のほとんどの受話器は、送電網に依存する。ほとんどの電話機は、多くの機能及び電源コードを有する。いくつかは、バッテリーバックアップを有するが、バッテリを交換するためのインセンティブはほとんどない。すぐには、多くの人は、このような機能の代価を喜んでは払わないので、バッテリーバックアップ機能は、過去のものかもしれない。エンジニアは、百年洪水のために橋を設計すること好きであるが、しかし、エンジニアが恐らく用いない機能の代価を払うように顧客を説得するのは難しい。これらの現実から、バックアップネットワークのジャストインタイムを展開させるための方法を開発することが望ましい。私達がそれらを使用しようとしまいと高価なバッテリ及び発電機と違って、電話機に基づくバックアップネットワークは、典型的には、大部分の機器が既に適所にあるので、何らかの増加資本があれば、大衆に多くのものを負担させないであろう。

バックアップネットワークの重要機能は、以下の３つである。１．相互通信：受話器は、通常は受信するが、受話器は、情報を保存し転送するためにも用いることができる。従って、例えば、電話機が（例えば、ポケットの中、又は自動車の中の）モバイルプラットフォーム上にあれば、次に、一方の場所で信号を保存し、別の場所からそれを再現するために、電話機をスニーカーネットモード（ｓｎｅａｋｅｒｎｅｔ ｍｏｄｅ）で用いることができるかもしれない。２．損害評価（何が作動していて、何が作動していないかを、迅速且つ容易に判定するための機能）：９／１１の最中に、多くの故障停止（例えば、＃７国際貿易センタの下のファイバ切断、屋上の携帯電話の基地局、＃１国際貿易センタ及び＃２国際貿易センタの両方の下のスイッチ、一部の場所の警察無線通信及び消防無線通信）があった。しかし、いくつかのものは、作動した（例えばニュージャージーの携帯電話の基地局、ＢｌａｃｋＢｅｒｒｙ（商標）電子メール、人工衛星に基地を置くシステム）。重要な要件は、何が作動しているか、及び、何が作動していないかを判定し、それらを必要とするものに対して代替手段で通信することである。多くのポケット及び自動車内の一連の携帯電話が、何が作動しているか、及び、何が作動していないかを、適正且つ迅速に判定することができるであろう。望ましくは、これらの装置のいくつかは、影響を受けたエリアの外で作業している（人工衛星など）、又は該エリアの外に最終的に移動するものに接続されてもよい。従って、充分な量の装置は、正確且つ適時の損害評価の画像をクラウドのもとに報告することができるであろう。この情報を用いて、デジタル世界及びリアル世界の両方の交通は、適応的に新しいルートで輸送されてもよい。３．代替手段：バスなどの町の車両は、バッテリ及び発電機を有する。近いうちに、このような車両は、人工衛星に接続されるＷｉ−Ｆｉをも有するかもしれない。クラウドは、クラウドが最も必要なこのようなリソースを対象にすることができるであろう。

本明細書に記載されるものなどの、音響の配列も、損害評価に用いられてもよい。例えば、時間と空間に亘って集約されたあまりにも少ないノイズ（例えば人間活動の欠如）だけでなく、あまりにも多いノイズ（例えば爆発）があるか否かの両方を、音響の配列は判定してもよい。
４．認証及びプライバシ

システム１００のいくつかの好ましい実施形態において、プライバシの考慮は、以下の機能を含んでもよい１つ以上の機能を用いて解決されてもよい。まず、ユーザが明示的に特定の監視オプションを許可することを「選択する」場合のみ、監視は、装置１２０上で作動可能にされてもよい。ユーザがこのような監視を受諾する理由は、例えば、更に関係のある検索結果又は他の情報を提供されることによって、ユーザが、見返りとして、自身にとって貴重な情報を取得するということである。別の機能は、監視された情報の暗号化に関連する。例えば、音声は、コントローラ１２０’又はサーバ１４０によってアップロードする及び／又は処理される間の傍受を阻止するよりも、ある意味では、暗号化されてもよい。更に、多種（ｍｕｌｔｉｌｅ）の中央制御装置（例えば携帯電話のキャリヤごとに１つのコントローラ１２０’又はサーバ１４０）が用いられるシステム１００において、ユーザは、明示的にコントローラ間の、又はコントローラの中での、共有を許可してもよい。

いくつかの例において、装置１２０は、音声環境データの収集を抑止する機能を有してもよい。このような機能は、機械的（例えば、シャッターメカニズムにより音声ピックアップを機械的に防止する）であってもよいし、又は電子式（例えば、装置上の電子式のスライダースイッチによる）になり得る。

いくつかの例において、センサは、（スマートフォンにおける）ネットワークのエッジだけでなく、（クラウドにおける）ネットワークだけでなく、他の場所においても、選択的にオン又はオフの両方に転じることができる。例えば、映画劇場の操作員は、映画劇場内の他の人を悩ますスピーカをオフに転じる機能を有してもよいし、同様に、飛行機の操縦士は、同乗者の安全性を危険にさらすかもしれない通信機能をオフに転じる機能を有するべきである。更に、飛行機事故などの事件の後、当局は、調査において有用になり得る情報のために航空機上のスマートフォンを（電話機のメモリに対して不揮発性になり得る有線又は無線インタフェースを介して）調査するための機能を有するべきである。言いかえれば、航空機上のスマートフォンの配置は、今後同様のこのような事件を防止するために１種の「ブラックボックス」として機能することができるだろう。

しかしながら、プライバシも、また、少なくともシステム１００のいくつかのバージョンにおいて重要である。いくつかの好ましい実施形態において、スマートフォンの所有者は、電話機がコンピュータウイルスによって支配されたとしても、電話機がユーザのプライバシを侵害していないという確信を持って幕を下ろす機能を有するべきである。幕が下ろされた場合、ユーザは、当惑させる、又は自己負罪になり得る情報を電話機が記録していないことを確信したい。電話機は、召喚令状又は証拠開示手続きなどの裁判所命令の対象となり得る情報を記録するべきでない。ユーザは、ネットワーク、政府当局、又は誰か他の人（悪意のあるハッカーなど）の所有者によって作動することができない方法で選択的に離脱する機能を有するべきである。例えば、更に以下に記載するように、プライバシは、スイッチによって実行されてもよい。

機能競合は、通信ネットワークにおいて扱いにくい問題になり得る。上述したように、多くの当事者が、ある方法である機能をオン／オフに転じる機能を有することが望ましい一方で、個別の当事者が複雑且つ予期しない方法で互いに競合するかもしれないコマンドを発行するときに生ずるものを、すべての当事者に明らかにすることは重要である。

特に、システムの少なくともいくつかの好ましい実施形態において、電話機の所有者は責任を負うべきである。このような実施形態において、所有者は、他の当事者によって支配されることができない方法で、センサを物理的に切り離す機能を有してもよい。このような１つの方法は、ユーザの電話機の目視検査によって検証できる方法で、センサを切り離すだろう物理的スイッチを含んでもよい。物理的スイッチは、ユーザによって手動で操作されてもよいが、ソフトウェア制御下で遠隔で無効にはされ得ない。

物理的スイッチに加えて、センサの記録を行ない、キーワードを認識し、及び空間及び時間に亘る集約を推測できるクラウドに対して適切な情報をアップロードするなどの機能をオン／オフに転じるために認証された当事者に権限を与えるソフトウェア制御スイッチも、また、あってもよい。ポリシーは、誰が何を行なうことを許可されるか、及び何が適切で何が適切でないのかに関して最終的に判断されてもよい。
５．他の装置

上記で紹介したように、上記の好ましいアプローチは、スマートフォンに限定されない。例えば、車載システム（例えば、ナビゲーション装置）、メディア装置（例えば、テレビ受像機、セットトップボックス、デスクトップコンピュータ、ラップトップコンピュータ）、及び他の固定機器又はモバイル機器を、同様の方法で用いてもよい。例えば、車載のナビゲーションシステムのケースにおいて、車内の会話が監視されてもよいし、取り上げられている場所（例えばレストラン）に関する情報が装置のディスプレイ上に提供されてもよい。

このようなシステムに用いてもよい別の種類の装置は、電話機（装置）用の音声の入出力を提供するイヤホンである。イヤホンにより監視することの有効性は、付随する電話機が環境に晒されない場合でさえ、例えば電話機がユーザのポケット内にある場合でさえ、音響環境に晒されるということであり、それによって、改善された信号対ノイズ比（ＳＮＲ）を提供できる。別の実施形態は、イヤホンに一体化される移動体通信全体（携帯電話）を有してもよい。

このようなシステム１００において用いられてもよい別の種類の装置１２０は、補聴器である。補聴器は、本明細書に記載された機能設定全体を、実用的にすることを可能にしてもよい。この有効性は、典型的にはユーザの通信活動のためにヘッドホンを用いるユーザの世代によって非常に異なると考えられるこの年齢人口から調べることができたであろうデータである。

上記のようなイヤホンの使用は、電話事業で戦略的に重要であった「ラストマイル」の所有権と同様に、「ラストインチ」の所有権又は管理権として考えることができる。同一の原動力は、ネットの中立性についての討論の基礎となる。従って、また、ラストインチに関する所有権は、情報源の争いにおいて戦略的に重要になるだろう。ウェブは、現在、ウェブページの訪問者数及びマウスクリックが目的である。しかし、近いうちに、争いは、目だけでなく耳へのアクセスのための戦いに移行するだろう。補聴器又はイヤホンをスタッフのチーフ（ｃｈｉｅｆ ｏｆ ｓｔａｆｆ）として見なすことができるかもしれない。それは、ユーザが何を聞き取るか、ユーザが何を聞き取れないかを、決定するようになる。補聴器は夫人に好適なアクセスを供給することができるであろう。また、スパムをブロックし、不要なコマーシャルをフィルタリングすることもできるであろう。その代わりに、補聴器又はイヤホンは、有料の調査と同様のオークションを実行することができるであろう。ここで、補聴器は、適合性のためのユーザの必要性と広告主にとって有用なものとの間の釣り合いを見出すことを企てるマーケットメーカーである。

これらのオークションは、典型的には、広告主の真に有用なものを入札するように広告主を促すＶｉｃｋｒｅｙオークションを用いる。ユーザが（マウスクリックにより）広告を辿ることを選択すれば、広告主は２番目に高い落札値を払う。恐らく、広告をクリックする代わりに、音声指示などの他のいくつかの手段によって参加することがユーザにとって容易かもしれないが、補聴器又はイヤホンは、同様の方法において作動することができるであろう。

本発明は、複数の分散型装置からの情報を処理するシステム及び方法の面から記載されたが、１つ以上のステップ及び／又は構成要素が、マイクロプロセッサ／汎用コンピュータ（図示せず）とともに使用するためにソフトウェアにより実現されてもよいことが想定される。この実施形態において、上記の様々な構成要素及び／又はステップの機能のうちの１つ以上は、コンピュータを制御するソフトウェアにより実現されてもよい。ソフトウェアは、コンピュータによって実行するために、一時的でない有形のコンピュータ読み取り可能な媒体（非限定的な例として、磁気ディスク、光ディスク、フラッシュメモリ、ハードドライブなど）で具体化されてもよい。

例えば、いくつかのソフトウェアは、個人用装置１２０、装置１２０’において実行するための指示を含んでもよい。このソフトウェアは、装置１２０、１２０’への配布のために中心位置、例えばサーバ１４０において一時的でない有形のコンピュータ読み取り可能媒体に保存されてもよいし、デジタル通信媒体を通じて転送されてもよいし、及び／又は、装置１２０、１２０’においてコンピュータ読み取り可能な媒体に（例えば、ダウンロードされたアプリケーション／アプレットとして）保存されてもよい。いくつかのソフトウェアは、中央サーバ１４０（例えば、プロセッサの分配された「クラウド」内）においてホストとして動作され、サーバ１４０のプロセッサ上での実行のために一時的でない有形のコンピュータ読み取り可能な媒体にそれを保存することによってアクセス可能にされてもよい。

本発明は、特定の実施形態を参照して本明細書に図示され記載されたが、本発明は、示された詳細な記述に限定されるようには意図されない。むしろ、様々な変更が、本発明から逸脱することなく、特許請求の範囲及びその均等の範囲内で、細部に亘ってなされてもよい。

Claims (39)

1. 分散型システムであって、
   環境内に分散された複数の装置を備え、
   各装置は、少なくとも前記装置の他のもの及び／又は通信システムと情報を交換するための通信機能を有し、
   少なくともいくつかの前記装置はそれぞれ、前記装置に近接した前記環境と関連するセンサデータを取得するための１つ以上のセンサを有し、
   少なくとも１つの前記通信システム又は１つ以上の前記装置は、コントローラとして構成され、前記コントローラは、前記複数の装置の中からの装置のサブセットを選択し、前記選択されたサブセットの前記取得されたセンサデータに基づいて情報を受信し、１つ以上の前記装置に近接した前記環境の特徴を判定するために前記選択されたサブセットからの前記受信された情報を組み合わせるように構成される分散型システム。
2. 前記分散型システムは、前記通信システムにおいてホストとして動作するサーバを含む、請求項１に記載のシステム。
3. 少なくとも１つの前記装置は、少なくとも１つの無線装置又は有線装置を含む、請求項１に記載のシステム。
4. 少なくとも１つの前記装置は、少なくとも１つの固定装置又はモバイル機器を含む、請求項１に記載のシステム。
5. 少なくとも１つの前記装置は、携帯電話装置、イヤホン、補聴器、ナビゲーション装置、コンピュータ、少なくとも１つのセンサを有するセンサモジュールのうちの少なくとも１つを含む、請求項１に記載のシステム。
6. 前記１つ以上のセンサは、マイクロホン、動作関連センサ、温度センサ、バイオメトリックセンサ、コンパス、イメージセンサ、光検出センサ、近接センサ、重力検出センサ、磁界検出センサ、電界検出センサ、振動センサ、圧力センサ、湿度センサ、水分センサ、毒素検出センサ、栄養分検出センサ、又はフェロモン検出センサのうちの少なくとも１つを含む、請求項１に記載のシステム。
7. 少なくとも１つの前記装置は、前記それぞれの装置の位置を判定するための位置モジュールを含む、請求項１に記載のシステム。
8. 少なくともいくつかの前記装置はそれぞれ、少なくとも１つのイベントを判定するために前記取得されたセンサデータを処理するためのローカルデータ分析モジュールを含み、前記イベントは環境の特徴を判定するためのコントローラによって使用される、請求項１に記載のシステム。
9. 前記ローカルデータ分析モジュールは、音声情報を処理するための音響分析モジュールを含む、請求項８に記載のシステム。
10. 前記ローカルデータ分析モジュールは、非音声関連の情報を処理するためのセンサ分析モジュールを含む、請求項８に記載のシステム。
11. 前記コントローラは、少なくともいくつかの前記装置のための位置を判定するように構成される、請求項１に記載のシステム。
12. 前記コントローラは、前記複数の装置の中から前記判定された位置又は前記受信された情報のうちの少なくとも１つに従って前記装置の前記サブセットを選択するように構成される、請求項１１に記載のシステム。
13. 前記コントローラは、前記それぞれの装置において前記センサデータを取得すること、又は前記センサデータを処理することのうちの少なくとも１つのために前記装置に構成情報を渡すように更に構成される、請求項１に記載のシステム。
14. 前記構成情報は、前記センサデータ内で検出されるイベントを特徴づけるデータを含む、請求項１３に記載のシステム。
15. 前記環境は、音声シーンを含む、請求項１に記載のシステム。
16. 前記音声シーンの特徴は、発話イベント又は非発話イベントのうちの少なくとも１つを含む、請求項１５に記載のシステム。
17. 前記分散型システムが前記分散型システムに関連しないユーザからの発話を記録する場合、前記分散型システムは、音声情報が記録されていることを示すために前記発話を記録する前記装置の付近のすべての装置に警報表示を提供する、請求項１６に記載のシステム。
18. 前記分散型システムは、前記組み合わされた情報から前記装置のユーザの集合に亘る傾向情報を更に判定する、請求項１に記載のシステム。
19. 前記分散型システムは、前記組み合わされた情報から前記装置のユーザの集合に亘ってイベントの位置特定、イベントの追跡、トピック及びトリガとなるイベントのうちの少なくとも１つを更に監視する、請求項１に記載のシステム。
20. 前記分散型システムは、前記組み合わされた情報から前記装置の多種のものに関連した、集約された動作関連の特徴を更に判定する、請求項１に記載のシステム。
21. 前記集約された動作関連の特徴は、人間又は車両の流れの特徴を含む、請求項２０に記載のシステム。
22. 少なくとも１つの前記装置は、ユーザインタフェース、ディスプレイ、警告指示器、スピーカ、又はプライバシモジュールのうちの少なくとも１つを含む、請求項１に記載のシステム。
23. 前記コントローラは、前記それぞれの装置からの確認表示に応答して、装置の前記サブセット内の少なくとも１つの前記装置から情報を受信し、前記確認表示は、前記コントローラに対してそれぞれの情報を公表するための許可を示す、請求項１に記載のシステム。
24. 環境内に分散された複数の装置との交信のためのコントローラであって、各装置は、前記装置の他のもの、コントローラ、及び／又は通信システムと情報を交換するための通信機能を少なくとも有し、少なくともいくつかの前記装置はそれぞれ、前記装置に近接した前記環境と関連するセンサデータを取得するための１つ以上のセンサを有し、前記コントローラは、
    前記複数の装置の中から装置のサブセットを選択し、前記装置の選択されたサブセットの前記取得されたセンサデータに基づいて情報を受信するように構成された選択／取得モジュールと、
    １つ以上の前記装置に近接した前記環境の特徴を判定するために前記装置の選択されたサブセットから受信された前記情報を組み合わせるように構成されたシーン分析モジュールと、
    を備えるコントローラ。
25. 前記コントローラは、少なくともいくつかの前記装置について位置を判定するように構成される、請求項２４に記載のコントローラ。
26. 前記選択／取得モジュールは、前記複数の装置の中から前記判定された位置又は前記受信された情報のうちの少なくとも１つに従って前記装置の前記サブセットを選択するように構成される、請求項２５に記載のコントローラ。
27. 前記選択／取得モジュールは、前記それぞれの装置において前記センサデータを取得すること、又は前記センサデータを処理することのうちの少なくとも１つのために前記装置に構成情報を渡すように更に構成される、請求項２４に記載のコントローラ。
28. 前記選択／取得モジュールは、前記シーン分析モジュールによって判定された前記環境の前記特徴に応答して、前記装置のサブセット内の装置の選択又は前記サブセット内の前記装置の構成のうちの少なくとも１つを調整するように構成される、請求項２４に記載のコントローラ。
29. マイクロホン、動作関連センサ、温度センサ、バイオメトリックセンサ、コンパス、イメージセンサ、光検出センサ、近接センサ、重力検出センサ、磁界検出センサ、電界検出センサ、振動センサ、圧力センサ、湿度センサ、水分センサ、毒素検出センサ、栄養分検出センサ、又はフェロモン検出センサのうちの少なくとも１つを含む１つ以上のセンサを更に備える、請求項２４に記載のコントローラ。
30. 前記センサモジュールからのセンサデータを処理するためのローカルデータ分析モジュールを更に備え、前記処理されたセンサデータは、前記環境の前記特徴を判定するために装置の前記選択されたサブセットから受信された前記情報に組み合わされる、請求項２９に記載のコントローラ。
31. 前記コントローラは、前記環境の前記特徴に応答して、前記複数の装置のうちの１つ以上に情報を軽減すること、増幅すること、又は渡すことのうちの少なくとも１つを行なうように構成される、請求項２４に記載のコントローラ。
32. 環境内に分散された複数の装置から情報を処理する方法であって、
    コントローラによって前記複数の装置の中からの装置のサブセットを選択するステップと、前記コントローラは、通信システム又は装置のうちの少なくとも１つを含み、各装置は、前記装置の他のものと、及び／又は前記通信システムと情報を交換するための通信機能を少なくとも有し、少なくともいくつかの前記装置はそれぞれ、前記装置に近接した前記環境と関連するセンサデータを取得するための１つ以上のセンサを有するステップと、
    前記装置の選択されたサブセットによってセンサデータを取得するステップと、
    前記装置の選択されたサブセットの前記取得されたセンサデータに基づいて情報を受信するステップと、
    １つ以上の前記装置に近接した前記環境の特徴を判定するために前記装置の選択されたサブセットからの前記受信された情報を前記コントローラによって組み合わせるステップと、
    を含む方法。
33. 前記情報を受信する前記ステップは、前記情報のために前記コントローラからリクエストを受信する前に前記装置においてバッファリングされた前記情報を受信するステップを含む、請求項３２に記載の方法。
34. 前記センサデータを取得する前記ステップは、少なくとも１つのイベントを判定するために前記取得されたセンサデータを処理するステップを含み、前記処理されたデータは、前記環境の特徴を判定するために用いられる、請求項３２に記載の方法。
35. 前記方法は、前記組み合わされた情報から前記装置のユーザの集合に亘る傾向情報を判定するステップを更に含む、請求項３２に記載の方法。
36. 前記方法は、前記組み合わされた情報から前記装置のユーザの集合に亘ってイベントの位置特定、イベントの追跡、トピック及びトリガとなるイベントのうちの少なくとも１つを監視するステップを更に含む、請求項３２に記載の方法。
37. 前記方法は、前記組み合わされた情報から前記装置の多種のものに関連した、集約された動作関連の特徴を判定するステップを更に含む、請求項３２に記載の方法。
38. 前記方法は、前記環境の特徴に応答して、前記装置のサブセット内の装置の選択又は前記サブセット内の前記装置の構成のうちの少なくとも１つを調整するステップを更に含む、請求項３２に記載の方法。
39. 前記装置のサブセット内の少なくとも１つの前記装置からの前記情報は、前記それぞれの装置からの確認表示に応答して受信され、前記確認表示は、前記コントローラに対してそれぞれの情報を公表するための許可を示す、請求項３２に記載の方法。

Images