JP5951802B2 - ユーザーのパーソナルコンテキストを識別および分析するためのシステムおよび方法 - Google Patents

Description

本発明は、個人のパーソナルコンテキスト識別（personal context identification）の分野一般に関する。より具体的には、本発明は、個人の社会的交流情報（social interaction information）を導出するためのパーソナルコンテキスト識別用システムおよび方法に関する。

個人行動の分析は、マーケティングや組織開発等の分野において多数の用途を有しており、重要な側面を有している。このため、パーソナルコンテキスト（各個人の状況、状態、各種情報）分析の分野は、広範な重要性を有するようになってきている。特に、多数の従業員を雇用する組織は、各個人の行動を素早く分析し、組織をより良く成長させることに関心を有している。パーソナルコンテキストの観点に基づく分析に対するニーズが急増しており、そのような急増するニーズは、組織的行動分析（Organizational Behavior Analysis）、作業空間人間工学的分析（Workspace Ergonomics Analysis）、ユーザーの物理的交流ネットワーク（User’s Physical Interaction Network）の発見、ユーザースタディー分析（User Studies Analysis）、マーケットスタディー（Market Study）、リアルタイム利用キャプチャー（Real-time Usage Capture）等の分野の著しい成長をもたらしている。

リアリティーマイニング(reality mining:センシングされた人間の社会的行動に関するデータの収集および分析により、行動パターンの予想や特定を目指すこと)技術や、その他の関連様態（例えば、システムのソフトウェア仕様およびハードウェア仕様を定める(dedicate)労働文化）を用いて、個人の社会的行動を分析する多数の技術が市場において利用可能である。そのようなシステムは、必要とされる全てのセンサを包含する特別に設計されたデバイスを介するユーザーコンテキストセンシングに基づいて、組織的行動を分析する。これらデバイスは、互いにかつサーバーとの間で相互通信を行い、各個人に関連する情報を収集する。しかしながら、このようなシステムおよびデバイスは、多数の各個人に関連するデータを、更なる処理のためにバックエンドサーバー（back-end server）へ転送することを必要とし、それによりプライバシーの懸念が生じるという問題をもたらす。加えて、遠隔配置されたサーバーでの更なるデータの詳細化（refinement）およびデータ処理は、多大な転送コストの原因となる。さらに、このようなデータ転送は、それぞれおよび全ての特定のセンシングされた詳細を、処理することなくバックエンドサーバーに転送することから、バッテリー電力の追加消費の原因となる。

さらに、各個人の行動を追跡するために、追加的なデバイスの配備が必要とされ、このようなことも追加コストとなる。このようなデバイスは、一般的には、収集されたデータを、更なる分析のためにバックエンドサーバーにダンピング（dump:ファイルやメモリの内容を記録あるいは出力すること）するための常時接続性（always-on connectivity）を有していない。そのため、デバイスを、データを転送する特別なデータ収集ステーションにドッキング（dock）する必要がある。また、そのような利用可能なデバイスは、無線を介した追加的な外部センサとの接続のための規定（provision）を有しておらず、そのため、新たなアプリケーションに対するシステムの拡張性が制限されている。

また、リアリティーマイニング技術を用いるコンテンキスト識別および分析用の現在の解決手法は、ユーザーの活動、位置および他のユーザーに対する近接をセンシングするウェアラブル（wearable）センサおよびモバイルデバイスに依拠している。現実世界におけるユーザー属性に対する結論に至るための様々なアルゴリズムが存在するが、そのようなアルゴリズムの結果は、センサ信号（sensor reading）や、周囲の環境変化に起因するエラーによって、不正確であることが多い。そのような不正確さは、ユビキタス(ubiquitous:社会において演算環境がいつでも、どこにでも存在し、コンピューターの存在を意識せずに利用できる仕組み、またはコンセプト)アプリケーションの場合、不具合（discrepancies）や誤動作（malfunctioning）の原因となる可能性がある。さらに加えて、使用されるセンサは、それらが提供するデータの種類（タイプ）に大きな制限があり、ほとんどの場合、配備用の特別なセンサが必要となる。

その結果、パーソナルコンテキスト分析システムを、より効率的で、広範に利用可能で、ユーザーフレンドリーであり、容易に持ち運び可能で操作がシンプルなデバイスに統合し、それによって、別個の特別なデバイスやデータ収集システムの必要性をなくしたいというニーズが急増している。また、生のセンサ（知覚）データをセンシングデバイス自身で処理し、デバイスのバッテリー寿命を維持し（無線通信はバッテリー寿命の大部分を消費するため）、また、センシングデバイス自身でセンサデータを処理することにより、プライバシー保護およびデータ転送コストの懸念に対応したいというニーズが存在している。さらに、既存の通信手段（ＵＳＢ、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を介して追加的な外部センサと接続するための規定も、各個人の行動をより良く把握するために有用である。さらに、パーソナルコンテキスト分析も、現実世界での定着（real life fixation）およびユーザーの結合性（affinities）に基づく社会的ネットワークの生成に有用である。

本発明の主たる目的は、広範に利用可能なモバイル通信デバイスによるリアリティーマイニング技術を用いたリアルタイムパーソナルコンテキスト識別システムを実施することにある。

本発明の別の重要な目的は、モバイル通信デバイス内に存在する既存のセンシング手段（オンボードマイクロフォン−スピーカー組み合わせ、加速度計、カメラ等）や、ソフト／仮想センサ（ユーザーのネットワークウェブサイト履歴、ユーザーの電子メールヘッダー、リッチサイトサマリー（RSS: Rich Site Summary、ウェブサイトの更新情報等を見出しや要約などでまとめた形式で配信する技術）フィード、ユーザーのソーシャルブログ履歴等）を、建物管理システム（BMS: Building Management System）アクセス管理と共に使用し、各個人の行動を取得することにある。建物管理システムアクセス管理は、様々なデータ通信方法を用いて電話に送られるリアルタイムデータを処理することができる。

本発明の別の重要な目的は、ユーザーのキュービクル（cubicle）内での仕事中のユーザーの交流、会議進行中の交流、セッション中の発表者の交流、会議中の受動的な聴講者（passive listener）、グループディスカッション中の交流等の社会的交流情報を図示するグラフの形式で、ユーザーの社会的ネットワークを示すことにある。

本発明の別の目的は、ユーザーの情報を取得する既存のセンシング手段に対して、信頼値を割り当てることにある。

本発明の別の目的は、類似の位置情報を有するユーザーをグループ化することにある。本発明の別の目的は、様々な発信源（ソース）からの多様なデータを、バックエンドサーバーにおいて融合することにある。

本発明のさらに別の目的は、各ユーザーに関する追加的な詳細を取得するために、１つ以上の外部センシングデバイスに対する接続性を提供することにある。

本発明のさらに別の目的は、センサ情報をモバイル通信デバイス自身で事前処理することによって、バッテリー消費およびシステムの転送コストを低減することにある。

本発明の方法、システムおよびハードウェアの実施可能性を記述する前に、本明細書において明確には説明されないが実施可能である本発明の複数の実施形態が存在し得ることから、本発明は、記述される特定のシステムおよび方法に限定されないことを理解されたし。また、本明細書において用いられる方法は、特定のバージョンおよび実施形態を記述する目的ためだけのものであって、本発明の権利範囲を限定する意図はない。

本発明は、ユーザーの社会的交流情報を導出するために、特定の場所において携帯型モバイル通信デバイス（１０２）を有する少なくとも１人のユーザーのパーソナルコンテキストを識別するための方法およびシステムを提供する。ユーザーの社会的交流情報は、２人のユーザー間の物理的交流であってもよい。

本発明の実施形態の１つにおいて、パーソナルコンテキスト分析の目的で、モバイル通信デバイスから受信したマルチセンサデータを取得し、処理するシステムおよび方法が提供される。１つの様態において、モバイル通信デバイスは、携帯電話、タブレット、その他十分な処理能力を有し、必要とされるセンサに対して適切に適応する任意のモバイルデバイスであってもよい。また、モバイル通信デバイスは、超音波センサやＥＥＧ（脳波）センサ等の１つ以上の外部センサに接続されていてもよい。低電力消費および低サンプリングレートのデータ収集／取得方法が、センサ（知覚）データの取得に利用される。センシング処理は、効率的でロバストなセンシング戦略のためにバッテリー残量やメモリ使用量等のデバイスコンテキストを参照する。さらに、モバイル通信デバイス自身でのセンサデータのオンボード分析は、１つ以上のパラメーターを抽出するために利用される。例えば、ユーザーコンテキストへの更なる洞察のための活動検出用の加速度計分析、位置特定および近接検出用の超音波を用いたベースバンド通信（baseband communication）、感情検出および近隣センシング用のマイクロフォン取得音声分析、周辺光(ambient lighting)検出用のカメラ、ＥＧＧセンサのような外部生理学的センサ（external physiological sensors）の任意の（optional）分析が挙げられる。システムは、オンボード分析パラメーターを、ゲートウェイによって、インターネットのようなネットワーク接続を介して、モバイル通信デバイスからバックエンドシステムに送信することを可能とする。１つの様態において、オンボード分析パラメーターは、セキュリティ／プライバシー目的で暗号化されてもよい。別の様態において、モバイルデバイスは、互いに協働し、情報を交換することによって、更なるコンテキスト情報を取得してもよい。

本発明の実施形態の１つにおいて、識別されたユーザーのパーソナルコンテキストに対して、所定の信頼値を割り当てる工程と、ユーザーの正確な現在位置情報を取得する工程と、特定の場所において類似の現在位置情報を有する少なくとも２人のユーザーを所定の密度基準に基づいてグループ化する工程と、外部センサ（１１８）およびユーザーのモバイル通信デバイス（１０２）内に実装された内部センサ（１０４）を利用して、特定の場所におけるグループ内の少なくとも２人のユーザー間の正確な直線距離を導出するために近接を推定する工程と、ユーザーの現在位置情報と、導出された特定の場所におけるグループ内の少なくとも２人のユーザー間の正確な直線距離と、ウェブセンサー（２１４）とを融合することによって、他のユーザーに対するユーザーの物理的交流情報の形式で、社会的交流を導出する工程のための方法が提供される。

その後、センサから収集された全てのこれらパラメーターに関する情報は、個々のおよび集合的な（aggregated）ユーザーコンテキストを生成するために、バックエンドサーバーにおいてさらに分析されてもよい。生成されたユーザーコンテキストは、組織的行動分析、作業空間人間工学的分析、ユーザーの物理的交流ネットワークの発見に使用可能で、ユーザースタディーでのユーザー応答の測定および分析等のために使用可能である。また、システム全体は、ユーザーのパーソナルコンテキストを一般的に学習するとともに、その知識（knowledge）を当該ユーザーに関連する動作や情報に応答する適応性インテリジェントシステムを生成するのに有用である。さらに、システム全体は、ユーザー特定リアルタイムサービス利用データ（user-specific real-time service consumption data）の取得および分析のためにも有用である。この情報は、適切なフォーマットで保存され、また、都市モデリングを行う際の都市内の集団モデリング（population modeling）および群衆行動モデリング（mass people behavioral modeling）の質を向上させることができる。

本発明の実施形態の１つにおいて、内部センサ（１０４）をさらに含むモバイル通信デバイス（１０２）と、処理モジュール（１１０）と、外部センサ（１１８）と、内部メモリ（１１６）と、送信モジュール（１１４）と、バックエンドサーバー（１２０）と、スイッチングモジュール（１１２）とのためのシステムが提供される。該システムは、さらに、融合エンジン（２１２）と、フロントエンドアプリケーション（１２４）と、データベース（１２２）とを含む。

本発明の別の実施形態において、システムは、位置特定モジュール（２０２）と、信頼値割り当てモジュール（２０４）と、現在位置識別モジュール（２０６）と、近接推定モジュール（２０８）と、グループ化モジュール（２１０）とをさらに含む。

上述のシステムおよび方法は、ユーザーの社会的交流情報を導出するために、特定の場所において携帯型モバイル通信デバイス（１０２）を有する少なくとも１人のユーザーのパーソナルコンテキストを識別することに適しているが、多くのその他のアプリケーションに利用されてもよい。

以上の概要と同様に、以下の好ましい実施形態の詳細な説明は、添付の図面と共に参照されることによってより良く理解されるであろう。本発明の説明の目的のため、本発明の例示的な構成が図面内に示されている。しかしながら、本発明は、図面中に開示された特定のシステムおよび方法に限定されるものではない。

図１は、実施形態にかかるパーソナルコンテキスト識別のためのシステムのコンポーネントを図示している。

図２は、実施形態にかかるパーソナルコンテキストベースの社会的交流システム（２００）用のブロック図を表す。

図３は、実施形態にかかるパーソナルコンテキスト識別のための論理フロー（３００）を図示している。

図４は、実施形態にかかるパーソナルコンテキストベースの社会的交流のための論理フロー（４００）を図示している。

図５は、本発明の例示的な実施形態にかかる同じ場所において検出された電話の数を示す正規化ヒストグラムを示している。

全ての特徴が図示される本発明のいくつかの実施形態が詳細に説明される。明細書中、「構成する」、「有する」、「含む」、「備える」およびそれらの他の形式は、同等な意味であり、限定を意味するものではなく、ある事項またはこれらの文言のいずれか１つに続く事項の包括的でクローズドなリストであるような意味ではなく、また、列挙された事項のみに限定されるという意味ではなく、ある事項またはこれらの文言のいずれか１つに続く事項のオープンリストを意味する。

また、本明細書および添付の請求項において使用されているような単数形“a”、“an”、“the”は、文脈が明確に示していなければ、複数形も含むことを注意されたし。ここで説明される方法およびシステムと同等、または類似の方法およびシステムは、本発明の実施形態の実施またはテストに使用されることができるが、好ましいシステムおよび方法は以下に説明される。

本発明の１つ以上のコンポーネントは、明細書の理解のために、モジュールとして記述される。例えば、モジュールは、論理ゲート、半導体デバイス、集積回路、その他個別のコンポーネントを含むハードウェア回路内の自己完結型（self-contained）コンポーネントであってもよい。また、モジュールは、任意のハードウェア実体（例えば、プロセッサー）によって実行される任意のソフトウェアプログラムの一部であってもよい。ソフトウェアプログラムとしてのモジュールの実施は、プロセッサーやその他任意のハードウェア実体によって実行される論理命令セットを含む。さらに、モジュールは、インターフェースによって、命令セットまたはプログラムに包含されてもよい。

開示される実施形態は、様々な形態で実装可能な本発明の例示にすぎない。

図１は、本発明の例示的な実施形態にかかるパーソナルコンテキスト識別のためのシステム（１００）を示している。システム（１００）は、独立して機能する１つ以上のモジュールまたは組み合わせを用いて構成され、パーソナルコンテキスト分析を実行する。システム（１００）は、ユーザー活動、位置、音声および周辺光をセンシングする加速度計、カメラ、ＧＰＳ、マイクロフォン等のような内部センサ（１０４）をさらに含むモバイル通信デバイス（１０２）を含む。内部センサは、さらに、超音波および超可聴帯域を用いた位置特定および近接検出手段を提供する。外部インターフェース（１０８）は、低電力消費および低サンプリングレートのウェアラブルＥＥＧのような外部センサ（１１８）を、モバイル通信デバイス（１０２）に接続する。処理モジュール（１１０）および内部メモリ（１１６）は、様々な内部および外部センサによって取得されたセンサデータのオンボード分析を実行する。モバイル通信デバイス（１０２）は、関連情報をバックエンドサーバー（１２０）に送信する送信モジュール（１１４）と、モバイル通信デバイス（１０２）の定期的な活動（regular activities）から割り込みが生成されたとき、内部センサ（１０４）のその他のモバイルデバイスアプリケーション（１０６）と、パーソナルコンテキスト分析とを切り替える切り替えモジュール（１０４）とをさらに含む。

処理モジュール（１１０）は、センシングされたデータを処理し、コンテキストデータを分離し、送信モジュール（１１４）を用いて、パーソナルコンテキスト識別用の関連情報のみをバックエンドサーバー（１２０）に送信する。バックエンドサーバー（１２０）は、モバイル通信デバイス（１０２）内に存在する送信モジュール（１１４）から受信した情報を処理および分析する。その後、バックエンドサーバー（１２０）は、特定のユーザーに関連するそれぞれおよび全ての情報をソート（sort）し、処理する。この情報は、データベース（１２２）内に保存され、さらに、個々のおよび集合的なユーザーコンテキストを生成するために、バックエンドサーバー（１２０）を介して、フロントエンド（frontend）アプリケーション（１２４）によってアクセスされる。生成されるユーザーコンテキストは、組織的行動分析、作業空間人間工学的分析、ユーザーの物理的交流ネットワークの発見に使用可能で、ユーザースタディーでのユーザー応答の測定および分析等のために使用可能である。

バックエンドサーバー（１２０）を介するフロントエンドアプリケーション（１２４）は、導出されたユーザーの社会的交流情報を統計的表示（statics representation）の形態で提供するよう構成されている。統計的表示は、複数の属性を有するエッジ（枝）を用いた多面的な社会的グラフ（social graph:人間の社会的関係をノード（節）とエッジ（枝）で表したグラフ）を含んでいてもよく、要求に応じて複数の次元に沿ってクエリー(query:検索要求すること)されることができる。社会的グラフは、２要素センサ入力（two fold sensor input）から属性を読み出すことによって生成される。第１の要素は分析された物理センサの出力であり、第２の要素はウェブベースのソフトセンサからの供給である。分析されたデータは、社会的グラフのノードおよびエッジを生成するために用いられる。

図２は、パーソナルコンテキストベースの社会的交流導出システム（２００）用のブロック図を示す。該システムは、位置特定モジュール（２０２）と、信頼値割り当てモジュール（２０４）と、現在位置識別モジュール（２０６）と、近接推定モジュール（２０８）と、グループ化モジュール（２１０）と、バックエンドサーバー（１２０）によってホスティングされた融合エンジン（２１２）とを含む。

本発明の例示的な実施形態によれば、システム（２００）は、パーソナルコンテキストベースの社会的交流を導出するよう構成されている。ユーザーのパーソナルコンテキストは、ユーザーの身元（例えば、その個人が誰か）と、ユーザーの近接（例えば、他の各個人またはユーザーに対するユーザーの接近およびその継続時間）と、ユーザーの活動（例えば、キュービクル、会議室、廊下等での仕事）と、ユーザーの位置とを含む。ユーザーの社会的交流は、他の個人に対するユーザーの物理的交流である。システム（２００）は、特定の場所におけるユーザーのパーソナルコンテキストを識別するための様々な発信源（ソース）から所定の範囲内にいるユーザーの位置を特定するよう構成された位置特定モジュール（２０２）を含む。ユーザーのパーソナルコンテキストは、外部センサ（１１８）およびモバイル通信デバイス（１０２）内に実装された内部センサ（１０４）を用いて識別される。さらに、信頼値割り当てモジュール（２０４）は、ユーザーが位置特定された発信源に応じて、識別されたユーザーのパーソナルコンテキストに対して、所定の信頼値を割り当てるために用いられる。所定の場所におけるユーザーの正確な現在位置情報は、現在位置識別モジュール（２０６）を用いて取得される。正確な現在位置情報は、融合エンジン（２１２）を用いて、割り当てられたユーザーのパーソナルコンテキストの信頼値を融合することにより取得される。さらに、システムは、グループ化モジュール（２０８）を用いて、類似の現在位置情報で位置特定された２人のユーザーをグループ化する。２人のユーザーのグループ化は、ある所定の密度基準に基づいて決定される。特定の場所におけるグループ内の２人のユーザー間の正確な直線距離は、近接推定モジュール（２１０）を用いて導出される。バックエンドサーバー（１２０）によってホスティングされた融合エンジン（２１２）は、ユーザーの現在位置情報と、導出された特定の場所におけるグループ内の２人のユーザー間の正確な直線距離とを融合することによって、ユーザーの社会的交流情報を導出するために用いられる。

外部センサ（１１８）は、ビル管理システム（ＢＭＳ）からのアクセス管理入退出情報と、３Ｄカメラ、ウェアラブルＥＥＧ、超音波センサ等の奥行カメラ（depth camera）を用いた監視とから構成されるグループから選択される。モバイル通信デバイス（１０２）内に実装された内部センサ（１０４）は、加速度計、磁気探知機、音声認識装置、ジャイロスコープおよびＷｉ−Ｆｉ承認（Wi-Fi signature）等から構成されるグループから選択される。

位置特定モジュール（２０２）では、ビルのアクセス管理ログ、携帯電話のＷｉ−Ｆｉ承認、磁気探知機承認、加速度計分析等を用いて、屋内位置検出が取得される。また、Ｗｉ−Ｆｉ指紋採取および／またはＲＳＳＩ（Received Signal Strength Indicator:受信信号強度インジケーター）に基づく三角測量も、屋内位置特定を提供することができる。加速度計、磁気探知機およびジャイロスコープは、組み合わされ、歩行、階段またはエレベーターでの上昇、座っている／立っている等の複雑な動きをセンシングする。

ユーザーのパーソナルコンテキストは、身元、近接、活動および位置から構成されるグループから選択される。ユーザーの身元は、ユーザーにタグ付けされたユーザーの携帯電話、ユーザーがＢＭＳを通過するために用いるユーザーのスマートカード、３Ｄ奥行カメラを用いて取得されたユーザーの骨格構造および歩行測定等を用いて取得される。ユーザーの近接は、ユーザーのＢｌｕｅｔｏｏｔｈ（登録商標）、建造物内に配置された近接センサ、赤外線近接センシング等を用いて取得される。ユーザーの活動は、プレゼンテーション（発表）中、グループディスカッション中の「全部聞いているのは誰か？（who all are listening?）」、「誰が質問しているか？(who is asking questions)」のような情報を含む周囲の人間に対する社会的交流によって取得されてもよく、また、ジェスチャー認識が握手や名刺交換のような交流を識別するために用いられてもよい。ユーザーの位置は、位置特定モジュール（２０２）を用いることによって検出される。

信頼値割り当てモジュール（２０４）は、情報の発信源に基づいて、識別されたユーザーのパーソナルコンテキストに対して、所定の信頼値を割り当てる。所定の信頼値または内部発信源および外部発信源の信頼値スコアは、０％から１００％の間で変化するが、この変化には、両端の境界値（０％および１００％）が含まれなくてもよい。例えば、ビル管理システム（ＢＭＳ）データの所定の信頼値スコアは、１００％である。音声認識ソフトウェアが、信頼値と見なされる検出スコアを提供してもよい。音声データからの位置特定範囲は、１０ｓｑ．ｍ．の精度（オーダー）であってもよいが、これに限られない。同じように、Ｗｉ−Ｆｉ承認および加速度計データが用いられてもよい。信頼スコアは、どの程度の量のデータが取得されるか、および、データが取得される環境に応じて、それらが取得される発信源に応じた所定の信頼値スコアから変化してもよく、同じセンサおよび分析でも、非常に高い信頼値から非常に低い信頼値までの広い信頼値を生成するであろう。

本発明の実施形態の１つにおいて、各ユーザーの位置情報の発見のために用いられる結合確率関数（joint probability function）は、以下の式により与えられる。

ここで、Ｐ_ｊｉ（ｌｏｃ_ｉ／ｘ）は、ｉ番目のセンサデータからの観測によって与えられるｊ番目の個人の位置の確率分布関数（probability distribution function）である。

Ｐ_ｊｉ（ｌｏｃ_ｉ／ｘ）は、ベイズ理論から算出され、以下の式で与えられる。

ここで、ｐ（ｌｏｃ）は、「ｊ」の位置の事前確率（prior probability）である。よって、個人「ｊ」の位置は、以下の式で与えられる。

ここで、Ｓは、個人「ｊ」が属し得る物理的な空間である。Ｌ^１ _ｊ（ｌｏｃ^１ _ｊ）の観測に関連付けられた信頼スコアは、Ｓ_ｊ ^１である。

本発明の実施形態の１つにおいて、現在位置識別モジュール（２０６）は、特定の場所におけるユーザーの正確な現在位置情報を取得する。

本発明の実施形態の１つにおいて、近接推定モジュール（２０８）は、近接を推定するために用いられる。近接は、外部センサ（１１８）およびユーザーのモバイル通信デバイス（１０２）内に実装された内部センサ（１０４）を利用して、現在位置におけるグループ内の少なくとも２人のユーザー間の正確な直線距離を導出するために用いられる。

本発明の実施形態の１つにおいて、近接推定モジュール（２０８）は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、モバイルのオーディオ機器、３Ｄ奥行カメラ、情報（宛先、写し送付先（ＣＣ）、題名欄の他の人々に対するユーザー通信の指示を与えるような情報）を提供する各個人の電子メールヘッダーをスキャンすることによって発見される現実世界での通信等を用いた屋内近接検出を用いてもよい。市販の電話が短距離のみに対応するクラスＩＩのＢｌｕｅｔｏｏｔｈ（登録商標）を搭載しているのであれば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を近接の検出に用いることができる。３Ｄ奥行カメラは、人々の間の距離の正確な計測と、その方向を提供するので、近接検出のための非常に優良な発信源を提供することができる。電子メールファイルおよび構文解析されたアーカイブ（記録保管所）は、多くの市販の電子メールツールまたはＪａｖａ（登録商標）メールＡＰＩを含むオープンソース電子メールツールを用いて、読み出される。

本発明の実施形態の１つにおいて、モバイルベースの近接センシングは、人々のグループの異なるユーザーのペア−ワイズ体（pair-wise individual）として用いられる。「モバイル近接センシング」から、各個人「ｊ」と「ｌ」との間の距離ｄは、ペア（距離ｄで離れている「ｊ」と「ｉ」）用の確率分布関数によって、Ｐ_ｊｌｍ（ｄ／ｘ）として与えられる。Ｐ_ｊｌｍ（ｄ／ｘ）は、ベイズ理論から算出され、以下の式で与えられる。

ここで、ｐ（ｄ）は、「ｊ」と「ｉ」間の距離の事前確率である。したがって、以下のようになる。

信頼スコアＳ_ｊｌ ^ｍは、Ｐ_ｊｌｍ（ｄ_ｊｌ ^ｍ／ｘ）の観測に関連付けられている。

各個人「ｊ」と「ｉ」の間の距離ｄのために、Ｐ_ｊｌｃ（ｄ／ｘ）によって与えられる「３Ｄカメラデータ」の使用が、距離ｄで離れている「ｊ」と「ｉ」のペア用の確率分布関数に与えられると、確率分布関数は、以下の式で与えられることとなる。

信頼スコアＳ_ｊｌ ^ｃは、Ｐ_ｊｌｃ（ｄ_ｊｌ ^ｃ／ｘ）の観測に関連付けられている。さらに、ｄ_ｉ＝ｄｉｓｔａｎｃｅ（ｌｏｃ_ｊ，ｌｏｃ_ｌ）は、各個人ｊ（ｌｏｃ_ｊ）とｉ（ｌｏｃ_ｌ）の位置間の距離である。

本発明の実施形態の１つにおいて、グループ化モジュール（２１０）は、特定の場所において類似の現在位置情報を有する２人のユーザーを、所定の密度基準に基づいてグループ化する。所定の密度基準は、密度ベースクラスタリング法（density based clustering method）を採用することにより導出されてもよい。

本発明の実施形態の１つにおいて、クラスタリングアルゴリズムが、グループを生成するために用いられる。クラスタリングアルゴリズムは、最小グループサイズがＧ_ｍｉｎであり、最大グループサイズがＧ_ｍａｘであるようなステップを実行する。グループの重心（centroid）からの各個人の最大距離は、ｄ_{ｉｃｍａｘ}である。密度ベースクラスタリング（ＤＢＳＣＡＮ）アルゴリズムは、単位エリアごとにＮ人の個人が存在しなければならないような密度基準「ε」に基づいてグループを形成するために用いられてもよい。クラスタリングアルゴリズムは、クラスターとしての核（core）グループを与え、任意のグループに属さない各個人は、外れ値（outliers）として扱われる。

本発明の実施形態の１つにおいて、融合モジュール（２１２）は、ユーザーの社会的交流情報を導出するよう構成されている。融合エンジン（２１２）は、バックエンドサーバー（１２０）によってホスティングされている。融合エンジンは、導出された特定の場所におけるグループ内の２人のユーザー間の正確な直線距離およびウェブセンサ（２１４）から受信したデータまたは情報を融合するために用いられる。

本発明の実施形態の１つにおいて、これら全てのセンサおよびウェブベースのソフトセンサからのデータは、多様な融合モジュールに送られる。各センサはそれぞれ、エラー確率と、読み出しとともに報告される信頼スコアとを有している。融合モジュールは、多数のセンサから、上述の各読み出しの特性と共に、データを読み出す。その後、このエンジンは、多数のセンサの報告から、共通する特徴（commonality）を推測し、注目している頂点（vertices:ノード（節）と同等の意味）間のエッジ（枝）の集合的な属性を見つけ出す。例えば、センサーセットによって報告された「近接」は、音声情報と融合され、「会話」との結論に達する。会議室の位置によって拡張された情報は、「会議」を推定するのに用いられることができ、一方、位置がコーヒーマシーンに変化したのであれば、「雑談（chat）」を推定するのに用いられる。多様なセンサ融合の別の様態は、エラー低減およびエラー解除に用いられてもよい。例えば、ある場所にて、３Ｄカメラが２人の人間の近接を、適切な程度の信頼で報告したものの、２人の内１人の位置が加速度計から導出された位置とマッチング（整合）しなかったとする。このような場合、３Ｄカメラデータは、「誤検知（false positive）」であるとして、却下（reject）される。

実施形態の１つにおいて、ウェブセンサ（２１４）は、ユーザーのソーシャルネットワークウェブサイト履歴、ユーザーの電子メールヘッダー、ＲＳＳフィードおよびユーザーのソーシャルブログ履歴から構成されるグループから選択されてもよい。フェイスブックやツイッターのようなソーシャルネットワークサイトは、構造化データの形式の履歴（プロファイル）データのような様々な情報へのアクセスを提供する。この構造化データは、構造化データを別々に構文解析し、各個人の興味を抽出するために収集される。興味は、社会的グラフのエッジ（枝）の重要な特性を提供することができ、それにより、共通の興味を有する２人の人間が、そのエッジによって結び付けられやすくなる。構造化データマイニング、ユーザーのブログおよびソーシャルポスト（social post）からの未構造化データ（unstructured data）マイニングは、エッジ属性を形成するために取得される。個人の電子メールヘッダー（宛先、写し送付先（ＣＣ）、題名欄の他の人々に対するユーザー通信の指示を与えるような情報を提供する）は、各個人の現実世界での通信を理解するためにスキャンされる。

本発明の実施形態の１つにおいて、ｊ番目の個人の位置情報であるｌｏｃ_ｊは、上記式（２）で与えられる。検出された位置の対応する信頼値（Ｓ_ｊ ^１）は、（ｌｏｃ_ｊ）である。これはＮ人の全ての各個人に適用される。上記式（２）から取得される「ｊ」の位置を、ｌｏｃ_ｊ ^１とする。ペアワイズ距離は、「モバイル近接センシング」および「３Ｄカメラデータ」によって、各個人「ｊ」および「ｉ」のｄ_ｊｌ ^ｍおよびｄ_ｊｌ ^ｃとして算出される。「ｊ」の位置情報は「ｊ−ｌ」ペアの「モバイル近接センシング」から導出されるので、ｌｏｃ_ｌ ^１を中心とする半径ｄ_ｊｌ ^ｍの範囲にある。よって、「ｉ」の位置および「ｊ−ｉ」ペア間の距離から導出された「ｊ」の位置の確率は、以下の式で与えられる。

全ての他の個人から導出された「ｊ」の位置の複合確率（combined probability）は、以下の式で与えられる。

最後に、「モバイル近接センシング」から導出された「ｊ」の位置が以下で与えられる。

対応するスコアは、Ｓ_ｊ ^ｍ＝Ｌ_ｊ ^ｍ(ｌｏｃ_ｊ ^ｍ)で与えられる。「ｊ−ｌ」ペア間の距離から取得された「３Ｄカメラデータ」から算出されるので、「ｊ」の位置は、以下のｌｏｃ_ｊｌ ^ｃで与えられる。

上記式（５）から取得される「ｊ」の位置は、「ｉ」の位置を介している。よって、上記式（５）を得るためのスコアは、Ｓ_ｉ ^ｌ＊Ｓ_ｊｌ ^ｃとなる。

よって、ｊ番目の個人の最終的な融合情報は、異なる複数の観測から得られる加重和（weighted sum）として取得される。ここで、重み（weights）は、各観測の信頼スコアであり、最終的な融合情報は、以下の式で与えられる。

ここで、Ｎは、近接範囲内にいる個人の数である。

図３は、論理フロー（３００）を図示している。まず、ステップ（３０２）に示されているように、モバイル通信デバイス（１０２）内に存在する内部センサ（１０４）が、ユーザーによって実行された様々な活動に関連する情報をセンシングするため、アクティブ化される。ステップ（３０４）において、処理モジュール（１１０）が任意の外部センサの存在をチェックし、それらを通信手段（例えば、ＵＳＢ、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を介して接続する。ステップ（３０８）に示されているように、処理モジュール（登録商標）（１１０）は、ダウンロード処理のような任意のユーザー活動、または、ステップ（３０８）に示されているようにモバイル通信デバイス（１０２）上での閲覧（browsing）が実行されているかをチェックし、もしそうであれば、処理モジュール（１１０）は、ステップ（３０６）において、所定の時間待機し、再度、ユーザー活動をチェックする。ステップ（３１０）および（３１２）に示されているように、処理モジュール（１１０）上で進行中の任意のユーザー活動のチェックは、内部センサ（１０４）および外部センサ（１１８）に、ユーザー活動をセンシングし、取得したデータを処理モジュール（１１０）に送信するよう指示する。その後、処理モジュール（１１０）は、このデータを分析し、コンテキスト情報を分離し、関連情報のみを送信モジュール（１１４）に転送する。ステップ（３１４）に示されているように、送信モジュール（１１４）は、さらに、この情報をバックエンドサーバー（１２０）に送信する。処理モジュール（１１０）は、注目しているセンサに特有の以下の活動を実行する。すなわち、ユーザーコンテキストへの更なる洞察のために、活動検出用の加速度計分析、位置特定および近接検出用の超音波を用いたベースバンド通信、感情検出および近隣センシング用のマイクロフォン取得音声分析、周辺光検出用のカメラ、ＥＧＧセンサのような外部生理学的センサの分析を実行する。ステップ（３１６）において、バックエンドサーバー（１２０）およびその基本的な融合および決定モジュールが分析を実行し、ユーザーのパーソナルコンテキストを識別し、その情報をデータベース（１２２）内に保存する。ステップ（３１８）において、この保存された情報が、各個人のおよび集合的なユーザーコンテキストを生成するフロントエンドアプリケーション（１２４）によって用いられる。生成されるユーザーコンテキストは、組織的行動分析、作業空間人間工学的分析、ユーザーの物理的交流ネットワークの発見のために用いることが可能であり、ユーザースタディー分析へのユーザー応答の測定および分析にも用いることができる。

図４を参照すると、パーソナルコンテキストベースの社会的交流導出方法（４００）が図示されている。ステップ（４０２）に示されているように、処理は、特定の場所における所定の範囲内にいるユーザーの位置特定をすることによって開始する。ステップ（４０４）において、外部センサ（１１８）およびモバイル通信デバイス（１０２）内に実装された内部センサ（１０４）を用いて、ユーザーのパーソナルコンテキストが識別される。ステップ（４０６）において、識別されたユーザーのパーソナルコンテキストに、所定の信頼値が割り当てられる。ステップ（４０８）において、ユーザーの正確な現在位置情報が、特定の場所において取得される。ステップ（４１０）において、現在位置における少なくとも２人のユーザー間の正確な直線距離が導出される。ステップ（４１２）において、特定の場所において類似の現在位置情報を有する２人のユーザーが、所定の密度基準に基づいてグループ化される。処理は、ステップ（４１４）において終了し、特定の場所におけるグループ内でのユーザーの社会的交流情報が導出される。

図５を参照すると、本発明の例示的な実施形態として、据え付けであり、その位置が既知の、注目されているマイクロフォンセンサ「ｉ」が存在する同じ場所において検出された電話の数を示す正規化ヒストグラムが示されている。特定の場所ｌｏｃ_ｋにおいて、携帯電話（ｊ）は、既知のボリュームで音を再生するために用いられる。固定されたマイクロフォン「ｉ」は、該音を受信し、距離「ｄ_ｋｊ」を算出する。距離は、マイクロフォンセンサを用いる受信機等における音のボリュームの減衰は音発生源からの距離に反比例するという原理を用いて算出される。この算出は、上述のようなＮ個の電話に対して実行される。ヒストグラムは、同じ場所において検出された電話の数に基づいて算出される。サンプルの正規化ヒストグラムプロットが図５に示されている。図５から明らかなように、電話の最大数は、距離「１１」単位、すなわち、実際の距離ｄ_ｋにおいて検出されている。しかしながら、実際の距離ｄ_ｋとは異なる距離において、いくつかの電話が検出される場合がある（実際の距離ｄ_ｋ以外の距離での観測値がゼロではない場合がある）。これは、観測のエラー、電話のモデルの相違、周囲環境の影響によるものと考えられる。この処理は、全てのｌｏｃ_ｋまたは同等なｄ_ｋに対して繰り返して実行される。毎回、受信機が距離「ｄ_ｋｊ」を観測するたびに、該観測と関連付けられた信頼スコア「Ｓ_ｊｋ」が存在することとなる。図５に示す関数は、距離ｄ_ｋを与えられた観測値の確率分布Ｐ_ｊｉ（ｘ／ｌｏｃ_ｋ）を導出するためのＳ_ｊｋを提供する。実際の検出処理の間、携帯電話から受信した音に基づいて、ｉ番目のセンサによって観測された位置ｌｏｃ_ｋの確率は、Ｐ_ｊｉ（ｌｏｃ_ｋ／ｘ）となる。これは、ベイズ方程式を用いて取得される。

Claims (16)

1. 特定の場所においてモバイル通信デバイス（１０２）を有する少なくとも１人のユーザーのパーソナルコンテキストを識別し、当該ユーザーの社会的交流情報を導出するための方法であって、
   ａ．位置特定モジュール（２０２）を用いて、前記ユーザーの身元、前記ユーザーの他のユーザーに対する近接、前記ユーザーの活動、および前記ユーザーの位置を含む前記特定の場所における前記ユーザーの前記パーソナルコンテキストを、外部センサ（１１８）および前記モバイル通信デバイス（１０２）内に実装された内部センサ（１０４）を用いて識別することにより、所定の範囲内にいる前記少なくとも１人のユーザーの位置特定を実行する工程と、
   ｂ．信頼値割り当てモジュール（２０４）を用いて、前記ユーザーの位置特定に用いられた情報の発信源に基づいて、識別された前記ユーザーの前記パーソナルコンテキストに対して、所定の信頼値を割り当てる工程と、
   ｃ．現在位置識別モジュール（２０６）およびバックエンドサーバー（１２０）によってホスティングされている融合エンジン（２１２）を用いて、割り当てられた前記ユーザーの前記パーソナルコンテキストの前記信頼値を融合することによって、前記特定の場所内における前記ユーザーの正確な現在位置情報を取得する工程と、
   ｄ．近接推定モジュール（２０８）を用いて、前記外部センサ（１１８）および前記ユーザーの前記モバイル通信デバイス（１０２）内に実装された前記内部センサ（１０４）を利用することによって、現在位置における少なくとも２人のユーザー間の距離の確率分布関数を用いて、前記少なくとも２人のユーザー間の正確な直線距離を導出するために近接を推定する工程と、
   ｅ．グループ化モジュール（２１０）を用いて、前記特定の場所において類似の現在位置情報を有する前記少なくとも２人のユーザーを、所定の密度基準に基づいてグループ化する工程と、
   ｆ．前記バックエンドサーバー（１２０）によってホスティングされている前記融合エンジン（２１２）を用いて、前記ユーザーの前記現在位置情報と、導出された前記特定の場所におけるグループ内の前記少なくとも２人のユーザー間の前記正確な直線距離と、ウェブセンサ（２１４）とを融合することにより、前記ユーザーの前記社会的交流情報を導出する工程と、を含むことを特徴とする前記方法。
2. 前記モバイル通信デバイス（１０２）は、携帯電話、スマートフォン、ラップトップコンピューター、パームトップコンピューター、パーソナルデジタルアシスタンス（ＰＤＡ）から構成されるグループから選択される請求項１に記載の方法。
3. 前記外部センサ（１１８）は、ビル管理システム（ＢＭＳ）、３Ｄ奥行カメラおよび超音波センサから構成されるグループから選択される請求項１に記載の方法。
4. 前記内部センサ（１０４）は、加速度計、磁気探知機、音声認識装置、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＲＳＳＩおよび無線周波数（Ｗｉ−Ｆｉ）承認から構成されるグループから選択される請求項１に記載の方法。
5. 前記特定の場所において前記類似の現在位置情報を有する前記少なくとも２人のユーザーをグループ化するための前記所定の密度基準は、密度ベースクラスタリング方法を採用することによって導出される請求項１に記載の方法。
6. 前記外部センサ（１１８）および前記モバイル通信デバイス（１０２）内に実装された前記内部センサ（１０４）は、物理的／ハードウェアセンサである請求項１に記載の方法。
7. 前記ウェブセンサ（２１４）は、前記ユーザーのソーシャルネットワークウェブサイト履歴、前記ユーザーの電子メールヘッダー、前記ユーザーのＲＳＳフィードおよびソーシャルブログ履歴から構成されるグループから選択される請求項１に記載の方法。
8. 前記外部センサ（１１８）および前記内部センサ（１０４）は、処理モジュール（１１０）に通信可能に接続され、
   前記外部センサ（１１８）は、外部センサインターフェース（１０８）を介して、センサデータを前記処理モジュール（１１０）に送信し、
   前記内部センサ（１０４）は、センサデータを前記処理モジュール（１１０）に直接送信する請求項１に記載の方法。
9. 前記外部センサ（１１８）および前記内部センサ（１０４）から受信され、処理された前記センサデータは、前記処理モジュール（１１０）に通信可能に接続された内部メモリ（１１６）内に保存される請求項８に記載の方法。
10. 導出された前記ユーザーの前記社会的交流情報は、フロントエンドアプリケーション（１２４）を用いて表示される請求項１に記載の方法。
11. 導出された前記ユーザーの前記社会的交流情報は、キュービクル内での仕事中の交流、会議進行中の交流、セッション中の発表者の交流、会議中の受動的な聴講者、グループディスカッション中の交流を含む交流のグループから選択される請求項１に記載の方法。
12. 融合された前記データおよび前記ユーザーの前記パーソナルコンテキストは、前記バックエンドサーバー（１２０）に通信可能に接続されたデータベース（１２２）内に保存される請求項１に記載の方法。
13. 切り替えモジュール（１１２）を用いて、前記モバイル通信デバイス（１０２）の定期的な活動から割り込みが生成されたとき、前記内部センサ（１０４）のその他のモバイルデバイスアプリケーション（１０６）と、パーソナルコンテキスト分析とを切り替える工程をさらに含む請求項１に記載の方法。
14. 特定の場所における少なくとも１人のユーザーのパーソナルコンテキストを識別し、当該ユーザーの社会的交流情報を導出するためのシステムであって、
    前記システムは、
    モバイル通信デバイス（１０２）と、
    外部センサ（１１８）と、
    前記モバイル通信デバイス（１０２）内に実装された内部センサ（１０４）と、
    位置特定モジュール（２０２）と、
    信頼値割り当てモジュール（２０４）と、
    現在位置識別モジュール（２０６）と、
    近接推定モジュール（２０８）と、
    グループ化モジュール（２１０）と、
    融合エンジン（２１２）と、
    前記融合エンジン（２１２）をホスティングするバックエンドサーバー（１２０）と、
    フロントエンドアプリケーション（１２４）と、
    データベース（１２２）と、を含んでおり、
    前記モバイル通信デバイス（１０２）は、
    前記外部センサ（１１８）および前記内部センサ（１０４）から受信したセンサデータのオンボード処理を実行するよう構成された処理モジュール（１１０）と、
    前記処理モジュール（１１０）から受信した前記処理されたセンサデータを、前記バックエンドサーバー（１２０）へ送信するよう構成された送信モジュール（１１４）と、
    前記モバイル通信デバイス（１０２）の定期的活動から割り込みが生成されたとき、前記内部センサ（１０４）のその他のモバイルデバイスアプリケーション（１０６）と、パーソナルコンテキスト分析とを切り替えるよう構成された切り替えモジュール（１１２）と、を含み、
    前記外部センサ（１１８）は、前記ユーザーの前記パーソナルコンテキストをセンシングし、当該センシングされたパーソナルコンテキストを、前記モバイル通信デバイス（１０２）の外部センサインターフェース（１０８）を介して、前記処理モジュール（１１０）に送信するよう構成され、
    前記位置特定モジュール（２０２）は、前記ユーザーの身元、前記ユーザーの他のユーザーに対する近接、前記ユーザーの活動、および前記ユーザーの位置を含む前記特定の場所における前記ユーザーの前記パーソナルコンテキストを、前記外部センサ（１１８）および前記内部センサ（１０４）を用いて識別することにより、所定の範囲内にいる前記少なくとも１人のユーザーの位置特定を実行するよう構成され、
    前記信頼値割り当てモジュール（２０４）は、前記ユーザーの位置特定のために用いられた情報の発信源に基づいて、識別された前記ユーザーの前記パーソナルコンテキストに対して、所定の信頼値を割り当てるよう構成され、
    前記現在位置識別モジュール（２０６）は、前記融合エンジン（２１２）を用いて、割り当てられた前記ユーザーの前記パーソナルコンテキストの前記信頼値を融合することによって、前記特定の場所における前記ユーザーの正確な現在位置情報を取得するよう構成され、
    前記近接推定モジュール（２０８）は、前記外部センサ（１１８）および前記内部センサ（１０４）を利用することによって、現在位置における少なくとも２人のユーザー間の距離の確率分布関数を用いて、前記少なくとも２人のユーザー間の正確な直線距離を導出するために近接を推定するよう構成され、
    前記グループ化モジュール（２１０）は、前記特定の場所において類似の現在位置情報を有する前記少なくとも２人のユーザーを、所定の密度基準に基づいてグループ化するよう構成され、
    前記融合エンジン（２１２）は、前記ユーザーの前記現在位置情報と、導出された前記特定の場所におけるグループ内の前記少なくとも２人のユーザー間の前記正確な直線距離と、ウェブセンサ（２１４）とを融合することにより、前記ユーザーの前記社会的交流情報を導出するよう構成されていることを特徴とする前記システム。
15. 前記外部センサ（１１８）は、ビル管理システム（ＢＭＳ）、３Ｄ奥行カメラおよび超音波センサから構成されるグループから選択される請求項１４に記載のシステム。
16. 前記内部センサ（１０４）は、加速度計、磁気探知機、音声認識装置および無線周波数（Ｗｉ−Ｆｉ）承認から構成されるグループから選択される請求項１４に記載のシステム。

Images