JPWO2017064891A1 - 情報処理システム、情報処理方法、および記憶媒体 - Google Patents

Abstract

【課題】、時系列データを用いることで、より正確に人物間の相性を特定することが可能な情報処理システム、情報処理方法、および記憶媒体を提供する。
【解決手段】所定時間内において場を共有する複数人物の生体情報を表す時系列データを取得する取得部と、前記取得部により取得された時系列データに応じて、同一または類似の感情変化が生じている人物を相性の良い人物として特定する制御部と、を備える、情報処理システム。
【選択図】図１

Description

本開示は、情報処理システム、情報処理方法、および記憶媒体に関する。

人と人との相性は、同じ対象に同じ感情を抱くといった共感性や、価値観、または性格等に起因するが、互いの相性が良いか否かを知るのには時間が掛かり、例えば数時間交流しただけでは正確には知り得ない。

人と人との関係を抽出し、可視化する技術に関し、例えば下記特許文献１では、画像データを処理することで、画像中に一緒に写っている各人物の笑顔度に基づいて互いの親密度を算出し、親密度を距離で表した関係図や、関係図の時系列変化図について記載されている。

特開２０１３−３６３５号公報

しかしながら、ある時点における撮像画像からの笑顔度に基づくだけは、人物同士の関係を正確に算出することは困難である。

そこで、本開示では、時系列データを用いることで、より正確に人物間の相性を特定することが可能な情報処理システム、情報処理方法、および記憶媒体を提案する。

本開示によれば、所定時間内において場を共有する複数人物の生体情報を表す時系列データを取得する取得部と、前記取得部により取得された時系列データに応じて、同一または類似の感情変化が生じている人物を相性の良い人物として特定する制御部と、を備える、情報処理システムを提案する。

本開示によれば、プロセッサが、所定時間内において場を共有する複数人物の生体情報を表す時系列データを取得することと、前記取得された時系列データに応じて、同一または類似の感情変化が生じている人物を相性の良い人物として特定することと、を含む、情報処理方法を提案する。

本開示によれば、コンピュータを、所定時間内において場を共有する複数人物の生体情報を表す時系列データを取得する取得部と、前記取得部により取得された時系列データに応じて、同一または類似の感情変化が生じている人物を相性の良い人物として特定する制御部と、として機能させるためのプログラムが記憶された記憶媒体を提案する。

以上説明したように本開示によれば、時系列データを用いることで、より正確に人物間の相性を特定することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本実施形態による情報処理システムの概要を説明するための図である。 本実施形態による情報処理システムの構成について説明する図である。 本実施形態による相性判断処理を示すフローチャートである。 本実施形態によるセンサデータの具体的な解析処理の一例を示すフローチャートである。 本実施形態によるＩＤ間の紐付方法について説明する図である。 複数人物から取得した生体情報のデータ解析により得られた時系列のパラメータの一例を示す図である。 本実施形態による相性度の算出を共起率を用いて行う場合について説明する図である。 本実施形態による相性度判断結果画面の一例を示す図である。 本実施形態による相性度判断結果画面の他の例を示す図である。 本実施形態による相性度送信を指示するユーザ操作の一例について説明する図である。 本実施形態による相性度送信を指示するユーザ操作の一例について説明する図である。 本実施形態による相性度判断結果の共有について説明する図である。 本実施形態による相性度判断結果の共有について説明する図である。 本実施形態によるグラフ表示を行う場合について説明する図である。 本実施形態による過去履歴に基づく相性度のグラフ表示の一例を示す図である。 本実施形態の応用例による相性判断処理を示すフローチャートである。 本実施形態の他の応用例によるカメラ付きデジタルサイネージについて説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
２−１．情報処理装置１の構成
２−２．ウェアラブル端末２の構成
３．動作処理
４．応用例
５．まとめ

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
本実施形態による情報処理システムでは、所定時間内において場を共有する（すなわち同じ体験をしている）複数人物の生体情報を表す時系列データを用いることで、より正確に人物間の相性を特定することを可能とする。

図１は、本実施形態による情報処理システムの概要を説明するための図である。図１に示すように、複数の人物（ユーザＡ〜Ｆ）が場を共有している状況において、まず、各複数の人物の所定時間内の生体情報が、各人物が装着しているウェアラブル端末２により取得され、情報処理装置１へ送信される。情報処理装置１は、各複数人物の時系列データに基づいて各人物間の相性度を算出し、相性の良い人物同士を特定する。さらに詳細には、情報処理装置１は、時系列データの相互相関を求め、同一または類似の感情変化が生じている人物同士を相性の良い人物同士として特定する。情報処理装置１は、例えばスマートフォン、携帯電話端末、タブレット端末、またはＰＣ（パーソナルコンピュータ）等により実現され得る。また、ウェアラブル端末は、例えばスマートウォッチ、スマートバンド、スマートアイグラス、スマートネック、または体内埋め込み型端末等により実現され得る。

ここで、相性判断の際に用いられる生体情報の時系列データには、動き、振動、脈拍、脈波、心拍、発汗量、呼吸、血圧、または体温等が含まれる。また、生体情報の時系列データは、撮像画像または音声データを含んでもよい。複数人物の撮像画像や音声データは、例えば図１に示すようにテーブルに置かれた情報処理装置１に設けられたカメラ１２やマイクロホン１３により取得され得る。

情報処理装置１による相性判断の結果は、例えば図１に示すような相性ランキング画面１４０として表示部１４に表示される。相性ランキング画面１４０では、例えば上位所定数の相対的に相性の良い人物同士（相性度の高いペア）がその顔画像と共にランキング形式で表示されている。

このように、複数人物が場を共有して同じ体験をしている際に、ウェアラブル端末２や情報処理装置１で複数人物の生体情報を継続的に取得し、所定時間内における生体情報の時系列データの相互関係に応じて共感性に基づく相性をより正確に求めることが可能となる。例えば図１に示す例では、複数人物が談笑している際の音声データ、顔の表情、身体の動き、および脈拍等の生体情報が継続的に取得され、相性診断が行われることで、コミュニケーションにおける相性が分かる。また、複数の人物が一緒にテレビ番組や映画等のコンテンツを観ている際の音声データ、顔の表情、身体の動き、および脈拍等の生体情報が継続的に取得され、相性診断が行われた場合、コンテンツ視聴における相性が分かる。

以上、本実施形態による情報処理システムの概要について説明した。続いて、本実施形態による情報処理システムの構成および動作処理について具体的に説明する。

＜＜２．構成＞＞
図２は、本実施形態による情報処理システムの構成について説明する図である。図２に示すように、本実施形態による情報処理システムは、情報処理装置１およびウェアラブル端末２を含む。両者は、無線または有線により接続され、データの送受信を行い得る。以下、情報処理装置１およびウェアラブル端末２の構成について具体的に説明する。

＜２−１．情報処理装置１の構成＞
図２に示すように、情報処理装置１は、制御部１０、通信部１１、カメラ１２、マイクロホン１３、表示部１４、操作入力部１５、および相性度記憶部１６を有する。

通信部１１は、外部装置と有線／無線を介してデータの送受信を行う。例えば通信部１１は、ウェアラブル端末２と接続し、ウェアラブル端末２で検知した生体情報の時系列データを受信する。また、通信部１１は、ウェアラブル端末２で検知した生体情報の時系列データのデータ解析結果（パラメータ）を受信してもよい。

制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、本実施形態による制御部１０は、データ解析部１０１および相性判断部１０２として機能する。

データ解析部１０１は、複数人物から取得した生体情報の時系列データを解析し、パラメータを算出する。例えばデータ解析部１０１は、時系列データが撮像画像データの場合、撮像画像データから顔画像を検出し、顔の表情パラメータ（例えば笑顔度、驚き度、怒り度、恐怖度等）の時系列データを算出する。また、データ解析部１０１は、時系列データが音声データの場合、話者認識および音声認識を行い、各話者の会話のパラメータ（例えば盛り上がり、驚き、笑い、または相槌等）の時系列データを算出する。また、データ解析部１０１は、ウェアラブル端末２で検知された生体情報の時系列データも同様に解析することが可能である。例えば、データ解析部１０１は、時系列データが加速度データまたは振動データの場合、人物の動きや振動のパラメータ（例えば腕の動き、身体の揺れ、または頷き等）の時系列データを算出する。

相性判断部１０２は、データ解析部１０１から得られたパラメータの時系列データ、または通信部１１によりウェアラブル端末２から受信したパラメータの時系列データに応じて、ある人物と、同一または類似の感情変化が生じている人物を相性の良い人物として特定する。具体的には、相性判断部１０２は、パラメータの時系列データの相互相関を求め、同一または類似の感情変化が生じている人物を特定する。パラメータの時系列データの相互相関は、例えば相性度として算出し得る。相性度の算出方法については、図６〜図７を参照して後述する。

以上、制御部１０の機能について具体的に説明したが、制御部１０の機能はこれに限定されず、例えば周辺に存在するウェアラブル端末２のＩＤと各人物のＩＤとの紐付け、相性判断結果画面の生成、および相性判断結果画面の表示制御等も行い得る。また、制御部１０は、ユーザ操作に応じて、相性判断結果画面の少なくとも一部を他の情報処理装置に送信するよう制御することも可能である。

カメラ１２は、周辺を撮像し、撮像画像を制御部１０に出力する。例えばカメラ１２は、場を共有している複数人物を継続的に撮像し、時系列の撮像画像データを制御部１０に渡す。

マイクロホン１３は、周辺の音声を収音し、収音した音声データを制御部１０に出力する。例えばマイクロホン１３は、場を共有している複数人物の会話を継続的に収音し、時系列の収音データを制御部１０に渡す。

表示部１４は、出力部の一例であって、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ装置などの表示装置により実現される。例えば表示部１４は、相性判断部１０２による相性判断結果を表示する。相性判断結果画面の具体例については、図８および図９を参照して後述する。

操作入力部１５は、タッチパネル、スイッチ、またはボタン等により実現され、ユーザによる操作入力を検出し、検出した入力信号を制御部１０に出力する。

相性度記憶部１６は、相性判断部１０２による相性判断結果を記憶する。相性度記憶部１６には、例えばペア毎に相性度情報が格納される。具体的には、開始タイムスタンプ、終了タイムスタンプ、ＩＤ−Ｘ、ＩＤ−Ｙ、代表画像Ｘ、代表画像Ｙ、およびペアの相性度が対応付けて格納される。開始タイムスタンプと終了タイムスタンプは、相性診断を開始した開始時刻と終了時刻である。ＩＤ−ＸとＩＤ−Ｙは、ペア（ユーザＸ、Ｙ）のユニークなＩＤであって例えば顔画像ＩＤである。代表画像Ｘと代表画像Ｙは、例えば相性診断を行う際に撮像されたユーザＸおよびユーザＹの顔画像である。代表画像は、例えば撮像された顔画像の中で最も笑顔度が高い画像にしてもよい。

また、相性度記憶部１６を含む記憶部は、制御部１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現され得る。

以上、情報処理装置１の構成について具体的に説明した。なお図２に示す構成は一例であって、本実施形態はこれに限定されない。例えば情報処理装置１は、音声信号を再生するスピーカを有していてもよく、この場合、相性判断結果を音声により出力することも可能である。また、上述した例では複数人物の音声データが情報処理装置１に設けられたマイクロホン１３により収音されているが、各人物の音声データは、各人物に装着されたウェアラブル端末２により各々収音され、情報処理装置１に送信されてもよい。

＜２−２．ウェアラブル端末２の構成＞
図２に示すように、ウェアラブル端末２は、制御部２０、通信部２１、およびセンサ２２を有する。

通信部２１は、外部装置と有線／無線を介してデータの送受信を行う。例えば通信部２１は、情報処理装置１と接続し、センサ２２で検知した生体情報の時系列データを送信する。また、通信部２１は、センサ２２で検知した生体情報の時系列データをデータ解析部２０１で解析したデータ解析結果（パラメータ）を送信してもよい。情報処理装置１との通信は、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、または近距離無線通信等により行われる。

制御部２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってウェアラブル端末２内の動作全般を制御する。制御部２０は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。また、本実施形態による制御部２０は、データ解析部２０１としても機能する。

データ解析部２０１は、センサ２２で検知した生体情報の時系列データを解析し、パラメータを算出する。例えばデータ解析部１０１は、加速度センサデータから身体の動きを検出し、動きのパラメータ（例えば頷き動作、身体を揺らす動作、手を動かす（ジェスチャー）動作、首を傾げる動作等）の時系列データを算出する。データ解析部２０１による解析結果（パラメータの時系列データ）は、通信部２１から情報処理装置１へ送信される。

センサ２２は、ウェアラブル端末２を装着する人物の各種生体情報を検知する機能を有する。例えばセンサ２２は、加速度センサ、振動センサ、脈拍センサ、発汗量センサ、温度センサ、マイクロホン、カメラ等を含む。

以上、本実施形態によるウェアラブル端末２の構成について具体的に説明した。なお図２に示す構成例は一例であって、本実施形態はこれに限定されない。例えばウェアラブル端末２は、データ解析部２０１を有さず、センサ２２により検知した生体情報の時系列データを通信部２１から情報処理装置１へ送信してもよい。この場合、情報処理装置１のデータ解析部１０１により同様のデータ解析が行われる。

＜＜３．動作処理＞＞
続いて、本実施形態による動作処理について図３を参照して具体的に説明する。図３は、本実施形態による相性判断処理を示すフローチャートである。

図３に示すように、まず、情報処理装置１は、センサデータを取得する（ステップＳ１０３）。ここでは、情報処理装置１に設けられたセンサからのセンサデータを取得する。

次に、情報処理装置１のデータ解析部１０１は、取得したセンサデータの解析を行い、時系列データのパラメータを算出する（ステップＳ１０６）。センサデータの具体的な解析処理の一例を図４のフローチャートに示す。

図４は、本実施形態によるセンサデータの具体的な解析処理の一例を示すフローチャートである。情報処理装置１は、例えばセンサがカメラ１２の場合、撮影した時系列の撮像画像データを取得する（ステップＳ１４３）。

次いで、情報処理装置１は、データ解析部１０１により撮像画像データから顔画像を検出し（ステップＳ１４６）、笑顔度、驚き度、怒り度、または恐怖度等の感情の表情パラメータを算出する（ステップＳ１４９）。

そして、情報処理装置１は、取得した時系列の撮像画像データから全ての顔の検出が終了するまで上記ステップＳ１４６〜Ｓ１４９を繰り返す（ステップＳ１５２）。

続いて、図３に戻り、情報処理装置１が周辺の１以上のウェアラブル端末２と初回接続する場合（ステップＳ１０９／Ｙｅｓ）、制御部１０は、ウェアラブル端末２のＩＤと人物のＩＤとの紐付け処理を行う（ステップＳ１１２）。より具体的には、制御部１０は、撮像画像から検出した顔画像のＩＤと、周辺に存在するウェアラブル端末２のＩＤとの紐付けを行う。ＩＤの紐付方法の一例について図５を参照して説明する。

図５は、本実施形態によるＩＤ間の紐付方法について説明する図である。図５に示すように、例えば情報処理装置１の表示部１４に表示された撮像画像１４２に写る顔をタップすると共に、その顔の人がウェアラブル端末２を装着した腕を振ると、情報処理装置１の制御部１０は、周辺のウェアラブル端末２から受信したセンサデータの中で最も大きい加速度が検知されたウェアラブル端末２のＩＤを、タップされた顔画像のＩＤと紐付ける。これにより、情報処理装置１は、ＩＤ間の紐付を行い得る。情報処理装置１は、顔がタップされたことをユーザにフィードバックするため、図５に示すようにタップされた顔画像を囲む表示１４３を重畳表示させてもよい。ウェアラブル端末２のＩＤは、ウェアラブル端末２から受信される。また、顔画像のＩＤは、データ解析部１０１により撮像画像から顔検出した際に自動的に付与される。また、ＩＤ間の紐付は、図３に示す相性判断処理の最初に行ってもよい。例えば情報処理装置１は、撮像画像に写る複数人物全ての紐付けが終了した後に相性判断のスタート画面を表示し、スタートボタンがタップされた際に相性判断処理を開始する。

以上、顔画像とウェアラブル端末２との紐付けについて説明したが、本実施形態による情報処理装置１は、マイクロホン１３で収音した音声データから検出した話者のＩＤとウェアラブル端末２のＩＤとの紐付けを行うことも可能である。例えば、紐付けコマンド（「登録」等）を発話すると共に、そのコマンドを発話した人がウェアラブル端末２を装着した腕を振ると、情報処理装置１の制御部１０は、周辺のウェアラブル端末２から受信したセンサデータの中で最も大きい加速度が検知されたウェアラブル端末２のＩＤを、発話を収音した音声データに基づいて認識した話者のＩＤと紐付ける。

次に、情報処理装置１が外部のウェアラブル端末２と接続している場合、情報処理装置１は、ウェアラブル端末２のセンサ２２で検知され、データ解析部２０１で解析された時系列のパラメータを外部データとして受信する（ステップＳ１１５）。例えばウェアラブル端末２のセンサとしてマイクロホンが用いられている場合、マイクロホンの音声データを解析した音量の時系列データをパラメータとして受信し、加速度センサが用いられている場合、加速度センサの加速度の大きさの時系列データをパラメータとして受信する。

次いで、情報処理装置１の相性判断部１０２は、相性度の算出を行う（ステップＳ１１８）。相性判断部１０２は、時系列のパラメータの相互相関を求め、同一または類似の感情変化が生じている人物を相性の良い人物として特定する。ここで、データ解析により得られた時系列のパラメータの一例を図６に示す。

図６は、複数人物から取得した生体情報のデータ解析により得られた時系列のパラメータの一例を示す図である。なお、時系列のパラメータは、データ解析時にＬＰＦ（ローパスフィルタ）によってあらかじめノイズが除去されている。図示された例では、複数人物毎に取得されたパラメータ１、パラメータ２の時系列データが示されている。ここでは２種のパラメータを用いているが、本実施形態は特に限定せず、単数または複数の時系列パラメータに基づいて相互相関を求める。また、図６に示す２つのパラメータは、２つのセンサから各々取得したデータに基づく時系列データであってもよいし、１つのセンサから取得したデータに基づく時系列データであってもよい。すなわち、例えばパラメータ１が顔画像に基づくユーザＡ〜Ｆの笑顔度の時系列データであって、パラメータ２が加速度データに基づくユーザＡ〜Ｆの加速度の大きさの時系列データであってもよい。若しくは、例えばパラメータ１が顔画像に基づくユーザＡ〜Ｆの笑顔度の時系列データであって、パラメータ２が顔画像に基づくユーザＡ〜Ｆの驚き度の時系列データであってもよい。

相性判断部１０２は、図６に示すような複数人物の各人のパラメータに応じて、各人の相性（具体的には、例えばパラメータの相互相関）を算出する。

例えば、センサの時系列のパラメータｋでのユーザＸとユーザＹの相互相関Ｃは、下記式１により求められる。

また、位相ずれを許容して相互相関を求める場合、下記式２により求められ、位相を変化させた最大値が相互相関Ｃの値となる。

相性判断部１０２は、パラメータ１〜Ｎのそれぞれについて、複数人物全ての組み合わせの相互相関を算出する。例えば相性判断部１０２は、複数人物がユーザＡ〜ユーザＦの６人であれば、１５通りの組み合せの相互相関を算出する。そして、相性判断部１０２は、ユーザＸとユーザＹの相性度ＣＯＭ_ＸＹを、各パラメータの相互相関に対する重みづけの係数ｗ_ｋをかけて下記式３により求める。

これにより、例えば図６に示すパラメータ例では、ユーザＢとユーザＥの時系列パラメータ１の相互相関、パラメータ２の相互相関が高く算出され、両者の相性度が高く算出され得る。例えばパラメータ１が笑顔度の時系列データであって、パラメータ２が加速度の大きさの時系列データである場合、皆で会話をしている際にユーザＢとユーザＥが同じタイミングで同程度の笑顔度になったり身体を動かしたりしていることが分かり、両者には類似の感情変化が生じていると言える。したがって、相性判断部１０２は、両者の相性度が相対的に高い場合、ユーザＢとユーザＥの相性が良いと判断する。

なお、本実施形態による相性判断部１０２は、人物間の相性度を、上述した相互相関でなく共起率を用いて算出することも可能である。以下、図７を参照して説明する。

図７は、本実施形態による相性度の算出を共起率を用いて行う場合について説明する図である。相性判断部１０２は、１以上のセンサデータから解析して得られた各パラメータの時系列データを、図７に示すように所定の閾値に基づいて閾値を上回る値を１、閾値を下回る値を０とした配列で表現する。次いで、相性判断部１０２は、各人の配列の間の内積を算出し、これにより簡易的に相互相関を求めたこととなる（なおこの際、位相ずれは考慮していない）。例えば笑顔度のパラメータの時系列データを用いた場合、ここでの共起率は、所定時間内で二人が同時に笑顔（閾値以上の笑顔度）になった回数がカウントされ求められる。

続いて、図３に戻り、情報処理装置１の制御部１０は、相性判断部１０２で算出したペアの相性度に関する情報を、相性度記憶部１６に蓄積する（ステップＳ１２１）。

次に、制御部１０は、表示部１４に相性度判断結果画面を表示する（ステップＳ１２４）。ここで、相性度判断結果画面の具体例について図８および図９を参照して説明する。

図８は、本実施形態による相性度判断結果画面の一例を示す図である。図示された例では、表示部１４に、複数人物を撮像した撮像画像１４４上に相性度に応じて相対的に相性度の高いペアを結ぶ線１４５ａ、１４５ｂ、１４５ｃを重畳表示した相性度判断結果画面が表示されている。制御部１０は、ペアを結ぶ線の太さを、相性度の高さに応じて異なるよう制御してもよい。この場合、ユーザＢとユーザＥを結ぶ線１４５ａが最も太いことから二人の相性が最も良く、次にユーザＡとユーザＦを結ぶ線１４５ｂが太いため両者が２番目に相性の良いペアであることが分かる。また、続いてユーザＢとユーザＣが３番目の太さの線１４５ｃで結ばれているため、３番目に相性が良いペアであることが分かる。また、ここでは男女ペアに限定されず相性度判断結果が表示されているが、男女ペアに限定した上で相性の良いペアを明示するよう制御することも可能である。なお相性度判断結果の表示方法は図８に示す例に限定されず、制御部１０は、例えば複数人物を撮像した撮像画像上で相性度の高い二人の顔を同じ色の線で囲んで表示させてもよい。また、各ペアの相性度に応じたランキング形式（図１参照）であってもよい。図１に示す例では、各ペアの代表画像（例えば各々の顔画像）も併せて表示される。

図９は、本実施形態による相性度判断結果画面の他の例を示す図である。図示された例では、表示部１４に、特定ユーザと他のユーザとの相性度判断結果をランキング形式で示す相性度判断結果画面１４６が表示されている。図９に示す相性度判断結果画面１４６は、蓄積された過去の相性度情報に基づいて、例えば自分との相性が良かった相手のランキングが表示されている。顔の表情パラメータとして性別が取れる場合、男性の場合は女性との相性ランキング、女性の場合は男性との相性ランキングを表示するようにしてもよい。日付は、格納された相性度情報に含まれるタイムスタンプに基づいて表示される。

次に、図３に戻り、情報処理装置１の制御部１０は、表示部１４に表示した相性度判断結果を外部装置へ送信するようユーザ操作入力があった場合（ステップＳ１２７／Ｙｅｓ）、制御部１０は、通信部１１を介して指定された外部装置へ相性度判断結果を送信するよう制御し（ステップＳ１３０）、相性判断処理が終了されるまで上記ステップＳ１０３〜Ｓ１３０が繰り返される（ステップＳ１３３）。ここで、相性度判断結果の外部装置への送信について、図１０〜図１３を参照して説明する。

図１０および図１１は、本実施形態による相性度送信を指示するユーザ操作の一例について説明する図である。図１０に示すように、例えば情報処理装置１の表示部１４に相性ランキング画面１４０が表示されている場合に、ランキング１位の表示領域をタップすると、図１１に示すように、共有先リスト１４８がポップアップ表示される。共有先リスト１４８では、例えば直近でメッセージのやり取りを行った相手やグループが示される。共有先リスト１４８の中から、例えばユーザが「パーティーグループ」を選択すると、図１０で選択したランキング１位の表示画面が、「パーティーグループ」のチャットに送信され、「パーティーグループ」に登録しているメンバーの情報処理装置から閲覧することが可能となる。なお情報処理装置１は、予め設定した相手を共有先に自動的に決定し、相性度判断結果を送信してもよい。例えば、予め相性判断に関するメッセージを共有するユーザまたはグループを設定しておいた場合、相性ランキングから顔画像を選択すると、自動的に紐付けられたメッセンジャーが立ち上がり、設定した相手とのメッセージ入力画面を表示し、相性判断結果を送信できるようにする。

図１２および図１３は、本実施形態による相性度判断結果の共有について説明する図である。上述したように、例えば共有先に「パーティーグループ」が選択された場合、図１２に示すように、パーティーグループのチャット画面に、図１０でユーザが選択した相性度判断結果のランキング１位の画像１５０が自動的に表示され、チャットメンバーにも閲覧可能な状態になる。例えば「パーティーグループ」が、当該相性判断を行った際に同席していたユーザＡ〜Ｃのグループである場合、ユーザＢは、自分との相性が良いと判断されたけれども詳しくは知らない相手との相性度判断結果（両者の顔画像を含む）を、当該相手を知っていそうな人達に送り、図１３に示すように、相性ランキングの画像を共有して話題にし、コミュニケーションすることができる。また、相性ランキングの高い相手が、メッセンジャー等のソーシャルコミュニケーションツールにおいて友達の友達に登録されている場合、直接メッセージが送れるようにしてもよい。このように、本実施形態では、パーティー等で初めて会った者同士の相性も、所定時間内における時系列の生体情報のパラメータに応じて自動的により正確に判断し、ユーザと相性のよい相手を通知することが可能となる。また、ユーザが相性のよい相手のことを詳しく知らない場合でも、ソーシャルネットワーキング等のコミュニケーションツールを用いて、相手の顔画像を含む相性判断結果を友達に共有できるようにすることで、友達から相手の情報を得たり、相手が友達の友達に登録されている場合は直接メッセージを送れるようにする等、ユーザと相性の良い相手を見つけて紹介するまでのサービスを提供することができる。

以上、相性判断結果の具体的な表示例について説明した。なお制御部１０は、相性度記憶部１６に格納されている過去の相性度履歴に基づいて、相性判断結果をグラフ表示させることも可能である。以下、図１４および図１５を参照して説明する。

図１４は、本実施形態によるグラフ表示を行う場合について説明する図である。図１４左側に示すように、表示部１４に、相性度判断結果画面１４６が表示されている場合に、例えば相性度Ｎｏ.１の相手が表示されている表示領域１５２をタップして選択すると、図１４右側に示すように、メニュー画面１５４がポップアップ表示される。メニュー画面１５４のうち「相性グラフ」が選択されると、制御部１０は、相性度記憶部１６から、ユーザと指定された相手との過去の相性度情報を検索し（例えばユーザＩＤを用いて検索）、相性グラフの生成を行い、表示部１４から表示するよう制御する。ここで、相性度のグラフ表示の一例を図１５に示す。

図１５に示すように、相性グラフ画像１５６は、過去履歴に基づくユーザと指定された相手との相性度の変化を示す。相性度記憶部１６に蓄積された相性度情報にはタイムスタンプが含まれているため、これに基づいてグラフが生成され得る。これにより、例えば出会いから一定期間経過した際に、相手との相性度の変化を直感的に把握することができる。

＜＜４．応用例＞＞
＜４−１．単体構成例＞
上述した実施形態では、図２に示したように、情報処理装置１とウェアラブル端末２を含む情報処理システム構成について説明したが、本開示はこれに限定されず、情報処理装置１単体により情報処理システムを構成してもよい。すなわち、ウェアラブル端末２との接続を行わず、情報処理装置１のカメラ１２またはマイクロホン１３等の各種センサのみで、場を共有する複数人物の時系列データを取得し、相性度の算出を行い得る。以下、本応用例における情報処理装置１の動作処理について図１６を参照して説明する。

図１６は、本実施形態の応用例による相性判断処理を示すフローチャートである。図１６に示すＳ２０３〜Ｓ２２４の処理は、図３を参照して説明したステップＳ１０３、Ｓ１０６、Ｓ１１８〜Ｓ１３３と同様である。

すなわち、本応用例では、情報処理装置１は、カメラ１２やマイクロホン１３からセンサデータを取得し（ステップＳ２０３）、時系列データのパラメータを算出し（ステップＳ２０６）、相性度の算出を行う（ステップＳ２０９）。次いで、情報処理装置１は、算出した相性度を蓄積し（ステップＳ２１２）、また、相性判断結果を表示し（ステップＳ２１５）、ユーザ指示があれば相性度を外部へ送信する（ステップＳ２２１）。そして、情報処理装置１は、相性判断処理が終了されるまで上記ステップＳ２０３〜Ｓ２２１を繰り返す（ステップＳ２２４）。各処理の詳細な内容については、図３を参照して説明した処理と同様であるため、ここでの説明は省略する。

以上説明したように、本実施形態による情報処理システムは、情報処理装置１単体により実現され得る。

また、本実施形態による情報処理システムは、情報処理装置１、若しくは情報処理装置１およびウェアラブル端末２と、サーバとを含む構成であってもよい。この場合、例えば上述したデータ解析部１０１、相性判断部１０２、および相性度記憶部１６に対応する構成がサーバ側に設けられる。サーバは、情報処理装置１とネットワークを介して接続し、情報処理装置１から、場を共有している複数人物の生体情報を示す時系列データを取得し、各人物間の相性判断を行い、結果を返送する。

＜４−２．カメラ付きデジタルサイネージ＞
上述した実施形態では、情報処理装置１の一例として個人用のスマートフォンを用いたが、本開示はこれに限定されず、例えばカメラ付きデジタルサイネージにより実現することも可能である。以下、図１７を参照して説明する。

図１７は、本実施形態の他の応用例によるカメラ付きデジタルサイネージについて説明する図である。図１７に示すように、デジタルサイネージ１ｓは、カメラ１２ｓおよび表示部１４ｓを有する。デジタルサイネージ１ｓは、表示部１４ｓでコンテンツを再生すると共に、コンテンツを視聴する人々をカメラ１２ｓで継続的に撮像し、コンテンツを視聴している周辺の人々の各人物間における相性判断を行うことができる。

具体的には、デジタルサイネージ１ｓは、カメラ１２ｓで撮像した時系列の撮像画像データを解析して、撮像画像に写る顔画像毎に時系列の表情パラメータを抽出し、撮像画像に写る複数人物における各人物間の相性判断を行う。相性判断処理は上述した実施形態と同様であって、例えば時系列データのパラメータの相互相関により判断され得る。相性判断の結果は、例えばカメラ１２ｓで撮像した周辺の人々の撮像画像において相性の良いペアの顔をそれぞれ同じ色の線で囲む等して明示することが可能である。図１７に示す例では、表示部１４ｓにコンテンツ画面１６０と撮像画像１６２が表示され、撮像画像１６２上で相性の良いペアの顔がそれぞれ同じ色の線で囲まれている（なお図面上は相性の良いペアの顔をそれぞれ同じ線種で示す）。

これにより、デジタルサイネージ１ｓで再生されるコンテンツを見ている人々は、笑うタイミングまたは感動するタイミング等が同じ相性の良い（すなわち共感性の高い）ペアを直感的に把握することができる。なお、デジタルサイネージ１ｓによる相性判断は、ペアの相性判断に限定されず、３人以上のグループの相性判断であってもよい。

＜＜４．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、時系列データを用いることで、より正確に人物間の相性を特定することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した情報処理装置１、またはウェアラブル端末２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１、またはウェアラブル端末２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本実施形態による相性判断は、ペアの相性判断に限定せず、３人以上のグループの相性判断を行うことも可能である。

また、本実施形態では、好きな人やライバル等の他ユーザとの相性が良い人を見たい場合、ユーザの課金に応じて提示できるようにしてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
所定時間内において場を共有する複数人物の生体情報を表す時系列データを取得する取得部と、
前記取得部により取得された時系列データに応じて、同一または類似の感情変化が生じている人物を相性の良い人物として特定する制御部と、
を備える、情報処理システム。
（２）
前記制御部は、前記複数人物の生体情報を表す時系列データの相互相関に応じて同一または類似の感情変化が生じている人物を特定する、前記（１）に記載の情報処理システム。
（３）
前記時系列データは、各人物の顔画像から抽出された表情パラメータの時系列データである、前記（２）に記載の情報処理システム。
（４）
前記制御部は、前記各人物の顔画像の表情パラメータに基づく、特定の表情の共起率に応じて、類似の感情変化を有する人物を特定する、前記（３）に記載の情報処理システム。
（５）
前記時系列データは、各人物の音声から抽出された音量パラメータの時系列データである、前記（２）に記載の情報処理システム。
（６）
前記時系列データは、各人物の動きを表す振動パラメータの時系列データである、前記（２）に記載の情報処理システム。
（７）
前記時系列データは、各人物に装着されたウェアラブル端末により検出される、前記（１）〜（６）のいずれか１項に記載の情報処理システム。
（８）
前記制御部は、前記ウェアラブル端末のＩＤと、各人物の顔画像のＩＤとの紐付処理を行う、前記（７）に記載の情報処理システム。
（９）
前記制御部は、前記複数人物の生体情報を表す時系列データに応じて、各人物同士の相性度を算出する、前記（１）〜（８）のいずれか１項に記載の情報処理システム。
（１０）
前記制御部は、前記複数人物の生体情報を表す時系列データの相互相関の値にパラメータに応じた所定の重みを付けた上で、人物同士の相性度を算出し、相性度が高い程類似の感情変化が生じている人物同士として特定する、前記（９）に記載の情報処理システム。
（１１）
前記制御部は、前記相性度が相対的に良い人物同士が含まれる撮像画像に、当該人物同士を紐付ける線画像を重畳させる、前記（９）または（１０）に記載の情報処理システム。
（１２）
前記制御部は、前記相性度に応じた各人物同士の相性の良さを示すランキング表示画像を、各人物の顔画像を用いて生成する、前記（９）または（１０）に記載の情報処理システム。
（１３）
前記制御部は、前記ランキング表示画像から選択された顔画像を、特定ユーザにメッセージとして送信可能である、前記（１２）に記載の情報処理システム。
（１４）
前記制御部は、特定の人物同士の相性度の時系列変化を表すグラフを生成する、前記（９）〜（１３）のいずれか１項に記載の情報処理システム。
（１５）
プロセッサが、
所定時間内において場を共有する複数人物の生体情報を表す時系列データを取得することと、
前記取得された時系列データに応じて、同一または類似の感情変化が生じている人物を相性の良い人物として特定することと、
を含む、情報処理方法。
（１６）
コンピュータを、
所定時間内において場を共有する複数人物の生体情報を表す時系列データを取得する取得部と、
前記取得部により取得された時系列データに応じて、同一または類似の感情変化が生じている人物を相性の良い人物として特定する制御部と、
として機能させるためのプログラムが記憶された記憶媒体。

１ 情報処理装置
１０ 制御部
１０１ データ解析部
１０２ 相性判断部
１１ 通信部
１２、１２ｓ カメラ
１３ マイクロホン
１４、１４ｓ 表示部
１５ 操作入力部
１６ 相性度記憶部
２ ウェアラブル端末
２０ 制御部
２１ 通信部
２２ センサ

Claims (16)

1. 所定時間内において場を共有する複数人物の生体情報を表す時系列データを取得する取得部と、
   前記取得部により取得された時系列データに応じて、同一または類似の感情変化が生じている人物を相性の良い人物として特定する制御部と、
   を備える、情報処理システム。
2. 前記制御部は、前記複数人物の生体情報を表す時系列データの相互相関に応じて同一または類似の感情変化が生じている人物を特定する、請求項１に記載の情報処理システム。
3. 前記時系列データは、各人物の顔画像から抽出された表情パラメータの時系列データである、請求項２に記載の情報処理システム。
4. 前記制御部は、前記各人物の顔画像の表情パラメータに基づく、特定の表情の共起率に応じて、類似の感情変化を有する人物を特定する、請求項３に記載の情報処理システム。
5. 前記時系列データは、各人物の音声から抽出された音量パラメータの時系列データである、請求項２に記載の情報処理システム。
6. 前記時系列データは、各人物の動きを表す振動パラメータの時系列データである、請求項２に記載の情報処理システム。
7. 前記時系列データは、各人物に装着されたウェアラブル端末により検出される、請求項１に記載の情報処理システム。
8. 前記制御部は、前記ウェアラブル端末のＩＤと、各人物の顔画像のＩＤとの紐付処理を行う、請求項７に記載の情報処理システム。
9. 前記制御部は、前記複数人物の生体情報を表す時系列データに応じて、各人物同士の相性度を算出する、請求項１に記載の情報処理システム。
10. 前記制御部は、前記複数人物の生体情報を表す時系列データの相互相関の値にパラメータに応じた所定の重みを付けた上で、人物同士の相性度を算出し、相性度が高い程類似の感情変化が生じている人物同士として特定する、請求項９に記載の情報処理システム。
11. 前記制御部は、前記相性度が相対的に良い人物同士が含まれる撮像画像に、当該人物同士を紐付ける線画像を重畳させる、請求項９に記載の情報処理システム。
12. 前記制御部は、前記相性度に応じた各人物同士の相性の良さを示すランキング表示画像を、各人物の顔画像を用いて生成する、請求項９に記載の情報処理システム。
13. 前記制御部は、前記ランキング表示画像から選択された顔画像を、特定ユーザにメッセージとして送信可能である、請求項１２に記載の情報処理システム。
14. 前記制御部は、特定の人物同士の相性度の時系列変化を表すグラフを生成する、請求項９に記載の情報処理システム。
15. プロセッサが、
    所定時間内において場を共有する複数人物の生体情報を表す時系列データを取得することと、
    前記取得された時系列データに応じて、同一または類似の感情変化が生じている人物を相性の良い人物として特定することと、
    を含む、情報処理方法。
16. コンピュータを、
    所定時間内において場を共有する複数人物の生体情報を表す時系列データを取得する取得部と、
    前記取得部により取得された時系列データに応じて、同一または類似の感情変化が生じている人物を相性の良い人物として特定する制御部と、
    として機能させるためのプログラムが記憶された、記憶媒体。

Images