JP7327354B2

JP7327354B2 - 情報処理システム、情報処理方法、及び、プログラム

Info

Publication number: JP7327354B2
Application number: JP2020184384A
Authority: JP
Inventors: 光留菅田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-11-04
Filing date: 2020-11-04
Publication date: 2023-08-16
Anticipated expiration: 2040-11-04
Also published as: US11943574B2; US20220141556A1; JP2022074389A

Description

本発明は、情報処理システム、情報処理方法、及び、プログラムに関する。

特許文献１は、コミュニケーションの各参加者の身体に装着した名札型の端末と、複数の端末と通信する端末管理装置と、データ処理装置と、を備えたセンサネットシステムを開示している。各端末は、当該端末を装着した参加者の言動を常時検出すると共に検出時刻を端末の内部時計から取得し、検出結果と検出時刻を含む端末データを端末管理装置に所定の時間間隔で送信するようにしている。検出時間は、１つの端末データに含まれる複数の検出結果のうち最初の検出結果に対応する検出時刻としている。データ処理装置は、複数の端末から送信された端末データに基づいて、各端末を装着した参加者間の関係を示す値を算出する。そして、各端末は、端末管理装置との通信により、端末の内部時計が端末管理装置の内部時計と一致するように、端末の内部時計の時刻を補正している。

特許第５１６０８１８号公報

上記のセンサネットシステムにおいては、複数の参加者の言動の発生タイミングが互いに一致しているか否かが重要な指標となり得るので、複数の端末間で端末の内部時計（以下、端末時計）の時刻（以下、端末時刻）が互いに完全に同期されていることが求められている。

しかしながら、複数の端末間で端末時刻を互いに完全に同期することは現実的ではない。なぜなら、端末時刻を端末管理装置から受信した時刻データに基づいて定期的に補正しており、偶発的に発生する通信遅延に起因して、各端末時刻を端末管理装置の内部時計（以下、装置時計）の時刻（以下、装置時刻）に完全に同期させることができないからである。従って、通信遅延の遅延量が相対的に大きかったときは当該端末時刻は装置時刻から大きく遅れ、通信遅延の遅延量が相対的に小さかったとき当該端末時刻は装置時刻から僅かに遅れ、結果として、複数の端末間で端末時刻が一致することはない。

本願発明の目的は、複数のセンサ端末から受信した端末データを同一の時間軸上で分析するための技術を提供することにある。

本願発明の第１の観点によれば、同一のコミュニケーションに参加する複数の参加者のそれぞれに装着される複数のセンサ端末と、前記複数のセンサ端末と通信可能な情報処理装置と、を含む、情報処理システムであって、各センサ端末は、当該センサ端末を装着した参加者に関するセンシングデータを出力するセンサと、端末時計部と、外部から取得した時刻データに基づいて前記端末時計部の端末時刻を補正する端末時刻補正部と、発振回路と、前記発振回路の出力信号に基づいてカウントした所定の生成時間間隔で、前記センサから出力された前記センシングデータと、前記端末時計部から出力された端末時刻データと、を取得し、前記センシングデータと前記端末時刻データを含む端末データを生成する端末データ生成部と、前記端末データを前記情報処理装置に送信するデータ送信部と、を含み、前記情報処理装置は、各センサ端末から受信した複数の端末データを記憶する端末データ記憶部と、各センサ端末毎に、前記複数の端末データの前記端末時刻データを補正する端末データ補正部と、を含み、前記端末データ補正部は、前記複数の端末データの前記端末時刻データの間隔が時間軸上で等間隔になるように、前記複数の端末データの前記端末時刻データを補正する、情報処理システムが提供される。以上の構成によれば、前記端末時刻補正部による補正時の通信遅延に起因する、前記複数のセンサ端末間での端末時刻のズレが解消されるので、前記複数のセンサ端末から受信した前記端末データを同一の時間軸上で分析できるようになる。
好ましくは、前記端末データ補正部は、前記複数の端末データに、検出順に所定増減値ずつ増減する検出順データを加え、前記端末時刻データと、対応する前記検出順データと、の間の線形回帰式を求め、前記端末時刻データを、対応する前記検出順データを前記線形回帰式に代入して得られる値に変更する。
好ましくは、前記端末データ補正部は、検出順に隣り合う２つの端末データの前記端末時刻データの差分が第１の値以上である場合、前記複数の端末データを、当該２つの端末データの間を境に２つのグループに分け、各グループ毎に、前記複数の端末データの前記端末時刻データを補正する。即ち、前記センサ端末が前記端末データの送信を一時的に停止していた場合、当該停止の前後の２つの端末データの前記端末時刻データの差分が大きくなり、上記の線形回帰式にとってノイズとなる。そこで、以上の構成によれば、当該停止の前後で前記複数の端末データをグループ分けしてグループ毎に補正を実行するので、上記のノイズによる影響を排除することができる。
好ましくは、前記端末データ補正部は、検出順に隣り合う２つの端末データの前記端末時刻データの差分が前記生成時間間隔よりも長く第２の値以下である場合、検出順で後となる端末データに加える前記検出順データは、検出順で先となる端末データに加えた前記検出順データに、当該差分を前記生成時間間隔で割った値に前記所定増減値をかけ合わせた値を加算したものとする。即ち、前記複数の端末データの何れかが欠損していた場合、当該欠損した端末データの前後の２つの端末データの前記端末時刻データの差分は、当該欠損よりも先の２つの端末データの前記端末時刻データの差分よりも大きくなる。例えば、端末データが１つ欠損していた場合は、当該欠損した端末データの前後の２つの端末データの前記端末時刻データの差分は、前記生成時間間隔の２倍となる。そこで、以上の構成によれば、上記の欠損の存在に起因して線形回帰式の回帰係数が変化してしまうことがない。
本願発明の第２の観点によれば、同一のコミュニケーションに参加する複数の参加者のそれぞれに装着される複数のセンサ端末と、前記複数のセンサ端末と通信可能な情報処理装置と、を含む、情報処理システムの情報処理方法であって、各センサ端末は、当該センサ端末を装着した参加者に関するセンシングデータを出力するセンサと、端末時計部と、発振回路と、を備え、外部から取得した時刻データに基づいて前記端末時計部の端末時刻を補正し、前記発振回路の出力信号に基づいてカウントした所定の生成時間間隔で、前記センサから出力された前記センシングデータと、前記端末時計部から出力された端末時刻データと、を取得し、前記センシングデータと前記端末時刻データを含む端末データを生成し、前記端末データを前記情報処理装置に送信し、前記情報処理装置は、各センサ端末から受信した複数の端末データを記憶し、各センサ端末毎に、前記複数の端末データの前記端末時刻データを補正し、前記複数の端末データの前記端末時刻データを補正することは、前記複数の端末データの前記端末時刻データの間隔が時間軸上で等間隔になるように、前記複数の端末データの前記端末時刻データを補正する、情報処理方法が提供される。以上の方法によれば、前記端末時刻補正部による補正時の通信遅延に起因する、前記複数のセンサ端末間での端末時刻のズレが解消されるので、前記複数のセンサ端末から受信した前記端末データを同一の時間軸上で分析できるようになる。
また、コンピュータに、上記の情報処理方法を実行させるためのプログラムが提供される。

本発明によれば、前記端末時刻補正部による補正時の通信遅延に起因する、前記複数のセンサ端末間での端末時刻のズレが解消されるので、前記複数のセンサ端末から受信した前記端末データを同一の時間軸上で分析できるようになる。

コミュニケーション分析システムの概略図である。ウェアラブル端末の機能ブロック図である。端末データのデータ構造を示す図である。分析装置の機能ブロック図である。端末IDが７１であるウェアラブル端末から受信した複数の端末データを示す表である。ウェアラブル端末の制御フローである。分析装置の制御フローである。複数の端末データと、検出順で隣り合う２つの端末時刻データの差分と、を示す表である。分析装置による端末時刻データの補正を説明するための表である。検出順データと端末時刻データとの回帰直線を示すグラフである。端末時刻データの補正を説明するためのグラフである。

以下、発明の実施形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

図１には、コミュニケーション分析システム１の概略図を示している。コミュニケーション分析システム１は、情報処理システムの一具体例である。コミュニケーション分析システム１は、複数の参加者２から構成されるコミュニケーションに関するビッグデータを収集して分析し、新たな価値を創出するシステムである。例えば、コミュニケーション分析システム１は、複数の参加者２から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める。コミュニケーション分析システム１は、複数のウェアラブル端末３と分析装置４を含む。

図１には、同一のコミュニケーションを構成する参加者２の人数を４人としているが、これに限定されず、２人でもよいし、４人以上でもよく、例えば１０人や１００人でもよい。コミュニケーションは、典型的には、各人の発言によって成立する会話形式のコミュニケーションである。この種のコミュニケーションは、例えば、討論会、座談会、研修会である。ただし、コミュニケーションは、参加者全員が同じ現実の空間に集合して行われるものに限らず、オンライン上の仮想の空間に集合して行われるものも含み得る。

（ウェアラブル端末３）
各ウェアラブル端末３は、センサ端末の一具体例である。図１に示すように、複数のウェアラブル端末３は、それぞれ、複数の参加者２に装着されて用いられる。即ち、一人の参加者２が１つのウェアラブル端末３を装着する。本実施形態において、ウェアラブル端末３は、参加者２の上半身に着るトップスに着脱可能なバッジであって、好ましくは鳩尾（みぞおち）よりも上に取り付けられる。ただし、ウェアラブル端末３は、バッジであることに代えて、ヘッドセットやイヤホン、メガネ、ネックレス、ペンダント等であってもよい。

図２には、各ウェアラブル端末３の機能ブロック図を示している。図２に示すように、ウェアラブル端末３は、中央演算処理器としてのCPU３ａ（Central Processing Unit）と、読み書き自由のRAM３ｂ（Random Access Memory）、読み出し専用のROM３ｃ（Read Only Memory）を備えている。ウェアラブル端末３は、更に、端末ＩＤ情報記憶部１０と、発振回路１１と、センサ１２と、を含む。そして、CPU３ａがROM３ｃに記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU３ａなどのハードウェアを、端末時計部１５、端末時刻補正部１６、生成間隔カウンタ１７、端末データNo.カウンタ１８、端末データ生成部１９、データ送受信部２０、として機能させる。各ウェアラブル端末３は、データ送受信部２０を介して分析装置４と双方向無線通信可能とされている。

端末ＩＤ情報記憶部１０は、対応するウェアラブル端末３を他のウェアラブル端末３から識別するための端末ＩＤ情報を記憶する。端末ＩＤ情報は、典型的には、ウェアラブル端末３に固有のＭＡＣアドレスが挙げられる。しかし、端末ＩＤ情報は、ウェアラブル端末３の起動時に分析装置４によって設定される数字、文字、またはそれらの組み合わせであってもよい。本実施形態において端末ＩＤ情報は、ウェアラブル端末３の起動時に分析装置４によって設定される自然数としている。

発振回路１１は、一定の周波数を有する信号を出力する。発振回路１１は、典型的には、所定の電圧を供給することで一定の周波数を有する信号を出力する発振器である。

センサ１２は、対応するウェアラブル端末３を装着した参加者２に関するセンシングデータを出力する。本実施形態において、センサ１２は、マイクロフォン１２ａと加速度センサ１２ｂを含む。

マイクロフォン１２ａは、集音部の一具体例であって、対応するウェアラブル端末３の周囲の音を電圧値に変換し、電圧値を音圧データとしてRAM３ｂに蓄積する。本実施形態において、マイクロフォン１２ａは、例えば５０ｍｓ毎に、対応するウェアラブル端末３の周囲の音を電圧値に変換し、電圧値を音圧データとしてRAM３ｂに蓄積する。

加速度センサ１２ｂは、対応するウェアラブル端末３の３軸加速度を電圧値に変換し、電圧値を加速度データとしてRAM３ｂに蓄積する。対応するウェアラブル端末３を装着した参加者２が首を『縦』に振った場合、参加者２の上体がロール軸（左肩と右肩を結ぶ軸に対して平行な軸）まわりで屈曲と伸展を繰り返す。従って、この場合、加速度センサ１２ｂの出力値のうち鉛直成分値が所定範囲内で増減を繰り返すように変動する。一方、対応するウェアラブル端末３を装着した参加者２が首を『横』に振った場合、参加者２の上体がヨー軸（背骨が延びる方向に対して平行な軸）まわりで捻転を繰り返す。従って、この場合、加速度センサ１２ｂの出力値のうち水平成分値に対応する出力値が所定範囲内で増減を繰り返すように変動する。このように加速度データを参照することで、対応するウェアラブル端末３を装着した参加者２の動作を検出することができる。本実施形態において、加速度センサ１２ｂは、例えば１００ｍｓ毎に、対応するウェアラブル端末３の３軸加速度を電圧値に変換し、電圧値を加速度データとしてRAM３ｂに蓄積する。

センサ１２は、マイクロフォン１２ａ及び加速度センサ１２ｂを含むことに代えて、マイクロフォン１２ａ及び加速度センサ１２ｂのうち何れか一方のみによって構成されてもよく、例えば、体表面温度測定センサなどの他のセンサによって構成されてもよい。

端末時計部１５は、端末時刻データを有し、発振回路１１から出力された信号に基づいて端末時刻データを更新する。従って、端末時計部１５は、対応するウェアラブル端末３の内部時計部と称することもできる。

端末時刻補正部１６は、外部から取得した時刻データに基づいて端末時計部１５の端末時刻データを定期的に補正する。典型的には、端末時刻補正部１６は、分析装置４から受信した時刻データに基づいて端末時計部１５の端末時刻データを補正する。これに代えて、端末時刻補正部１６は、分析装置４及びインターネットを介してネットワークタイムプロトコル（ＮｅｔｗｏｒｋＴｉｍｅＰｒｏｔｏｃｏｌ、ＮＴＰ）にアクセスして取得した最新の時刻データに基づいて端末時計部１５の端末時刻データを補正してもよい。

ここで、端末時刻補正部１６による端末時刻データの補正の精度について説明する。本実施形態では、各ウェアラブル端末３と分析装置４が無線通信を介して双方向通信可能に構成されている。周知の通り、無線通信には通信遅延が偶発的に発生する。従って、分析装置４から時刻データが各ウェアラブル端末３に向けて出力されてから、実際に各ウェアラブル端末３が時刻データを受信するまでに要する通信時間は、一定とはならず、所謂正規分布となる。従って、各ウェアラブル端末３の端末時計部１５の時刻データが互いに一致することはない。

生成間隔カウンタ１７及び端末データNo.カウンタ１８は、端末データ生成部１９が端末データを生成するのに必要とされるカウンタである。

ここで、図３を参照して、端末データ１９ａの構成を説明する。図３に示すように、端末データ１９ａは、「端末ID」領域と「データNo.」領域、「端末時刻データ」領域、「音圧データ」領域、「加速度データ」領域を含む。「端末ID」領域は、端末ＩＤ情報記憶部１０が保有する端末ＩＤ情報を格納する。「データNo.」領域は、端末データ生成部１９が生成する多数の端末データに割り振られた番号であって、各端末データを他の端末から識別するための番号を格納する。ただし、「データNo.」領域は、省略してもよい。「端末時刻データ」領域は、端末時計部１５が保有する端末時刻データを格納する。「音圧データ」領域は、マイクロフォン１２ａから出力された音圧データを格納する。「加速度データ」領域は、加速度センサ１２ｂから出力された加速度データを格納する。

端末データ生成部１９は、端末データ１９ａを定期的に生成する。即ち、端末データ生成部１９は、端末データ１９ａを所定の生成時間間隔（以下、データ生成時間間隔と称する。）で生成する。本実施形態において、データ生成時間間隔は５秒としている。従って、１つの端末データ１９ａの「音圧データ」領域には、５秒分の音圧データ、即ち、１００個の音圧データが格納される。同様に、１つの端末データ１９ａの「加速度データ」領域には、５秒分の加速度データ、即ち、５０個の加速度データが格納される。

上記の「端末時刻データ」領域に格納される端末時刻データは、典型的には、対応する端末データ１９ａに含まれる１００個の音圧データのうち最も先の（最も古い）音圧データを検出した時点に対応する端末時刻データである。

生成間隔カウンタ１７は、発振回路１１から出力された信号に基づいて、データ生成時間間隔として定義された時間をカウントする。なお、生成間隔カウンタ１７は、端末時計部１５の端末時刻データに基づいて、データ生成時間間隔として定義された時間をカウントしているわけではないことに留意されたい。

端末データNo.カウンタ１８は、端末データNo.を有し、端末データ生成部１９が端末データ１９ａを生成するたびに、端末データNo.をインクリメントする。

データ送受信部２０は、端末データ生成部１９が生成した端末データ１９ａを分析装置４に送信する。本実施形態においてデータ送受信部２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、分析装置４に端末データ１９ａを送信する。しかし、これに代えて、データ送受信部２０は、有線通信により、分析装置４に端末データ１９ａを送信してもよい。また、データ送受信部２０は、インターネット等のネットワークを介して、分析装置４に端末データ１９ａを送信してもよい。この場合、分析装置４は、典型的には、クラウドシステム上で構築され得る。

（分析装置４）
図４は、分析装置４の機能ブロック図を示している。図４に示すように、分析装置４は、中央演算処理器としてのCPU４ａ（Central Processing Unit）と、読み書き自由のRAM４ｂ（Random Access Memory）、読み出し専用のROM４ｃ（Read Only Memory）を備えている。そして、CPU４ａがROM４ｃに記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU４ａなどのハードウェアを、データ送受信部３０、端末データ記憶部３１、装置時計部３２、装置時刻補正部３３、装置時刻データ送信部３４、端末データ補正部３５、コミュニケーション分析部３６、として機能させる。

データ送受信部３０は、各ウェアラブル端末３から端末データ１９ａを受信し、受信した端末データ１９ａを端末データ記憶部３１に記憶して蓄積する。図５は、端末データ記憶部３１に蓄積された複数の端末データ１９ａを示している。図５に示すように、端末データ記憶部３１には、各ウェアラブル端末３から受信した端末データ１９ａが受信した順番のまま蓄積される。なお、端末データ記憶部３１には、複数のウェアラブル端末３から受信した端末データ１９ａが蓄積されるので、端末データ記憶部３１には、様々な端末IDを有する端末データ１９ａが蓄積されている。図５では、端末IDが７１であるウェアラブル端末３に対応する端末データ１９ａのみを示しており、実際には存在する他の端末データ１９ａは省略している。

装置時計部３２は、装置時刻データを有し、図示しない発振回路から出力された信号に基づいて装置時刻データを更新する。従って、装置時計部３２は、分析装置４の内部時計部と称することもできる。

装置時刻補正部３３は、外部から取得した時刻データに基づいて装置時計部３２の装置時刻データを定期的に補正する。典型的には、装置時刻補正部３３は、インターネットを介してネットワークタイムプロトコル（ＮｅｔｗｏｒｋＴｉｍｅＰｒｏｔｏｃｏｌ、ＮＴＰ）にアクセスして取得した最新の時刻データに基づいて装置時計部３２の装置時刻データを補正する。

装置時刻データ送信部３４は、各ウェアラブル端末３に定期的に、例えば１分毎に、装置時刻データを送信する。

端末データ補正部３５は、各ウェアラブル端末３毎に、複数の端末データ１９ａの端末時刻データを補正する。具体的には、端末データ補正部３５は、各ウェアラブル端末３毎に、複数の端末データ１９ａの端末時刻データの間隔が時間軸上で等間隔になるように、複数の端末データ１９ａの端末時刻データを補正する。詳細は後述する。

コミュニケーション分析部３６は、端末データ記憶部３１に蓄積され、端末データ補正部３５によって端末時刻データが補正された、複数の端末データ１９ａに基づいて、コミュニケーションを分析し、分析結果をRAM４ｂに格納し、又は、図示しないディスプレイに出力する。

（各ウェアラブル端末３の動作）
次に、図６を参照して、各ウェアラブル端末３の動作を説明する。図６は、各ウェアラブル端末３の制御フローを示している。

S100:
まず、生成間隔カウンタ１７が、データ生成時間間隔として定義された時間をカウントするためのカウント値を初期化すると共に、データ生成時間間隔として定義された時間のカウントを開始する。

S110:
次に、端末データ生成部１９が、端末時計部１５の端末時刻データを取得する。

S120:
次に、端末データ生成部１９が、センサ１２から出力されたセンシングデータを取得する。

S130:
次に、端末データ生成部１９が、取得したセンシングデータをRAM３ｂに蓄積する。

S140:
次に、端末データ生成部１９は、データ生成時間間隔として定義された時間が経過したか判定する。データ生成時間間隔として定義された時間が経過したと判定した場合、端末データ生成部１９は、処理をS150に進める。一方、データ生成時間間隔として定義された時間が経過していないと判定した場合は、端末データ生成部１９は、処理をS120に戻す。これにより、RAM３ｂには、５秒分のセンシングデータが蓄積されることになる。

S150:
次に、端末データ生成部１９は、端末データNo.カウンタ１８から端末データNo.を取得する。

S160:
次に、端末データ生成部１９は、端末ＩＤ情報記憶部１０から端末ＩＤ情報を取得し、RAM３ｂから５秒分のセンシングデータを取得する。そして、端末データ生成部１９は、図３に示すように、端末ＩＤ情報と、端末データNo.と、端末時刻データと、音圧データ及び加速度データから成る５秒分のセンシングデータと、から構成される端末データ１９ａを生成する。

S170:
図６に戻り、データ送受信部２０は、端末データ生成部１９が生成した端末データ１９ａを分析装置４に送信する。

S180:
そして、端末データNo.カウンタ１８は、端末データNo.をインクリメントする。

S190:
また、端末時刻補正部１６は、分析装置４から時刻データを受信したか判定する。分析装置４から時刻データを受信したと判定した場合は、端末時刻補正部１６は、処理をS200に進める。一方、分析装置４から時刻データを受信していないと判定した場合は、端末時刻補正部１６は、処理をS100に戻す。

S200:
そして、端末時刻補正部１６は、分析装置４から受信した時刻データに基づいて端末時刻データを補正し、処理をS100に戻す。

（分析装置４の動作）
次に、図７を参照して、分析装置４の動作を説明する。図７は、分析装置４の動作フローを示している。

S300:
まず、データ送受信部３０が、各ウェアラブル端末３からの端末データ１９ａの受信を開始する。データ送受信部３０は、受信した端末データ１９ａを端末データ記憶部３１に蓄積する。

S310:
次に、データ送受信部３０は、各ウェアラブル端末３からの端末データ１９ａの受信が完了したか判定する。各ウェアラブル端末３からの端末データ１９ａの受信が完了したと判定した場合は、データ送受信部３０は、処理をS320に進める。各ウェアラブル端末３からの端末データ１９ａの受信が完了していないと判定した場合は、データ送受信部３０は、S310の処理を繰り返す。

S320:
次に、端末データ補正部３５は、各端末データ１９ａに含まれている端末ＩＤ情報に基づいて、端末ID別に、端末データ記憶部３１に蓄積されている複数の端末データ１９ａを分割する。図５には、端末IDが７１であるウェアラブル端末３から受信した端末データ１９ａを例示している。

S330-S360:
端末データ補正部３５は、S330からS360の処理を、端末ID毎に個別に実行する。

S330:
まず、端末データ補正部３５は、データ送受信部３０による端末データ１９ａの受信が一時的に中断していたか判定する。例えば、ウェアラブル端末３の電源が一時的にOFFにさせていた場合、データ送受信部３０による端末データ１９ａの受信が一時的に中断する。

ここで、図８を参照されたい。図８は、説明の便宜上作成したものであって、端末データNo.(i)の端末時刻データと、端末データNo.(i-1)の端末時刻データと、の差分を、端末データNo.(i)の端末データ１９ａの欄に追記したものである。端末データ１９ａは、前述の通り５秒毎に作成されるので、図８に示すように、検出順で隣り合う２つの端末データ１９ａの端末時刻データの差分は一部を除いてちょうど５秒となっている。

図８に示すように、端末データNo.14795の端末時刻データと、端末データNo.14796の端末時刻データと、の差分は、104.213秒、即ち２分弱となっている。これは、端末データNo.14795の端末データ１９ａを生成した後であって、端末データNo.14796の端末データ１９ａを生成する前に、ウェアラブル端末３の電源が一時的にOFFにされていたことを示唆している。この場合、端末データ補正部３５は、データ送受信部３０による端末データ１９ａの受信が、端末データNo.14795と端末データNo.14796の間で一時的に中断していたと判定し、処理をS340に進める。一方、端末データ補正部３５は、データ送受信部３０による端末データ１９ａの受信が一時的に中断していなかったと判定した場合は、処理をS350に進める。

なお、各ウェアラブル端末３と分析装置４との間の通信に一時的に障害が発生したことで、分析装置４のデータ送受信部３０が数個の端末データ１９ａを極めて限定的に受信し損ねることがある。この場合、検出順に隣り合う２つの端末データ１９ａの端末時刻データの差分は、経験的には最大でもデータ生成時間間隔の５倍程度とされている。従って、検出順に隣り合う２つの端末データ１９ａの端末時刻データの差分がデータ生成時間間隔の１０倍以上である場合、即ち、５０秒以上である場合、端末データ補正部３５は、データ送受信部３０による端末データ１９ａの受信が一時的に中断していたと判定することができる。このときの判定基準である５０秒は、第１の値の一具体例である。

S340:
端末データ補正部３５は、複数の端末データ１９ａを中断箇所でｊ個のグループに分割する。図８に示す例では、複数の端末データ１９ａが、端末データNo.14795と端末データNo.14796の間で一時的に中断しており、その他の中断はない。従って、端末データ補正部３５は、複数の端末データ１９ａを中断箇所で２個のグループに分割する。即ち、検出順で先となるグループには、端末データNo.14772から端末データNo.14795までの端末データ１９ａが属し、検出順で後となるグループには、端末データNo.14796から端末データNo.14802までの端末データ１９ａが属する。

図９には、複数の端末データ１９ａのうち検出順で先となるグループに属する複数の端末データ１９ａのみを示している。

S350及びS360：
図７に戻り、端末データ補正部３５は、S350及びS360の処理を、グループ毎に個別に実行する。

S350:
端末データ補正部３５は、複数の端末データ１９ａに、検出順に所定増減値ずつ増減する検出順データを付与する。本実施形態において、端末データ補正部３５は、複数の端末データ１９ａに、検出順に１つずつ増える検出順データを付与する。従って、図９に示すように、本実施形態において検出順データは自然数となる。しかし、これに代えて、所定増減値を０．３５や－０．２７としてもよい。図９に示すように、端末データNo.14772から端末データNo.14785の端末データ１９ａには、検出順に１つずつ増える検出順データ（１から１４）を付与している。同様に、端末データNo.14787から端末データNo.14795の端末データ１９ａには、検出順に１つずつ増える検出順データ（１６から２４）を付与している。

また、端末データ補正部３５は、欠損を考慮して、複数の端末データ１９ａに、検出順に所定増減値ずつ増減する検出順データを付与する。具体的には、端末データ補正部３５は、検出順に隣り合う２つの端末データ１９ａの端末時刻データの差分がデータ生成時間間隔よりも長く５０秒よりも短い場合、検出順で後となる端末データ１９ａに加える検出順データは、検出順で先となる端末データ１９ａに加えた検出順データに、当該差分をデータ生成時間間隔で割った値に所定増減値をかけ合わせた値を加算したものとする。本実施形態において、上記の５０秒は、第２の値の一具体例である。上記の５０秒の根拠は以下の通りである。即ち、データ送受信部２０が連続して端末データ１９ａの受信に失敗する回数は経験上、最大でも１０回未満であり、上記の５０秒は、データ生成時間間隔を１０倍した値に相当している。

図９の例で説明すると、検出順に隣り合う２つの端末データ１９ａとして、端末データNo.14785の端末データ１９ａの端末時刻データと、端末データNo.14787の端末データ１９ａの端末時刻データと、の差分が10.000秒となっており、10.000秒は５秒よりも長く５０秒よりも短い。従って、端末データ補正部３５は、端末データNo.14785の端末データ１９ａと、端末データNo.14787の端末データ１９ａと、の間に受信できなかった端末データ１９ａが存在していた、即ち、端末データ１９ａの受信漏れ（欠損）が発生していたと判定する。そして、端末データ補正部３５は、検出順で後となる端末データNo.14787の端末データ１９ａに加える検出順データを、検出順で先となる端末データ１９ａに加えた検出順データである「１４」に、当該差分である10.000秒を５秒で割った値に所定増減値である「１」をかけ合わせた値である「２」を加算した「１６」とする。

なお、本実施形態では、各ウェアラブル端末３が端末データ１９ａを生成するに際し、検出順にインクリメントされた端末データNo.を端末データ１９ａに含ませているので、端末データNo.をそのまま検出順データとして用いてもよい。

S360:
次に、端末データ補正部３５は、端末時刻データと検出順データとの間の回帰直線（線形回帰式）を求め、端末時刻データを、検出順データを線形回帰式に代入して得られる値に変更する。ここで、図１０を参照されたい。図１０には、図９に示す複数の端末データ１９ａをプロットしたグラフを示している。図１０のグラフの横軸は検出順データであり、縦軸は端末時刻データである。図１０には、端末データ補正部３５が算出した回帰直線Ｅを示している。本実施形態において回帰直線Ｅは、y=5.00767x+143476622.15498なる線形回帰式で表されている。回帰直線Ｅは、例えば最小二乗法によるものが好ましい。

ここで、図１１を参照されたい。図１１には、図１０のグラフの一部を拡大して表示している。端末データ補正部３５は、図１１に示すように、各端末データ１９ａ毎に、端末時刻データｔ０を、対応する検出順データを回帰直線Ｅの線形回帰式のｘに代入して得られる値ｔ１へと変更する。要するに、端末データ１９ａのプロットを縦軸に対して平行に移動して回帰直線Ｅに重ねることで、端末データ１９ａの端末時刻データを補正している。図９には、複数の端末データ１９ａの補正後の端末時刻データと、検出順で隣り合う２つの補正後の端末時刻データの差分を示している。図９及び図１１に示すように、上記の補正によれば、複数の端末データ１９ａの端末時刻データの間隔が時間軸上で等間隔になる。この補正による技術的意義は以下の通りである。

即ち、端末時刻補正部１６による端末時刻データの補正時に通信遅延が必然的に発生し、通信遅延の遅延量は一定とはならず毎回必ず変動する。

図８の例では、端末データNo.14778の端末データ１９ａの生成時と、端末データNo.14779の端末データ１９ａの生成時と、の間で端末時刻補正部１６による端末時刻データの補正が実行されている。このときの通信遅延の遅延量は、前回の遅延量よりも０．１７秒長かったものと推定される。同様に、端末データNo.14791の端末データ１９ａの生成時と、端末データNo.14792の端末データ１９ａの生成時と、の間で端末時刻補正部１６による端末時刻データの補正が実行されている。このときの通信遅延の遅延量は、前回の遅延量よりも０．０３秒短かったものと推定される。

このように遅延量は毎回変動するので、複数のウェアラブル端末３の端末時刻が一致することはあり得ない。しかしながら、上記の通信遅延は正規分布で表現することができ、多数の通信遅延の遅延量の平均値は、正規分布の平均値に収束することになる。そして、この正規分布の平均値は、複数のウェアラブル端末３の間で同じ値になるものと考えられる。

従って、複数の端末データ１９ａの端末時刻データの間隔が時間軸上で等間隔になるように回帰直線Ｅを用いて複数の端末データ１９ａの端末時刻データを補正すれば、通信遅延の遅延量の変動分が消失し、複数のウェアラブル端末３間での端末時刻のズレが解消される。これにより、複数のウェアラブル端末３から受信した複数の端末データ１９ａを同一の時間軸上で分析できるようになる。

なお、すべてのウェアラブル端末３の補正後の端末時刻データは、通信遅延の遅延量の平均値（正規分布の平均値）分だけ装置時刻データから遅れていることに留意されたい。

S370:
図７に戻り、コミュニケーション分析部３６は、補正された複数の端末データ１９ａに基づいて、複数の参加者２が参加するコミュニケーションを分析し、分析結果を例えばティスプレイに出力する。

以上に、本願発明の好適な実施形態を説明したが、上記実施形態は、以下の特徴を有する。

図１に示すように、コミュニケーション分析システム１（情報処理システム）は、同一のコミュニケーションに参加する複数の参加者２のそれぞれに装着される複数のウェアラブル端末３（センサ端末）と、複数のウェアラブル端末３と通信可能な分析装置４（情報処理装置）と、を含む。図２に示すように、各ウェアラブル端末３は、当該ウェアラブル端末３を装着した参加者２に関するセンシングデータを出力するセンサ１２と、端末時計部１５と、外部から取得した時刻データに基づいて端末時計部１５の端末時刻を補正する端末時刻補正部１６と、発振回路１１と、発振回路１１の出力信号に基づいてカウントした所定のデータ生成時間間隔（生成時間間隔）で、センサ１２から出力されたセンシングデータと、端末時計部１５から出力された端末時刻データと、を取得し、センシングデータと端末時刻データを含む端末データ１９ａを生成する端末データ生成部１９と、端末データ１９ａを分析装置４に送信するデータ送受信部２０（データ送信部）と、を含む。図４に示すように、分析装置４は、各ウェアラブル端末３から受信した複数の端末データ１９ａを記憶する端末データ記憶部３１と、各ウェアラブル端末３毎に、複数の端末データ１９ａの端末時刻データを補正する端末データ補正部３５と、を含む。端末データ補正部３５は、複数の端末データ１９ａの端末時刻データの間隔が時間軸上で等間隔になるように、複数の端末データ１９ａの端末時刻データを補正する。以上の構成によれば、端末時刻補正部１６による補正時の通信遅延に起因する、複数のウェアラブル端末３間での端末時刻のズレが解消されるので、複数のウェアラブル端末３から受信した端末データ１９ａを同一の時間軸上で分析できるようになる。

また、図９から図１１に示すように、端末データ補正部３５は、複数の端末データ１９ａに、検出順に所定増減値ずつ増減する検出順データを加え、端末時刻データと、対応する検出順データと、の間の線形回帰式を求め、端末時刻データを、対応する検出順データを線形回帰式に代入して得られる値に変更する。

また、図８に示すように、端末データ補正部３５は、検出順に隣り合う２つの端末データ１９ａの端末時刻データの差分が第１の値以上である場合、複数の端末データ１９ａを、当該２つの端末データ１９ａの間を境に２つのグループに分け、各グループ毎に、複数の端末データ１９ａの端末時刻データを補正する。即ち、ウェアラブル端末３が端末データ１９ａの送信を一時的に停止していた場合、当該停止の前後の２つの端末データ１９ａの端末時刻データの差分が大きくなり、上記の線形回帰式にとってノイズとなる。そこで、以上の構成によれば、当該停止の前後で複数の端末データ１９ａをグループ分けしてグループ毎に補正を実行するので、上記のノイズによる影響を排除することができる。

また、端末データ補正部３５は、検出順に隣り合う２つの端末データ１９ａの端末時刻データの差分がデータ生成時間間隔よりも長く第２の値以下である場合、検出順で後となる端末データ１９ａに加える検出順データは、検出順で先となる端末データ１９ａに加えた検出順データに、当該差分を生成時間間隔で割った値に所定増減値をかけ合わせた値を加算したものとする。即ち、複数の端末データ１９ａの何れかが欠損していた場合、当該欠損した端末データ１９ａの前後の２つの端末データ１９ａの端末時刻データの差分は、当該欠損よりも先の２つの端末データ１９ａの端末時刻データの差分よりも大きくなる。例えば、端末データ１９ａが１つ欠損していた場合は、当該欠損した端末データ１９ａの前後の２つの端末データ１９ａの端末時刻データの差分は、生成時間間隔の２倍となる。そこで、以上の構成によれば、上記の欠損の存在に起因して線形回帰式の回帰係数が変化してしまうことがない。

なお、端末データ１９ａの受信に失敗するたびに複数の端末データ１９ａをグループ分けして補正処理することになると、補正後の端末データ１９ａの端末時刻データの差分がデータ生成時間間隔に収束し難くなるので、端末時刻補正部１６による補正時の通信遅延に起因する、複数のウェアラブル端末３間での端末時刻のズレが完全には解消されなくなる。この意味でも、上記のように端末データ１９ａの受信に失敗するたびにグループ分けするのを避けることで、複数のウェアラブル端末３間での端末時刻のズレを高いレベルで解消することができるようになる。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。非一時的なコンピュータ可読媒体の例は、更に、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭを含む。非一時的なコンピュータ可読媒体の例は、更に、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１コミュニケーション分析システム
２参加者
３ウェアラブル端末
４分析装置
１０端末ＩＤ情報記憶部
１１発振回路
１２センサ
１２ａマイクロフォン
１２ｂ加速度センサ
１５端末時計部
１６端末時刻補正部
１７生成間隔カウンタ
１８端末データNo.カウンタ
１９端末データ生成部
１９ａ端末データ
２０データ送受信部
３０データ送受信部
３１端末データ記憶部
３２装置時計部
３３装置時刻補正部
３４装置時刻データ送信部
３５端末データ補正部
３６コミュニケーション分析部
Ｅ回帰直線

Claims

同一のコミュニケーションに参加する複数の参加者のそれぞれに装着される複数のセンサ端末と、前記複数のセンサ端末と通信可能な情報処理装置と、を含む、情報処理システムであって、
各センサ端末は、
当該センサ端末を装着した参加者に関するセンシングデータを出力するセンサと、
端末時計部と、
外部から取得した時刻データに基づいて前記端末時計部の端末時刻を補正する端末時刻補正部と、
発振回路と、
前記発振回路の出力信号に基づいてカウントした所定の生成時間間隔で、前記センサから出力された前記センシングデータと、前記端末時計部から出力された端末時刻データと、を取得し、前記センシングデータと前記端末時刻データを含む端末データを生成する端末データ生成部と、
前記端末データを前記情報処理装置に送信するデータ送信部と、
を含み、
前記情報処理装置は、
各センサ端末から受信した複数の端末データを記憶する端末データ記憶部と、
各センサ端末毎に、前記複数の端末データの前記端末時刻データを補正する端末データ補正部と、
を含み、
前記端末データ補正部は、前記複数の端末データの前記端末時刻データの間隔が時間軸上で等間隔になるように、前記複数の端末データの前記端末時刻データを補正し、
前記端末データ補正部は、検出順に隣り合う２つの端末データの前記端末時刻データの差分が第１の値以上である場合、前記複数の端末データを、当該２つの端末データの間を境に２つのグループに分け、各グループ毎に、前記複数の端末データの前記端末時刻データを補正する、
情報処理システム。
請求項１に記載の情報処理システムであって、
前記端末データ補正部は、
前記複数の端末データに、検出順に所定増減値ずつ増減する検出順データを加え、
前記端末時刻データと、対応する前記検出順データと、の間の線形回帰式を求め、
前記端末時刻データを、対応する前記検出順データを前記線形回帰式に代入して得られる値に変更する、
情報処理システム。
同一のコミュニケーションに参加する複数の参加者のそれぞれに装着される複数のセンサ端末と、前記複数のセンサ端末と通信可能な情報処理装置と、を含む、情報処理システムであって、
各センサ端末は、
当該センサ端末を装着した参加者に関するセンシングデータを出力するセンサと、
端末時計部と、
外部から取得した時刻データに基づいて前記端末時計部の端末時刻を補正する端末時刻補正部と、
発振回路と、
前記発振回路の出力信号に基づいてカウントした所定の生成時間間隔で、前記センサから出力された前記センシングデータと、前記端末時計部から出力された端末時刻データと、を取得し、前記センシングデータと前記端末時刻データを含む端末データを生成する端末データ生成部と、
前記端末データを前記情報処理装置に送信するデータ送信部と、
を含み、
前記情報処理装置は、
各センサ端末から受信した複数の端末データを記憶する端末データ記憶部と、
各センサ端末毎に、前記複数の端末データの前記端末時刻データを補正する端末データ補正部と、
を含み、
前記端末データ補正部は、前記複数の端末データの前記端末時刻データの間隔が時間軸上で等間隔になるように、前記複数の端末データの前記端末時刻データを補正し、
前記端末データ補正部は、前記複数の端末データに、検出順に所定増減値ずつ増減する検出順データを加え、前記端末時刻データと、対応する前記検出順データと、の間の線形回帰式を求め、前記端末時刻データを、対応する前記検出順データを前記線形回帰式に代入して得られる値に変更し、
前記端末データ補正部は、検出順に隣り合う２つの端末データの前記端末時刻データの差分が前記生成時間間隔よりも長く第２の値以下である場合、検出順で後となる端末データに加える前記検出順データは、検出順で先となる端末データに加えた前記検出順データに、当該差分を前記生成時間間隔で割った値に前記所定増減値をかけ合わせた値を加算したものとする、
情報処理システム。
同一のコミュニケーションに参加する複数の参加者のそれぞれに装着される複数のセンサ端末と、前記複数のセンサ端末と通信可能な情報処理装置と、を含む、情報処理システムの情報処理方法であって、
各センサ端末は、
当該センサ端末を装着した参加者に関するセンシングデータを出力するセンサと、
端末時計部と、
発振回路と、
を備え、
外部から取得した時刻データに基づいて前記端末時計部の端末時刻を補正し、
前記発振回路の出力信号に基づいてカウントした所定の生成時間間隔で、前記センサから出力された前記センシングデータと、前記端末時計部から出力された端末時刻データと、を取得し、前記センシングデータと前記端末時刻データを含む端末データを生成し、
前記端末データを前記情報処理装置に送信し、
前記情報処理装置は、
各センサ端末から受信した複数の端末データを記憶し、
各センサ端末毎に、前記複数の端末データの前記端末時刻データを補正し、
前記複数の端末データの前記端末時刻データを補正することは、前記複数の端末データの前記端末時刻データの間隔が時間軸上で等間隔になるように、前記複数の端末データの前記端末時刻データを補正し、
検出順に隣り合う２つの端末データの前記端末時刻データの差分が第１の値以上である場合、前記複数の端末データを、当該２つの端末データの間を境に２つのグループに分け、各グループ毎に、前記複数の端末データの前記端末時刻データを補正する、
情報処理方法。
コンピュータに、請求項４に記載の情報処理方法を実行させるためのプログラム。