JP2018139087A - 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム - Google Patents

感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム Download PDF

Info

Publication number
JP2018139087A
JP2018139087A JP2017034037A JP2017034037A JP2018139087A JP 2018139087 A JP2018139087 A JP 2018139087A JP 2017034037 A JP2017034037 A JP 2017034037A JP 2017034037 A JP2017034037 A JP 2017034037A JP 2018139087 A JP2018139087 A JP 2018139087A
Authority
JP
Japan
Prior art keywords
emotion
team
information
sensor data
information indicating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017034037A
Other languages
English (en)
Other versions
JP6965525B2 (ja
Inventor
伸一 深澤
Shinichi Fukazawa
伸一 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2017034037A priority Critical patent/JP6965525B2/ja
Publication of JP2018139087A publication Critical patent/JP2018139087A/ja
Application granted granted Critical
Publication of JP6965525B2 publication Critical patent/JP6965525B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】より精度の高いチーム感情を算出することが可能な技術が提供されることが求められている。【解決手段】複数のユーザー間のコミュニケーション行動に対応する第1のセンサデータまたは通信履歴データに基づいて、社会関係性を示す情報を生成する社会関係性情報管理部と、前記複数のユーザーそれぞれの第2のセンサデータまたは前記第2のセンサデータに基づく情報と前記社会関係性を示す情報とに基づいて、チーム感情を推定するチーム感情推定部と、を備える、感情推定サーバが提供される。【選択図】図1

Description

本発明は、感情推定サーバ装置、感情推定方法、提示装置及び感情推定システムに関する。
従来、ある人物の行動や生理反応を、各種センサを用いて外的に計測し、得られたデータから当該人物の内的な心理状態(たとえば感情)を推定する技術が存在する。そのような感情推定技術は、たとえばサービスロボットのように対人的なサービスを提供する機械のヒューマン・マシン・インタラクションに関する性能を向上させることに用いられたり、テレワークのように物理的に離れた環境下にある相手の状況を理解することの支援に用いられたりする。
一例として、特許文献1には、カメラ、マイクロフォン、生体信号等の複数の計測指標データを用いてある人物の感情を推定する感情推定装置が提案されている。
特許文献1に記載された技術のように、「ひとりの」人物の感情(以下「個人感情」)の推定を行う技術は既存に数多く存在する。一方で、「複数の」人物の協働活動により醸成される場の感情的な雰囲気(以下「チーム感情」)を推定し、その推定情報のユーザー共有を支援するような技術は少ない。
一例として、特許文献2には、複数の個人の生体センサから受信した生体情報が特徴抽出済みの生体情報であるか否かを判断し、前記特徴抽出済みと判断された生体情報の特徴情報に基づき集団の感情情報を推定する集団感情推定装置が提案されている。
特開2012−59107号公報 特開2016−7363号公報
あらゆる仕組みが高度に複雑化する現代社会においては、ひとりの人物の作業のみで生み出せる成果には限界があり、自ずと複数名のチームによる協働型の仕事が多くなる。前述の感情推定技術においても、個人感情だけでなく、複数の人物の協働活動により醸成されるチーム感情を推定する方法の必要性が今後高まるだろう。
そこで、より精度の高いチーム感情を推定することが可能な技術が提供されることが求められている。
上記問題を解決するために、本発明のある観点によれば、複数のユーザー間のコミュニケーション行動に対応する第1のセンサデータまたは通信履歴データに基づいて、社会関係性を示す情報を生成する社会関係性情報管理部と、前記複数のユーザーそれぞれの第2のセンサデータまたは前記第2のセンサデータに基づく情報と前記社会関係性を示す情報とに基づいて、チーム感情を推定するチーム感情推定部と、を備える、感情推定サーバが提供される。
前記感情推定サーバは、前記複数のユーザーそれぞれの第2のセンサデータに基づいて、ユーザーごとの個人感情を推定する個人感情推定部を備え、前記チーム感情推定部は、前記第2のセンサデータに基づく情報として前記個人感情を示す情報を得てもよい。
前記チーム感情推定部は、前記第2のセンサデータに基づく情報として前記複数のユーザーそれぞれの第2のセンサデータの特徴量データを得てもよい。
前記チーム感情推定部は、前記社会関係性を示す情報に基づいて重み付け係数を算出し、前記第2のセンサデータまたは前記第2のセンサデータに基づく情報と前記重み付け係数とに基づいて、前記チーム感情を推定してもよい。
前記チーム感情推定部は、前記第2のセンサデータまたは前記第2のセンサデータに基づく情報に対して、前記重み付け係数によって重み付けを行い、当該重み付けがされたデータの平均値、中央値または最頻値を前記チーム感情として算出してもよい。
前記社会関係性情報管理部は、前記第1のセンサデータまたは前記通信履歴データに基づいて、社会ネットワーク情報を生成し、前記社会ネットワーク情報に基づいて、前記社会関係性を示す情報を生成してもよい。
前記社会ネットワーク情報は、前記複数のユーザーそれぞれについて関係性を有する他のユーザーの数を示す次数を含み、前記社会関係性情報管理部は、前記次数に基づいて前記社会関係性を示す情報を生成してもよい。
前記社会ネットワーク情報は、前記複数のユーザーの二者間の関係性の強度を含み、前記社会関係性情報管理部は、前記強度に基づいて前記社会関係性を示す情報を生成してもよい。
前記社会ネットワーク情報は、前記複数のユーザーの関係性を表した社会ネットワークのクラスター係数を含み、前記社会関係性情報管理部は、前記クラスター係数に基づいて前記社会関係性を示す情報を生成してもよい。
また、本発明の他の観点によれば、複数のユーザー間のコミュニケーション行動に対応する第1のセンサデータまたは通信履歴データに基づいて、社会関係性を示す情報を生成することと、前記複数のユーザーそれぞれの第2のセンサデータまたは前記第2のセンサデータに基づく情報と前記社会関係性を示す情報とに基づいて、チーム感情を推定することと、を含む、感情推定方法が提供される。
また、本発明の他の観点によれば、複数のユーザー間のコミュニケーション行動に対応する第1のセンサデータまたは通信履歴データに基づいて生成された社会関係性を示す情報と、前記複数のユーザーそれぞれの第2のセンサデータまたは前記第2のセンサデータに基づく情報とに基づいて、推定されたチーム感情を示す情報を提示する提示部、を備える、提示装置が提供される。
前記提示部は、複数のチームそれぞれのチーム感情を示す情報を、チーム同士のつながりが強いほど近い領域に提示してもよい。
前記提示部は、前記チーム感情を示す情報と前記複数のユーザーそれぞれの個人感情とを感情のカテゴリごとに提示してもよい。
また、本発明の他の観点によれば、複数のユーザー間のコミュニケーション行動に対応する第1のセンサデータまたは通信履歴データに基づいて、社会関係性を示す情報を生成する社会関係性情報管理部と、前記複数のユーザーそれぞれの第2のセンサデータまたは前記第2のセンサデータに基づく情報と前記社会関係性を示す情報とに基づいて、チーム感情を推定するチーム感情推定部と、を備える、感情推定サーバと、前記チーム感情を示す情報を提示する提示部、を備える提示装置と、を有する、感情推定システムが提供される。
以上説明したように本発明によれば、より精度の高いチーム感情を推定することが可能な技術が提供されることが可能となる。
本実施形態に係る感情推定システムの概略的な構成の一例を示す説明図である。 同実施形態に係る感情推定サーバ、PBX、センサ端末、情報提示端末のハードウェア構成の一例を示すブロック図である。 同実施形態に係るPBXの機能構成の一例を示すブロック図である。 同実施形態に係る感情推定サーバの機能構成の一例を示すブロック図である。 同実施形態に係る情報提示端末の機能構成の一例を示すブロック図である。 抽象化された社会ネットワークの一例を示す説明図である。 抽象化された社会ネットワークの一例を示す説明図である。 抽象化された社会ネットワークの一例を示す説明図である。 ユーザー間におけるコミュニケーション行動に基づく社会関係性を示す情報の一例を示す説明図である。 ある組織における個人感情を示す情報とチーム感情を示す情報の一例を示す説明図である。 情報提示端末のアプリケーション画面の一例を示す説明図である。 同実施形態に係る感情推定システムの情報処理の概略的な流れの一例を示すフロー図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
まず、前述の特許文献2の課題について説明する。前述の特許文献2は、個人感情から集団の感情情報を推定する方法について説明しているが、下記に述べる二点の大きな課題を有している。
一点目の課題は、特許文献2が、感情を推定する対象となる集団の構成人物をどのように規定・選定するかについての説明をまったく行っていない点である。たとえば、所属人員が数千名や数万名にも上るような巨大組織においては、同じ組織に所属しているとはいっても日常においては接点がなく名前も顔も知らない人物の数の方が顔見知りである数よりもはるかに多いであろう。そのような交流のない人物同士について集団の感情を合わせて算出したとしても、そのチーム感情を示す情報は(当該人物同士はチームではないため)ほとんど意味を持たないであろう。
二点目の課題は、特許文献2が、集団の感情を算出する際に当該集団の構成人員間の「社会関係性」を影響要素に入れた推定処理を行う旨の説明を行っていない点である。たとえば、数十から数百名にも上る関係者が同時に関わるような大きな業務プロジェクトにおいては、協働関係といっても、同じチーム内の同僚で毎日共同作業を行うような強い社会関係性もあれば、所属部署が異なり月に数える程の接点しか持たないような弱い社会関係性もあるだろう。当然、前者の強い社会関係性を持った人物同士の方が、後者の弱い社会関係性である場合よりもチーム感情において人物同士がお互いに及ぼす影響は大きくなり、チーム感情の推定においてもその影響度を大きく設定されることが推定精度の向上に寄与すると考えられる。特許文献2には、センサデータの特徴情報が抽出された時間や場所の情報を集団の感情算出の重み付けに用いる方法に関する説明はあるが、上述の社会関係性への言及やそれを推定処理に用いる旨の記載はない。
チーム感情の推定技術に関して、特許文献2が有する上記二点の課題を解決するためには、集団のチーム感情の要素となる構成人物が互いに社会関係性を有するか否か、さらに、当該社会関係性の強さ、の情報を推定システムがチーム感情の推定処理に用いる仕組みが必要である。
そこで、本発明は、個人感情に基づく「チーム感情」の推定処理に係る技術に関するものであり、チームの要素となる集団の構成人物の選定及びチーム感情算出の際の重み付けを当該構成人物間の「社会関係性」の有無及びその強さに基づいて処理することで精度の高いチーム感情を算出できる感情推定システムを実現させるものであって、さらに、当該社会関係性は、当該構成人物間で日常的に発生しているコミュニケーション行動のセンサデータやコミュニケーション支援機能サーバの通信履歴データから当該システムの「社会関係性情報管理部」が算出する「社会ネットワーク」情報のデータに基づき推定演算用のパラメータデータに変換されて当該チーム感情が推定されることを特徴とするチーム感情推定システムを提供することを目的とする。
特に、本発明は、日常のコミュニケーション行動に基づく「インフォーマル」(informal)な社会関係性を示す情報を利用する点が特徴となる。
続いて、図1を参照して、本発明の実施形態に係るチーム感情推定システム(以下「感情推定システム」)の概略的な構成を説明する。
図1は、本実施形態に係る感情推定システムの概略的な構成の一例を示す説明図である。図1を参照すると、当感情推定システムは、感情推定サーバ100、PBX300、複数のユーザー900、複数のセンサ端末200、提示装置(以下「情報提示端末」とも言う。)400、LAN(Local Area Network)50を含む。
PBX300は、当感情推定システムのために新たに用意されなくてよい。PBX300としては、たとえば社内イントラネットワーク上(もしくはクラウドネットワーク上)に存在する既存の社内情報基盤上にある、PBX(Private Branch eXchange)等のコミュニケーション支援機能やスケジューラ機能を有する既存のサーバ設備が利用されてもよい。
複数のユーザー900は、互いに社会関係性を有する(詳細は後述)。
図2は、本実施形態に係る感情推定サーバ100、PBX300、センサ端末200、情報提示端末400(以下、感情推定サーバ100、PBX300、センサ端末200及び情報提示端末400それぞれを区別せずに「本実施形態に係る装置」と言う場合がある。)のハードウェア構成の一例を示すブロック図である。なお、上記の各装置のすべてに下記のハードウェア構成のすべてが備えられている必要はなく(たとえば感情推定サーバ100に直接的にセンサが備えられている必要はない)、後述する各装置の機能構成を実現できるハードウェアモジュールが適宜限定して備えられてもよい。
図2を参照すると、本実施形態に係る装置は、バス801、CPU(Central Processing Unit)803、ROM(Read Only
Memory)805、RAM(Random Access Memory)807、記憶装置809、通信インタフェース811、センサ813、入力装置815、表示装置817、スピーカ819を備える。
CPU803は、本実施形態に係る装置における様々な処理を実行する。また、ROM805は、本実施形態に係る装置における処理をCPU803に実行させるためのプログラム及びデータを記憶する。また、RAM807は、CPU803の処理の実行時に、プログラム及びデータを一時的に記憶する。
バス801は、CPU803、ROM805及びRAM807を相互に接続する。バス801には、さらに、記憶装置809、通信インタフェース811、センサ813、入力装置815、表示装置817及びスピーカ819が接続される。バス801は、例えば、複数の種類のバスを含む。
一例として、バス801は、CPU803、ROM805及びRAM807を接続する高速バスと、当該高速バスよりも低速の1つ以上の別のバスを含む。
記憶装置809は、本実施形態に係る装置内で一時的または恒久的に保存すべきデータを記憶する。記憶装置809は、例えば、ハードディスク(Hard Disk)等の磁気記憶装置であってもよく、または、EEPROM(Electrically
Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash
memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)及びPRAM(Phase
change Random Access Memory)等の不揮発性メモリ(nonvolatile
memory)であってもよい。
通信インタフェース811は、本実施形態に係る装置が備える通信手段であり、ネットワークを介して(あるいは直接的に)外部装置と通信する。通信インタフェース811は、無線通信用のインタフェースであってもよく、この場合に、例えば、通信アンテナ、RF回路及びその他の通信処理用の回路を含んでもよい。また、通信インタフェース811は、有線通信用のインタフェースであってもよく、この場合に、例えば、LAN端子、伝送回路及びその他の通信処理用の回路を含んでもよい。
センサ813は、たとえばカメラ、マイクロフォン、その他のセンサまたはそれらの複合である。カメラは、被写体を撮像するもので、例えば光学系、撮像素子及び画像処理回路を含む。マイクロフォンは、周囲の音を収音するもので、当該音を電気信号へ変換し当該電気信号をデジタルデータに変換する。
入力装置815は、タッチパネル、マウス、視線検出装置等である。表示装置817は、本実施形態に係る装置からの出力画像(すなわち表示画面)を表示するもので、例えば液晶、有機EL(Organic Light-Emitting Diode)、CRT(Cathode
Ray Tube)等を用いて実現され得る。スピーカ819は、音声を出力するもので、デジタルデータを電気信号に変換し当該電気信号を音声に変換する。
次に、本実施形態に係る「センサ端末200」の機能構成の一例を説明する。
センサ端末200は、ユーザー900の行動や生理反応を外的に計測し、該計測により取得したデータを、後述する感情推定サーバ100へ送信する。センサ端末200が有するセンサ813と計測する行動や生理反応のデータは、たとえば、カメラにより計測される顔表情や身体姿勢の状態内容を含む画像データ、マイクロフォンにより計測される音声データ、加速度センサにより計測される身体動作の加速度データ、キーボード・マウス・タッチパネル等の入力装置により計測される機器操作データ、各種生体センサにより計測される自律神経系活動(心拍活動、皮膚電気活動、血圧、発汗、呼吸、皮膚・深部体温等)のデータ、中枢神経系活動(脳波、脳血流等)のデータ、視線計測装置により計測される視線運動・瞳孔径・瞬目数等のデータを含む。
センサ端末200のセンサはユーザーへの非接触式でも接触式でもよい。センサ端末200のセンサが接触式の場合、たとえばセンサ端末200は腕時計等の形状をしたウェアラブル端末であっても構わない。また、センサ端末200は、カメラ、マイクロフォン、加速度センサ、通信部等を備えたスマートフォン端末であっても構わない。なお、センサ端末200は1名のユーザー900に対応して1台存在するように図1では図示されている。しかし、1台のセンサ端末200が複数のユーザー900のセンサデータを取得しても構わない。その場合、センサ端末200は複数のユーザー900それぞれについてセンサデータと計測対象人物の識別データとの1対1対応の紐づけ処理を行って、センサデータと計測対象人物の識別データとの各組み合わせを記憶または送信する。計測対象人物の識別データは、どのようにして得られてもよく、一例として、カメラによる撮像画像から顔認識によって特定される人物の識別データであってもよい。
さらに、センサ端末200は、ユーザー900が他のユーザー900と行うコミュニケーション行動に対応するセンサデータを計測する。該コミュニケーション行動とは、たとえば対面での会話行動である。該コミュニケーション行動をセンシングするために、センサ端末200は、あるユーザー900の周囲環境の変動に関する情報、たとえばユーザー900の周囲での音声の発生や継続、他の人物の接近/離脱や滞在、ユーザーの身体姿勢の変化や場所移動等を検出することができる。それらは、前述のようにセンサ端末200がハードウェアとして備えるセンサ813のマイクロフォン、カメラ、加速度センサ等によって実現され得る。
また、センサ端末200は、ハードウェアとして赤外線送受信器、WiFi(登録商標)やGPS(Global Positioning System)等の無線通信器を備えていてもよい。それらハードウェアの機能により、複数のユーザー900それぞれが身体に装着するセンサ端末200同士の通信に基づいて、複数のユーザー900同士の身体の相互位置や向きの関係性を示す情報が取得され得る。
まとめると、コミュニケーション行動に対応するセンサデータとは、誰が、誰と、いつ、どこで、どのような身体の相互位置や向きや会話音量でコミュニケーション行動をとったかの情報に対応する電子データを含む。具体例として、コミュニケーション行動に対応するセンサデータは「ユーザー900Aが、ユーザー900Bと、20XX年XX月XX日XX時XX分からYY時YY分まで、4階の通路Vで、立位正対の状態で」会話するコミュニケーション行動をとった、といった行動のセンサデータである。
なお、複数のユーザー900同士が実際に会話等を行っていなくてもよい。たとえば、周辺視や物音などで周囲他者の雰囲気や状況を感じ取っているユーザーの状態(アウェアネス認知状態)が広義のコミュニケーション行動のひとつとみなされてもよい。その場合、センサ端末200は、たとえば数時間に渡るような長時間の継時的行動データをコミュニケーション行動に対応するセンサデータとしてもよい。
また、センサ端末200は、計測したデータを一時的に保存するための記憶部を備えていてもよい。また、センサ端末200は、計測だけでなく簡易な解析までを実施してもよいため、解析演算用の制御部を備えていてもよい。また、センサ端末200は、計測または簡易解析済みのデータを感情推定サーバ100へ送信するための通信部を備えていてもよい。なお、前記記憶部は記憶装置809により、前記制御部はCPU803、ROM805及びRAM807により、前記通信部は通信インタフェース811により実装され得る。
次に、図3を参照して、本実施形態に係る「PBX300」の機能構成の一例を説明する。
図3は、本実施形態に係るPBX300の機能構成の一例を示すブロック図である。図3を参照すると、PBX300は、通信部310、記憶部320及び制御部330を備える。PBX300は、各種コミュニケーションツールを用いたユーザー900間のデータ通信を支援する。該各種コミュニケーションツールは、たとえば、IP(Internet Protocol)電話、Web会議、アプリケーション共有、グループウェア、電子メール、チャット、インスタントメッセージ、社内SNS(Social Networking Service)等である。前述のように、PBX300は、当感情推定システムのために新たに用意されなくてよい。PBX300としては、当感情推定システムを利用するユーザーまたは組織がすでに有しているPBXやSIP(Session Initiation Protocol)サーバ等のコミュニケーション支援機能やスケジューラ機能を有する既存のサーバ設備が利用されてもよい。
通信部310は、他の装置と通信する。たとえば、通信部310は、LAN50に直接的に接続され、前述のセンサ端末200や後述する感情推定サーバ100と通信する。さらに、通信部310は、前述のコミュニケーション支援機能を実現するために、ユーザー900が用いる各種コミュニケーションツールや通信機器(PCやスマートフォン)と通信する。なお、通信部310は、通信インタフェース811により実装され得る。
記憶部320は、前述のコミュニケーション支援機能やスケジューラ機能の動作に関する通信履歴データを記憶する。該通信履歴データは、PBX300を介して行われたコミュニケーション行動に関する情報、たとえば、誰が、誰と、いつ、どこで、どのようなツールを用いて、どのような内容の、コミュニケーション行動をとったかを示す電子データを含む。具体例として、通信履歴データは、「ユーザー900Aが、ユーザー900Bと、20XX年XX月XX日XX時XX分からYY時YY分まで、自席で、IP電話を使って、テーマZZZに関する内容の」コミュニケーション行動を、PBX300を介して行った、といった利用の通信履歴を示す電子データである。
また別の例として、該通信履歴データは、スケジューラツールによりPBX300自体もしくはPBX300を経由してクラウド上に記録されたスケジュール情報、たとえば、誰が、誰と、いつ、どこで、どのような内容の、コミュニケーションに関する予定を入れていたかの電子データを含む。具体例としては、「ユーザー900Aのスケジュールであって、ユーザー900Bと、20XX年XX月XX日XX時XX分からYY時YY分まで、W会議室で、テーマZZZに関する内容の」打合せを行う予定である、といったスケジュール記録の通信履歴を示す電子データである。
上記の通信履歴データを利用して、後述する感情推定サーバ100は、ユーザー900間の、PBX300の通信を介した電子的なコミュニケーション行動に関する情報と、ユーザー900のスケジューラツール入力によりPBX300に記録されたスケジュール情報との少なくともいずれか一方に基づいて、コミュニケーション行動を把握することができる。なお、記憶部320は、記憶装置809により実装され得る。
制御部330は、PBX300の様々な機能を提供する。また、制御部330は、通信部310を介して、他の通信装置、たとえば感情推定サーバ100からの要求に応じて、上述の記憶部320に記憶された通信履歴データを該通信装置へ送信する機能を有する。なお、制御部330は、CPU803、ROM805及びRAM807により実装され得る。
次に、図4を参照して、本実施形態に係る「感情推定サーバ100」の機能構成の一例を説明する。図4は、本実施形態に係る感情推定サーバ100の機能構成の一例を示すブロック図である。図4を参照すると、感情推定サーバ100は、通信部110、記憶部120及び制御部130を備える。
通信部110は、他の装置と通信する。たとえば、通信部110は、LAN50に直接的に接続され、センサ端末200やPBX300と通信する。なお、通信部110は、通信インタフェース811により実装され得る。
記憶部120は、感情推定サーバ100の動作のためのプログラム及びデータを記憶する。なお、記憶部120は、記憶装置809により実装され得る。
制御部130は、感情推定サーバ100の様々な機能を提供する。制御部130は、個人感情推定部131、社会関係性情報管理部133及びチーム感情推定部135を含む。なお、制御部130は、CPU803、ROM805及びRAM807により実装され得る。個人感情推定部131、社会関係性情報管理部133及びチーム感情推定部135それぞれの機能については、後に説明する。
次に、図5を参照して、本実施形態に係る「情報提示端末400」の機能構成の一例を説明する。図5は、本実施形態に係る情報提示端末400の機能構成の一例を示すブロック図である。図5を参照すると、情報提示端末400は、通信部410、記憶部420、制御部430、操作部440及び提示部450を備える。
通信部410は、他の装置と通信する。たとえば、通信部410は、LAN50に直接的に接続され、感情推定サーバ100と通信する。たとえば、通信部410は、感情推定サーバ100からチーム感情を示す情報を取得する。なお、通信部410は、通信インタフェース811により実装され得る。
記憶部420は、情報提示端末400の動作のためのプログラム及びデータを記憶する。たとえば、記憶部420は、通信部410によって感情推定サーバ100から取得されたチーム感情を示す情報を一時的に保存する。なお、記憶部420は、記憶装置809により実装され得る。
制御部430は、情報提示端末400の様々な機能を提供する。たとえば、制御部430は、チーム感情を示す情報を可視化し、チーム感情を示す情報が提示部450によって提示されるように提示部450を制御する。なお、制御部430は、CPU803、ROM805及びRAM807により実装され得る。
操作部440は、ユーザーから入力される操作を受け付ける。操作部440は、受け付けた操作を制御部430に出力すると、操作は、制御部430による各種動作に利用される。なお、操作部440は、入力装置815により実装され得る。
提示部450は、制御部430による制御に従って、ユーザーに情報を提示する。たとえば、提示部450は、制御部430によって可視化されたチーム感情を示す情報をユーザーに提示する。なお、提示部450は、表示装置817により実装され得る。
個人感情推定部131、社会関係性情報管理部133及びチーム感情推定部135それぞれの機能について説明する。個人感情推定部131は、ユーザー900からセンサ端末200及び通信部110を介して取得した行動や生理反応の計測データに基づいて、ユーザー900毎の個人感情を推定することによって個人感情の推定データ(個人感情を示す情報)を生成する。また、個人感情推定部131は、該生成したデータを記憶部120に記憶させる機能を有する。特に、個人感情推定部131は、あるユーザー900から推定した個人感情を示す情報を、該ユーザー900のIDと紐づけて記憶部120に記憶させてもよい(たとえば、後述する図10参照のこと)。
ここで、個人感情とその推定方法について説明を補足する。個人感情は、一例として「人が心的過程の中で行うさまざまな情報処理のうちで、人、物、出来事、環境についてする評価的な反応」(Ortony et al.,1988;大平,2010)と定義される。感情の具体的な種類としては、心理学者Paul Ekmanによる表情に対応する基本感情ベースの離散型モデル上での幸福、驚き、恐れ、怒り、嫌悪、悲しみや、心理学者James A. Russellによる快度及び覚醒度の感情次元ベースの連続型モデルにおける喜怒哀楽の象限などが知られている。他の連続型モデルとしては、Watsonによるポジティブまたはネガティブ感情、Wundtによる3軸モデル(快度、興奮度、緊張度)、Plutchikによる4軸のモデルなどもある。その他、応用的・複合的な感情としては、困惑度、関心度、メンタルストレス、集中度、疲労感、多忙度、創造性、リラックス/緊張度、モチベーション、共感度、信頼度などが挙げられる。さらに、業務活動において集団の雰囲気として体感されるイキイキ感なども高次な感情の一種といえる。
ある人物がどのような感情とその程度にあるかは、たとえば質問紙法を用いることで、当該人物の文字、文章、記号による言語的報告によって求めることができる。当該質問紙としては“Affect Grid”などがよく知られている。
しかしながら、質問紙を用いた計測方法では回答作業が必要になるため、業務など何か別の作業を行っている日常生活においては計測それ自体が本来の目的作業に支障を及ぼしてしまう可能性がある。
そこで、当感情推定システムにおいて、個人感情推定部131は、前述のセンサ端末200により計測される行動や生理反応のデータに基づいて(質問紙法等で求めた)感情を機械的に推定処理する。当該推定処理を行うためには、予め学習処理によって生成された感情推定モデルのデータが必要となる。感情推定モデルは、たとえば、ある時点・状況における前記行動や生理反応のデータと前記質問紙の回答データからなる学習データとを対応づけたデータの群から生成される。たとえば、オフィスに埋め込まれた無数のカメラやマイクロフォン、ウェアラブル活動量計から計測されたユーザーの顔表情、音声、心拍活動、皮膚電気活動等の行動・生理データと、当該ユーザーの主観的感情を質問紙回答した正解データとが対応づけられて学習用データとされる。前記行動・生理データは、センサからの計測値が変換された学習処理用の特徴量データであってもよい。
特徴量データは、顔の代表的特徴点の位置や各2点間を結ぶ直線の距離や成す角度であってもよい。あるいは、特徴量データは、音声の基本周波数、パワー、平均発話速度、一次ケプストラム係数の最高値と標準偏差であってもよい。あるいは、特徴量データは、心拍数や拍動間隔の平均値や標準偏差、心拍変動性であってもよい。あるいは、特徴量データは、皮膚コンダクタンス水準の平均値や標準偏差や増減率などであってもよい。これらの特徴量データはどのように使用されてもよく、ある時点における絶対値として使用されてもよいし、2時点間の相対的な変化率として使用されてもよい。
前記学習用データを用いた感情推定モデルの生成には、学習の手法として、たとえば既知のSVM(Support Vector Machine)や深層学習(Deep Learning)法が用いられてもよいし、単純に回帰分析法が利用されてもよい。また、学習モデルはユーザー個人毎に生成されてもよいし、複数のユーザーの学習データを用いて人間に共通的なモデルが生成されてもよい。個人感情推定部131は、得られた感情推定モデルのデータを用いることで、ある人物の行動・生理データから個人感情を推定できるようになる。
感情推定サーバ100や個人感情推定部131は、上述の個人感情推定処理のための学習用データや感情推定モデル自体を生成する機能を有していてもよい。さらに、学習用データのための前述の特徴量データの生成は、感情推定サーバ100ではなくセンサ端末200の方で行い、センサ端末200が、当該特徴量データを感情推定サーバ100へ送信するようにしてもよい。
社会関係性情報管理部133は、後述するチーム感情推定部135がチーム感情を推定処理するために必要な、社会ネットワーク(社会NW)情報に基づく社会関係性を示す情報(以下「社会関係性情報」とも言う)を生成する。そのために、社会関係性情報管理部133は、通信部110を介して、前述の「センサ端末200によるコミュニケーション行動に対応するセンサデータ」または前述の「PBX300による通信履歴データ」を取得し、取得したデータに基づいて後述する社会NW情報を生成し、該生成した社会NW情報を記憶部120に記憶する機能を有する。
ここで、「社会NW情報」について説明する。社会ネットワークは「互いのコミュニケーション行動の量または質により規定される人々のつながり」と定義され得る。また、社会ネットワークの量または質の大きさ・高さに対応して、社会ネットワークの強さが定められ得る。
抽象化した社会ネットワークは、それに属するユーザー900が円状のノード(要素)として表され、ユーザー900間の関係性が線分状のエッジ(要素間の関係)として表されることによって、その構造や機能が単純化したモデルとして示され得る。該モデルは、次数(あるノードに接続されるエッジの本数)、強度(あるノード間のつながりの強さ)、クラスター係数(ノードとエッジで形成される三角構造の存在割合)等の指標により、その構造や機能が社会関係性情報管理部133によって分析され得る。
図6、図7、図8は、抽象化された社会ネットワークの一例を示す説明図である。図6には、社会ネットワークの基本モデルとして、「次数」指標が反映された社会ネットワークの一例が図示されている。
図中には、ユーザー900A、900B、900C、900D及び900Eに対応して、ノード910A、910B、910C、910D及び910Eが存在している。また、二つのノードの各組み合わせの一部にエッジ920が存在している。この例では、エッジ920は過去のコミュニケーション行動の発生が有ったことを示している。ユーザー900Aは900B、900C、900Dおよび900Eそれぞれと過去にコミュニケーション行動をとったことがあるため、ノード910Aとノード910B、910C、910D及び910Eとの間にエッジがある。反対にユーザー900Dは900Eとコミュニケーション行動をとったことがないため、ノード910Dとノード910Eとの間にエッジがない。
ここで、次数はあるノードに接続されるエッジの本数である。図6に示した例では、ノード910Aの次数は4であり、ノード910Eの次数は1である。社会関係性情報管理部133は、次数指標の大きさにより、あるユーザーの交流関係の広さを定量的データとしてもとめることができる。
より具体的には、社会関係性情報管理部133は、次数の大きいユーザー900ほど、他のユーザー900との社会関係性が強いと判断してよい。たとえば、社会関係性情報管理部133は、次数が0であるユーザー900の社会関係性を「なし」とし、次数が第1の次数よりも低いユーザー900の社会関係性を「弱」とし、次数が第2の次数以上、かつ、第2の次数未満のユーザー900の社会関係性を「中」とし、第2の次数以上のユーザー900の社会関係性を「強」としてもよい。なお、次数に関する閾値は三つでなくてもよい。すなわち、次数に基づく社会関係性は、四段階でなくてもよく、二段階であってもよいし、三段階であってもよいし、五段階以上であってもよい。また、各閾値の大きさも限定されない。
図7には、「強度」指標を反映した社会ネットワークの一例が図示されている。
ここで強度は、前述の社会ネットワークの強さに対応する。たとえば、強度は、コミュニケーション行動の発生頻度、発生時間長、発生時刻の新しさ、コミュニケーションの内容の分量、コミュニケーションの内容のプライベートに関わる内容の量や深さ、用いられたコミュニケーションツールのメディアリッチネスの度合い、会話の音量や高低、互いの身体間の距離、互いの身体正面の向きにより成す角度、ポジティブ/ネガティブ感情の度合い等に対応して規定される。
なお、互いの身体正面の向きにより成す角度は、どのようにして検出されてもよい。たとえば、あらかじめ異なる方向IDが割り当てられた複数の赤外線タグが複数のユーザーそれぞれの身体の正面を前として前後左右の4方向に取り付けられていてもよい。かかる場合、複数のユーザー間において赤外線タグによって交換された方向IDによって、互いの身体正面の向きにより成す角度が検出されてもよい。詳細は、「中村 嘉志、他4名、「複数の赤外線タグを用いた相対位置関係からのトポロジカルな位置および方向の推定」、2007年3月、情報処理学会論文誌、Vol.48、No.3」などに記述されている。また、特許第5907549号に記述されているように、複数のユーザーの位置関係が対面か非対面かが検出されてもよい。
たとえば、社会関係性情報管理部133は、二人のユーザー900の間の会話発生頻度が第1の頻度以上である場合、その二人のユーザー900の間の社会関係性を「強」としてもよい。また、社会関係性情報管理部133は、二人のユーザー900の間の会話発生頻度が強度が第2の頻度以上、かつ、第1の強度未満である場合、その二人のユーザー900の間の社会関係性を「中」としてもよい。また、社会関係性情報管理部133は、二人のユーザー900の間の会話発生頻度が第2の頻度未満である場合、その二人のユーザー900の間の社会関係性を「なし」としてもよい。
一例として、直近10日間における会話の発生頻度が指標とされる場合、社会関係性情報管理部133は、会話発生回数が10回以上であれば、社会関係性を「強」とし、会話発生回数が5回以上であれば、社会関係性を「中」とし、会話発生回数が1回以上であれば社会関係性を「弱」とし、会話発生回数が0回であれば社会関係性を「なし」としてもよい。図7には、ノード910Aとノード910Bとの間のエッジ920ABは社会関係性「強」で太く、ノード910Aとノード910Eとの間のエッジ920AEは社会関係性「中」で少し太く、それ以外のエッジ920は社会関係性「弱」で細く図示されている。
なお、会話の発生頻度に関する期間は、直近10日間に限定されない。たとえば、会話の発生頻度に関する期間は、直近1カ月であってもよいし、他の期間であってもよい。また、会話発生回数に関する閾値は三つでなくてもよい。すなわち、強度に基づく社会関係性は、四段階でなくてもよく、二段階であってもよいし、三段階であってもよいし、五段階以上であってもよい。また、各閾値の大きさも限定されない。
また、ここでは、コミュニケーション行動の発生頻度に基づいて強度を求める方法を例として説明したが、同様にして、上記他の情報に基づく社会関係性が求められ得る。このとき、コミュニケーション行動の発生時間が長いほど、社会関係性は強くてよい。また、コミュニケーション行動の発生時刻が新しいほど、社会関係性は強くてよい。また、コミュニケーションの内容の分量が多いほど、社会関係性は強くてよい。
また、コミュニケーションの内容のプライベートに関わる内容の量が大きいほど、社会関係性は強くてよい。また、プライベートに関わる内容の深さが深いほど、社会関係性は強くてよい。また、用いられたコミュニケーションツールのメディアリッチネスの度合いが強いほど、社会関係性は強くてよい。また、会話の音量が小さいほど、社会関係性は強くてよい。また、会話の音が低いほど、社会関係性は強くてよい。また、互いの身体間の距離が近いほど、社会関係性は強くてよい。また、互いの身体正面の向きにより成す角度が小さい(すなわち、正対ではない向きに近い)ほど、社会関係性は強くてよい。また、ポジティブ/ネガティブ感情の度合いが強いほど、社会関係性は強くてよい。
図8には、その他の指標例として「クラスター係数」指標が反映された社会ネットワークの一例が図示されている。クラスター係数はネットワークのクラスター性の大きさに関わる指標であるが、公知の理論であるためここでは詳細な説明を省略する。一例として、社会関係性情報管理部133は、クラスター係数の大きさにより、社会ネットワーク全体としてのユーザーの交流関係の広さを定量的データとしてもとめることができる。
より具体的には、社会関係性情報管理部133は、クラスター係数が大きいほど、社会ネットワーク全体としての社会関係性が強いと判断してよい。たとえば、社会関係性情報管理部133は、クラスター係数が0である社会ネットワークの社会関係性を「なし」とし、クラスター係数が第1の値よりも低い社会ネットワークの社会関係性を「弱」とし、クラスター係数が第2の値以上、かつ、第2の値未満の社会ネットワークの社会関係性を「中」とし、第2の値以上の社会ネットワークの社会関係性を「強」としてもよい。なお、クラスター係数に関する閾値は三つでなくてもよい。すなわち、クラスター係数に基づく社会関係性は、四段階でなくてもよく、二段階であってもよいし、三段階であってもよいし、五段階以上であってもよい。また、各閾値の大きさも限定されない。
図9は、ユーザー900A〜900E間におけるコミュニケーション行動に基づく社会関係性を示す情報の一例を示す説明図である。図9には、ユーザー900A〜900E間におけるコミュニケーション行動のデータから生成された社会NW情報に基づく社会関係性情報のテーブル121が図示されている。図9に示すように、社会NW情報に基づく社会関係性情報のテーブル121は、たとえば、あるユーザー900を一意に特定する社員ID1、別のユーザー900の社員ID2、両者の社会関係性の強さを含む。なお、ここでは、社会関係性の強さは、前述の社会ネットワークにおけるエッジの「強度」指標に基づいて設定される場合を想定する。図9のテーブル121は、図7で示し説明した社会ネットワークを表形式で表したものともいえる(たとえば、図9の1行目は図7のノード910Aと910Bとの間のエッジ920ABが社会関係性「強」で太く図示されている表現と対応)。
なお、図9の例では社会関係性の強さは「強」「中」「弱」「なし」の4段階となっているが、既に述べたように、強度に基づいて分類される社会関係性の強さの数は、当然これより多くても少なくても構わず、強度に基づいて分類される社会関係性の強さは、連続的な量的データであっても構わない。また、社会NW情報の強度指標と社会関係性の強さとの対応づけや分類のために用いられる閾値は当感情推定システムの管理者が予め任意に設定して構わず、その設定パラメータは予め記憶部120に記憶されても構わない。
なお、図9に示した例では、強度指標に基づいて社会関係性の強さが設定されている。かかる例においては、二人のユーザー900に対して一つの社会関係性の強さが設定される。しかし、上記したように、次数指標に基づいて社会関係性の強さが設定されてもよいし、クラスター係数に基づいて社会関係性の強さが設定されてもよい。次数指標に基づいて社会関係性の強さが設定される場合、社会関係性の強さは、各ユーザー900に対して設定される。一方、クラスター係数に基づいて社会関係性の強さが設定される場合、社会関係性の強さは、社会ネットワーク全体に対して設定される。
チーム感情推定部135は、個人感情推定部131が生成した前述の個人感情を示す情報と、社会関係性情報管理部133が生成した前述の社会NW情報に基づく社会関係性を示す情報と、に基づいてチーム感情を示す情報を生成する。また、チーム感情推定部135は、算出したチーム感情を示す情報を記憶部120に記憶する機能を有する。
ここで、チーム感情は、たとえば、予め設定されたユーザーの集団における、構成員毎の個人感情を示す情報が該集団への社会関係性の強さで重み付けされた代表値、たとえば「平均値」「中央値」「最頻値」、として算出される。一例として、チーム感情推定部135は、個人感情を示す情報が量的データであり代表値として平均値が採用される場合、かつ、強度指標に基づいて社会関係性の強さが設定される場合、チーム感情を示す情報の例として、チーム感情値を以下の(数式1)で求めることができる。
Figure 2018139087
・・・(数式1)
ただし、TE:チーム感情値、m:集団において対象とされる二人のユーザーの組み合わせ数、QR:当該二人のユーザーの社会関係性の強さに対応する重み付け係数、RE:当該二人のユーザーの各個人感情値から求められる代表値(たとえば「平均値」「中央値」「最頻値」)とする。この際、チーム感情値算出の対象とするユーザーの集団は、図6の例でいえばユーザー900A〜900E全員でもよいし、その中から部分的に組み合わせ選択された任意の人物群であってもよい。前述の算出方式により、基になる個人感情値と社会NW情報のデータがあれば、任意に設定された集団についてチーム感情値を求めることができる。また、前述のユーザーの組み合わせ数は必ずしも二人である必要はなく、三人以上の組み合わせであってもよい。
ここで、各社会関係性の強さに対応する重み付け係数の値は限定されない。たとえば、社会関係性の強さが強くなるほど、重み付け係数の値は大きくてよい。より詳細には、社会関係性の強さ「強」に対応する重み付け係数は、社会関係性の強さ「中」に対応する重み付け係数よりも大きくてよい。また、社会関係性の強さ「中」に対応する重み付け係数は、社会関係性の強さ「弱」に対応する重み付け係数よりも大きくてよい。また、社会関係性の強さ「弱」に対応する重み付け係数は、社会関係性の強さ「なし」に対応する重み付け係数よりも大きくてよい。
なお、ここでは、強度指標に基づく社会関係性の強さからチーム感情値を求める方法を示した。しかし、強度指標に基づく社会関係性の強さの代わりに、次数指標に基づく社会関係性の強さからチーム感情値が求められてもよい。たとえば、チーム感情推定部135は、個人感情を示す情報が量的データであり代表値として平均値が採用される場合、かつ、次数指標に基づいて社会関係性の強さが設定される場合、チーム感情を示す情報の例として、チーム感情値を以下の(数式2)で求めることができる。
Figure 2018139087
・・・(数式2)
ただし、TE:チーム感情値、n:集団において対象とされるユーザーの人数、SR:各ユーザーの社会関係性の強さに対応する重み付け係数、PE:個人感情値とする。
また、クラスター係数に基づく社会関係性の強さからチーム感情値が求められてもよい。たとえば、チーム感情推定部135は、個人感情を示す情報が量的データであり代表値として平均値が採用される場合、かつ、クラスター係数に基づいて社会関係性の強さが設定される場合、チーム感情を示す情報の例として、チーム感情値を以下の(数式3)で求めることができる。
Figure 2018139087
・・・(数式3)
ただし、TE:チーム感情値、n:集団において対象とされるユーザーの人数、UR:社会ネットワーク全体としての社会関係性の強さに対応する重み付け係数、PE:個人感情値とする。
なお、本実施形態では、まず、個人感情推定部131が個人感情を推定してから、チーム感情推定部135がそれらの集合的データとしてチーム感情を推定する場合を主に想定する。しかし、チーム感情推定部135がチームの対象となる複数名のセンサデータから直接的にチーム感情を推定しても構わない。その場合、チーム感情推定部135は、センサデータの値自体もしくはその特徴量データ(変換値)に対して、前述の社会関係性の強さに対応する重み付けの演算処理を行っても構わない。
このとき、センサデータの値自体もしくはその特徴量データは、特に限定されない。一例として、センサデータの特徴量データは、脈拍センサによって検出された脈拍から変換された後の心拍数の変化率などであってもよい。たとえば、心拍数の変化率は、心拍数の変化の割合であってよく、たとえば、直前の心拍数に対する現在の心拍数の割合(たとえば、「心拍数が20%上昇した」、「心拍数が10%減少した」など)によって表されてもよい。かかるセンサデータの値自体もしくはその特徴量データが、チーム感情の推定に際して、個人感情を示す情報の代わりに利用されてもよい。
図10は、ある組織における個人感情を示す情報とチーム感情を示す情報の一例を示す説明図である。図10には、図7で説明した社会NW情報の一例に対応する個人感情を示す情報とチーム感情を示す情報のテーブル122が図示されている。ここでは、個人感情を示す情報及びチーム感情を示す情報の一例として量的データのポジティブ度を例示している。
次に、本実施形態に係る「情報提示端末400」の機能構成の一例を説明する。情報提示端末400において、制御部430は、感情推定サーバ100が推定したチーム感情を示す情報や個人感情を示す情報を、通信部410を介して取得し、それらを可視化して提示部450を介してユーザーに提示する。前記ユーザーは、前記チーム感情や個人感情を推定されたユーザー900でも構わないし、前記チーム感情や個人感情を推定されたユーザー900とは異なる人物(たとえば、ある組織のメンタルヘルス管理を担当する産業医等)でも構わない。
また、制御部430は、前記チーム感情を示す情報や個人感情を示す情報を可視化して提示するにあたり、前述の社会NW情報に基づく社会関係性を示す情報を用いてユーザーが情報を理解しやすいように前記チーム感情を示す情報や個人感情を示す情報を「カテゴリ化」して提示してもよい。たとえば、制御部430は、あるチームのチーム感情を示す情報を画面に表示する際、そのチームの構成者の個人感情を示す情報を、前記チーム感情を示す情報の近傍領域に併せて提示部450を介して提示してもよい。これにより、情報提示端末400のユーザーは、チーム感情を示す情報とその算出要素となった個人感情を示す情報とを併せて直観的に把握することができる。
また、たとえば、制御部430は、複数のチームによる複数のチーム感情を示す情報を画面に表示する際、前記社会関係性を示す情報に基づき、互いの構成員間のコミュニケーション行動によるつながりが強いチーム同士ほどより近い領域に互いのチーム感情を示す情報を、提示部450を介して提示してもよい。これにより、情報提示端末400のユーザーは、複数のチームのチーム感情を示す情報を確認する際に、チーム間の社会関係性の強さに基づきそれらの表示を効率的に観ることができる。
図11は、情報提示端末400のアプリケーション画面の一例を示す説明図である。図11を参照すると、あるチームのあるチーム感情を示す情報(チームT1のポジティブ度)とその算出要素となった個人感情を示す情報(チームT1に属するユーザーU11〜U14のポジティブ度)とが近傍の領域に表示され、同チームの別のチーム感情を示す情報(チームT1の疲労度)とその算出要素となった個人感情を示す情報(チームT1に属するユーザーU11〜U14の疲労度)とが近傍の領域に表示されている。このように、提示部450が、感情のカテゴリごとにチーム感情を示す情報と個人感情を示す情報とを提示することによって、チーム感情と個人感情とをカテゴリごとに把握しやすくなる。
なお、図11に示したように、制御部430は、チーム感情及び個人感情の過去の推定情報を履歴として提示させ、時系列グラフ状に情報提示しても構わない(図11には、グラフの右側線分端がチーム感情及び個人感情の現在の推定情報として示されており、右端から左へ向かうにつれて過去に遡った推定情報が示されている)。
続いて、図12を参照して、本実施形態に係る情報処理の例を説明する。図12は、本実施形態に係る感情推定システムの情報処理の概略的な流れの一例を示すフロー図である。ステップS101で、感情推定サーバ100は、当感情推定システムの管理者により設定される、チーム感情を推定される対象となるチームとその構成者のパラメータ、推定するチーム感情の種類(たとえばポジティブ度、ネガティブ度、困惑度等)のパラメータ、チーム感情の算出法(たとえば代表値として平均値/中央値/最頻値の選択、社会関係性の強さの分類数、社会関係性の強さに対応する重み付けの係数値等)のパラメータ、などを記憶部120に記憶させる。
なお、上記パラメータ類は当情報処理の前に予め管理者により設定されていてもよく、また、前回の情報処理時の設定パラメータが流用されてもよいし、初期設定パラメータがそのまま利用されてもよい。その場合は、当ステップS101の実行は省略しても構わない。
ステップS103で、感情推定サーバ100において、通信部110は、センサ端末200を介して前記チーム感情を推定される対象となるチームの構成者となるユーザー900の行動や生理反応のセンサデータを取得する。
ステップS105で、感情推定サーバ100において、個人感情推定部131は、前記ユーザー900のセンサデータから個人感情の推定処理を行う。なお、本実施形態では、まず個人感情推定部131が個人感情を推定してから、チーム感情推定部135がそれらの集合的データとしてチーム感情を推定するという処理を例に説明を行った。しかし、チーム感情推定部135がチームの対象となる複数名のセンサデータから直接的にチーム感情を推定しても構わない。その場合、チーム感情推定部135は、センサデータの値自体もしくはその特徴量データに対して、前述の社会関係性の強さに対応する重み付けの演算処理を行っても構わない。その場合は、当ステップS105の実行は省略されても構わない。
ステップS107で、感情推定サーバ100において、通信部110は、センサ端末200やPBX300から、前記チーム感情を推定される対象となるチームの構成者となるユーザー900の「センサ端末200によるコミュニケーション行動に対応するセンサデータ」または「PBX300による通信履歴データ」を取得し、社会関係性情報管理部133は、通信部110によって取得されたデータに基づいて、前述の社会NW情報を生成して、生成した社会NW情報に基づき社会関係性情報を算出する。
ステップS109で、チーム感情推定部135は、前記個人感情を示す情報と前記社会関係性情報からステップS101で設定されたチームのチーム感情を推定する。ステップS111で、情報提示端末400において、制御部430は、感情推定サーバ100から取得したチーム感情を示す情報やその算出要素となった個人感情を示す情報を提示部450に提示させる。なお、推定したチーム感情を示す情報を情報提示端末400によって提示しない場合は、当ステップS111の実行は省略しても構わない。
以上のように、本発明の実施形態によれば、日常のコミュニケーション行動という動的で「インフォーマル」な社会関係性を示す情報を利用して、個人感情に基づくチーム感情を自動で高精度に推定することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
たとえば、上記においては、情報提示端末400の制御部430が、提示部450によって提示される各種情報のレイアウトを決める例を主に説明した。しかし、提示部450によって提示される各種情報のレイアウトは、他の装置(たとえば、感情推定サーバ100など)によって決められてもよい。このとき、感情推定サーバ100は、情報提示端末400を視認するユーザーの種類(たとえば、ユーザーの役職など)ごとに、提示部450によって提示される各種情報のレイアウトを決めてもよい。
100 感情推定サーバ
110 通信部
120 記憶部
130 制御部
131 個人感情推定部
133 社会関係性情報管理部
135 チーム感情推定部
200 センサ端末
300 PBX
310 通信部
320 記憶部
330 制御部
400 情報提示端末
410 通信部
420 記憶部
430 制御部
440 操作部
450 提示部


Claims (14)

  1. 複数のユーザー間のコミュニケーション行動に対応する第1のセンサデータまたは通信履歴データに基づいて、社会関係性を示す情報を生成する社会関係性情報管理部と、
    前記複数のユーザーそれぞれの第2のセンサデータまたは前記第2のセンサデータに基づく情報と前記社会関係性を示す情報とに基づいて、チーム感情を推定するチーム感情推定部と、
    を備える、感情推定サーバ。
  2. 前記感情推定サーバは、
    前記複数のユーザーそれぞれの第2のセンサデータに基づいて、ユーザーごとの個人感情を推定する個人感情推定部を備え、
    前記チーム感情推定部は、前記第2のセンサデータに基づく情報として前記個人感情を示す情報を得る、
    請求項1に記載の感情推定サーバ。
  3. 前記チーム感情推定部は、前記第2のセンサデータに基づく情報として前記複数のユーザーそれぞれの第2のセンサデータの特徴量データを得る、
    請求項1に記載の感情推定サーバ。
  4. 前記チーム感情推定部は、前記社会関係性を示す情報に基づいて重み付け係数を算出し、前記第2のセンサデータまたは前記第2のセンサデータに基づく情報と前記重み付け係数とに基づいて、前記チーム感情を推定する、
    請求項1に記載の感情推定サーバ。
  5. 前記チーム感情推定部は、前記第2のセンサデータまたは前記第2のセンサデータに基づく情報に対して、前記重み付け係数によって重み付けを行い、当該重み付けがされたデータの平均値、中央値または最頻値を前記チーム感情として算出する、
    請求項4に記載の感情推定サーバ。
  6. 前記社会関係性情報管理部は、前記第1のセンサデータまたは前記通信履歴データに基づいて、社会ネットワーク情報を生成し、前記社会ネットワーク情報に基づいて、前記社会関係性を示す情報を生成する、
    請求項1に記載の感情推定サーバ。
  7. 前記社会ネットワーク情報は、前記複数のユーザーそれぞれについて関係性を有する他のユーザーの数を示す次数を含み、
    前記社会関係性情報管理部は、前記次数に基づいて前記社会関係性を示す情報を生成する、
    請求項6に記載の感情推定サーバ。
  8. 前記社会ネットワーク情報は、前記複数のユーザーの二者間の関係性の強度を含み、
    前記社会関係性情報管理部は、前記強度に基づいて前記社会関係性を示す情報を生成する、
    請求項6に記載の感情推定サーバ。
  9. 前記社会ネットワーク情報は、前記複数のユーザーの関係性を表した社会ネットワークのクラスター係数を含み、
    前記社会関係性情報管理部は、前記クラスター係数に基づいて前記社会関係性を示す情報を生成する、
    請求項6に記載の感情推定サーバ。
  10. 複数のユーザー間のコミュニケーション行動に対応する第1のセンサデータまたは通信履歴データに基づいて、社会関係性を示す情報を生成することと、
    前記複数のユーザーそれぞれの第2のセンサデータまたは前記第2のセンサデータに基づく情報と前記社会関係性を示す情報とに基づいて、チーム感情を推定することと、
    を含む、感情推定方法。
  11. 複数のユーザー間のコミュニケーション行動に対応する第1のセンサデータまたは通信履歴データに基づいて生成された社会関係性を示す情報と、前記複数のユーザーそれぞれの第2のセンサデータまたは前記第2のセンサデータに基づく情報とに基づいて、推定されたチーム感情を示す情報を提示する提示部、
    を備える、提示装置。
  12. 前記提示部は、複数のチームそれぞれのチーム感情を示す情報を、チーム同士のつながりが強いほど近い領域に提示する、
    請求項11に記載の提示装置。
  13. 前記提示部は、前記チーム感情を示す情報と前記複数のユーザーそれぞれの個人感情とを感情のカテゴリごとに提示する、
    請求項11に記載の提示装置。
  14. 複数のユーザー間のコミュニケーション行動に対応する第1のセンサデータまたは通信履歴データに基づいて、社会関係性を示す情報を生成する社会関係性情報管理部と、
    前記複数のユーザーそれぞれの第2のセンサデータまたは前記第2のセンサデータに基づく情報と前記社会関係性を示す情報とに基づいて、チーム感情を推定するチーム感情推定部と、
    を備える、感情推定サーバと、
    前記チーム感情を示す情報を提示する提示部、
    を備える提示装置と、
    を有する、感情推定システム。

JP2017034037A 2017-02-24 2017-02-24 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム Active JP6965525B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017034037A JP6965525B2 (ja) 2017-02-24 2017-02-24 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017034037A JP6965525B2 (ja) 2017-02-24 2017-02-24 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム

Publications (2)

Publication Number Publication Date
JP2018139087A true JP2018139087A (ja) 2018-09-06
JP6965525B2 JP6965525B2 (ja) 2021-11-10

Family

ID=63450858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017034037A Active JP6965525B2 (ja) 2017-02-24 2017-02-24 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム

Country Status (1)

Country Link
JP (1) JP6965525B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020060833A (ja) * 2018-10-05 2020-04-16 株式会社ケアコム 行動状況可視化装置
WO2020255630A1 (ja) * 2019-06-17 2020-12-24 Jsr株式会社 生体情報分析装置、生体情報分析システム、生体情報分析プログラム、及び生体情報分析方法
JP2021018481A (ja) * 2019-07-17 2021-02-15 本田技研工業株式会社 ロボット管理装置、ロボット管理方法およびロボット管理システム
JP2021058231A (ja) * 2019-10-02 2021-04-15 株式会社エクサウィザーズ 認知機能推定方法、コンピュータプログラム及び認知機能推定装置
JP2022068905A (ja) * 2020-10-23 2022-05-11 本田技研工業株式会社 会議支援装置、会議支援方法および会議支援プログラム
WO2022138153A1 (ja) * 2020-12-22 2022-06-30 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
EP4242943A1 (en) * 2022-03-11 2023-09-13 Ricoh Company, Ltd. Information processing system, information processing method, and carrier means
JP7513534B2 (ja) 2021-01-12 2024-07-09 株式会社Nttドコモ 情報処理装置及び情報処理システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005032167A (ja) * 2003-07-11 2005-02-03 Sony Corp 情報検索装置、情報検索方法、情報検索システム、クライアント装置およびサーバ装置
JP2011008393A (ja) * 2009-06-24 2011-01-13 Nec Corp グループ管理支援装置、グループ管理支援方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005032167A (ja) * 2003-07-11 2005-02-03 Sony Corp 情報検索装置、情報検索方法、情報検索システム、クライアント装置およびサーバ装置
JP2011008393A (ja) * 2009-06-24 2011-01-13 Nec Corp グループ管理支援装置、グループ管理支援方法およびプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020060833A (ja) * 2018-10-05 2020-04-16 株式会社ケアコム 行動状況可視化装置
JP7198483B2 (ja) 2018-10-05 2023-01-04 株式会社ケアコム 行動状況可視化装置
WO2020255630A1 (ja) * 2019-06-17 2020-12-24 Jsr株式会社 生体情報分析装置、生体情報分析システム、生体情報分析プログラム、及び生体情報分析方法
JP2021018481A (ja) * 2019-07-17 2021-02-15 本田技研工業株式会社 ロボット管理装置、ロボット管理方法およびロボット管理システム
JP7273637B2 (ja) 2019-07-17 2023-05-15 本田技研工業株式会社 ロボット管理装置、ロボット管理方法およびロボット管理システム
JP2021058231A (ja) * 2019-10-02 2021-04-15 株式会社エクサウィザーズ 認知機能推定方法、コンピュータプログラム及び認知機能推定装置
JP7014761B2 (ja) 2019-10-02 2022-02-01 株式会社エクサウィザーズ 認知機能推定方法、コンピュータプログラム及び認知機能推定装置
JP2022068905A (ja) * 2020-10-23 2022-05-11 本田技研工業株式会社 会議支援装置、会議支援方法および会議支援プログラム
JP7430132B2 (ja) 2020-10-23 2024-02-09 本田技研工業株式会社 会議支援装置、会議支援方法および会議支援プログラム
WO2022138153A1 (ja) * 2020-12-22 2022-06-30 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
JP7513534B2 (ja) 2021-01-12 2024-07-09 株式会社Nttドコモ 情報処理装置及び情報処理システム
EP4242943A1 (en) * 2022-03-11 2023-09-13 Ricoh Company, Ltd. Information processing system, information processing method, and carrier means

Also Published As

Publication number Publication date
JP6965525B2 (ja) 2021-11-10

Similar Documents

Publication Publication Date Title
JP6965525B2 (ja) 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム
US11160479B2 (en) Information processing device and control method
Ogbanufe et al. The mediating influence of smartwatch identity on deep use and innovative individual performance
Bailenson et al. The effect of behavioral realism and form realism of real-time avatar faces on verbal disclosure, nonverbal disclosure, emotion recognition, and copresence in dyadic interaction
US8715179B2 (en) Call center quality management tool
US20220392625A1 (en) Method and system for an interface to provide activity recommendations
US20190147367A1 (en) Detecting interaction during meetings
US9138186B2 (en) Systems for inducing change in a performance characteristic
US20110201959A1 (en) Systems for inducing change in a human physiological characteristic
JP2018503208A (ja) 知的パーソナルエージェントプラットフォームおよびそれを使用するためのシステムおよび方法
US9058587B2 (en) Communication support device, communication support system, and communication support method
JP6930277B2 (ja) 提示装置、提示方法、通信制御装置、通信制御方法及び通信制御システム
JP6933076B2 (ja) 制御装置、制御方法、プログラム及び制御システム
JP7521226B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7205528B2 (ja) 感情推定システム
Xue et al. Understanding how group workers reflect on organizational stress with a shared, anonymous heart rate variability data visualization
JP6798353B2 (ja) 感情推定サーバ及び感情推定方法
Waber et al. Understanding organizational behavior with wearable sensing technology
CN114051621A (zh) 空间提案***和空间提案方法
JP2008306586A (ja) 情況推定方法、情況推定プログラム及びネットワークシステム
JP2019101872A (ja) 情報処理装置、及びプログラム
US20230289731A1 (en) Information processing system, information processing method, and recording medium
JP2019101873A (ja) 情報処理装置、及びプログラム
WO2024023897A1 (ja) 情報処理装置、情報処理方法、および記録媒体
WO2023145350A1 (ja) 情報処理方法、情報処理システムおよびプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211004

R150 Certificate of patent or registration of utility model

Ref document number: 6965525

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150