JP5233159B2

JP5233159B2 - 集団感情認識支援システム

Info

Publication number: JP5233159B2
Application number: JP2007116066A
Authority: JP
Inventors: 寛之福島
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2007-04-25
Filing date: 2007-04-25
Publication date: 2013-07-10
Anticipated expiration: 2027-04-25
Also published as: JP2008272019A

Description

本発明は、ある空間に存在する複数の人間が持つ感情を統合し、集団的感情として認識することを支援するシステムに関するものである。

従来、人間の感情を認識することに関し、『適正でかつ使用されている時間が長くなればなるほど正しい判断ができ、かつ、患者の状態に応じた正確な感情判断を可能にした生体情報に基づく感情認識システムを提供すること。』を目的とした技術として、『生体情報に基づく感情認識システム１は、患者の身体に着脱が可能なセンサー３１を用いて、当該患者の身体から発せられる生体信号を取込む生体情報収集装置３と、前記生体情報収集装置３からの生体信号を取込み、ファジー関数処理を行うことによって当該生体の現在の感情を認識させてその認識結果を出力できる感情認識装置５とを備えたものである。』というものが提案されている（特許文献１）。

また、『ユーザの音声入力によって、絵文字や顔文字入りの楽しいメール又はＭｅｓｓａｇｅを作成することを可能とした音声感情認識によるメール作成機能付携帯端末、携帯端末システム、及び、音声感情認識によるメール作成方法を提供する。』ことを目的とした技術として、『携帯端末において、ユーザが発した音声を入力するための音声入力手段８と、ユーザ入力音声をテキストに変換する入力音声変換手段９と、ユーザ入力音声から感情を読み取り、対応する感情キーワードに変換する感情認識手段３と、入力音声変換手段９によりユーザ入力音声が変換されたテキストを、対応する発音キーワードに変換し、変換した発音キーワードと、感情認識手段３により変換された感情キーワードとを基に、文書登録リスト５を検索して、これと対応する記号、顔文字、又は、絵文字に変換する顔文字等変換手段４とを設ける。』というものが提案されている（特許文献２）。

また、感情を認識した結果を利用することに関し、『発表者自身が自分の発表状況を把握して、それに対処することを可能にし得る発表支援装置を提供する。』ことを目的とした技術として、『発表者の音声を感情認識部１２に与えて発表者の心理状態を認識し、その認識結果に応じた反応の表示情報を反応生成部１３で生成し、発表内容生成部１４で生成された発表内容とともに表示部１５に表示する。』というものが提案されている（特許文献３）。

特開２００６−１３０１２１号公報（要約）特開２００６−２７７５６７号公報（要約）特開平１０−２５４４８４号公報（要約）

人間が集まる空間において、これらの人間からなる集団の集団的感情を認識することが有用な場合がある。例えば、プレゼンテーションや会議の場において、参加者の感情を認識することがこれに相当する。

しかるに、上記特許文献１や特許文献２に記載の技術は、個人の感情を認識する技術であり、集団的感情を扱うものではない。
これら個人に対する感情認識技術を、集団の構成人員に対して個別に実施してその結果を統合し、もって集団の感情を認識することも考えられるが、人数分の感情認識処理を実施する必要があるため、これをシステムで行う場合にはシステム負荷がかかり、人間が集団感情を個別に判断する場合は、その者の負担が大きい。

一方、人間の感情の認識結果をプレゼンテーション等の発表の場面で利用することに関する上記特許文献３に記載の技術は、感情認識の対象が発表者自身であり、集団の感情を認識するものではない。したがって、集団感情の認識結果を利用することに関する開示はない。

以上のような背景から、複数人からなる集団の集団的感情を認識することを支援することのできるシステムが望まれていた。

本発明に係る集団感情認識支援システムは、複数人からなる聴衆である集団の集団的感情を認識し、前記聴衆にプレゼンテーションを行っている話者のプレゼンテーションの進行を支援するシステムであって、前記集団に属する個人の感情を表す情報を取得する感情情報取得部と、前記感情情報取得部が取得した情報を統合して前記集団の集団的感情を解析する集団感情解析部と、前記集団感情解析部の解析結果に基づいて、前記聴衆の関心対象を分類し、当該分類の結果から前記関心対象の割合データを生成して出力すると共に、前記プレゼンテーションのスライドの注目度合いから当該注目度合いの分布情報を生成して出力する出力データ処理部と、前記出力データ処理部から出力された前記割合データ及び前記分布情報を前記話者に情報提示する出力を行う出力部と、を備え、前記出力データ処理部は、前記話者のプレゼンテーションが継続中、前記割合データ及び前記分布情報の生成を繰り返し実行するものである。

本発明に係る集団感情認識支援システムによれば、集団に属する個人の感情を統合的に扱うことにより、その集団の集団的感情を解析し、その解析結果を出力するので、集団的感情の認識を支援することができる。

実施の形態１．
図１は、本発明の実施の形態１に係る集団感情認識支援システム１００の機能ブロック図である。ここでは、話者が聴衆に対しプレゼンテーションを行っている場面を想定して以下の説明を行う。
集団感情認識支援システム１００は、聴衆の集団的感情を解析して話者がこれを認識することを支援するとともに、その解析結果を用いて話者のプレゼンテーションの進行を支援するものである。

プレゼンテーションという場は、話者対聴衆という１対多の空間が構成されているものであり、情報発信が１から多数に向けられ、情報発信元がほぼ固定されているという特長を持つ。
そこで、本実施の形態１では、この情報発信の一方向性を利用し、聴衆が話者側へ向ける視線を検知することにより集団感情を認識することを考える。

集団感情認識支援システム１００は、情報取得部１０１、集団感情解析部１０２、入力部１０３、出力データ処理部１０４、出力部１０５、話者用表示部１０５Ａ、聴衆用表示部１０５Ｂ、記憶部１０６を備える。

情報取得部１０１は、集団感情認識を行うために用いる評価データを取得するものである。ここでいう評価データとは、聴衆の視線情報である。
即ち、プレゼンテーション会場に視線検知装置を配置しておき、この視線検知装置から赤外光を聴衆の目に照射して、反射されて戻ってきた光を測定する等により、聴衆の視線をトラッキングする。

また、情報取得部１０１は、プレゼンテーションに関する情報も取得する。ここでいうプレゼンテーションに関する情報とは、（１）表示プレゼンテーションスライドの内容、（２）プレゼンテーションスライドの切り替えタイミング、（３）話者の発表内容、といった情報のことである。

情報取得部１０１が取得した視線情報とプレゼンテーションに関する情報は、集団感情解析部１０２と記憶部１０６へ出力される。
なお、聴衆が自身の感情を自ら入力部１０３等を介して情報取得部１０１に入力するように構成してもよい。以下の実施の形態についても同様である。

集団感情解析部１０２は、情報取得部１０１から受け取った視線情報とプレゼンテーションに関する情報に基づき、プレゼンテーション会場の聴衆の集団感情を解析する。ここでは、聴衆の視線量、注視点（視線の移動）などから集団感情の解析を行う。
集団感情の解析は、例えば以下の（１）（２）のように行うことができる。

（１）聴衆の視線が、話者や後述の聴衆用表示部１０５Ｂに向けられている割合が多い場合には、そのプレゼンテーションは聴衆から興味をもたれていると判断する。
一方、情報取得部１０１が取得した視線情報（あるいはプレゼンテーション会場にいる聴衆人数）のうち、話者や後述の聴衆用表示部１０５Ｂ以外に向けられている視線の割合が多い場合には、そのプレゼンテーションは聴衆から興味をもたれていない、もしくは飽きられている、と判断する。

（２）後述の聴衆用表示部１０５Ｂに注がれる視線が、プレゼンテーションスライドのどの部分に集中しているか、あるいはスライド上でどのように視線が流れていくか、といった情報から、聴衆のプレゼンテーションに対する理解度（スライドの見易さ、話者の意図通りの部分に視線が集まっているか）等を判断することができる。

集団感情解析部１０２の解析結果は、出力データ処理部１０４と記憶部１０６へ出力される。

入力部１０３は、キーボードなどの入力装置により、話者から集団感情認識支援システム１００に対する入力を受け付けるものである。
ここでいう入力とは、（１）プレゼンテーションスライドの切替指示、（２）集団感情解析部１０２と出力データ処理部１０４を通して加工された、プレゼンテーション支援情報の表示切替指示、などである。（２）については後述する。

出力データ処理部１０４は、出力部１０５で出力する情報を生成するものである。
例えば、入力部１０３からのプレゼンテーションスライドの切替指示に基づいて、後述の聴衆用表示部１０５Ｂのスライド表示を切り替える、といった処理を行うため、必要な情報を生成する。
また、集団感情解析部１０２の解析結果を後述の話者用表示部１０５Ａに表示するに際し、必要な形式へ加工ないし選別を行う。
ここでいう加工ないし選別として、例えば以下の（１）（２）が挙げられる。

（１）視線量に基づく聴衆の関心について、（ａ）聴衆用表示部１０５Ｂに向けられている、（ｂ）話者に向けられている、（ｃ）それ以外、に分類するとともに、それぞれの割合データを生成する。

（２）主に聴衆用表示部１０５Ｂに向けられている関心のうち、プレゼンテーションスライドのどの部分に注目が集まっているかということを、分布情報としてまとめ、これを話者に対する支援情報として、話者用表示部１０５Ａに表示するように加工する。

出力データ処理部１０４の処理結果は、出力部１０５と記憶部１０６に出力される。
なお、加工ないし選別の内容は、入力部１０３から指示することにより変更することも可能である。

出力部１０５は、集団感情認識支援システム１００の出力を行うものである。本実施の形態１においては、話者用表示部１０５Ａと聴衆用表示部１０５Ｂに細分される。
話者用表示部１０５Ａは、ディスプレイなどの画面表示デバイスで実現される情報出力装置であり、話者に対する情報提示を行うものである。提示内容は、出力データ処理部１０４が話者用表示部１０５Ａのために生成・加工等した情報である。
聴衆用表示部１０５Ｂは、例えばプロジェクタとスクリーンなどで実現される情報出力装置であり、プレゼンテーションの聴衆に対する情報提示を行うものである。提示内容は、出力データ処理部１０４が聴衆用表示部１０５Ｂのために生成・加工等した情報である。

記憶部１０６は、情報取得部１０１、集団情報解析部１０２、出力データ処理部１０４が出力した情報を格納するものである。記憶部１０６に格納される情報は、プレゼンテーション終了後に、プレゼンテーションの反省や解析のために用いることができる。
即ち、記憶部１０６には、プレゼンテーションにおける話者の発話状態、スライドの状態、及び聴衆の（集団としての）反応を、それぞれ同期された形で格納しておく。これにより、プレゼンテーション中のどの挙動が、聴衆のどの行動、衝動、感情を引き出したのかを解析・比較しやすい。

情報取得部１０１は、視線検知装置の仕様、及びプレゼンテーションソフトウェア等の仕様に応じて、適宜必要なインターフェースを備える。
集団感情解析部１０２、出力データ処理部１０４は、これらの機能を実現する回路デバイス等のハードウェアとして実現することもできるし、ＣＰＵやマイコン等の演算装置上で実行されるソフトウェアとして実現することもできる。
出力部１０５、話者用表示部１０５Ａ、聴衆用表示部１０５Ｂは、これらの仕様に応じて適宜必要なインターフェース、ドライバソフトウェア等を備える。
記憶部１０６は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等の書込み可能な記憶装置で構成することができる。
さらには、これらの機能部の全部又は一部を、コンピュータにより実現することもできる。また、これらの機能部を一体化して構成する必要はなく、各部を分離して構成してもよい。

本実施の形態１における「感情情報取得部」は、情報取得部１０１がこれに相当する。

図２は、プレゼンテーション会場で集団感情認識支援システム１００を用いている様子を示すものである。
話者は演壇で話者用表示部１０５Ａを見ながらプレゼンテーションスライドの内容を発話している。また、聴衆は、聴衆用表示部１０５Ｂに表示されるスライドの内容を見ている。聴衆は、スライドの特定の部分に視線を注ぐ場合もあるし、話者に視線を注ぐ場合もある。

図２において、話者用表示部１０５Ａは、ノートパソコンのディスプレイ部として構成している。また、聴衆用表示部１０５Ｂは、大型のプロジェクタとスクリーンで構成している。
入力部１０３、記憶部１０６は、コンピュータ２００のキーボード等の入力装置とＨＤＤにより構成している。また、集団感情解析部１０２、出力データ処理部１０４は、コンピュータ２００上で実行されるプログラムとして構成している。
プレゼンテーションスライドのデータはコンピュータ２００上に格納されている。
情報取得部１０１のうち、聴衆の視線を検知する機能に関しては、赤外線アイカメラ等の視線検知装置として構成し、検知情報はコンピュータ２００に出力される。
また、プレゼンテーションスライドはコンピュータ２００上に格納されているため、プレゼンテーションに関する情報は、コンピュータ２００が自ら取得するものとする。

図３は、集団感情認識支援システム１００の動作フローである。以下、各ステップについて説明する。

（Ｓ３０１）
プレゼンテーション開始前の初期状態について、以下のように初期処理を実行する。
（１）情報取得部１０１は、聴衆の視線情報と、プレゼンテーションに関する情報とを取得する。取得した情報は、集団感情解析部１０２に出力される。
（２）集団感情解析部１０２は、情報取得部１０１からの出力に基づき、聴衆の集団感情を解析する。解析結果は、出力データ処理部１０４に出力される。
（３）出力データ処理部１０４は、話者用表示部１０５Ａと聴衆用表示部１０５Ｂが表示を行うための情報の生成・加工等を実行する。
（４）情報取得部１０１、集団感情解析部１０２、出力データ処理部１０４のそれぞれの処理結果は、記憶部１０６に初期状態データとして格納される。

（Ｓ３０２）
話者はプレゼンテーション（スライドの内容説明等）を開始する。このとき、話者は入力部１０３でスライドを開始する旨の入力を行い、これにより集団感情認識支援システム１００は、プレゼンテーションが開始されたことを認識する。

（Ｓ３０３）
ステップＳ３０４〜Ｓ３０８の処理を、プレゼンテーションが継続される間、繰り返し実行する。なお、集団感情認識支援システム１００は、プレゼンテーションの終了の旨を話者が入力部１０３に入力することにより認識する。

（Ｓ３０４）
話者用表示部１０５Ａと聴衆用表示部１０５Ｂは、出力データ処理部１０４からの出力に基づき、それぞれの表示を行う。
（Ｓ３０５）
情報取得部１０１は、聴衆の視線情報と、プレゼンテーションに関する情報とを取得する。取得した情報は、集団感情解析部１０２と記憶部１０６に出力される。

（Ｓ３０６）
集団感情解析部１０２は、情報取得部１０１から受け取った聴衆の視線情報に基づき、聴衆の集団心理状態を解析する。
ここでは、プレゼンテーションへの関心度（話者・表示されるプレゼンテーション資料へどの程度視線が注がれているかの割合）、スライドのどこ部分へ視線が集中しているか、などの解析が行われる。
解析結果は、出力データ処理部１０４と記憶部１０６に出力される。

（Ｓ３０７）
出力データ処理部１０４は、入力部１０３からの指示入力に基づき、話者用表示部１０５Ａと聴衆用表示部１０５Ｂが表示を行うための情報の生成・加工等を実行する。
（Ｓ３０８）
記憶部１０６は、情報取得部１０１、集団感情解析部１０２、出力データ処理部１０４がそれぞれ出力した情報を、同期を取って格納する。
同期の取り方は、例えば相互の関連付けを関係テーブル形式で保持する、同一のフォルダに格納する、など任意の手法を適宜用いればよい。以下の実施の形態においても同様である。

本実施の形態１では、プレゼンテーションの場面を想定し、情報取得部１０１、集団感情解析部１０２、入力部１０３、出力データ処理部１０４、話者用表示部１０５Ａ、聴衆用表示部１０５Ｂ、の構成や動作を説明した。
これら各機能部は、集団感情認識支援システム１００の利用場面が異なる場合は、適宜適切な構成や動作をとるようにしてもよい。

以上のように、本実施の形態１によれば、プレゼンテーション会場に存在する複数人の聴衆の感情を統合して取り扱い、集団的感情として認識することができる。
また、解析の結果得られた集団感情を、話者用表示部１０５Ａで話者に即座に提示することにより、話者はプレゼンテーションに対する聴衆の反応を速やかに把握でき、聴衆の反応状況を参考に、より理解し易く注目され易いようにプレゼンテーションの発話内容を変更するなど、プレゼンテーションの展開を即座に調整することができる。

例えば、話者が意図している部分へ聴衆の注目が集まっていないようであれば、説明の前に注意を喚起する一言を加えることができる。また、聴衆が飽きている、疲れによって注意が散漫になっている、などのようであれば、発表のテンポを変えてみる、注意を引きやすい内容（動画など）の順番を入れ替える、といった対応をとることができる。

また、記憶部１０６にプレゼンテーションに関する情報や集団感情の解析結果などを格納しておくので、プレゼンテーションを行っている最中のみならず、その終了後に、プレゼンテーションの反省や解析に、格納したデータを利用することができる。

記憶部１０６には、各種データ（発表内容、スライド切替タイミング、集団感情の解析結果など）を同期させて格納しておくので、それぞれの相互関係、例えば聴衆の視線がスライドの内容に沿って移動しているか否か、といったことを把握しやすく、少ない負担でプレゼンテーションの反省や解析を行うことができる。

さらには、聴衆の反応のトリガーとなるアクションが何であったかを解析することにより、次回のプレゼンテーションではそのトリガーを組み込み、同様の聴衆反応を誘導することを図る、といった用法が可能である。

実施の形態２．
実施の形態１では、話者対聴衆という１対多の構成をとるプレゼンテーション会場を想定し、聴衆の視線情報に基づき集団感情を認識するように構成した。
本発明の実施の形態２では、情報発信が一方向的である実施の形態１とは異なり、情報発信元が流動的に変化する状況を取り扱う。この場合、状況の特性上、視線情報を統合するのみでは集団感情の解析が困難であるため、その他複数の情報を取得し、これらを統合して集団感情を認識する。
ここでは、会議の場面を想定し、会議参加者に対する集団感情認識を行い、さらにその結果を利用して会議運営を支援するシステムについて説明する。

図４は、本発明の実施の形態２に係る集団感情認識支援システム４００の機能ブロック図である。
集団感情認識支援システム４００は、情報取得部４０１、集団感情解析部１０２、入力部１０３、出力処理部４０２、出力部４０３、表示部４０３Ａ、動作部４０３Ｂ、記憶部１０６を備える。
なお、図１と同様または対応する機能部については、同じ符号を付して、説明を省略ないし補足説明に留める。

情報取得部４０１は、会議に関する情報、および集団感情認識を行うための評価データを取得するものである。情報取得部４０１は、対会場センサ４０１Ａと、対参加者センサ４０１Ｂとに細分される。

対会場センサ４０１Ａは、例えば会議室内に設置された温度計により測定される温度・湿度など、会議室内の物理的環境に関する情報を取得する。これらの変化を取得することにより、会議室内の不快度、議論の白熱度などの指標とすることができる。

対参加者センサ４０１Ｂは、以下の（１）〜（３）のような情報を取得する。

（１）会議参加者の生体情報
例えば、会議参加者に、体温・心拍・発汗量を測定するセンサ、あるいは、脳波計測装置などを身に付けさせておき、その取得情報から会議参加者の感情・状態を解析する。

（２）会議参加者の発言・発話・音量に関する情報
例えば、各会議参加者の前に個人専用マイクを設置し、音声データを取得する。無発言時間の割合の増加から会議の停滞を検知して、休憩を挟む指針としたり、発言場所の分布から会議の活性部分を検知し、発言が少ない人に対して話を振ったりするための指針としたりすることができる。

（３）会議参加者の姿勢状態に関する情報
会議室の椅子の背もたれ等に圧力センサを取り付けるなどしておき、会議参加者の姿勢状態（椅子へのもたれかかり具合）を検知し、その変化から会議参加者の感情・状態を解析する。
例えば、（ａ）背もたれにもたれかかる、（ｂ）座り直しが多い、（ｃ）肘掛に手を置いてしばらく動かない、といった会議参加者の人数が多ければ、会議室内では疲労、退屈、興味なしなどの感情が優勢であると判断できる。
その他、床面へ振動センサを設置しておき、会議参加者の足踏み動作などを集団感情の指標にすることも可能である。

情報取得部４０１が取得した情報は、集団感情解析部１０２と記憶部１０６へ出力される。

集団感情解析部１０２の動作は実施の形態１と同様であるが、情報取得部４０１が取得する情報が複数種類にわたるため、実施の形態１と異なり、これら取得情報を統合化して集団感情を解析する処理を行う。

入力部１０３の動作は、実施の形態１と同様である。入力部１０３を操作可能な者は、会議参加者全員、もしくは議長等の特定人物に絞るなど、任意に設定可能とする。

出力処理部４０２は、出力部４０３で出力する情報を生成するものである。
例えば、集団感情解析部１０２の解析結果に基づいて、後述の表示部４０３Ａの画面表示を切り替えるために必要な情報の処理を行う。また、動作部４０３Ｂに対する指示を行うために必要な情報の処理を行う。

表示部４０３Ａの画面表示を切り替えるために必要な情報の処理とは、例えば、集団感情解析部１０２により会議が停滞していると判断された際に、休憩を入れるように提案すべき旨を議長用の情報提示装置のみに出力する、といったものである。

動作部４０３Ｂに対する指示とは、例えば、集団感情解析部１０２により会議参加者のフラストレーションが上昇していると判断された際に、室温を低下させて頭をクールダウンさせる、といったものである。
動作部４０３Ｂの詳細については、後述する。

出力部４０３は、表示部４０３Ａと動作部４０３Ｂに細分される。

表示部４０３Ａは、会議参加者が使用する資料、あるいは出力処理部４０２によって処理された情報を表示するものである。
表示部４０３Ａは、例えば各会議参加者に割り当てられたコンピュータのディスプレイや、会議室内に設置されるスクリーンとプロジェクタからなる情報提示装置で構成することができる。

動作部４０３Ｂは、例えば会議室内の空調設備の動作を制御する機能部であり、出力処理部４０２からの指示に基づき、会議室内の温度を調整する。また、空調設備の動作制御に代えて、会議室内に音楽をかける、会議室内にリラックス作用のある香りを散布する、照明を変更する、といった動作を行うように構成してもよい。
即ち、動作部４０３Ｂは、出力処理部４０２からの指示に基づき会議室内の物理的環境を変動させる作用を実行する機能を持つ。

記憶部１０６が格納する内容は、実施の形態１と同様であるが、その格納内容を会議の議事録として用いることもできる。

出力処理部４０２は、その機能を実現する回路デバイス等のハードウェアとして実現することもできるし、ＣＰＵやマイコン等の演算装置上で実行されるソフトウェアとして実現することもできる。

本実施の形態２における「感情情報取得部」は、情報取得部４０１、対参加者センサ４０１Ｂがこれに相当する。
また、「センサ部」は、情報取得部４０１、対会場センサ４０１Ａがこれに相当する。

図５は、会議室内で集団感情認識支援システム４００を用いている様子を示すものである。
対参加者センサ４０１Ｂは、会議参加者毎に取り付けられており、各個人の生体情報、発話音声データ、姿勢情報などを取得する。
入力部１０３、記憶部１０６は、コンピュータ５００のキーボード等の入力装置とＨＤＤにより構成している。また、集団感情解析部１０２、出力処理部４０２は、コンピュータ５００上で実行されるプログラムとして構成している。

図６は、集団感情認識支援システム４００の動作フローである。以下、各ステップについて説明する。

（Ｓ６０１）
会議開始前の初期状態について、以下のように初期処理を実行する。
（１）情報取得部４０１は、上述の会議に関する情報、および集団感情認識を行うための評価データを取得する。取得した情報は、集団感情解析部１０２に出力される。
（２）集団感情解析部１０２は、情報取得部４０１からの出力に基づき、会議参加者の集団感情を解析する。解析結果は、出力処理部４０２に出力される。
（３）表示部４０３Ａは、会議参加者が使用する資料、出力処理部４０２によって処理された情報を表示する。
（４）情報取得部４０１、集団感情解析部１０２、出力処理部４０２のそれぞれの処理結果は、記憶部１０６に初期状態データとして格納される。

（Ｓ６０２）
会議が開始されると、例えば議長が入力部１０３よりその旨の入力を行い、これにより集団感情認識支援システム４００は、会議が開始された旨を認識する。
（Ｓ６０３）
ステップＳ６０４〜Ｓ６０８の処理を、会議が継続される間、繰り返し実行する。なお、集団感情認識支援システム４００は、会議の終了の旨を議長が入力部１０３に入力することにより認識する。

（Ｓ６０４）
出力処理部４０２は、集団感情解析部１０２の解析結果に基づいて、出力内容を更新する。表示部４０３Ａと動作部４０３Ｂは、出力処理部４０２からの出力に基づき、それぞれの動作を行う。
（Ｓ６０５）
情報取得部４０１は、上述の会議に関する情報、および集団感情認識を行うための評価データを取得する。情報取得部４０１が取得した情報は、集団感情解析部１０２と記憶部１０６に出力される。

（Ｓ６０６）
集団感情解析部１０２は、情報取得部４０１から受け取った情報に基づき、会議参加者の集団心理状態を解析する。
解析結果は、出力処理部４０２と記憶部１０６に出力される。

（Ｓ６０７）
出力処理部４０２は、入力部１０３からの指示入力、および集団感情解析部１０２の解析結果に基づき、表示部４０３Ａと動作部４０３Ｂがそれぞれの動作を行うための情報を生成する。
（Ｓ６０８）
記憶部１０６は、情報取得部４０１、集団感情解析部１０２、出力処理部４０２がそれぞれ出力した情報を、同期を取って格納する。

本実施の形態２では、会議の場面を想定し、情報取得部４０１、集団感情解析部１０２、入力部１０３、出力処理部４０２、表示部４０３Ａ、動作部４０３Ｂ、の構成や動作を説明した。
これら各機能部は、集団感情認識支援システム４００の利用場面が異なる場合は、適宜適切な構成や動作をとるようにしてもよい。

以上のように、本実施の形態２によれば、会議のように情報発信元が流動的に変化する場合においても、会議室内に複数のセンサを配置し、これから得られる計測データを統合的に解析することにより、会議参加者の集団感情を認識することが可能である。
さらには、集団感情の認識結果に基づき、会議室内の空調を調節するなど、会議室内の物理的環境に対する作用を実施することにより、会議室環境を適切に変動させ、効率的な会議運営を支援することができる。

実施の形態３．
実施の形態２では、会議参加者を集団として取り扱い、集団感情の認識結果に基づき、例えば会議室の空調を調節するなど、集団全体に効果を及ぼす物理的作用を実施することとした。
本発明の実施の形態３では、集団全体に効果を及ぼす作用とともに、集団を構成する個人に合わせた作用を実施する構成例について説明する。
ここでは、実施の形態２と同様に会議の場面を想定し、会議参加者の集団感情認識により休憩を挟むべき旨を判断した際などに、参加者個人の嗜好に合わせたハーブティーを供給する例を説明する。

図７は、本発明の実施の形態３に係る集団感情認識支援システム７００の機能ブロック図である。
集団感情認識支援システム７００は、情報取得部４０１、集団感情解析部７０１、入力部１０３、データベース７０２、出力処理部７０３、出力部７０４、表示部７０４Ａ、動作部７０４Ｂ、記憶部１０６を備える。
なお、実施の形態２の図４と同様または対応する機能部については、同じ符号を付して、説明を省略ないし補足説明に留める。

情報取得部４０１の機能は、実施の形態２と同様である。情報取得部４０１が取得した情報は、集団感情解析部７０１、記憶部１０６、データベース７０２へ出力される。

集団感情解析部７０１は、実施の形態２と同様に、情報取得部４０１が取得した情報を統合的に取り扱って集団感情認識を行う。また、これに加えて、会議参加者個人の感情認識も実施する。個人の感情認識の手法は、任意の公知の技術を用いるものとする。
解析結果は、出力処理部７０３、記憶部１０６に出力される。また、会議参加者個人の感情認識結果に関しては、データベース７０２にも出力される。詳細は後述する。

データベース７０２は、会議参加者個人の特性に関するデータを保持するものである。
ここでいう会議参加者個人の特性に関するデータとは、例えば以下の（１）（２）のようなデータのことである。

（１）ハーブティーに関する嗜好
会議参加者に対して事前に実施するヒアリングやアンケート、もしくは会議参加者自身が入力部１０３に入力する、などにより、会議参加者個人のハーブティーに関する嗜好をデータベース７０２に格納しておく。

（２）会議中の感情変化の傾向
情報取得部４０１からの出力、および集団感情解析部７０１による個人感情解析の結果により、会議中の感情変化の傾向を、会議参加者個人単位でデータベース７０２に保持しておく。

データベース７０２が保持している情報は、後述の動作部７０４Ｂが会議参加者個人に対して動作を実行する際に用いられる。

なお、データベース７０２は、ＨＤＤのような書込み可能な記憶装置に、必要なデータファイルを格納する等により構成することができる。

出力処理部４０２は、出力部７０４で出力する情報を生成するものである。例えば以下の（１）（２）のような情報を生成する。なお、これらの情報は、入力部１０３からの指示入力により変更可能である。

（１）集団感情解析部７０１の解析結果に基づき、表示部７０４Ａに対し、ハーブティーの配膳に関する指示等を表示するように指示する。詳細は後述する。
（２）集団感情解析部７０１の解析結果に基づき、データベース７０２から会議参加者個人のハーブティーに関する嗜好等を読み出し、会議参加者個人の嗜好にあったハーブティーの配合・作成を行うように、動作部７０４Ｂへ指示する。詳細は後述する。

出力部７０４は、表示部７０４Ａと動作部７０４Ｂに細分される。

表示部７０４Ａは、出力処理部４０２の指示に基づき、実施の形態２で説明した、会議資料の表示等の動作に加え、以下の動作を行う。

（１）ハーブティーを会議室に持ち込むタイミングの指示を表示する。
（２）会議参加者個人毎に配合されたハーブティーの個々の配膳指示を表示する。

これらの表示は、例えば議長の手元にあるディスプレイにのみ表示するようにしてもよいし、会議室の外で待機している運営スタッフに対して表示するようにしてもよい。

動作部７０４Ｂは、出力処理部４０２の指示に基づき、実施の形態２で説明した、会議室の空調設備の制御動作に加え、ハーブティーの配合・作成を実施する。
動作部７０４Ｂは、例えば電子制御可能なティーサーバと連動しており、出力処理部４０２より会議参加者個人の嗜好にあったハーブティーの配合・作成を行うように指示を受け、これに基づいてティーサーバに指示を与える。
ハーブティーの配膳等は、表示部７０４Ａの表示に従って、運営スタッフ等が別途実施する。

図８は、集団感情認識支援システム７００の動作フローである。以下、各ステップについて説明する。

（Ｓ８０１）
会議開始前の初期状態について、以下のように初期処理を実行する。
（１）情報取得部４０１は、上述の会議に関する情報、および集団感情認識を行うための評価データを取得する。取得した情報は、集団感情解析部７０１とデータベース７０２に出力される。
（２）集団感情解析部７０１は、情報取得部４０１からの出力に基づき、会議参加者の集団感情を解析する。解析結果は、出力処理部７０３に出力される。
また、集団感情解析部７０１は、情報取得部４０１からの出力に基づき、会議参加者個人の感情認識を行う。認識結果は、初期状態データとしてデータベース７０２に格納される。
（３）表示部７０４Ａは、会議参加者が使用する資料、出力処理部７０３によって処理された情報を表示する。
（４）情報取得部４０１、集団感情解析部７０１、出力処理部７０３のそれぞれの処理結果は、記憶部１０６に初期状態データとして格納される。

（Ｓ８０２）〜（Ｓ８０３）
図６のステップＳ６０２〜Ｓ６０３と同様である。
（Ｓ８０４）
出力処理部７０３は、集団感情解析部７０１の解析結果に基づいて、出力内容を更新する。表示部７０４Ａと動作部７０４Ｂは、出力処理部７０３からの出力に基づき、それぞれの動作を行う。

（Ｓ８０５）
情報取得部４０１は、上述の会議に関する情報、および集団感情認識を行うための評価データを取得する。情報取得部４０１が取得した情報は、集団感情解析部７０１とデータベース７０２に出力される。

（Ｓ８０６）
集団感情解析部７０１は、情報取得部４０１から受け取った情報に基づき、会議参加者の集団心理状態を解析する。また、会議参加者個人の感情認識を実施する。
解析結果は、出力処理部７０３、記憶部１０６、データベース７０２に出力される。
（Ｓ８０７）
データベース７０２は、集団感情解析部７０１より会議参加者個人の感情認識の結果を受け取るとともに、情報取得部４０１が取得した情報を受け取り、これを保存する。

（Ｓ８０８）
出力処理部７０３は、入力部１０３からの指示入力、集団感情解析部７０１の解析結果、およびデータベース７０２が保持しているデータに基づき、表示部７０４Ａと動作部７０４Ｂがそれぞれの動作を行うための情報を生成する。
（Ｓ８０９）
記憶部１０６は、情報取得部４０１、集団感情解析部７０１、出力処理部７０３がそれぞれ出力した情報を、同期を取って格納する。

本実施の形態３では、会議の場面において、会議参加者個人の嗜好に合わせたハーブティーを供給し、会議運営を支援することについて説明したが、集団感情認識支援システム７００の利用場面が異なる場合は、本実施の形態３で説明したもの以外に、適宜適切な構成や動作をとるようにしてもよい。

なお、動作部７０４Ｂは、会議参加者の嗜好に合わせてハーブティーの配合・作成を行うものとしたが、これに限られるものではなく、例えば香りを発する、照明を変更するなど、他の作用を実施するものとして構成してもよい。

また、本実施の形態３において、個人の特性をデータベース７０２に格納してこれを利用する例を説明したが、集団の特性をデータベース７０２に格納して利用してもよい。

以上のように、本実施の形態３によれば、会議参加者を集団として取り扱うのみならず、会議参加者個人の嗜好を格納したデータベース７０２と、会議参加者個人の感情認識の結果に基づき、会議参加者個人に合わせた出力（本実施の形態３ではハーブティーの配合を例にした）を行うことができる。
即ち、集団感情の認識に基づいて集団全体に対する出力を行うとともに、個々の出力に関しては各個人に最適化した出力を行うことが可能となる。

実施の形態４．
以上の実施の形態１〜３では、集団感情の認識結果に基づき、プレゼンテーションや会議運営の支援を行う構成例について説明した。
集団感情認識のその他の利用例として、例えば学習環境（学校や学習塾）における利用が考えられる。

例えば、生徒の授業に対する感情を集団感情として取り扱い、生徒が授業の内容について抱いている感情（内容が理解できた、分かりにくい、等）を認識し、これに基づいて教師の授業進行を支援することが考えられる。
また、生徒集団に対する動作に加えて、生徒個人の学習の進捗をデータベースに保持しておき、生徒個人に合わせた課題を自動的に生成する、といった利用例も考えられる。

以上の実施の形態１〜４において、ある１空間における集団感情認識について説明したが、複数の空間を対象として集団感情認識を行ってもよい。

実施の形態１に係る集団感情認識支援システム１００の機能ブロック図である。プレゼンテーション会場で集団感情認識支援システム１００を用いている様子を示すものである。集団感情認識支援システム１００の動作フローである。実施の形態２に係る集団感情認識支援システム４００の機能ブロック図である。会議室内で集団感情認識支援システム４００を用いている様子を示すものである。集団感情認識支援システム４００の動作フローである。実施の形態３に係る集団感情認識支援システム７００の機能ブロック図である。集団感情認識支援システム７００の動作フローである。

符号の説明

１００集団感情認識支援システム、１０１情報取得部、１０２集団感情解析部、１０３入力部、１０４出力データ処理部、１０５出力部、１０５Ａ話者用表示部、１０５Ｂ聴衆用表示部、１０６記憶部、４００集団感情認識支援システム、４０１情報取得部、４０２出力処理部、４０３出力部、４０３Ａ表示部、４０３Ｂ動作部、７００集団感情認識支援システム、７０１集団感情解析部、７０２データベース、７０３出力処理部、７０４出力部、７０４Ａ表示部、７０４Ｂ動作部。

Claims

複数人からなる聴衆である集団の集団的感情を認識し、前記聴衆にプレゼンテーションを行っている話者のプレゼンテーションの進行を支援するシステムであって、
前記集団に属する個人の感情を表す情報を取得する感情情報取得部と、
前記感情情報取得部が取得した情報を統合して前記集団の集団的感情を解析する集団感情解析部と、
前記集団感情解析部の解析結果に基づいて、
前記聴衆の関心対象を分類し、当該分類の結果から前記関心対象の割合データを生成して出力すると共に、
前記プレゼンテーションのスライドの注目度合いから当該注目度合いの分布情報を生成して出力する出力データ処理部と、
前記出力データ処理部から出力された前記割合データ及び前記分布情報を前記話者に情報提示する出力を行う出力部と、
を備え、
前記出力データ処理部は、
前記話者のプレゼンテーションが継続中、前記割合データ及び前記分布情報の生成を繰り返し実行する
ことを特徴とする集団感情認識支援システム。
前記集団が存在している空間の物理的環境の情報を取得するセンサ部を備え、
前記集団感情解析部は、
前記感情情報取得部が取得した情報と、前記センサ部が取得した情報とに基づき、前記集団の集団的感情を解析する
ことを特徴とする請求項１に記載の集団感情認識支援システム。
前記出力部の出力に基づき前記集団が存在している空間の物理的環境を変動させる物理的作用を実行する動作部
を備えたことを特徴とする請求項１又は請求項２に記載の集団感情認識支援システム。
前記集団感情解析部は、
前記集団的感情を解析するとともに、前記集団に属する個人の感情の変化を解析し、
前記出力部は、
前記集団感情解析部が解析した個人の感情の変化の解析結果を出力する
ことを特徴とする請求項１ないし請求項３のいずれかに記載の集団感情認識支援システム。
前記集団感情解析部の解析結果を時系列に沿って格納する記憶部を備え、
前記記憶部は、
前記集団感情解析部の解析結果、前記感情情報取得部が取得した情報、および前記出力部の出力内容を、同期させて格納する
ことを特徴とする請求項１ないし請求項４のいずれかに記載の集団感情認識支援システム。
前記集団に属する個人の特性に関する情報を保持するデータベースを備え、
前記出力部は、
前記集団感情解析部の解析結果とともに、前記データベースに格納されている情報を出力する
ことを特徴とする請求項１ないし請求項５のいずれかに記載の集団感情認識支援システム。
前記集団に属する個人の特性に関する情報を保持するデータベースを備え、
前記動作部は、
前記データベースに格納されている情報に基づき、前記集団に属する個人の特性に対応した前記物理的作用を実行する
ことを特徴とする請求項３に記載の集団感情認識支援システム。
前記感情情報取得部は、前記集団に属する個人の生体的情報を取得するセンサである
ことを特徴とする請求項１ないし請求項７のいずれかに記載の集団感情認識支援システム。
前記出力部の出力を画面表示する表示部を備えた
ことを特徴とする請求項１ないし請求項８のいずれかに記載の集団感情認識支援システム。