JP7430132B2 - Conference support device, conference support method, and conference support program - Google Patents
Conference support device, conference support method, and conference support program Download PDFInfo
- Publication number
- JP7430132B2 JP7430132B2 JP2020177722A JP2020177722A JP7430132B2 JP 7430132 B2 JP7430132 B2 JP 7430132B2 JP 2020177722 A JP2020177722 A JP 2020177722A JP 2020177722 A JP2020177722 A JP 2020177722A JP 7430132 B2 JP7430132 B2 JP 7430132B2
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- participants
- personal
- overall
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 24
- 230000008451 emotion Effects 0.000 claims description 255
- 230000000694 effects Effects 0.000 description 52
- 238000004891 communication Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 19
- 230000008921 facial expression Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 230000004913 activation Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、会議の進行を支援する会議支援装置、会議支援方法および会議支援プログラムに関する。 The present invention relates to a conference support device, a conference support method, and a conference support program that support the progress of a conference.
この種の装置として、従来、会議の参加者の発言や表情を検出し、検出結果に基づいて会議の進行を支援する情報を提示するようにした装置が知られている（例えば特許文献１，２参照）。特許文献１記載の装置では、画像や音声に基づいて参加者の心理状態が推定されるとともに、推定された心理状態の情報が表示される。特許文献２記載の装置では、参加者の発言の内容が解析され、解析結果が表示されることで、会議の論点や方向性が視覚化される。
As this type of device, there is conventionally known a device that detects the speech and facial expressions of conference participants and presents information to support the progress of the conference based on the detection results (for example,
ところで、会議を円滑に進行するには、必要に応じて参加者に発言を促すことが望ましい。しかしながら、上記特許文献１，２記載の装置は、単に参加者の感情や議論の内容を表示するだけであり、特許文献１，２記載の装置では、参加者に発言をいかに促すかについては何ら提案されていない。
By the way, in order for the meeting to proceed smoothly, it is desirable to encourage participants to speak as necessary. However, the devices described in
本発明の一態様である会議支援装置は、複数の参加者が参加する会議の進行を支援する。会議支援装置は、複数の参加者のそれぞれの生体情報を取得する情報取得部と、情報取得部により取得された生体情報に基づいて、複数の参加者のそれぞれの個人感情が予め設定された複数の種類の感情のいずれに属するかを推定する個人感情推定部と、個人感情推定部により同一の種類の感情に属すると推定された参加者の割合が所定割合以上であるか否かを判定し、所定割合以上であると判定されると、その感情を複数の参加者全体の全体感情として推定する全体感情推定部と、全体感情推定部により推定された全体感情を出力する出力部と、を備える。出力部は、さらに、個人感情推定部により推定された個人感情の種類が全体感情推定部により推定された全体感情の種類と異なる参加者の情報を出力する。 A conference support device that is one aspect of the present invention supports the progress of a conference in which multiple participants participate. The conference support device includes an information acquisition unit that acquires biometric information of each of the plurality of participants, and a plurality of personal feelings of the plurality of participants that are preset based on the biometric information acquired by the information acquisition unit. a personal emotion estimator that estimates which of the types of emotions they belong to, and a personal emotion estimator that determines whether the proportion of participants estimated to belong to the same type of emotion is equal to or higher than a predetermined proportion. , an overall emotion estimation unit that estimates the emotion as the overall emotion of all the plurality of participants when it is determined that the emotion is equal to or higher than a predetermined ratio; and an output unit that outputs the overall emotion estimated by the overall emotion estimation unit. Be prepared. The output unit further outputs information on participants whose type of personal emotion estimated by the personal emotion estimation unit is different from the type of overall emotion estimated by the overall emotion estimation unit.
本発明の他の態様は、複数の参加者が参加する会議の進行を支援する会議支援方法であって、複数の参加者のそれぞれの生体情報を取得する情報取得ステップと、情報取得ステップで取得された生体情報に基づいて、複数の参加者のそれぞれの個人感情が予め設定された複数の種類の感情のいずれに属するかを推定する個人感情推定ステップと、個人感情推定ステップで同一の種類の感情に属すると推定された参加者の割合が所定割合以上であるか否かを判定し、所定割合以上であると判定されると、その感情を複数の参加者全体の全体感情として推定する全体感情推定ステップと、全体感情推定ステップで推定された全体感情を出力する出力ステップと、をコンピュータにより実行することを含む。出力ステップでは、さらに、個人感情推定ステップで推定された個人感情の種類が全体感情推定ステップで推定された全体感情の種類と異なる参加者の情報を出力する。 Another aspect of the present invention is a conference support method for supporting the progress of a conference in which a plurality of participants participate, including an information acquisition step of acquiring biometric information of each of the plurality of participants; The personal emotion estimation step estimates which of multiple preset types of emotions the personal emotions of multiple participants belong to based on the biometric information obtained, and the A system that determines whether the proportion of participants estimated to belong to an emotion is greater than or equal to a predetermined proportion, and if it is determined to be greater than or equal to a predetermined proportion, the emotion is estimated as the overall emotion of all multiple participants. The method includes executing, by computer, an emotion estimation step and an output step of outputting the overall emotion estimated in the overall emotion estimation step. In the output step, information on participants whose type of personal emotion estimated in the personal emotion estimation step is different from the type of overall emotion estimated in the overall emotion estimation step is further output.
本発明のさらなる他の態様は、複数の参加者が参加する会議の進行を支援する会議支援プログラムであって、複数の参加者のそれぞれの生体情報を取得する情報取得ステップと、情報取得ステップで取得された生体情報に基づいて、複数の参加者のそれぞれの個人感情が予め設定された複数の種類の感情のいずれに属するかを推定する個人感情推定ステッ
プと、個人感情推定ステップで同一の種類の感情に属すると推定された参加者の割合が所定割合以上であるか否かを判定し、所定割合以上であると判定されると、その感情を複数の参加者全体の全体感情として推定する全体感情推定ステップと、全体感情推定ステップで推定された全体感情を出力する出力ステップと、をコンピュータに実行させる。出力ステップでは、さらに、個人感情推定ステップで推定された個人感情の種類が全体感情推定ステップで推定された全体感情の種類と異なる参加者の情報を出力する。
Still another aspect of the present invention is a conference support program that supports the progress of a conference in which a plurality of participants participate, comprising: an information acquisition step of acquiring biological information of each of the plurality of participants; A personal emotion estimation step for estimating which of a plurality of preset types of emotions each individual emotion of a plurality of participants belongs to based on the acquired biometric information; Determine whether the percentage of participants estimated to belong to the emotion is greater than or equal to a predetermined percentage, and if it is determined to be greater than or equal to the predetermined percentage, estimate that emotion as the overall emotion of all multiple participants. A computer is caused to execute an overall emotion estimation step and an output step of outputting the overall emotion estimated in the overall emotion estimation step. In the output step, information on participants whose type of personal emotion estimated in the personal emotion estimation step is different from the type of overall emotion estimated in the overall emotion estimation step is further output.
本発明によれば、会議の円滑な進行を支援することができる。 According to the present invention, it is possible to support the smooth progress of a meeting.
以下、図１～図１２を参照して本発明の一実施形態について説明する。本発明の実施形態に係る会議支援装置は、新たなアイデアを生み出すための社内会議などの会議の進行を支援する。より具体的には、会議の進行を管理するファシリテータを支援することで間接的に会議の進行を支援し、あるいは、ファシリテータの役割を担うことで直接的に会議の進行を支援する。 An embodiment of the present invention will be described below with reference to FIGS. 1 to 12. A meeting support device according to an embodiment of the present invention supports the progress of a meeting such as an in-house meeting for generating new ideas. More specifically, the user indirectly supports the progress of the meeting by supporting a facilitator who manages the progress of the meeting, or directly supports the progress of the meeting by taking the role of a facilitator.
会議は、例えば新たな商品やサービスのアイデアを生み出すために開催され、開発部門の各分野のエキスパートなど、多様な知見を有する複数の参加者により構成される。このような会議は、複数の参加者が互いの意見を交換し、議論することで進行するが、会議の進行が参加者の自治に委ねられると、特定の参加者が発言し続けたり、発言しなかったり、率直に発言できなかったりする不適切な状況が発生することがある。このような不適切な状況が発生すると、多様な知見が反映された良質なアイデアを生み出すことが難しくなる。 Meetings are held, for example, to generate ideas for new products and services, and are comprised of multiple participants with diverse knowledge, including experts in various fields from the development department. Such meetings progress by having multiple participants exchange and discuss their opinions, but if the progress of the meeting is left to the autonomy of the participants, certain participants may continue to speak or Inappropriate situations may arise where you are unable to speak up or speak up. When such an inappropriate situation occurs, it becomes difficult to generate high-quality ideas that reflect diverse knowledge.
ファシリテータは、例えば開発部門の会議に立ち会う心理学の専門性を有するカウンセラなどの担当者であり、会議の議論そのものには関与せず、専ら会議の進行のみを管理する。より具体的には、会議の進行状況を観察し、不適切な状況が発生しないよう、必要に応じて参加者に発言を促す「介入」を行うことで、会議の進行を促進する。 The facilitator is, for example, a person in charge, such as a counselor with expertise in psychology, who attends meetings of the development department, and does not participate in the discussion itself, but solely manages the progress of the meeting. More specifically, it facilitates the progress of the meeting by observing the progress of the meeting and "intervening" to encourage participants to speak as necessary to prevent inappropriate situations from occurring.
ファシリテータが各参加者の発言量や表情、動作などを観察し、適切な介入対象者および介入タイミングを見極めて適切な態様で介入すると会議の進行が促進されるが、不適切な態様で介入すると、かえって会議の進行が妨げられる可能性がある。そこで、本実施形態では、介入が適切な態様で行われるように支援することで、会議の円滑な進行を支援できるよう、以下のように会議支援装置を構成する。 If the facilitator observes the amount of speech, facial expressions, and movements of each participant, identifies the appropriate person to intervene and the timing, and intervenes in an appropriate manner, the progress of the meeting will be facilitated, but if the facilitator intervenes in an inappropriate manner, , it may actually hinder the progress of the meeting. Therefore, in this embodiment, the conference support device is configured as follows so as to support the smooth progress of the conference by supporting intervention in an appropriate manner.
図１は、本発明の実施形態に係る会議支援装置を有する会議支援システム１００の全体構成の一例を概略的に示すブロック図である。図１に示すように、会議支援システム１００は、会議の複数の参加者Ｐａ～Ｐｄのそれぞれが使用する端末装置１０ａ～１０ｄと、ファシリテータＰｆが使用する端末装置１０ｆと、本発明の実施形態に係る会議支援装置を構成するサーバ２０とを有する。各端末装置１０（１０ａ～１０ｄ，１０ｆ）は、パーソナルコンピュータやスマートフォンなどの一般的なユーザ端末により構成される。
FIG. 1 is a block diagram schematically showing an example of the overall configuration of a
各端末装置１０とサーバ２０とは、インターネット網や携帯電話網等に代表される公衆無線通信網を含む通信ネットワーク３０に接続され、通信ネットワーク３０を介して互いに通信可能に構成される。通信ネットワーク３０には、公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等も含まれる。
Each
なお、図１には、各参加者Ｐａ～ＰｄおよびファシリテータＰｆが個人で参加するＷｅｂ会議の構成を示すが、会議は、複数の参加者Ｐａ～ＰｄおよびファシリテータＰｆの一部がグループで参加するテレビ会議や、オンライン会議以外の会議であってもよい。この場合、複数の参加者Ｐａ～ＰｄおよびファシリテータＰｆまたはその一部が単一の端末装置１０を共用してもよい。
Although FIG. 1 shows the configuration of a web conference in which each participant Pa to Pd and a facilitator Pf participate individually, the conference is held in which a plurality of participants Pa to Pd and some of the facilitators Pf participate as a group. It may be a video conference or a conference other than an online conference. In this case, a single
図２は、各端末装置１０の要部構成の一例を概略的に示すブロック図である。図２に示すように、端末装置１０は、ＣＰＵなどの演算部１１と、ＲＯＭ，ＲＡＭなどの記憶部１２と、Ｉ／Ｏインターフェースなどの周辺回路とを有するコンピュータを含んで構成される。端末装置１０は、さらに、コンピュータに接続されたマイク１３と、カメラ１４と、入力部１５と、スピーカ１６と、表示部１７と、を有する。記憶部１２には、演算部１１が実行するプログラム、端末装置１０を使用するユーザ（参加者Ｐａ～Ｐｄ、ファシリテータＰｆ）の識別情報などが記憶される。
FIG. 2 is a block diagram schematically showing an example of the main configuration of each
マイク１３は、端末装置１０のユーザが発した音声を取得する。マイク１３からの音声信号は、演算部１１での処理により、通信ネットワーク３０を介して、他の参加者Ｐａ～ＰｄおよびファシリテータＰｆが使用する端末装置１０に送信される。また、マイク１３からの音声信号は、記憶部１２に一時的に記憶され、識別情報とともにユーザ（参加者Ｐａ～Ｐｄ、ファシリテータＰｆ）ごとの音声情報として、演算部１１での処理により通信ネットワーク３０を介して所定周期でサーバ２０に送信される。マイク１３は、ファシリテータＰｆによる各種の指令の音声操作入力を受け付けることもできる。マイク１３を介して入力されたファシリテータＰｆからの指令の情報は、演算部１１での処理により通信ネットワーク３０を介してサーバ２０に送信される。
The
カメラ１４は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を有し、端末装置１０のユーザの顔を撮像する。カメラ１４からの画像信号は、演算部１１での処理により、通信ネットワーク３０を介して、他の参加者Ｐａ～ＰｄおよびファシリテータＰｆが使用する端末装置１０に送信される。また、カメラ１４からの画像信号は、記憶部１２に一時的に記憶され、識別情報とともにユーザ（参加者Ｐａ～Ｐｄ、ファシリテータＰｆ）ごとの画像情報として、演算部１１での処理により通信ネットワーク３０を介して所定周期でサーバ２０に送信される。カメラ１４は、ファシリテータＰｆのジェスチャによる各種の指令の操作入力を受け付けることもできる。カメラ１４を介して入力されたファシリテータＰｆからの指令の情報は、演算部１１での処理により通信ネットワーク３０を介してサーバ２０に送信される。
The
入力部１５は、キーボードやマウス、タッチパネルなどにより構成され、ユーザによる操作入力を受け付ける。例えば、マイク１３やカメラ１４をオンまたはオフする操作入力を受け付ける。また、ファシリテータＰｆによる各種の指令の操作入力を受け付ける。入力部１５を介して入力されたファシリテータＰｆからの各種の指令の情報は、演算部１１での処理により通信ネットワーク３０を介してサーバ２０に送信される。
The
スピーカ１６は、演算部１１からの制御信号に応じて音声を出力する。例えば、通信ネットワーク３０を介して取得された音声情報に基づいて、他の参加者Ｐａ～ＰｄまたはファシリテータＰｆが発した音声を出力する。各端末装置１０のユーザは、マイク１３とスピーカ１６とを介して、他の参加者Ｐａ～ＰｄまたはファシリテータＰｆと対話することができる。
The
表示部１７は、演算部１１からの制御信号に応じて画像を表示する。例えば、通信ネットワーク３０を介して取得された画像情報に基づいて、他の参加者Ｐａ～ＰｄまたはファシリテータＰｆの画像を表示する。各端末装置１０のユーザは、表示部１７を介して、他の参加者Ｐａ～ＰｄまたはファシリテータＰｆの表情や動作を認識することができる。
The
図３は、本発明の実施形態に係る会議支援装置を構成するサーバ２０の要部構成の一例を概略的に示すブロック図である。図３に示すように、サーバ２０は、ＣＰＵなどの演算部２１と、ＲＯＭ，ＲＡＭなどの記憶部２２と、Ｉ／Ｏインターフェースなどの周辺回路とを有するコンピュータを含んで構成される。なお、図１には単一のサーバ２０を示すが、図３に示す機能を分散させた複数のサーバによりサーバ２０を構成してもよい。
FIG. 3 is a block diagram schematically showing an example of the main configuration of the
記憶部２２には、演算部２１が実行する会議支援プログラムやプログラムで使用される閾値、各端末装置１０から取得された参加者Ｐａ～Ｐｄ、ファシリテータＰｆごとの音声情報や画像情報、演算部２１による演算結果などが記憶される。演算部２１は、ＣＰＵが担う機能的構成として、情報取得部２３と、発言判定部２４と、個人感情推定部２５と、全体感情推定部２６と、活性度算出部２７と、介入認識部２８と、出力部２９と、を有する。
The
情報取得部２３は、通信ネットワーク３０を介して各端末装置１０から参加者Ｐａ～Ｐｄ、ファシリテータＰｆごとの音声情報および画像情報、すなわち生体情報取得するとともに、ファシリテータＰｆの端末装置１０ｆから各種の指令の情報を取得する。情報取得部２３により取得された各参加者Ｐａ～Ｐｄの生体情報は、各参加者Ｐａ～Ｐｄの識別情報に関連付けられて記憶部２２に記憶される。
The
発言判定部２４は、情報取得部２３により取得された音声情報に基づいて、各参加者Ｐａ～Ｐｄが発言しているか否かを判定する。より具体的には、参加者Ｐａ～Ｐｄごとの音声情報に基づいて、各端末装置１０のマイク１３を介して音声信号が入力されたか否かを判定することで、複数の参加者Ｐａ～Ｐｄのそれぞれについて発言の有無を判定する。発言判定部２４による判定結果は、各参加者Ｐａ～Ｐｄの識別情報に関連付けられ、時系列の情報として記憶部２２に記憶される。
The
個人感情推定部２５は、情報取得部２３により取得された画像情報に基づいて、各参加者Ｐａ～Ｐｄの表情（口角等）から、各参加者Ｐａ～Ｐｄの感情（個人感情）ｅａ～ｅｄが予め設定された複数の種類の感情のいずれに属するかを推定する。例えば、Ｐｌｕｔｃｈｉｋの感情の輪を用いて、８つの基本感情（喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、期待）と、隣り合う２つの感情の組み合わせによる応用感情とに分類し、感情の輪のいずれかのパターンに当てはめる。
Based on the image information acquired by the
個人感情推定部２５は、感情の輪への当てはめに応じて個人感情ｅａ～ｅｄを数値化する。例えば、喜びなどの好ましい感情（正の感情）をプラスの値で、悲しみなどの好ましからぬ感情（負の感情）をマイナスの値で表す。この場合、例えば感情が強いほど（感情の輪の内側に行くほど）、感情を表す値（絶対値）を大きくする。個人感情推定部２５による推定結果は、各参加者Ｐａ～Ｐｄの識別情報に関連付けられ、時系列の情報として記憶部２２に記憶される。
The personal
［介入の対象者と介入のタイミング］
図４は、発言判定部２４の判定結果と個人感情推定部２５の推定結果の一例を示す図であり、会議中における参加者Ｐａ～Ｐｄの発言の有無と個人感情ｅａ～ｅｄの変化の一例を示す。図４の例では、参加者Ｐａ，Ｐｂ，Ｐｄのみが発言し、参加者Ｐｃが発言していない。このような状況が継続すると、参加者Ｐｃの意見が反映されないまま議論が進んでしまうため、参加者Ｐｃに発言を促す介入を行う必要がある。一方、参加者Ｐｃが発言する意見の内容について考えている場合や発言する意見がない場合など、まだ発言できない段階で介入が行われると、単に議論の流れを妨げることになる。また、介入された参加者Ｐｃが委縮し、かえって発言しにくくなる。
[Targets of intervention and timing of intervention]
FIG. 4 is a diagram showing an example of the judgment result of the
図４に示すように、時刻ｔ１～ｔ２において参加者Ｐｃが一度も発言せず、継続して所定時間Ｔ１（例えば、５分間）以上、発言していない場合は、参加者Ｐｃを介入すべき対象者（介入対象者）の候補者（介入候補者）とみなす。さらに、時刻ｔ３において、他の参加者Ｐａの発言中に参加者Ｐｃの個人感情ｅｃが変化すると（図では正の感情が“＋１”から“＋３”に強まる）、参加者Ｐｃに何らかの意見が生じたものとみなし、参加者Ｐｃを介入対象者とする。すなわち、他の参加者の発言を受けて個人感情が変化した場合は、何らかの意見が生じた蓋然性が高いため、このようなタイミング、例えば、他の参加者の発言の直後に介入すれば、介入対象者にとって発言しやすく、議論の流れを妨げることがない。なお、誰も発言していないときの個人感情の変化は、発言内容に関係ない個人的な事柄に起因する可能性が高い。 As shown in FIG. 4, if participant Pc does not speak even once from time t1 to t2 and continues to do so for a predetermined period of time T1 (for example, 5 minutes) or more, participant Pc should intervene. Considered as a candidate (intervention candidate) for the target person (intervention target person). Furthermore, at time t3, when participant Pc's personal emotion ec changes while another participant Pa is speaking (in the figure, the positive emotion increases from "+1" to "+3"), participant Pc has some opinion. It is assumed that this has occurred, and participant Pc is the subject of intervention. In other words, if a person's personal feelings change in response to another participant's statement, there is a high probability that some kind of opinion has arisen. It is easy for the target audience to speak and does not disrupt the flow of the discussion. Note that changes in personal feelings when no one is speaking are likely to be caused by personal matters unrelated to the content of what is being said.
出力部２９は、発言判定部２４により他の参加者Ｐａが発言していると判定されるとき、個人感情推定部２５により推定された参加者Ｐｃ（介入候補者）の個人感情ｅｃが変化すると、参加者Ｐｃを介入対象者として発言を促すための指令（介入指令）を出力する。例えば、通信ネットワーク３０を介してファシリテータＰｆの端末装置１０ｆに、介入対象者を特定するための識別情報と個人感情の変化の情報を送信する。なお、継続して所定時間Ｔ１以上、発言していない複数の介入候補者の個人感情が同時に変化した場合は、発言していない時間がより長い介入候補者、あるいは、個人感情の変化がより大きい介入候補者を介入対象者として介入指令を出力する。
The
図５Ａは、介入指令を受信したときの端末装置１０ｆの表示画面の一例を示す図であり、サーバ２０からの介入指令に応じてファシリテータＰｆが使用する端末装置１０ｆの表示部１７に表示される表示画面の一例を示す。図５Ａに示すように、サーバ２０から端末装置１０ｆに介入指令が送信されると、表示部１７に表示される複数（図では４人）の参加者Ｐａ～Ｐｄのうち、介入指令により特定された参加者Ｐｃが他の参加者Ｐａ，Ｐｂ，Ｐｄよりも強調して表示される。
FIG. 5A is a diagram showing an example of a display screen of the
このように、参加者Ｐａの発言中、長時間発言していない参加者Ｐｃの個人感情ｅｃが変化すると直ちに、ファシリテータＰｆに対し、参加者Ｐｃに介入すべきタイミングであることが通知される。これにより、例えば参加者Ｐａが発言し終わり、他の参加者Ｐｂ，Ｐｄが発言する前に、ファシリテータＰｆが参加者Ｐｃに発言を促すことができるため、参加者Ｐｃがスムーズに議論に加わることができる。このような通知は、ファシリテータＰｆが不慣れで介入のタイミングを判断しかねる場合だけでなく、資料などが全画面表示されることでファシリテータＰｆが参加者Ｐｃの表情や動作を観察できない場合にも、ファシリテータＰｆを支援することができる。 In this way, as soon as the personal emotion ec of a participant Pc who has not spoken for a long time changes while the participant Pa is speaking, the facilitator Pf is notified that it is time to intervene with the participant Pc. As a result, for example, after participant Pa finishes speaking and before other participants Pb and Pd speak, facilitator Pf can encourage participant Pc to speak, so participant Pc can smoothly join the discussion. I can do it. Such notifications are sent not only when the facilitator Pf is inexperienced and cannot judge the timing of intervention, but also when the facilitator Pf is unable to observe the facial expressions and movements of the participant Pc due to the materials being displayed in full screen. Facilitator Pf can be supported.
さらに、端末装置１０ｆの表示部１７には、介入指令により特定された参加者Ｐｃについての、個人感情ｅｃの変化の情報が表示される。個人感情ｅｃの変化の情報は、例えば感情の種類や強さを示す表情アイコンを用いて示される。図５Ａの例では、参加者Ｐｃの個人感情ｅｃが弱い正の感情“＋１”から、やや強い正の感情“＋３”に変化したことが、変化の前後の感情にそれぞれ対応する２つの表情アイコンを用いて示される。
Further, the
このように個人感情ｅｃの変化の情報を表示することで、ファシリテータＰｆが参加者Ｐｃの個人感情ｅｃの変化の内容を把握した上で介入できるため、参加者Ｐｃの心理状態に応じた適切な声の掛け方などで発言を促すことができる。また、表示部１７に表示される情報が表情アイコンなど最小限に止められるため、ファシリテータＰｆによる参加者Ｐａ～Ｐｄの表情や動作などの観察を妨げることがない。
By displaying information on changes in personal emotions ec in this way, facilitator Pf can intervene after grasping the details of changes in participant Pc's personal emotions ec. You can encourage people to speak by using your voice. Further, since the information displayed on the
図５Ｂは、介入指令を受信したときの端末装置１０の表示画面の変形例を示す図であり、サーバ２０からの介入指令に応じて参加者Ｐａ～ＰｄおよびファシリテータＰｆが使用する端末装置１０ａ～１０ｄ，１０ｆの表示部１７に表示される表示画面の一例を示す。図５Ｂに示すように、サーバ２０から各端末装置１０に介入指令が送信されると、表示部１７に表示される複数（図では４人）の参加者Ｐａ～Ｐｄのうち、介入指令により特定された参加者Ｐｃが他の参加者Ｐａ，Ｐｂ，Ｐｄよりも強調して表示される。例えば、参加者Ｐｃの画像が他の参加者Ｐａ，Ｐｂ，Ｐｄの画像よりも大きく表示される。
FIG. 5B is a diagram showing a modified example of the display screen of the
このように、ファシリテータＰｆや介入対象者だけでなく、参加者Ｐａ～Ｐｄ全体に対し、次の発言者が明示されるため、より自然な態様で介入対象者に発言を促すことができる。このように参加者Ｐａ～Ｐｄ全体に対して通知を行う場合は、ファシリテータＰｆによる介入を支援するだけでなく、会議支援装置がファシリテータの役割を担うことで直接的に会議の進行を支援することができる。 In this way, the next speaker is clearly indicated not only to the facilitator Pf and the intervention target, but also to all the participants Pa to Pd, so that the intervention target can be encouraged to speak in a more natural manner. When notifying all participants Pa to Pd in this way, the conference support device not only supports intervention by facilitator Pf, but also directly supports the progress of the conference by taking on the role of facilitator. I can do it.
図６は、サーバ２０の記憶部２２に予め記憶された会議支援プログラムに従い、サーバ２０の演算部２１で実行される介入指令出力処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばファシリテータＰｆからの開始指令が入力されると開始され、終了指令が入力されるまで所定周期で繰り返し実行される。
FIG. 6 is a flowchart showing an example of an intervention command output process executed by the
先ずステップＳ１で、参加者Ｐａ～Ｐｄごとの生体情報を取得する。次いでステップＳ２で、ステップＳ１で取得された音声情報に基づいて参加者Ｐａ～Ｐｄごとの発言の有無を判定する。次いでステップＳ３で、ステップＳ１で取得された画像情報に基づいて参加者Ｐａ～Ｐｄごとの個人感情ｅａ～ｅｄを推定する。次いでステップＳ４で、ステップＳ２の判定結果に基づいて、継続して所定時間Ｔ１以上、発言していない介入候補者がいるか否かを判定する。ステップＳ４で肯定されるとステップＳ５に進み、否定されると処理を終了する。ステップＳ５では、ステップＳ２の判定結果とステップＳ３の推定結果とに基づいて、他の参加者の発言中に介入候補者の感情に変化があったか否かを判定する。ステップＳ５で肯定されるとステップＳ６に進み、否定されると処理を終了する。ステップＳ６では、介入候補者を介入対象者として発言を促すための介入指令を端末装置１０に送信する。
First, in step S1, biometric information for each participant Pa to Pd is acquired. Next, in step S2, it is determined whether each of the participants Pa to Pd has made a statement based on the audio information obtained in step S1. Next, in step S3, personal emotions ea to ed of each participant Pa to Pd are estimated based on the image information acquired in step S1. Next, in step S4, based on the determination result in step S2, it is determined whether or not there is an intervention candidate who has not continuously spoken for a predetermined period of time T1 or more. If the answer in step S4 is affirmative, the process proceeds to step S5, and if the answer is negative, the process ends. In step S5, it is determined based on the determination result in step S2 and the estimation result in step S3 whether or not there was a change in the intervention candidate's emotion while the other participants were speaking. If the answer in step S5 is affirmative, the process proceeds to step S6, and if the answer is negative, the process ends. In step S6, an intervention command is sent to the
このように、長時間発言していない参加者を特定し（ステップＳ１，Ｓ２，Ｓ４）、他の参加者の発言を受けて個人感情が変化したタイミングで介入指令を出力するため（ステップＳ１～Ｓ３，Ｓ５，Ｓ６）、発言しやすいタイミングで介入を行うことができる。これにより、議論の流れを妨げることなく効果的に介入を行うことができるため、会議の円滑な進行を支援することができる。 In this way, participants who have not spoken for a long time are identified (steps S1, S2, and S4), and an intervention command is output at the timing when their personal feelings change in response to comments from other participants (steps S1 to S4). S3, S5, S6), it is possible to intervene at a time when it is easy to speak. This allows for effective intervention without disrupting the flow of discussion, thereby supporting the smooth progress of the meeting.
［議論の活性度と介入の効果］
ファシリテータＰｆは、自身が行った介入が効果的であったか否かを知ることで、必要に応じて次回以降の介入の態様を見直すことができる。ファシリテータＰｆによる介入の効果をファシリテータＰｆにフィードバックすることで、ファシリテータＰｆによる効果的な介入を支援し、会議の円滑な進行を支援することができる。
[Activity of discussion and effectiveness of intervention]
By knowing whether or not the intervention that the facilitator Pf performed was effective, the facilitator Pf can review the form of the next intervention as necessary. By feeding back the effect of the intervention by facilitator Pf to facilitator Pf, it is possible to support effective intervention by facilitator Pf and support smooth progress of the meeting.
活性度算出部２７は、情報取得部２３により取得された生体情報に基づいて、会議における議論の活性化の程度を表す活性度ａを算出する。例えば、情報取得部２３により取得された音声情報に基づいて参加者Ｐａ～Ｐｄによる発言の頻度ｆを算出し、算出された発言の頻度ｆに基づいて活性度ａを算出する。
The activity
図７Ａは、活性度算出部２７の算出結果の一例を示す図であり、発言の頻度ｆに基づく活性度ａの一例を示す。図７Ａに示すように、時刻ｔ６にファシリテータＰｆによる介入が行われると、介入前の時刻ｔ５～ｔ６における発言の頻度ｆと、介入後の所定期間Ｔ２（例えば、５分程度）、時刻ｔ６～ｔ７における発言の頻度ｆが算出される。図７Ａの例では、時刻ｔ５～ｔ６の３分間に２回の発言があり、介入前の発言の頻度ｆが０．７回／分として算出され、時刻ｔ６～ｔ７の５分間に７回の発言があり、介入後の発言の頻度ｆが１．４回／分として算出される。この場合、介入前の活性度ａが“０．７”、介入後の活性度ａが“１．４”として算出される。
FIG. 7A is a diagram illustrating an example of the calculation result of the activity
活性度算出部２７は、個人感情推定部２５により推定された参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄに基づいて活性度ａを算出することもできる。例えば、参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄの平均値を活性度ａとして算出する。
The activation
図７Ｂは、活性度算出部２７の算出結果の一例を示す図であり、個人感情ｅａ～ｅｄに基づく活性度ａの一例を示す。図７Ｂの例では、時刻ｔ６に介入が行われると、時刻ｔ８に参加者Ｐｄの個人感情ｅｄが負の感情“－３”から正の感情“＋３”に変化し、時刻ｔ９に参加者Ｐｃの個人感情ｅｃが弱い正の感情“＋１”から、強い正の感情“＋５”に変化する。この場合、参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄの平均値、すなわち活性度ａが、時刻ｔ５～ｔ８に“＋１．５”、時刻ｔ８～ｔ９に“＋３”、時刻ｔ９～ｔ７に“＋４”として算出される。
FIG. 7B is a diagram showing an example of the calculation results of the activation
活性度算出部２７は、参加者Ｐａ～Ｐｄの発言の頻度ｆおよび個人感情ｅａ～ｅｄの両方に基づいて活性度ａを算出してもよい。この場合、例えば、発言の頻度ｆに基づく活性度ａおよび個人感情ｅａ～ｅｄに基づく活性度ａを、最小値および最大値を統一した数値ａｆ，ａｅに換算するとともに、換算された数値ａｆ，ａｅの平均値を活性度ａとして算出する。
The activity
介入認識部２８は、ファシリテータＰｆによる介入のタイミング（図７Ａ、図７Ｂの時刻ｔ６）を認識する。より具体的には、情報取得部２３により取得されたファシリテータＰｆの音声情報に基づいて、端末装置１０ｆのマイク１３を介して音声信号が入力されたか否かを判定することで、ファシリテータＰｆが介入を行うタイミングを認識する。この場合、ファシリテータＰｆが介入を行うと自動的に介入のタイミングが認識される。
The
介入認識部２８は、ファシリテータＰｆによる意識的な操作入力、すなわち、介入の開始および介入の効果のフィードバックを要求するために予め定められた操作入力に基づいて、介入のタイミングを認識してもよい。より具体的には、情報取得部２３により取得されたファシリテータＰｆからの各種の指令の情報に基づいて、端末装置１０ｆの入力部１５を介した操作、マイク１３を介した音声操作、カメラ１４を介したジェスチャによる操作が入力されたか否かを判定する。このような意識的な操作入力を契機として介入のタイミングを認識する場合、例えば介入以外の発言を契機として誤って介入の効果が算出されることがなく、ファシリテータＰｆの意図に沿って正確な介入の効果をフィードバックすることができる。
The
出力部２９は、介入認識部２８により介入のタイミングが認識されると、その後の所定期間Ｔ２内に活性度算出部２７により算出された活性度ａに基づいて、活性度ａの変化を表す活性度情報を生成し、通信ネットワーク３０を介して端末装置１０ｆに送信する。例えば、図７Ａに示すように、活性度算出部２７により介入前の活性度ａが“０．７”、介入後の所定期間Ｔ２における活性度ａが“１．４”として算出されると、介入の効果として活性度ａが向上したことを示す活性度情報を生成し、出力する。あるいは、図７Ｂに示すように、活性度算出部２７により介入後の所定期間Ｔ２における活性度ａが“＋１．５”、“＋３”、“＋４”として算出されると、介入の効果として活性度ａの推移を示す活性度情報を生成し、出力する。
When the
図８Ａおよび図８Ｂは、活性度情報を受信したときの、ファシリテータＰｆが使用する端末装置１０ｆの表示画面の一例を示す図である。図８Ａの例では、介入の効果として、介入の前後で活性度ａが向上したことを示す矢印が画面中央に表示される。図８Ｂの例では、介入の効果として、介入後の所定期間Ｔ２に活性度ａが弱い正の感情に対応する“＋１．５”から、やや強い正の感情に対応する“＋３”、強い正の感情に対応する“＋４”に推移したことを示す表情アイコンが画面中央に表示される。このような介入の効果は、介入認識部２８により介入のタイミングが認識された後、所定期間Ｔ２が経過してから表示されるが、図８Ｂのように活性度ａの推移を表示する場合には、介入のタイミングが認識された後の所定期間Ｔ２、継続的に表示してもよい。
FIGS. 8A and 8B are diagrams showing an example of a display screen of the
図９は、サーバ２０の記憶部２２に予め記憶された会議支援プログラムに従い、サーバ２０の演算部２１で実行される活性度情報出力処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばファシリテータＰｆからの開始指令が入力されると開始され、終了指令が入力されるまで所定周期で繰り返し実行される。
FIG. 9 is a flowchart showing an example of the activity level information output process executed by the
先ずステップＳ１で、参加者Ｐａ～Ｐｄごとの生体情報を取得する。次いでステップＳ７で、ステップＳ１で取得された生体情報に基づいて活性度ａを算出する。次いでステップＳ８で、ファシリテータＰｆによる介入のタイミングが認識されたか否かを判定する。ステップＳ８で肯定されるとステップＳ９に進み、否定されると処理を終了する。ステップＳ９では、ステップＳ７で算出された活性度ａの変化を表す活性度情報を生成し、ファシリテータＰｆの端末装置１０ｆに出力する。次いでステップＳ１０で、ステップＳ８で認識された介入タイミングから所定期間Ｔ２が経過したか否かを判定する。ステップＳ１０で肯定されると処理を終了し、否定されるとステップＳ９に戻る。
First, in step S1, biometric information for each participant Pa to Pd is acquired. Next, in step S7, the degree of activity a is calculated based on the biological information acquired in step S1. Next, in step S8, it is determined whether the timing of intervention by facilitator Pf has been recognized. If the answer in step S8 is affirmative, the process proceeds to step S9, and if the answer is negative, the process ends. In step S9, activity information representing the change in the activity a calculated in step S7 is generated and output to the
このように、ファシリテータＰｆによる介入のタイミングを認識し（ステップＳ８）、介入前後の活性度ａの変化や介入後の活性度ａの推移をフィードバックするため（ステップＳ９，Ｓ１０）、ファシリテータＰｆが自身の介入による効果を把握することができる。これにより、ファシリテータＰｆによる効果的な介入を支援し、会議の円滑な進行を支援することができる。 In this way, in order to recognize the timing of intervention by facilitator Pf (step S8) and feed back the change in the activity level a before and after the intervention and the transition in the activity level a after the intervention (steps S9 and S10), the facilitator Pf It is possible to understand the effects of interventions. Thereby, it is possible to support effective intervention by facilitator Pf and to support smooth progress of the meeting.
［会議の全体的な雰囲気の形成］
会議を円滑に進行し、参加者全体の意見が反映された結論に至るには、会議の全体的な雰囲気を的確に把握することが必要となる。会議の全体的な雰囲気は、参加者全体の個人感情が概ね一致することで形成される。各参加者が率直に発言を尽くし、互いの意見が十分に交換されると、参加者全体の個人感情が一致し、このような満場一致の雰囲気で結論に至ることで、多様な知見が反映された良質なアイデアを生み出すことができる。
[Creating the overall atmosphere of the meeting]
In order for a meeting to proceed smoothly and reach a conclusion that reflects the opinions of all participants, it is necessary to accurately grasp the overall atmosphere of the meeting. The overall atmosphere of a meeting is formed by the general consensus of personal feelings among all participants. When each participant speaks frankly and fully exchanges their opinions, the individual feelings of all participants become the same, and by reaching a conclusion in such a unanimous atmosphere, diverse knowledge is reflected. can generate high-quality ideas.
全体感情推定部２６は、個人感情推定部２５で推定された各参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄに基づいて、複数の参加者Ｐａ～Ｐｄ全体の感情（全体感情）ｅ、すなわち会議全体の雰囲気を推定する。より具体的には、個人感情推定部２５により同一の種類の感情に属すると推定された参加者Ｐａ～Ｐｄの割合が所定割合（例えば、７０％）以上であるか否かを判定し、所定割合以上であると判定されると、その感情を全体感情ｅとして推定する。
The overall
図１０は、個人感情推定部２５および全体感情推定部２６の推定結果の一例を示す図である。図１０に示すように、例えば会議の開始直後は各参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄが殆ど一致せず、会議の全体的な雰囲気が形成されていない。このような段階で、例えば個人感情ｅａ～ｅｄの平均値として全体感情ｅを推定したとしても、会議の全体的な雰囲気を的確に表すことはできない。
FIG. 10 is a diagram showing an example of the estimation results of the personal
会議が円滑に進行し、すべての参加者Ｐａ～Ｐｄが率直に発言し、互いの意見が十分に交換されると、すべての参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄが正の感情として満場一致し、全体感情推定部２６により全体感情ｅが正の感情として推定される。また、個人感情ｅａ～ｅｄの平均値が全体感情ｅの絶対値として算出される。
If the meeting progresses smoothly, all participants Pa~Pd speak frankly, and each other's opinions are sufficiently exchanged, the personal feelings ea~ed of all participants Pa~Pd will be fully expressed as positive emotions. They match, and the overall
一方、会議が進行して殆どの参加者Ｐａ～Ｐｃが率直に発言し、意見を交換したものの、一部の参加者Ｐｄが十分に発言できていなかったり、率直に発言できていなかったりする場合は、一部の参加者Ｐｄの個人感情ｅｄが全体感情ｅと不一致となる。この場合、所定割合以上の参加者Ｐａ～Ｐｃの個人感情ｅａ～ｅｃが属する正の感情が全体感情ｅとして推定され、参加者Ｐａ～Ｐｃの個人感情ｅａ～ｅｃの平均値が全体感情ｅの絶対値として算出される。 On the other hand, if the meeting progresses and most of the participants Pa to Pc speak frankly and exchange opinions, but some participants Pd are unable to speak sufficiently or speak frankly. In this case, the individual emotions ed of some participants Pd do not match the overall emotions e. In this case, the positive emotion to which a predetermined percentage or more of the personal emotions ea to ec of participants Pa to Pc belong is estimated as the overall emotion e, and the average value of the personal emotions ea to ec of participants Pa to Pc is the overall emotion e. Calculated as an absolute value.
出力部２９は、全体感情推定部２６により全体感情ｅが推定されると、推定された全体感情ｅおよび個人感情ｅｄが全体感情ｅと不一致の参加者Ｐｄの情報を、通信ネットワーク３０を介して端末装置１０ｆに送信する。
When the overall emotion e is estimated by the overall
図１１Ａおよび図１１Ｂは、全体感情ｅの情報を受信したときの、ファシリテータＰｆが使用する端末装置１０ｆの表示画面の一例を示す図である。図１１Ａの例では、図１０において満場一致の全体感情ｅとして推定された、やや強い正の感情“＋４”に対応する表情アイコンが画面中央に表示される。
FIGS. 11A and 11B are diagrams showing an example of a display screen of the
図１１Ｂの例では、図１０において個人感情ｅｄが全体感情ｅと不一致の参加者Ｐｄがいる場合の全体感情ｅとして推定された、やや強い正の感情“＋３”に対応する表情アイコンが画面中央に表示される。また、個人感情ｅｄが全体感情ｅと不一致の参加者Ｐｄが他の参加者Ｐａ～Ｐｃよりも強調して表示されるとともに、その参加者Ｐｄの個人感情ｅｄとして推定された、やや強い負の感情“－３”に対応する表情アイコンが表示される。 In the example of FIG. 11B, the facial expression icon corresponding to a slightly strong positive emotion "+3" estimated as the overall emotion e when there is a participant Pd whose personal emotion ed does not match the overall emotion e in FIG. 10 is displayed in the center of the screen. will be displayed. In addition, a participant Pd whose personal emotion ed does not match the overall emotion e is displayed more emphatically than other participants Pa to Pc, and a slightly stronger negative A facial expression icon corresponding to the emotion "-3" is displayed.
図１２は、サーバ２０の記憶部２２に予め記憶された会議支援プログラムに従い、サーバ２０の演算部２１で実行される全体感情出力処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばファシリテータＰｆからの開始指令が入力されると開始され、終了指令が入力されるまで所定周期で繰り返し実行される。
FIG. 12 is a flowchart showing an example of the overall emotion output process executed by the
先ずステップＳ１で、参加者Ｐａ～Ｐｄごとの生体情報を取得する。次いでステップＳ３で、ステップＳ１で取得された画像情報に基づいて参加者Ｐａ～Ｐｄごとの個人感情ｅａ～ｅｄを推定する。次いでステップＳ１１で、ステップＳ３で推定された参加者Ｐａ～Ｐｄごとの個人感情ｅａ～ｅｄが概ね一致しているか否かを判定する。ステップＳ１１で肯定されるとステップＳ１２に進み、否定されると処理を終了する。ステップＳ１２では、ステップＳ１１で概ね一致すると判定された感情を参加者Ｐａ～Ｐｄ全体の全体感情ｅとして推定するとともに、一致した個人感情ｅａ～ｅｃの平均値を全体感情ｅの絶対値として算出する。 First, in step S1, biometric information for each participant Pa to Pd is acquired. Next, in step S3, personal emotions ea to ed of each participant Pa to Pd are estimated based on the image information acquired in step S1. Next, in step S11, it is determined whether the personal emotions ea to ed of each of the participants Pa to Pd estimated in step S3 generally match. If the answer in step S11 is affirmative, the process proceeds to step S12, and if the answer is negative, the process ends. In step S12, the emotions determined to be generally consistent in step S11 are estimated as the overall emotion e of all participants Pa to Pd, and the average value of the matched individual emotions ea to ec is calculated as the absolute value of the overall emotion e. .
次いでステップＳ１３で、ステップＳ３で推定された個人感情ｅａ～ｅｄがステップＳ１２で推定された全体感情ｅと一致しない参加者Ｐａ～Ｐｄがいるか否かを判定する。ステップＳ１３で肯定されるとステップＳ１４に進み、ステップＳ１２で推定された全体感情ｅと、ステップＳ１３で個人感情が全体感情ｅと一致しないと判定された参加者の識別情報および不一致の個人感情とを、ファシリテータＰｆの端末装置１０ｆに出力する。ステップＳ１３で否定されるとステップＳ１５に進み、ステップＳ１２で推定された満場一致の全体感情ｅのみをファシリテータＰｆの端末装置１０ｆに出力する。
Next, in step S13, it is determined whether there are any participants Pa to Pd whose individual emotions ea to ed estimated in step S3 do not match the overall emotion e estimated in step S12. If the answer is affirmative in step S13, the process proceeds to step S14, where the overall emotion e estimated in step S12, the identification information of the participant whose personal emotion was determined not to match the overall emotion e in step S13, and the mismatched personal emotion are combined. is output to the
このように、参加者Ｐａ～Ｐｄ全体の個人感情ｅａ～ｅｄが概ね一致すると全体感情ｅを推定し、提示するため（ステップＳ１１，Ｓ１２，Ｓ１４、Ｓ１５）、ファシリテータＰｆによる会議の全体的な雰囲気の把握を支援することができる。これにより、ファシリテータＰｆが会議の全体的な雰囲気が形成されつつあることや、その雰囲気の性質を的確に把握することができ、例えば介入の必要性を適切に判断することが可能になり、会議を円滑に進行することができる。また、全体感情ｅと異なる個人感情ｅｄを有する参加者Ｐｄの情報を提示することで（ステップＳ１４）、ファシリテータＰｆによる適切な介入を支援することができる。 In this way, when the personal emotions ea to ed of the participants Pa to Pd generally match, the overall emotion e is estimated and presented (steps S11, S12, S14, S15). It is possible to support the understanding of This allows facilitator Pf to accurately grasp the overall atmosphere that is forming in the meeting and the nature of that atmosphere, making it possible to appropriately judge the need for intervention, for example, and to can proceed smoothly. Further, by presenting information about the participant Pd who has a personal emotion ed different from the overall emotion e (step S14), it is possible to support appropriate intervention by the facilitator Pf.
本実施形態によれば以下のような作用効果を奏することができる。
（１）サーバ２０は、複数の参加者Ｐａ～Ｐｄが参加する会議の進行を支援する。サーバ２０は、複数の参加者Ｐａ～Ｐｄのそれぞれの生体情報を取得する情報取得部２３と、情報取得部２３により取得された生体情報に基づいて、複数の参加者Ｐａ～Ｐｄのそれぞれの個人感情ｅａ～ｅｄが予め設定された複数の種類の感情のいずれに属するかを推定する個人感情推定部２５と、個人感情推定部２５により同一の種類の感情に属すると推定された参加者Ｐａ～Ｐｄの割合が所定割合（例えば、７０％）以上であるか否かを判定し、所定割合以上であると判定されると、その感情を複数の参加者Ｐａ～Ｐｄ全体の全体感情ｅとして推定する全体感情推定部２６と、全体感情推定部２６により推定された全体感情ｅを出力する出力部２９と、を備える（図３）。
According to this embodiment, the following effects can be achieved.
(1) The
このように、参加者Ｐａ～Ｐｄ全体の個人感情ｅａ～ｅｄが概ね一致し、会議の全体的な雰囲気が形成されつつあることや、その雰囲気の性質を提示することで、会議の円滑な進行を支援することができる。例えば、ファシリテータＰｆが介入の必要性を適切に判断することができる。 In this way, by showing that the personal feelings ea to ed of all participants Pa to Pd are generally in agreement, and the overall atmosphere of the meeting is being formed, and the nature of that atmosphere, the meeting progresses smoothly. can support. For example, facilitator Pf can appropriately determine the necessity of intervention.
（２）情報取得部２３は、複数の参加者Ｐａ～Ｐｄのそれぞれの生体情報として画像情報を取得する。個人感情推定部２５は、情報取得部２３により取得された画像情報に基づいて、複数の参加者Ｐａ～Ｐｄのそれぞれの個人感情ｅａ～ｅｄを推定する。パーソナルコンピュータやスマートフォンなどの一般的な端末装置１０のカメラ１４を利用して参加者Ｐａ～Ｐｄの生体情報を取得するため、オンライン会議にも好適に適用することができる。
(2) The
（３）出力部２９は、さらに、個人感情推定部２５により推定された個人感情ｅａ～ｅｄの種類が全体感情推定部２６により推定された全体感情ｅの種類と異なる参加者Ｐｄの情報を出力する（図１１Ｂ）。全体感情ｅと種類の異なる個人感情ｅｄを有する参加者Ｐｄを把握することで、ファシリテータＰｆが適切な参加者Ｐｄに介入することができる。
(3) The
上記実施形態では、各参加者Ｐａ～Ｐｄの生体情報を各端末装置１０ａ～１０ｄのマイク１３およびカメラ１４を介して取得する例を説明したが、複数の参加者のそれぞれの生体情報を取得する情報取得部は、このようなものに限らない。端末装置に付属するものに限らず、独立したマイクやカメラでもよい。参加者ごとに設けられるものに限らず、複数の参加者が共用するものでもよい。この場合は、例えば指向性を有し、方向によって音声を取得する感度が異なるマイクを用いて参加者ごとの音声情報を取得するとともに、音声情報に基づいて個人を認識してもよい。また、広角カメラにより複数の参加者を撮影し、画像情報に基づいて個人を認識してもよい。
In the above embodiment, an example has been described in which biometric information of each participant Pa to Pd is acquired via the
上記実施形態では、音声情報に基づいて参加者Ｐａ～Ｐｄの発言の有無を判定する例を説明したが、生体情報に基づいて参加者の発言の有無を判定する発言判定部は、このようなものに限らない。例えば、画像情報に基づいて手話による発言の有無を判定してもよい。 In the above embodiment, an example was explained in which it is determined whether participants Pa to Pd have spoken based on audio information, but the comment determination unit that determines whether participants have spoken based on biological information can Not limited to things. For example, it may be determined whether or not a sign language statement is made based on image information.
上記実施形態では、画像情報に基づいて参加者Ｐａ～Ｐｄの表情から個人感情ｅａ～ｅｄを推定する例を説明したが、生体情報に基づいて参加者の感情を推定する感情推定部は、このようなものに限らない。例えば、表情に加えて動作に基づいて個人感情を推定してもよい。画像情報に代えて、あるいは画像情報に加えて、参加者ごとの心拍数や顔面温度、音声情報などの生体情報を利用して個人感情を推定してもよい。また、個人感情を感情の輪によって分類されたパターンに当てはめて数値化するようにしたが、他の分類された感情のパターンに当てはめて数値化するようにしてもよい。 In the above embodiment, an example was explained in which personal emotions ea to ed are estimated from the facial expressions of participants Pa to Pd based on image information. It's not limited to things like that. For example, personal emotions may be estimated based on actions in addition to facial expressions. In place of or in addition to image information, individual emotions may be estimated using biometric information such as heart rate, facial temperature, and voice information for each participant. Moreover, although personal emotions are applied to patterns classified by the emotion wheel and quantified, they may be applied to other classified emotion patterns and quantified.
上記実施形態では、参加者Ｐａ～Ｐｄの発言の頻度ｆまたは個人感情ｅａ～ｅｄに基づいて活性度ａを算出する例を説明したが、会議における議論の活性化の程度を表す活性度を算出する活性度算出部は、このようなものに限らない。例えば、会議の音声情報に基づいて特定のキーワードを検出し、議論の進行の度合いや雰囲気などを推定することで活性度を算出してもよい。 In the above embodiment, an example was explained in which the degree of activity a is calculated based on the frequency f of statements made by the participants Pa to Pd or the personal feelings ea to ed. The activity calculation unit that performs this is not limited to this type of unit. For example, the degree of activity may be calculated by detecting a specific keyword based on the audio information of the meeting and estimating the progress of the discussion, the atmosphere, and the like.
上記実施形態では、図１０などで参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄが正の感情であるか負の感情であるかを判定する例を説明したが、個人感情が予め設定された複数の種類の感情のいずれに属するかを推定する個人感情推定部は、このようなものに限らない。例えば、８つの基本感情など、３つ以上の感情に分類してもよい。この場合は、個人感情が概ね一致しているか否かを判定するための所定割合は、７０％より低い割合（例えば、６０％）とする。 In the above embodiment, an example was explained in which it is determined whether the personal emotions ea to ed of participants Pa to Pd are positive emotions or negative emotions with reference to FIG. The personal emotion estimating unit that estimates which of the types of emotions belongs to is not limited to this type of emotion. For example, it may be classified into three or more emotions, such as eight basic emotions. In this case, the predetermined percentage for determining whether the personal feelings generally match is set to be a percentage lower than 70% (for example, 60%).
複数の参加者が参加する会議の進行を支援する会議支援方法に関し、複数の参加者のそれぞれの生体情報を取得し、取得された生体情報に基づいて、複数の参加者のそれぞれの個人感情が予め設定された複数の種類の感情のいずれに属するかを推定し、同一の種類の感情に属すると推定された参加者の割合が所定割合以上であるか否かを判定し、所定割合以上であると判定されると、その感情を複数の参加者全体の全体感情として推定し、推定された全体感情を出力するのであれば、他の構成はいかなるものでもよい。 Regarding a conference support method that supports the progress of a conference in which multiple participants participate, the biometric information of each of the multiple participants is acquired, and the personal feelings of each of the multiple participants are determined based on the acquired biometric information. Estimate which of multiple preset types of emotions they belong to, determine whether the proportion of participants estimated to belong to the same type of emotion is greater than or equal to a predetermined proportion, and If it is determined that the emotion exists, the emotion is estimated as the overall emotion of all the participants, and any other configuration may be used as long as the estimated overall emotion is output.
複数の参加者が参加する会議の進行を支援する会議支援プログラムに関し、複数の参加者のそれぞれの生体情報を取得する情報取得ステップＳ１と、情報取得ステップＳ１で取得された生体情報に基づいて、複数の参加者のそれぞれの個人感情が予め設定された複数の種類の感情のいずれに属するかを推定する個人感情推定ステップＳ３と、個人感情推定ステップＳ３で同一の種類の感情に属すると推定された参加者の割合が所定割合以上であるか否かを判定し、所定割合以上であると判定されると、その感情を複数の参加者全体の全体感情として推定する全体感情推定ステップＳ１１～Ｓ１２と、全体感情推定ステップＳ１１～Ｓ１２で推定された全体感情を出力する全体感情出力ステップＳ１４，Ｓ１５と、を含むのであれば、サーバ２０の演算部２１で実行される処理は図１２に示したものに限らない。したがって、これらの手順をコンピュータに実行させる会議支援プログラムの構成も上述したものに限らない。上記実施形態では、会議支援プログラムをサーバ２０の記憶部２２内に格納したが、フラッシュメモリ等の外部記憶媒体に格納してもよい。通信ネットワーク３０を介して会議支援プログラムを取得することもできる。
Regarding a conference support program that supports the progress of a conference in which multiple participants participate, an information acquisition step S1 that acquires biometric information of each of the multiple participants, and based on the biometric information acquired in the information acquisition step S1, The personal emotion estimation step S3 estimates which of a plurality of preset types of emotions each individual emotion of a plurality of participants belongs to, and the personal emotion estimation step S3 estimates that each individual emotion of a plurality of participants belongs to the same type of emotion. overall emotion estimation steps S11 to S12 in which it is determined whether the proportion of the participants who have received the feedback is greater than or equal to a predetermined proportion, and if it is determined to be greater than or equal to the predetermined proportion, the emotion is estimated as the overall emotion of all the plurality of participants; and overall emotion output steps S14 and S15 for outputting the overall emotion estimated in the overall emotion estimation steps S11 to S12, the processing executed by the
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。 The above description is merely an example, and the present invention is not limited to the above-described embodiments and modifications as long as the characteristics of the present invention are not impaired. It is also possible to arbitrarily combine the above embodiment and one or more of the modifications, and it is also possible to combine the modifications.
１０（１０ａ～１０ｄ，１０ｆ） 端末装置、１１ 演算部、１２ 記憶部、１３ マイク、１４ カメラ、１５ 入力部、１６ スピーカ、１７ 表示部、２０ サーバ、２１ 演算部、２２ 記憶部、２３ 情報取得部、２４ 発言判定部、２５ 個人感情推定部、２６ 全体感情推定部、２７ 活性度算出部、２８ 介入認識部、２９ 出力部、３０ 通信ネットワーク、１００ 会議支援システム 10 (10a to 10d, 10f) terminal device, 11 calculation unit, 12 storage unit, 13 microphone, 14 camera, 15 input unit, 16 speaker, 17 display unit, 20 server, 21 calculation unit, 22 storage unit, 23 information acquisition section, 24 speech determination section, 25 personal emotion estimation section, 26 overall emotion estimation section, 27 activity calculation section, 28 intervention recognition section, 29 output section, 30 communication network, 100 conference support system
Claims (4)
前記複数の参加者のそれぞれの生体情報を取得する情報取得部と、
前記情報取得部により取得された生体情報に基づいて、前記複数の参加者のそれぞれの個人感情が予め設定された複数の種類の感情のいずれに属するかを推定する個人感情推定部と、
前記個人感情推定部により同一の種類の感情に属すると推定された参加者の割合が所定割合以上であるか否かを判定し、所定割合以上であると判定されると、該感情を前記複数の参加者全体の全体感情として推定する全体感情推定部と、
前記全体感情推定部により推定された前記全体感情を出力する出力部と、を備え、
前記出力部は、さらに、前記個人感情推定部により推定された前記個人感情の種類が前記全体感情推定部により推定された前記全体感情の種類と異なる参加者の情報を出力することを特徴とする会議支援装置。 A conference support device that supports the progress of a conference in which multiple participants participate,
an information acquisition unit that acquires biometric information of each of the plurality of participants;
a personal emotion estimation unit that estimates to which of a plurality of preset types of emotions the personal emotions of each of the plurality of participants belongs, based on the biological information acquired by the information acquisition unit;
It is determined whether the proportion of participants estimated to belong to the same type of emotion by the personal emotion estimation unit is greater than or equal to a predetermined proportion, and if it is determined to be greater than or equal to the predetermined proportion, the emotion is an overall emotion estimation unit that estimates the overall emotion of all participants;
an output unit that outputs the overall emotion estimated by the overall emotion estimation unit ,
The output unit is further characterized in that the type of the personal emotion estimated by the personal emotion estimating unit is different from the type of the overall emotion estimated by the overall emotion estimating unit. conference support equipment.
前記情報取得部は、前記複数の参加者のそれぞれの生体情報として画像情報を取得し、
前記個人感情推定部は、前記情報取得部により取得された画像情報に基づいて、前記複数の参加者のそれぞれの個人感情を推定することを特徴とする会議支援装置。 The conference support device according to claim 1,
The information acquisition unit acquires image information as biometric information of each of the plurality of participants,
The conference support device is characterized in that the personal emotion estimation unit estimates the personal emotions of each of the plurality of participants based on the image information acquired by the information acquisition unit.
前記複数の参加者のそれぞれの生体情報を取得する情報取得ステップと、 an information acquisition step of acquiring biometric information of each of the plurality of participants;
前記情報取得ステップで取得された生体情報に基づいて、前記複数の参加者のそれぞれの個人感情が予め設定された複数の種類の感情のいずれに属するかを推定する個人感情推定ステップと、 a personal emotion estimation step of estimating to which of a plurality of preset types of emotions the personal emotions of each of the plurality of participants belongs based on the biological information acquired in the information acquisition step;
前記個人感情推定ステップで同一の種類の感情に属すると推定された参加者の割合が所定割合以上であるか否かを判定し、所定割合以上であると判定されると、該感情を前記複数の参加者全体の全体感情として推定する全体感情推定ステップと、 It is determined whether the proportion of participants estimated to belong to the same type of emotion in the personal emotion estimation step is greater than or equal to a predetermined proportion, and if it is determined to be greater than or equal to the predetermined proportion, the emotion is an overall emotion estimation step of estimating the overall emotion of all participants;
前記全体感情推定ステップで推定された前記全体感情を出力する出力ステップと、をコンピュータにより実行することを含み、 an output step of outputting the overall emotion estimated in the overall emotion estimation step;
前記出力ステップでは、さらに、前記個人感情推定ステップで推定された前記個人感情の種類が前記全体感情推定ステップで推定された前記全体感情の種類と異なる参加者の情報を出力することを特徴とする会議支援方法。 The output step is further characterized in that information about a participant whose type of personal emotion estimated in the personal emotion estimation step is different from the type of overall emotion estimated in the overall emotion estimation step is output. Meeting support methods.
前記複数の参加者のそれぞれの生体情報を取得する情報取得ステップと、 an information acquisition step of acquiring biometric information of each of the plurality of participants;
前記情報取得ステップで取得された生体情報に基づいて、前記複数の参加者のそれぞれの個人感情が予め設定された複数の種類の感情のいずれに属するかを推定する個人感情推定ステップと、 a personal emotion estimation step of estimating to which of a plurality of preset types of emotions the personal emotions of each of the plurality of participants belongs based on the biological information acquired in the information acquisition step;
前記個人感情推定ステップで同一の種類の感情に属すると推定された参加者の割合が所定割合以上であるか否かを判定し、所定割合以上であると判定されると、該感情を前記複数の参加者全体の全体感情として推定する全体感情推定ステップと、 It is determined whether the proportion of participants estimated to belong to the same type of emotion in the personal emotion estimation step is greater than or equal to a predetermined proportion, and if it is determined to be greater than or equal to the predetermined proportion, the emotion is an overall emotion estimation step of estimating the overall emotion of all participants;
前記全体感情推定ステップで推定された前記全体感情を出力する出力ステップと、をコンピュータに実行させ、 causing a computer to perform an output step of outputting the overall emotion estimated in the overall emotion estimation step;
前記出力ステップでは、さらに、前記個人感情推定ステップで推定された前記個人感情の種類が前記全体感情推定ステップで推定された前記全体感情の種類と異なる参加者の情報を出力することを特徴とする会議支援プログラム。 The output step is further characterized in that information about a participant whose type of personal emotion estimated in the personal emotion estimation step is different from the type of overall emotion estimated in the overall emotion estimation step is output. Conference support program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020177722A JP7430132B2 (en) | 2020-10-23 | 2020-10-23 | Conference support device, conference support method, and conference support program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020177722A JP7430132B2 (en) | 2020-10-23 | 2020-10-23 | Conference support device, conference support method, and conference support program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022068905A JP2022068905A (en) | 2022-05-11 |
| JP7430132B2 true JP7430132B2 (en) | 2024-02-09 |
Family
ID=81521845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020177722A Active JP7430132B2 (en) | 2020-10-23 | 2020-10-23 | Conference support device, conference support method, and conference support program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7430132B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008272019A (en) | 2007-04-25 | 2008-11-13 | Oki Electric Ind Co Ltd | Group emotion recognition support system |
| JP2017112545A (en) | 2015-12-17 | 2017-06-22 | 株式会社イトーキ | Conference support system |
| US20170301037A1 (en) | 2016-04-19 | 2017-10-19 | International Business Machines Corporation | Group discourse architecture |
| JP2018139087A (en) | 2017-02-24 | 2018-09-06 | 沖電気工業株式会社 | Emotion estimating server, emotion estimating method, presenting device and emotion estimating system |
| JP2020086853A (en) | 2018-11-22 | 2020-06-04 | 富士ゼロックス株式会社 | Information processing system, program, and information processing method |
| JP2020154922A (en) | 2019-03-22 | 2020-09-24 | 本田技研工業株式会社 | Service provision apparatus, settlement information processing apparatus and service provision method |
| JP2020173714A (en) | 2019-04-12 | 2020-10-22 | 株式会社竹中工務店 | Device, system, and program for supporting dialogue |
-
2020
- 2020-10-23 JP JP2020177722A patent/JP7430132B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008272019A (en) | 2007-04-25 | 2008-11-13 | Oki Electric Ind Co Ltd | Group emotion recognition support system |
| JP2017112545A (en) | 2015-12-17 | 2017-06-22 | 株式会社イトーキ | Conference support system |
| US20170301037A1 (en) | 2016-04-19 | 2017-10-19 | International Business Machines Corporation | Group discourse architecture |
| JP2018139087A (en) | 2017-02-24 | 2018-09-06 | 沖電気工業株式会社 | Emotion estimating server, emotion estimating method, presenting device and emotion estimating system |
| JP2020086853A (en) | 2018-11-22 | 2020-06-04 | 富士ゼロックス株式会社 | Information processing system, program, and information processing method |
| JP2020154922A (en) | 2019-03-22 | 2020-09-24 | 本田技研工業株式会社 | Service provision apparatus, settlement information processing apparatus and service provision method |
| JP2020173714A (en) | 2019-04-12 | 2020-10-22 | 株式会社竹中工務店 | Device, system, and program for supporting dialogue |
Non-Patent Citations (1)
| Title |
|---|
| 中山 彰 他，多地点ビデオ会議コーパスに基づく会議途中参加支援機能の研究，情報処理学会研究報告 ２００３－ＧＮ－４９，日本，社団法人情報処理学会 ，2003年，Vol. 2003, No.106，pp.115-120，ＩＳＳＮ ０９１９－６０７２ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022068905A (en) | 2022-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10757367B1 (en) | Enhanced video conference management | |
| US20190147367A1 (en) | Detecting interaction during meetings | |
| JP5201050B2 (en) | Conference support device, conference support method, conference system, conference support program | |
| JP2021044814A (en) | Electronic conference system | |
| JP6798484B2 (en) | Information processing systems, control methods, and programs | |
| CN108781273B (en) | Actions based on automatic participant identification | |
| JP2017123149A (en) | Method and system of group interaction by user state detection | |
| EP3350980A1 (en) | Systems and methods for managing, analyzing, and providing visualizations of multi-party dialogs | |
| JP6229403B2 (en) | Minutes creation auxiliary device, electronic conference device and electronic conference system | |
| US20220131979A1 (en) | Methods and systems for automatic queuing in conference calls | |
| JP7323098B2 (en) | Dialogue support device, dialogue support system, and dialogue support program | |
| US20160231890A1 (en) | Information processing apparatus and phase output method for determining phrases based on an image | |
| JP2020113197A (en) | Information processing apparatus, information processing method, and information processing program | |
| JP7098949B2 (en) | Information processing equipment and information processing programs | |
| CN110910887A (en) | Voice wake-up method and device | |
| JP7213857B2 (en) | CONFERENCE SUPPORT DEVICE, CONFERENCE SUPPORT METHOD, AND CONFERENCE SUPPORT PROGRAM | |
| JP7430132B2 (en) | Conference support device, conference support method, and conference support program | |
| JP7430618B2 (en) | Conference support device, conference support method, and conference support program | |
| US11443738B2 (en) | Electronic device processing user utterance and control method thereof | |
| WO2017179262A1 (en) | Information processing device, information processing method, and program | |
| JP2023009563A (en) | Harassment prevention system and harassment prevention method | |
| CN112969000A (en) | Control method and device of network conference, electronic equipment and storage medium | |
| CN111698452A (en) | Online group state feedback method, system and device | |
| JP2008306586A (en) | Method and program for estimating situation, and network system | |
| JP7452299B2 (en) | Conversation support system, conversation support method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7430132 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |