JP2019148849A - 理解度判定システムおよび理解度判定プログラム - Google Patents

Abstract

【課題】 聴者の顔の表情に基づいて聴者の理解度を高精度に判定することができる理解度判定システムおよび理解度判定プログラムを提供する。【解決手段】 理解度判定システムは、カメラによって撮影された聴者の顔の表情に基づいてＳ５１において聴者の感情を解析する感情解析手段と、感情解析手段によって解析された感情に基づいて聴者の理解度をＳ５３〜Ｓ５６において解析する理解度解析手段とを備え、理解度解析手段は、感情解析手段によって解析された感情のうち「嫌悪」の感情に基づいて聴者の理解度を判定することを特徴とする。【選択図】 図９

Description

本発明は、聴者の理解度を判定する理解度判定システムおよび理解度判定プログラムに関する。

従来の理解度判定システムとして、カメラによって撮影された聴者の顔の表情などの動き情報から聴者の理解度を判定するシステムが知られている（例えば、特許文献１参照。）。

特開２０１６−１７７４８３号公報

しかしながら、特許文献１に記載された理解度判定システムにおいては、聴者の顔の表情に基づいて聴者の理解度を判定する具体的な方法が不明であるので、聴者の理解度を高精度に判定することができるのか否かが不明であるという問題がある。

そこで、本発明は、聴者の顔の表情に基づいて聴者の理解度を高精度に判定することができる理解度判定システムおよび理解度判定プログラムを提供することを目的とする。

本発明の理解度判定システムは、カメラによって撮影された聴者の顔の表情に基づいて前記聴者の感情を解析する感情解析手段と、前記感情解析手段によって解析された感情に基づいて前記聴者の理解度を解析する理解度解析手段とを備え、前記理解度解析手段は、前記感情解析手段によって解析された感情のうち「嫌悪」の感情に基づいて前記聴者の理解度を判定することを特徴とする。

この構成により、本発明の理解度判定システムは、聴者の顔の表情に基づいて解析した感情のうち、聴者の理解度と相関する「嫌悪」の感情に基づいて聴者の理解度を判定するので、聴者の顔の表情に基づいて聴者の理解度を高精度に判定することができる。

本発明の理解度判定システムにおいて、前記理解度解析手段は、判定した理解度をモニターに表示し、前記理解度判定システムは、前記カメラと、前記モニターとが離れた場所に設置されるリモート会議システムであっても良い。

リモート会議、すなわち、互いに離れた場所にいる人間同士の会議は、対面での会議、すなわち、同一の場所にいる人間同士の会議と比較して、視覚によって得られる情報が少ないので、聴者の顔の表情や仕草などの非言語のコミュニケーションが話者に伝わり難く、話者が聴者の理解度を高精度に判定することが困難である。しかしながら、本発明の理解度判定システムは、カメラによって撮影された聴者の顔の表情に基づいて聴者の理解度を判定するので、リモート会議システムであっても聴者の理解度を高精度に判定することができる。

本発明の理解度判定プログラムは、カメラによって撮影された聴者の顔の表情に基づいて前記聴者の感情を解析する感情解析手段と、前記感情解析手段によって解析された感情に基づいて前記聴者の理解度を解析する理解度解析手段とをコンピューターに実現させ、前記理解度解析手段は、前記感情解析手段によって解析された感情のうち「嫌悪」の感情に基づいて前記聴者の理解度を判定することを特徴とする。

この構成により、本発明の理解度判定プログラムを実行するコンピューターは、聴者の顔の表情に基づいて解析した感情のうち、聴者の理解度と相関する「嫌悪」の感情に基づいて聴者の理解度を判定するので、聴者の顔の表情に基づいて聴者の理解度を高精度に判定することができる。

本発明の理解度判定システムおよび理解度判定プログラムは、聴者の顔の表情に基づいて聴者の理解度を高精度に判定することができる。

本発明の一実施の形態に係る理解度判定システムを開発するために行った開発用実験の環境を示す上面図である。 （ａ）図１に示す環境で行われた開発用実験の結果のうち「嫌悪」の感情の強度を時間毎に示したグラフである。 （ｂ）図１に示す環境で行われた開発用実験の結果のうち「怒り」の感情の強度を時間毎に示したグラフである。 （ｃ）図１に示す環境で行われた開発用実験の結果のうち「悲しみ」の感情の強度を時間毎に示したグラフである。 （ｄ）図１に示す環境で行われた開発用実験の結果のうち「軽蔑」の感情の強度を時間毎に示したグラフである。 （ａ）図１に示す環境で行われた開発用実験の結果のうち「喜び」の感情の強度を時間毎に示したグラフである。 （ｂ）図１に示す環境で行われた開発用実験の結果のうち「恐れ」の感情の強度を時間毎に示したグラフである。 （ｃ）図１に示す環境で行われた開発用実験の結果のうち「驚き」の感情の強度を時間毎に示したグラフである。 （ａ）図２（ａ）に示すグラフからシーン１およびシーン５のデータを除いたグラフである。 （ｂ）図４（ａ）に示すデータの対象の被験者とは異なる被験者に対する開発用実験の結果のうち「嫌悪」の感情の強度を時間毎に示したグラフである。 （ａ）図４（ａ）に示すデータの対象の被験者に対する開発用実験の結果のうち「嫌悪」の感情の強度をクラスタリングした図である。 （ｂ）図４（ｂ）に示すデータの対象の被験者に対する開発用実験の結果のうち「嫌悪」の感情の強度をクラスタリングした図である。 図１に示す環境で行われた開発用実験において被験者が回答した理解度毎に、クラスター４に含まれるデータを含むシーンと、クラスター４に含まれるデータを含まないシーンとの割合を示す図である。 本発明の一実施の形態に係る理解度判定システムのブロック図である。 図７に示すコンピューターのブロック図である。 カメラによって撮影される聴者の理解度をモニターに表示する場合の図８に示すコンピューターの動作のフローチャートである。 図７に示す理解度判定システムとは異なる構成の理解度判定システムのブロック図である。

以下、本発明の一実施の形態について、図面を用いて説明する。

まず、本実施の形態に係る理解度判定システムを開発するために行った実験（以下「開発用実験」という。）について説明する。

本願の発明者は、聴者の顔の表情と、聴者の理解度との関連性を確認するために以下に説明する開発用実験を行った。

１．開発用実験の内容
図１は、開発用実験の環境を示す上面図である。

図１に示すように、開発用実験は、被験者１１と、特定の説明文を被験者１１に対して読み上げる説明員１２との２名で行われる。開発用実験において、被験者１１と、説明員１２とは、テーブル１３を挟んで向かい合わせに、約２ｍの距離をあけて着席する。そして、被験者１１から約１ｍの距離をあけてテーブル１３上に配置されたカメラ１４によって、説明員１２が説明文を読み上げている最中の被験者１１の顔の表情が記録される。

開発用実験に用いられた説明文としては、複数の被験者の間で知識差が出難い哲学分野の課題が採用された。開発用実験に用いられた説明文は、シーン１からシーン６までの６個のシーンに分けられており、シーン２およびシーン３のそれぞれの難易度がシーン１、シーン４、シーン５およびシーン６のそれぞれの難易度より高くなっている。

開発用実験の手順は、次の通りである。
（１）説明員が被験者に実験の内容と注意事項の説明を行う。
（２）説明員がシーン１を使って実験の流れの説明をする。
（３）実験に関しての質疑応答
（４）説明員がシーン２の説明を行う。
（５）被験者がシーン２の理解度を１から５までの５段階（数値が大きいほど理解度が高い。）で回答する。
（６）上記（４）、（５）をシーン３、シーン４、シーン５、シーン６の順に繰り返す。

開発用実験は、以上の条件で、１０名の被験者のそれぞれに対して行われた。

２．開発用実験の結果の分析
開発用実験においてカメラ１４によって取得された動画のデータを、表情解析ソフトウェアである、ａｆｆｅｃｔｉｖａ社製のａｆｆｄｅｘを用いて解析することによって、説明員が説明文を読み上げている最中の被験者の感情を取得した。ａｆｆｄｅｘは、被験者の顔の表情から被験者の感情の強度を、「嫌悪」、「怒り」、「悲しみ」、「軽蔑」、「喜び」、「恐れ」および「驚き」という７個の感情毎に０．００〜１００．００の値で１／３０秒毎に取得することができる。

図２（ａ）、図２（ｂ）、図２（ｃ）、図２（ｄ）、図３（ａ）、図３（ｂ）、図３（ｃ）は、開発用実験の結果のうち、それぞれ、「嫌悪」、「怒り」、「悲しみ」、「軽蔑」、「喜び」、「恐れ」、「驚き」の感情の強度を時間毎に示したグラフである。

図２および図３に示すグラフは、特定の１人の被験者の７個の感情のそれぞれの強度を時間毎に示したグラフである。各グラフにおいて、太線で示すデータは、対象の被験者自身が回答した理解度を参考として表しており、感情の強度を示す縦軸の数値とは直接の関係はない。なお、図２および図３に示すグラフの対象の被験者は、シーン１の理解度を３と回答し、シーン２、３の理解度を２と回答し、シーン４、５の理解度を４と回答し、シーン６の理解度を５と回答している。

図２および図３に示すように、「嫌悪」、「怒り」、「悲しみ」、「軽蔑」、「喜び」、「恐れ」および「驚き」という７個の感情の強度のうち、「嫌悪」の感情の強度と、被験者が回答した理解度との間に関連性が現れた。すなわち、図２（ａ）に示すグラフでは、被験者が回答した理解度が低いシーン２およびシーン３において「嫌悪」の感情の強度が高くなっている。図２および図３に示すデータは１人の被験者のデータであるが、被験者が回答した理解度が低いシーンにおいて「嫌悪」の感情の強度が高くなる傾向は、全ての被験者に対して現れた。

図４（ａ）は、図２（ａ）に示すグラフからシーン１およびシーン５のデータを除いたグラフである。図４（ｂ）は、図４（ａ）に示すデータの対象の被験者とは異なる被験者に対する開発用実験の結果のうち「嫌悪」の感情の強度を時間毎に示したグラフである。

図４（ｂ）に示すグラフは、図４（ａ）に示すグラフと同様に、シーン１およびシーン５のデータを除いている。

図４に示すように、感情の強度には、個人差が存在する。そのため、理解度が低いと判定するための感情の強度の閾値が被験者に依存しない固定の数値である場合には、理解度を適切に判定することができない。したがって、閾値は、被験者毎に取得される必要がある。閾値を被験者毎に取得するための方法として、クラスタリングが存在する。

図５（ａ）、図５（ｂ）は、それぞれ、図４（ａ）、図４（ｂ）に示すデータの対象の被験者に対する開発用実験の結果のうち「嫌悪」の感情の強度をクラスタリングした図である。

図５に示すように、被験者毎に「嫌悪」の感情の強度をクラスタリングすることによって、感情の強度の個人差の影響を抑えることができる。具体的には、クラスタリングの方法としてｋ平均法を用いた。図５において、丸印の１つずつが１／３０秒毎の感情の強度を示している。

なお、クラスタリングを行うに際して、被験者が発話中である場合や、被験者が被験者自身の顔を触る動作中である場合など、被験者の顔の表情から被験者の感情の強度を表情解析ソフトウェアによって正常に取得することができていない場合のデータは、適切なクラスタリングの妨げになるので、除去した。また、被験者が未だ実験に慣れてない場合には被験者の顔の表情が自然ではない可能性がある。したがって、クラスタリングを行うに際して、被験者が未だ実験に慣れてない時期のシーンであるシーン１のデータは、適切なクラスタリングの妨げになるので、除去した。また、シーン５は、他のシーンと比較してデータの数が少ない。したがって、クラスタリングを行うに際して、シーン５のデータは、適切なクラスタリングの妨げになるので、除去した。

実験において、被験者は、１から５までの５段階の理解度のうち、実際には２から５までのいずれかの理解度のみを回答した。したがって、クラスタリングを行うに際して、クラスターの数は、４個とした。クラスターに含まれる数値の平均値が最も低いクラスターをクラスター１とし、クラスターに含まれる数値の平均値が２番目に低いクラスターをクラスター２とし、クラスターに含まれる数値の平均値が３番目に低いクラスターをクラスター３とし、クラスターに含まれる数値の平均値が最も高いクラスターをクラスター４とする。

図６は、開発用実験において被験者が回答した理解度毎に、クラスター４に含まれるデータを含むシーンと、クラスター４に含まれるデータを含まないシーンとの割合を示す図である。

図６に示すように、被験者が理解度として２を回答したシーンのうち、クラスター４に含まれるデータを含むシーンは、６７％であり、クラスター４に含まれるデータを含まないシーンは、３３％である。被験者が理解度として３を回答したシーンのうち、クラスター４に含まれるデータを含むシーンは、３３％であり、クラスター４に含まれるデータを含まないシーンは、６７％である。被験者が理解度として４を回答したシーンのうち、クラスター４に含まれるデータを含むシーンは、１４％であり、クラスター４に含まれるデータを含まないシーンは、８６％である。被験者が理解度として５を回答したシーンのうち、クラスター４に含まれるデータを含むシーンは、１７％であり、クラスター４に含まれるデータを含まないシーンは、８３％である。

ここで、被験者が回答した理解度が１または２であるシーンを「理解していない」と判定し、被験者が回答した理解度が３、４または５であるシーンを「理解している」と判定する。そして、クラスター４に含まれるデータを含むシーンを「理解していない」と判定し、クラスター４に含まれるデータを含まないシーンを「理解している」と判定することとする。被験者が回答した理解度に基づいて「理解していない」と判定されたシーンのうち、「嫌悪」の感情の強度に基づいて「理解していない」と判定されたシーン、すなわち、クラスター４に含まれるデータを含むシーンの割合は、６７％であった。被験者が回答した理解度に基づいて「理解している」と判定されたシーンのうち、「嫌悪」の感情の強度に基づいて「理解している」と判定されたシーン、すなわち、クラスター４に含まれるデータを含まないシーンの割合は、７９％であった。そして、被験者が回答した理解度に基づいた「理解していない」または「理解している」の判定と、「嫌悪」の感情の強度に基づいた「理解していない」または「理解している」の判定との一致率は、７５％であった。

次に、本実施の形態に係る理解度判定システムの構成について説明する。

図７は、本実施の形態に係る理解度判定システム２０のブロック図である。

図７に示すように、理解度判定システム２０は、コンピューター３０と、コンピューター３０に接続されたカメラ３５、マイク３６、モニター３７およびスピーカー３８と、コンピューター３０とは離れて配置されているコンピューター４０と、コンピューター４０に接続されたカメラ４５、マイク４６、モニター４７およびスピーカー４８とを備えている。コンピューター３０と、コンピューター４０とは、インターネットなどのネットワーク２１経由で互いに通信可能である。

理解度判定システム２０において、コンピューター３０は、カメラ３５によって取得した映像と、マイク３６によって取得した音声とをコンピューター４０に送信する。そして、コンピューター４０は、コンピューター３０から送信されてきた映像をモニター４７に表示するとともに、コンピューター３０から送信されてきた音声をスピーカー４８から出力する。同様に、コンピューター４０は、カメラ４５によって取得した映像と、マイク４６によって取得した音声とをコンピューター３０に送信する。そして、コンピューター３０は、コンピューター４０から送信されてきた映像をモニター３７に表示するとともに、コンピューター４０から送信されてきた音声をスピーカー３８から出力する。すなわち、理解度判定システム２０は、互いに離れた場所にいる人間同士の会議を可能にするリモート会議システムである。

図８は、コンピューター３０のブロック図である。

図８に示すように、コンピューター３０は、種々の操作が入力される例えばキーボード、マウスなどの入力デバイスである操作部３１と、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部３２と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部３３と、コンピューター３０全体を制御する制御部３４とを備えている。

記憶部３３は、聴者の理解度を判定するための理解度判定プログラム３３ａを記憶している。理解度判定プログラム３３ａは、例えば、コンピューター３０のコンピューター３０にインストールされていても良いし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリー、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの外部の記憶媒体からコンピューター３０に追加でインストールされても良いし、ネットワーク上からコンピューター３０に追加でインストールされても良い。

制御部３４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＣＰＵの作業領域として用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。ＣＰＵは、ＲＯＭまたは記憶部３３に記憶されているプログラムを実行する。

制御部３４は、理解度判定プログラム３３ａを実行することによって、聴者の顔の表情に基づいて聴者の感情を解析する感情解析手段３４ａと、感情解析手段３４ａによって解析された感情に基づいて聴者の理解度を解析する理解度解析手段３４ｂとを実現する。

コンピューター４０の構成は、コンピューター３０の構成と同様である。

次に、カメラ４５によって撮影される聴者の理解度をモニター３７に表示する場合のコンピューター３０の動作について説明する。

図９は、カメラ４５によって撮影される聴者の理解度をモニター３７に表示する場合のコンピューター３０の動作のフローチャートである。

コンピューター３０は、コンピューター４０から送信されてきた映像の動画ファイル（以下「対象動画ファイル」という。）を受信すると、図９に示す動作を実行する。

図９に示すように、感情解析手段３４ａは、対象動画ファイルをＦＡＣＳ（Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ）などの表情解析ソフトウェアを用いて解析することによって、聴者の感情を取得する（Ｓ５１）。ここで、表情解析ソフトウェアは、顔の特徴点を用いて感情を解析するソフトウェアであれば良く、例えばａｆｆｅｃｔｉｖａ社製のａｆｆｄｅｘが採用されても良い。

次いで、感情解析手段３４ａは、Ｓ５１において取得した感情のうち、「嫌悪」の感情の強度を時間毎に示す時系列データを生成する（Ｓ５２）。すなわち、感情解析手段３４ａは、図４に示す時系列データと同様な時系列データを生成する。

次いで、理解度解析手段３４ｂは、Ｓ５２において生成された時系列データを、時間における特定の区切りによって分ける（Ｓ５３）。ここで、特定の区切りは、例えば、話者が話者自身の発表資料において区切りを指定している場合には、発表資料において話者によって指定されている区切りが採用されても良いし、３０秒毎などの特定の時間が採用されても良い。

理解度解析手段３４ｂは、Ｓ５３の処理の後、聴者が発話中である場合や、聴者が聴者自身の顔を触る動作中である場合など、聴者の顔の表情から聴者の感情の強度を表情解析ソフトウェアによって正常に取得することができていない場合のデータを、Ｓ５３において特定の区切りによって分けた時系列データから除去する（Ｓ５４）。ここで、理解度解析手段３４ｂは、聴者が発話中であることや、聴者が聴者自身の顔を触る動作中であることを、対象動画ファイルに対する画像処理によって認識することが可能である。

理解度解析手段３４ｂは、Ｓ５４の処理の後、Ｓ５４において生成された時系列データのデータに対して図５に示す例と同様にクラスタリングを行う（Ｓ５５）。ここで、理解度解析手段３４ｂは、例えば、ｋ平均法を用いてクラスタリングを行う。また、理解度解析手段３４ｂは、例えばエルボー法などを用いてクラスターの数を決めても良いし、利用者によって指示された数などの特定の数をクラスターの数としても良い。

理解度解析手段３４ｂは、Ｓ５５の処理の後、Ｓ５３において分けた区間のそれぞれに対して、「理解していない」および「理解している」のいずれであるかを判定する（Ｓ５６）。ここで、理解度解析手段３４ｂは、Ｓ５３において分けた区間のうち、Ｓ５５において分類されたクラスターに含まれる数値の平均値が最も高いクラスターに含まれるデータを含む区間を、「理解していない区間」として判定する。一方、理解度解析手段３４ｂは、Ｓ５３において分けた区間のうち、Ｓ５５において分類されたクラスターに含まれる数値の平均値が最も高いクラスターに含まれるデータを含まない区間を、「理解している区間」として判定する。

理解度解析手段３４ｂは、Ｓ５６の処理の後、Ｓ５６における判定結果をモニター３７に表示する（Ｓ５７）。例えば、理解度解析手段３４ｂは、Ｓ５６において「理解していない」と判定した区間に対して、理解していないことを悲しみの感情を表す絵文字などで表示し、Ｓ５６において「理解している」と判定した区間に対して、理解していることを平静の感情を表す絵文字などで表示する。

理解度解析手段３４ｂは、Ｓ５７の処理の後、図９に示す動作を終了する。

以上においては、カメラ４５によって撮影される聴者の理解度をモニター３７に表示する場合のコンピューター３０の動作について説明した。カメラ３５によって撮影される聴者の理解度をモニター４７に表示する場合のコンピューター４０の動作についても同様である。

以上に説明したように、理解度判定システム２０は、聴者の顔の表情に基づいてＳ５１において解析した感情のうち、聴者の理解度と相関する「嫌悪」の感情に基づいて聴者の理解度を判定する（Ｓ５６）ので、聴者の顔の表情に基づいて聴者の理解度を高精度に判定することができる。

リモート会議、すなわち、互いに離れた場所にいる人間同士の会議は、対面での会議、すなわち、同一の場所にいる人間同士の会議と比較して、視覚によって得られる情報が少ないので、聴者の顔の表情や仕草などの非言語のコミュニケーションが話者に伝わり難く、話者が聴者の理解度を高精度に判定することが困難である。しかしながら、理解度判定システム２０は、カメラ４５によって撮影された聴者の顔の表情に基づいて聴者の理解度を判定するので、リモート会議システムであっても聴者の理解度を高精度に判定することができる。したがって、理解度判定システム２０は、聴者が理解していない場合に、話者が発言内容のレベルを下げたり、説明をし直したりすることができ、その結果、情報の伝達の精度を向上することができる。

なお、以上においては、リモート会議システムについて説明した。しかしながら、理解度判定システムは、リモート会議システムでなくても良い。例えば、理解度判定システムは、図１０に示すものであっても良い。

図１０は、図７に示す理解度判定システム２０とは異なる構成の理解度判定システム６０のブロック図である。

図１０に示すように、理解度判定システム６０は、コンピューター３０と、コンピューター３０に接続されたカメラ３５およびモニター３７を備えている。カメラ３５は、聴者を撮影可能な位置に配置されている。モニター３７は、画面が話者によって視認可能な位置に配置されている。

２０ 理解度判定システム（リモート会議システム）
３０ コンピューター
３３ａ 理解度判定プログラム
３４ａ 感情解析手段
３４ｂ 理解度解析手段
３５ カメラ
３７ モニター
４０ コンピューター
４５ カメラ
４７ モニター
６０ 理解度判定システム

Claims (3)

1. カメラによって撮影された聴者の顔の表情に基づいて前記聴者の感情を解析する感情解析手段と、
   前記感情解析手段によって解析された感情に基づいて前記聴者の理解度を解析する理解度解析手段と
   を備え、
   前記理解度解析手段は、前記感情解析手段によって解析された感情のうち「嫌悪」の感情に基づいて前記聴者の理解度を判定することを特徴とする理解度判定システム。
2. 前記理解度解析手段は、判定した理解度をモニターに表示し、
   前記理解度判定システムは、前記カメラと、前記モニターとが離れた場所に設置されるリモート会議システムであることを特徴とする請求項１に記載の理解度判定システム。
3. カメラによって撮影された聴者の顔の表情に基づいて前記聴者の感情を解析する感情解析手段と、
   前記感情解析手段によって解析された感情に基づいて前記聴者の理解度を解析する理解度解析手段と
   をコンピューターに実現させ、
   前記理解度解析手段は、前記感情解析手段によって解析された感情のうち「嫌悪」の感情に基づいて前記聴者の理解度を判定することを特徴とする理解度判定プログラム。