WO2023135939A1

WO2023135939A1 - 情報処理装置、および情報処理方法、並びにプログラム

Info

Publication number: WO2023135939A1
Application number: PCT/JP2022/043118
Authority: WO
Inventors: りんな金尾; 裕麻平井; 大祐稲石; 和樹落合; 正範勝; 和雅宮崎; かおり内藤; 昌孝篠田; 弦樹岡田
Original assignee: ソニーグループ株式会社
Priority date: 2022-01-17
Filing date: 2022-11-22
Publication date: 2023-07-20

Abstract

ミーティング参加ユーザのユーザ状態を示すスコアの時間変化グラフやユーザ状態変化理由を推定して他のミーティング参加ユーザの端末に表示する。通信ネットワークを介したミーティングに参加するユーザの画像データ、または音声データの少なくともいずれかのデータに基づいて、ユーザの興味度、理解度、疲労度いずれかのユーザ状態を示すユーザ状態スコアを推定し、推定したユーザ状態スコアに基づいて、ミーティングに参加するユーザのユーザ端末に出力するユーザ状態出力スコアを算出し、算出したユーザ状態出力スコアの時間変化を示すグラフやユーザ状態変化理由を他のミーティング参加ユーザのユーザ端末に表示する。

Description

情報処理装置、および情報処理方法、並びにプログラム

　本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、リモート商談等、通信ネットワークを介したリモートミーティングの参加ユーザの感情などを画像や音声等に基づいて推定するユーザ状態推定処理や、ユーザ状態の変化理由を推定するユーザ状態変化理由推定処理などを実行する情報処理装置、および情報処理方法、並びにプログラムに関する。

　昨今、ネットワークを介した画像、音声通信を利用したオンライン会議、オンライン商談等、通信端末を利用したリモート型の対話やミーティングが盛んに行われるようになってきた。

　例えばネットワークを介したオンライン商談では、商品販売を行おうとするセールス側ユーザの通信端末と、お客様であるカスタマ側の通信端末とをインターネット等の通信ネットワークで接続し、各端末間で画像や音声を送受信して商談を行う。

　しかし、このような通信端末を利用したリモートミーティングでは、対面形式のミーティングと異なり、相手側の感情や状態を把握しづらいという問題がある。
　セールス側ユーザは、画面を介してお客様（カスタマ）の様子を観察できるが、画面から得られる情報は実際に対面した場合に得られる情報に比較して限られたものになる。例えば微妙な表情の変化などが分かりにくい。

　具体的には、例えば、お客様がセールス側ユーザの説明を理解しているのか理解していないのか、また説明に興味を持っているのか否か、このようなお客様の感情や状態を正確に把握することが困難となる。

　なお、人の感情の推定処理を開示した従来技術として、例えば特許文献１（国際公開ＷＯ２０１９／０８２６８７号公報）がある。
　この特許文献１は、人の脳波を解析して解析結果に基づくスコア算出により人の感情を推定する構成を開示している。

　しかし、一般的なリモート会議において参加ユーザの脳波を計測することは困難であり、汎用性がない。

国際公開ＷＯ２０１９／０８２６８７号公報

　本開示は、例えば、上記問題点に鑑みてなされたものであり、通信ネットワークを介したリモートミーティングの参加ユーザの感情などの状態を画像や音声等に基づいて推定するユーザ状態推定処理や、ユーザ状態の変化理由を推定するユーザ状態変化理由推定処理などを実行する情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　ユーザの画像データ、または音声データの少なくともいずれかのデータに基づいてユーザ状態を示すユーザ状態スコアを推定するユーザ状態推定部と、
　前記ユーザ状態推定部が推定したユーザ状態スコアに基づいてユーザ端末に出力するユーザ状態出力スコアを算出するユーザ状態出力スコア算出部を有し、
　前記ユーザ状態出力スコア算出部が算出したユーザ状態出力スコアの時間変化を示すグラフを前記ユーザ端末に表示させることを可能とした情報処理装置にある。

　さらに、本開示の第２の側面は、
　情報処理装置において実行する情報処理方法であり、
　ユーザ状態推定部が、
　ユーザの画像データ、または音声データの少なくともいずれかのデータに基づいてユーザ状態を示すユーザ状態スコアを推定するユーザ状態推定ステップと、
　ユーザ状態出力スコア算出部が、
　前記ユーザ状態推定ステップにおいて推定したユーザ状態スコアに基づいてユーザ端末に出力するユーザ状態出力スコアを算出するユーザ状態出力スコア算出ステップを実行し、
　前記ユーザ状態出力スコア算出部が算出したユーザ状態出力スコアの時間変化を示すグラフを前記ユーザ端末に表示させることを可能とした情報処理方法にある。

　さらに、本開示の第３の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　ユーザ状態推定部に、
　ユーザの画像データ、または音声データの少なくともいずれかのデータに基づいてユーザ状態を示すユーザ状態スコアを推定させるユーザ状態推定ステップと、
　ユーザ状態出力スコア算出部に、
　前記ユーザ状態推定ステップにおいて推定したユーザ状態スコアに基づいてユーザ端末に出力するユーザ状態出力スコアを算出させるユーザ状態出力スコア算出ステップを実行させ、
　前記ユーザ状態出力スコア算出部が算出したユーザ状態出力スコアの時間変化を示すグラフを前記ユーザ端末に表示させることを可能としたプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、ミーティング参加ユーザのユーザ状態を示すスコアの時間変化グラフやユーザ状態変化理由を推定して他のミーティング参加ユーザの端末に表示する構成が実現される。
　具体的には、例えば、通信ネットワークを介したミーティングに参加するユーザの画像データ、または音声データの少なくともいずれかのデータに基づいて、ユーザの興味度、理解度、疲労度いずれかのユーザ状態を示すユーザ状態スコアを推定し、推定したユーザ状態スコアに基づいて、ミーティングに参加するユーザのユーザ端末に出力するユーザ状態出力スコアを算出し、算出したユーザ状態出力スコアの時間変化を示すグラフやユーザ状態変化理由を他のミーティング参加ユーザのユーザ端末に表示する。
　本構成により、ミーティング参加ユーザのユーザ状態を示すスコアの時間変化グラフやユーザ状態変化理由を推定して他のミーティング参加ユーザの端末に表示する構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の情報処理システムの構成と実行する処理の概要について説明する図である。本開示の情報処理システムの構成と実行する処理の概要について説明する図である。ユーザ端末に表示されるデータの一例について説明する図である。ユーザ端末に表示されるデータの一例について説明する図である。本開示の情報処理システムの構成と実行する処理の概要について説明する図である。本開示の情報処理装置の構成例について説明する図である。本開示の情報処理装置のユーザ状態推定部の構成と処理について説明する図である。本開示の情報処理装置のユーザ状態推定部の構成と処理について説明する図である。本開示の情報処理装置が実行する処理の一例について説明する図である。ユーザ状態スコアの設定例について説明する図である。本開示の情報処理装置が実行する処理の一例について説明する図である。本開示の情報処理装置が実行する処理の一例について説明する図である。本開示の情報処理装置が実行する処理の一例について説明する図である。ユーザ状態スコアの算出処理例について説明する図である。ユーザ端末に表示されるデータの一例について説明する図である。ユーザ端末に表示されるＵＩについて説明する図である。ユーザ端末に表示されるＵＩについて説明する図である。ユーザ端末に表示されるデータの一例について説明する図である。本開示の情報処理装置のユーザ状態変化理由推定部の構成と処理の一例について説明する図である。本開示の情報処理装置のユーザ状態変化理由推定部の構成と処理の一例について説明する図である。ルールベースモデルの一例について説明する図である。本開示の情報処理装置のユーザ状態変化理由推定部の処理の一例について説明する図である。ユーザ端末に表示されるデータの一例について説明する図である。ユーザ端末に表示されるデータの一例について説明する図である。ユーザ端末に表示されるデータの一例について説明する図である。ユーザ状態推定学習モデル生成処理の概要について説明する図である。ミーティング中に自己の感情等のユーザ状態を示すユーザ状態スコア（評価値）を入力する処理例について説明する図である。情報処理装置における機械学習処理に利用するデータ（ミーティングログ：Ｍｅｅｔｉｎｇ　ｌｏｇ）の一部を示すデータ例について説明する図である。情報処理装置がカスタマ側ユーザ端末から取得するユーザ状態のスコア（評価値）に基づいて生成可能な時系列データの一例について説明する図である。情報処理装置が実行する機械学習処理に利用するデータの収集構成例について説明する図である。カスタマ側ユーザ端末のみから、画像、音声、各ユーザ状態スコアを取得して、これらを学習処理に適用する構成例について説明する図である。情報処理装置が実行する機械学習処理の構成と処理について説明する図である。興味度推定学習モデルを生成する学習処理の一例について説明する図である。興味度推定学習モデルを生成する学習処理の一例について説明する図である。興味度推定学習モデルを生成する学習処理の一例について説明する図である。興味度推定学習モデルを用いてカスタマ側ユーザの興味・関心・好感スコアの推定値を出力する処理例について説明する図である。ユーザ状態変化理由推定学習モデル生成処理の概要について説明する図である。ユーザ状態変化理由の具体例について説明する図である。ユーザ状態変化理由推定学習モデル生成処理を行う構成について説明する図である。ユーザ状態変化理由推定学習モデル生成処理を行う構成について説明する図である。ユーザ状態変化理由推定ルール生成処理を行う構成について説明する図である。情報処理装置の構成例について説明する図である。情報処理装置、およびユーザ端末の構成例について説明する図である。情報処理装置、ユーザ端末のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の情報処理システムの構成と実行する処理の概要について
　２．情報処理装置の構成と実行する処理の概要について
　３．情報処理装置の実行する処理の詳細について
　３－１．ユーザ状態推定部が実行する処理の詳細について
　３－２．ユーザ状態出力スコア算出部が実行する処理の詳細について
　３－３．スコア算出アルゴリズム制御部の処理の詳細と、セールス側ユーザ端末上の表示ＵＩについて
　３－４．ユーザ状態変化理由推定部が実行する処理の詳細について
　４．その他の実施例について
　５．ユーザ状態推定部において利用する学習モデルの生成処理について
　６．ユーザ状態変化理由推定部において利用する学習モデルとルールベースモデルの生成処理について
　７．情報処理装置、およびユーザ端末の構成例について
　８．情報処理装置、およびユーザ端末のハードウェア構成例について
　９．本開示の構成のまとめ

　　［１．本開示の情報処理システムの構成と実行する処理の概要について］
　まず、図１以下を参照して本開示の情報処理システムの構成と実行する処理の概要について説明する。

　図１は、通信ネットワークを介したリモートミーティングの例を示す図である。
　図１には、商品購入希望者であるお客様であるカスタマ側ユーザ１１と、商品提供者としてのセールス側ユーザ１２を示している。

　スマホ等のカスタマ側ユーザ端末２１と、ＰＣ等のセールス側ユーザ端末２２は通信ネットワークを介して接続され、これらの通信端末間で音声、画像を相互に送受信して会話を行って商談が進められる。

　図１に示す例は、お客様であるカスタマ側ユーザ１１はマンションの購入希望者であり、セールス側ユーザ１２はマンションの販売業者である。
　セールス側ユーザ１２はカスタマ側ユーザ１１の希望を聞きながら、カスタマ側ユーザ１１の希望に沿ったマンションを選定するなどして説明を行う。

　このような通信端末を利用した商談等のリモートミーティングでは、対面形式のミーティングと異なり、相手側の感情や理解度などのユーザ状態を把握しづらい。
　セールス側ユーザ１２は、画面を介してカスタマ側ユーザ１１の様子を観察できるが、画像から得られる情報は実際に対面した場合に得られる情報に比較して少なくなる。

　セールス側ユーザ１２は、カスタマ側ユーザ１１がセールス側ユーザ１２の説明を理解しているのか否か、また説明に興味を持っているか否か、怒っていないか等、カスタマ側ユーザ１１の状態や感情を正確に把握することが困難となる。

　本開示の情報処理装置は、この問題を解決するためのユーザ状態推定器（学習モデル）を生成し、生成したユーザ状態推定器（学習モデル）を利用して、ユーザの感情や理解度などのユーザ状態を推定する。

　図１に示す例では、クラウド側装置である情報処理装置１００がユーザ状態推定器（学習モデル）の生成処理を行い、生成したユーザ状態推定器（学習モデル）を利用して、ユーザ状態を推定する。

　図２を参照してユーザ状態推定器（学習モデル）の利用例について説明する。
　図２にも図１と同様、商品購入希望者であるお客様であるカスタマ側ユーザ１１と、商品提供者としてのセールス側ユーザ１２を示している。
　スマホ等のカスタマ側ユーザ端末２１と、ＰＣ等のセールス側ユーザ端末２２は通信ネットワークを介して接続され、これらの通信端末間で音声、画像を相互に送受信して会話を行って商談等のミーティングが進められる。

　図２に示す構成において、情報処理装置１００は、カスタマ側ユーザ１１とセールス側ユーザ２１間のミーティング期間中、例えば、以下の各データを通信ネットワークを介して入力する。
　（Ａ）カスタマ側ユーザ端末２１から、カスタマ側ユーザ１１の画像と音声、
　（Ｂ）セールス側ユーザ端末２２から、セールス側ユーザ１２の画像と音声、

　情報処理装置１００は、これらのデータ（Ａ），（Ｂ）をユーザ状態推定器（学習モデル）に入力する。
　ユーザ状態推定器（学習モデル）は、入力した画像、音声データに基づいて、ユーザ状態を推定する。
　すなわち、通信ネットワークを介したミーティングに参加するユーザの画像データ、または音声データの少なくともいずれかのデータに基づいてユーザ状態を推定する。

　ユーザ状態推定器（学習モデル）が推定するユーザ状態は、カスタマ側ユーザ１１の３つのユーザ状態、すなわち、
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス
　これらのユーザ状態の推定スコアである。

　なお、
　（ユーザ状態１）興味、関心、好感のスコアを興味度スコア、
　（ユーザ状態２）理解、納得、満足のスコアを理解度スコア、
　（ユーザ状態３）疲労、ストレスのスコアを疲労度スコア、
　と呼ぶ。

　情報処理装置１００は、ユーザ状態推定器（学習モデル）が推定したカスタマ側ユーザ１１のユーザ状態の推定スコア（評価値）の時系列データ（折れ線グラフ）をセールス側ユーザ端末２２に送信して表示する。

　図３に、セールス側ユーザ端末２２の表示データ例を示す。
　セールス側ユーザ端末２２の表示部に表示されるグラフは、横軸にミーティング開始からの経過時間、縦軸に上記のユーザ状態１～３の推定スコア（評価値）の値（１～５）を示したグラフである。

　（●）のグラフ（折れ線）は、「（ユーザ状態１）興味、関心、好感」の推定スコア（興味度スコア）の時間経過に伴う変化を示すグラフである。
　（▲）のグラフ（折れ線）は、「（ユーザ状態２）理解、納得、満足」の推定スコア（理解度スコア）の時間経過に伴う変化を示すグラフである。
　（■）のグラフ（折れ線）は、「（ユーザ状態３）疲労、ストレス」の推定スコア（疲労度スコア）の時間経過に伴う変化を示すグラフである。

　なお、（ユーザ状態１）興味、関心、好感は、カスタマ側ユーザ１１が、セールス側ユーザ１２の説明や会話に興味、関心、好感を持っているか否かのユーザ状態である。
　現在、行われている商談等のミーティングに対するカスタマ側ユーザ１１の「興味、関心、好感」のレベルが高い（興味が高い）と推定されるほど高いスコア値（評価値）、すなわち５に近くなる。一方、カスタマ側ユーザ１１の「興味、関心、好感」のレベルが低い（興味が低い）と推定されるほど低いスコア値（評価値）、すなわち１に近くなる。

　（ユーザ状態２）理解、納得、満足は、カスタマ側ユーザ１１が、セールス側ユーザ１２の説明について理解、納得、満足したか否かのユーザ状態である。
　現在、行われている商談等のミーティングに対するカスタマ側ユーザ１１の「理解、納得、満足」のレベルが高い（理解している）と推定されるほど高いスコア値（評価値）、すなわち５に近くなる。一方、カスタマ側ユーザ１１の「理解、納得、満足」のレベルが低い（理解していない）と推定されるほど低いスコア値（評価値）、すなわち１に近くなる。

　（ユーザ状態３）疲労、ストレスは、カスタマ側ユーザ１１が、セールス側ユーザ１２の説明や会話に対して、疲労、ストレスを感じたか否かのユーザ状態である。
　現在、行われている商談等のミーティングに対するカスタマ側ユーザ１１の「疲労、ストレス」のレベルが高い（疲れている）と推定されるほど高いスコア値（評価値）、すなわち５に近くなる。一方、カスタマ側ユーザ１１の「疲労、ストレス」のレベルが低い（疲れていない）と推定されるほど低いスコア値（評価値）、すなわち１に近くなる。

　セールス側ユーザ１２は、セールス側ユーザ端末２２上に表示されたグラフを見ることで、カスタマ側の状態の推移を容易に把握することが可能となり、把握結果に応じて、説明の仕方や内容を変更するなど、最適な対応を行うことが可能となる。

　さらに、情報処理装置１００は、上記のユーザ状態１～３の推定スコア（評価値）（１～５）に加え、ユーザ状態１～３の推定スコア（評価値）の変化が発生した場合、そのユーザ状態が変化した理由を推定し、推定した理由セールス側ユーザ端末２１に送信して表示する。具体例を図４に示す。

　図４には、図３を参照して説明したユーザ状態の時間推移データとともに、ユーザ状態がどのように変化したかを示すユーザ状態変化態様説明データ２３と、情報処理装置１００が推定したユーザ状態が変化した理由であるユーザ状態変化理由説明データ２４を表示した例を示している。
　ユーザ状態変化理由説明データ２４は、情報処理装置１００が、例えば予め生成した学習モデルを利用して推定した理由である。

　セールス側ユーザ１２は、セールス側ユーザ端末２２上に表示されたグラフに併せて、ユーザ状態変化態様説明データ２３や、ユーザ状態変化理由説明データ２４を確認することで、カスタマ側の状態の変化を的確に把握することが可能となり、把握結果に応じて、説明の仕方や内容を変更するなど、最適な対応を行うことが可能となる。

　なお、図１～図２はユーザ状態推定器（学習モデル）を利用したユーザ状態推定処理の実行装置をクラウド上の情報処理装置１００とした例である。
　しかし、この処理はクラウド上の装置に限らず、例えばセールス側ユーザ端末２２を利用して実行する構成としてもよい。
　すなわち、図５に示すように、セールス側ユーザ端末２２において、ユーザ状態推定器（学習モデル）を利用したユーザ状態推定処理を実行する。すなわち図１～図４を参照して説明した情報処理装置１００の処理をセールス側ユーザ端末２２で実行する構成としてもよい。

　なお、以下では、代表例としてクラウド上の情報処理装置１００においてユーザ状態推定器（学習モデル）を利用したユーザ状態推定処理を実行する実施例について説明する。

　　［２．情報処理装置の構成と実行する処理の概要について］
　次に、情報処理装置の構成と実行する処理の概要について説明する。

　図２を参照して説明したように、クラウド上の情報処理装置１００は、ユーザ状態推定器（学習モデル）を利用したユーザ状態推定処理を実行する。
　具体的には、情報処理装置１００は、ネットワークを介したミーティングを実行しているカスタマ側ユーザ１１のユーザ状態を解析し、解析結果をセールス側ユーザ端末２２に送信して表示させる。例えば、図３、図４に示すようなカスタマ側ユーザ１１のユーザ状態情報の表示が行われる。

　図６は、情報処理装置１００の構成例を示す図である。
　図６に示すように、情報処理装置１００は、通信部１０１、ユーザ状態推定部１０２、顧客情報取得部１０３、ミーティング情報取得部１０４、ミーティング実行環境情報取得部１０５、ユーザ状態出力スコア算出部１０６、スコア算出アルゴリズム制御部１０７、ユーザ状態変化理由推定部１０８、顧客情報データベース１１１、ミーティング（ＭＴＧ）情報データベース１１２を有する。

　通信部１０１は、カスタマ側ユーザ端末２１と、セールス側ユーザ端末２２等、外部装置との通信処理を行う。
　例えば、ミーティング実行中のカスタマ側ユーザ端末２１とセールス側ユーザ端末２２から各ユーザの画像や音声データを入力する。さらに、これらの入力データに基づいて解析したカスタマ側ユーザのユーザ状態の解析結果をセールス側ユーザ端末２２に送信する処理等を実行する。

　ユーザ状態推定部１０２は、通信部１０１を介して入力するミーティング実行中のカスタマ側ユーザ端末２１とセールス側ユーザ端末２２から各ユーザの画像や音声データ等に基づいて、カスタマ側ユーザのユーザ状態を推定する。具体的には、例えば以下の各状態の推定処理を行う。
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス

　ユーザ状態推定部１０２は、例えば予め生成した学習モデルを利用してカスタマ側ユーザのユーザ状態を推定する。この処理の詳細については後述する。

　顧客情報取得部１０３、ミーティング情報取得部１０４、ミーティング実行環境情報取得部１０５は、それぞれ、カスタマ側ユーザ端末２１やセールス側ユーザ端末２２から顧客情報、ミーティング情報、ミーティング実行環境情報を入力する。

　顧客情報は、ミーティングを実行するカスタマ側ユーザ１１のユーザ情報であり、例えばミーティング開始前にカスタマ側ユーザ１１によってカスタマ側ユーザ端末２１に入力した情報である。この顧客情報は、顧客情報データベース１１１に記録される。具体的には、年齢、性別、性格、体調など、ミーティング内容に応じたユーザ情報が記録される。

　なお、顧客情報データベース１１１には、さらに各顧客について、表情変化度合、声のトーン変化度合、使用語彙、ストレス検知度等の情報についても記録され、各顧客はこれらの顧客特性に応じてグルーピングされてデータベースに登録される。

　ミーティング情報は、例えばミーティング開始前にカスタマ側ユーザ１１やセールス側ユーザ１２によって各ユーザ端末に入力される情報である。例えば、以下のような情報である。
　（ミーティング情報ａ）ミーティング（ＭＴＧ）ジャンル
　（ミーティング情報ｂ）ミーティング（ＭＴＧ）規模
　（ミーティング情報ｃ）疲れ（カスタマ）
　（ミーティング情報ｄ）忙しさ（カスタマ）

　「（ミーティング情報ａ）ミーティング（ＭＴＧ）ジャンル」は、ミーティングのジャンル、例えば「商談」、「外部との会議」、「社内会議」、「説明会」、「面談」、「授業」などの情報である。

　（ミーティング情報ｂ）ミーティング（ＭＴＧ）規模は、ミーティングの規模を入力する。例えば、例えば参加者が１０人以上であれば「大」、５～９人であれば「中」、４人以下であれば「小」などのミーティング規模情報である。
　なお、ミーティング情報の設定は、大中小の３分類の他、大小の２分類としてもよい、これらは予め規定したミーティング情報設定ルールに従って行うことが好ましい。

　（ミーティング情報ｃ）疲れ（カスタマ）、（ミーティング情報ｄ）忙しさ（カスタマ）は、ミーティング開始時点のカスタマ側ユーザ１１の疲れレベルや、忙しさレベルである。
　これらミーティング情報ｃ，ｄについても大中小の３分類の他、大小の２分類としてもよい、これらは予め規定したミーティング情報設定ルールに従って行うことが好ましい。

　なお、例えば、ミーティング情報ａ～ｂは、セールス側ユーザ１２が入力し、ミーティング情報ｃ～ｄはお客様役のカスタマ側ユーザ１１が入力する。
　カスタマ側ユーザ１１の状態をセールス側ユーザ１２が聞いて、セールス側ユーザ１２がすべてのミーティング情報ａ～ｄを入力してもよい。

　なお、上記のミーティング情報ａ～ｄは一例にすぎず、これら全ての情報が必須となるものではない。いずれかの情報のみを利用する構成としてもよく、上記した情報以外のミーティング情報を入力する構成としてもよい。
　なおミーティング情報は、ミーティング情報データベース１１２に記録される。

　ミーティング実行環境情報取得部１０５が取得するミーティング実行環境情報は、ミーティングが実行されている環境、例えば天気、温度、騒音などのミーティング実行環境情報である。
　この情報は、ミーティング実行中にカスタマ側ユーザ２１、セールス側ユーザ２２に備えられたマイクやセンサーによって取得される情報である。

　なお、顧客情報取得部１０３、ミーティング情報取得部１０４、ミーティング実行環境情報取得部１０５、これらの各情報取得部の取得情報は、ユーザ状態出力スコア算出部１０６に入力され、ユーザ状態出力スコア算出処理に利用される。例えば重みづけパラメータの算出処理に利用される。
　この処理の詳細については後述する。

　ユーザ状態出力スコア算出部１０６は、先に図３を参照して説明したセールス側ユーザ端末２２に出力するカスタマ側ユーザ１１のユーザ状態を示すグラフの出力値であるユーザ状態スコア（評価値）を算出する。
　ユーザ状態出力スコア算出部１０６は、ユーザ状態推定部１０２が推定したカスタマ側ユーザ１１のユーザ状態、すなわち、
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス
　これらのユーザ状態に基づいて、セールス側ユーザ端末２２に出力する最終的なスコア（興味度スコア、理解度スコア、疲労度スコア）を算出する。

　なお、ユーザ状態出力スコア算出部１０６は、スコア算出アルゴリズム制御部１０７において決定されたアルゴリズムに従ってスコア算出を実行する。また、前述したように、顧客情報取得部１０３、ミーティング情報取得部１０４、ミーティング実行環境情報取得部１０５が取得した情報を利用したスコア算出を行う。
　これらの処理の詳細については後述する。

　スコア算出アルゴリズム制御部１０７は、ユーザ状態出力スコア算出部１０６におけるユーザ状態スコアの算出処理のアルゴリズムを制御する。
　スコア算出アルゴリズム制御部１０７は、通信部１０１を介してセールス側ユーザ端末２２から、セールス側ユーザ１２が入力した制御情報を入力し、この情報に基づいてアルゴリズムを決定、変更する処理などを行う。
　この処理の詳細についても後述する。

　ユーザ状態変化理由推定部１０８は、例えばユーザ状態出力スコア算出部１０６が算出したカスタマ側ユーザ１１のユーザ状態出力スコアの値が大きく変化した場合に、その変化理由を推定する処理を実行する。
　例えば、先に図４を参照して説明したセールス側ユーザ端末２２に出力するユーザ状態変化理由説明データ２４の生成処理を行う。

　ユーザ状態変化理由推定部１０８は、予め生成した学習モデル、あるいはルールベースモデルの少なくともいずれかを利用してユーザ状態が変化した理由の推定処理を実行する。
　ユーザ状態変化理由推定部１０８が推定したユーザ状態変化理由は、図４を参照して説明したようにセールス側ユーザ端末２２に出力、表示される。
　このユーザ状態変化理由推定部１０８の実行する処理についても後段で詳細に説明する。

　　［３．情報処理装置の実行する処理の詳細について］
　次に、情報処理装置の実行する処理の詳細について説明する。

　以下では、図６に示す情報処理装置１００のユーザ状態推定部１０２、ユーザ状態出力スコア算出部１０６、スコア算出アルゴリズム制御部１０７、ユーザ状態変化理由推定部１０８、これらの各構成部が実行する処理の詳細について、以下の項目順に順次、説明する。
　３－１．ユーザ状態推定部が実行する処理の詳細について
　３－２．ユーザ状態出力スコア算出部が実行する処理の詳細について
　３－３．スコア算出アルゴリズム制御部の処理の詳細と、セールス側ユーザ端末上の表示ＵＩについて
　３－４．ユーザ状態変化理由推定部が実行する処理の詳細について

　　（３－１．ユーザ状態推定部が実行する処理の詳細について）
　まず、情報処理装置１００のユーザ状態推定部１０２が実行する処理の詳細について説明する。

　図７は、報処理装置１００のユーザ状態推定部１０２の一構成例を示す図である。
　図７に示すように、ユーザ状態推定部１０２は、音声ベースユーザ状態推定部１２１、画像ベースユーザ状態推定部１２２、語彙ベースユーザ状態推定部１２３を有する。

　音声ベースユーザ状態推定部１２１は、カスタマ側ユーザ端末２１のマイクが取得するカスタマ側ユーザ１１の声を含む音声情報、セールス側ユーザ端末２２のマイクが取得するセールス側ユーザ１２の声を含む音声情報、少なくともいずれかの音声情報を入力して、入力した音声情報に基づいて、カスタマ側ユーザ１１のユーザ状態を推定する。

　画像ベースユーザ状態推定部１２２は、カスタマ側ユーザ端末２１のカメラが取得するカスタマ側ユーザ１１の表情を示す顔画像を含む画像情報、セールス側ユーザ端末２２のカメラが取得するセールス側ユーザ１２の表情を示す顔画像を含む画像情報、少なくともいずれかの画像情報を入力して、入力した画像情報に基づいて、カスタマ側ユーザ１１のユーザ状態を推定する。

　語彙ベースユーザ状態推定部１２３は、カスタマ側ユーザ端末２１のマイクが取得するカスタマ側ユーザ１１の発話を含む音声情報、セールス側ユーザ端末２２のマイクが取得するセールス側ユーザ１２の発話を含む音声情報、少なくともいずれかの音声情報を入力して、入力した音声情報から取得される発話内容に基づいて、カスタマ側ユーザ１１のユーザ状態を推定する。

　語彙ベースユーザ状態推定部１２３内には、音声データをテキスト変換する音声解析部が設けられており、テキスト変換後のカスタマ側ユーザ１１の発話内容や、セールス側ユーザ１２の発話内容に基づいてカスタマ側ユーザ１１のユーザ状態を推定する。
　語彙ベースユーザ状態推定部１２３内の音声解析部は、例えばＡＳＲ（Ａｕｔｏｍａｔｉｃ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ）機能を利用した音声解析部である。

　なお、音声ベースユーザ状態推定部１２１と、画像ベースユーザ状態推定部１２２と、語彙ベースユーザ状態推定部１２３は、いずれも、カスタマ側ユーザ１１の以下のユーザ状態、すなわち、
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス
　これらのユーザ状態を推定する。

　また、音声ベースユーザ状態推定部１２１と、画像ベースユーザ状態推定部１２２と、語彙ベースユーザ状態推定部１２３は、いずれも例えば予め実行した機械学習処理によって生成した学習モデルを利用してユーザ状態推定処理を行う。

　具体的には、例えば多層型のニューラルネットワークであるディープニューラルネットワーク（ＤＮＮ：Ｄｅａｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）や、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、あるいは再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）などのアルゴリズムを適用した機械学習を実行して生成した学習モデルを利用してユーザ状態推定処理を行う。

　なお、ユーザ状態推定部１０２は、音声ベースユーザ状態推定部１２１、画像ベースユーザ状態推定部１２２、語彙ベースユーザ状態推定部１２２に限らず、画像、音声、語彙以外の情報を利用したユーザ状態推定処理部を有する構成としてもよい。
　例えば図８に示す心拍ベースユーザ状態推定部１２４が利用可能である。

　図８に示す心拍ベースユーザ状態推定部１２４は、カスタマ側ユーザ１１が装着した心拍センサー（心拍計）の検出情報をカスタマ側ユーザ端末２１経由で情報処理装置１００が受信し、受信した心拍情報を用いて心拍ベースのユーザ状態推定処理を実行する。
　なお、ユーザに心拍センサーを装着させることなくユーザの顔画像（動画像）を解析することでユーザの心拍を推定し、推定した心拍情報を用いる構成としてもよい。

　このように、カスタマ側ユーザ１１やセールス側ユーザ１２に装着した様々な生体センサーの検出情報をユーザ状態推定処理に適用する構成としてもよい。

　前述したように、ユーザ状態推定部１０２の各推定部はカスタマ側ユーザ１１の以下のユーザ状態、すなわち、
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス
　これらのユーザ状態を推定する。

　図９を参照してユーザ状態推定部１０２の画像ベースユーザ状態推定部１２２の実行するユーザ状態推定処理の一例について説明する。
　前述したように、画像ベースユーザ状態推定部１２２は、カスタマ側ユーザ端末２１のカメラが取得するカスタマ側ユーザ１１の表情を示す顔画像を含む画像情報、セールス側ユーザ端末２２のカメラが取得するセールス側ユーザ１２の顔画像を含む画像情報、少なくともいずれかの画像情報を入力して、入力した画像情報に基づいて、カスタマ側ユーザ１１のユーザ状態を推定する。

　図９に示す例は、画像ベースユーザ状態推定部１２２がカスタマ側ユーザ１１の顔画像を含む画像情報を入力して、入力画像情報に基づいてカスタマ側ユーザ１１のユーザ状態を推定する処理例を示している。
　画像ベースユーザ状態推定部１２２は、前述したように、例えばＤＮＮ，ＣＮＮ，ＲＮＮ等のニューラルネットワーク型の学習モデルを有し、この学習モデルにカスタマ側ユーザ１１の顔画像を含む画像情報を入力し、ユーザ状態推定スコア（評価値）を出力する。

　図９に示す例は、画像ベースユーザ状態推定部１２２がカスタマ側ユーザ１１の顔画像を含む画像情報に基づいて、カスタマ側ユーザ１１のユーザ状態として以下の各スコア（評価値）を推定して出力した例である。
　（ユーザ状態１）興味、関心、好感のスコア（興味度スコア）＝５
　（ユーザ状態２）理解、納得、満足のスコア（理解度スコア）＝３
　（ユーザ状態３）疲労、ストレスのスコア（疲労度スコア）＝１

　なお、ユーザ状態１～３のスコア（評価値）は１～５の５段階である。
　図１０に（ユーザ状態１～３）のスコア（評価値）＝１～５の設定例を示す。

　（ユーザ状態１）興味、関心、好感のスコア（興味度スコア）は、セールス側ユーザ１２の説明や会話に対するカスタマ側ユーザ１１の興味、関心、好感レベルが高いほど高い（５に近い）スコア（評価値）となり、興味、関心、好感レベルが低いほど低い（１に近い）スコア（評価値）となる。

　（ユーザ状態２）理解、納得、満足のスコア（理解度スコア）は、セールス側ユーザ１２の説明や会話に対するカスタマ側ユーザ１１の理解、納得、満足レベルが高いほど高い（５に近い）スコア（評価値）となり、理解、納得、満足レベルが低いほど低い（１に近い）スコア（評価値）となる。

　（ユーザ状態３）疲労、ストレスのスコア（疲労度スコア）は、セールス側ユーザ１２の説明や会話に対するカスタマ側ユーザ１１の疲労、ストレスレベルが高いほど高い（５に近い）スコア（評価値）となり、疲労、ストレスレベルが低いほど低い（１に近い）スコア（評価値）となる。

　図１１は、画像ベースユーザ状態推定部１２２がカスタマ側ユーザ１１の顔画像を含む画像情報のみならず、セールス側ユーザ１２の顔画像を含む画像情報、これら２種類の画像データを利用してカスタマ側ユーザ１１のユーザ状態を推定した処理例を示す図である。

　このように、画像ベースユーザ状態推定部１２２は、カスタマ側ユーザ１１の顔画像、セールス側ユーザ１２の顔画像、少なくともいずれかの画像を利用してカスタマ側ユーザ１１のユーザ状態を推定する処理を行う。

　ユーザ状態推定部１０２の画像ベースユーザ状態推定部１２２以外の各推定部も同様であり、入力する各情報（音声、画像、語彙、心拍等）に基づいて、カスタマ側ユーザ１１の以下のユーザ状態の推定スコア（評価値）を出力する。
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス

　ユーザ状態推定部１０２の各推定部が推定した上記３つのユーザ状態１～３の推定スコアは、ユーザ状態出力スコア算出部１０６に入力される。

　　（３－２．ユーザ状態出力スコア算出部が実行する処理の詳細について）
　次に、ユーザ状態出力スコア算出部が実行する処理の詳細について説明する。

　図１２を参照してユーザ状態出力スコア算出部１０６が実行する処理について説明する。
　図１２に示すように、ユーザ状態出力スコア算出部１０６は、興味、関心、好感出力スコア算出部１３１と、理解、納得、満足出力スコア算出部１３２と、疲労、ストレス出力スコア算出部１３３を有する。

　ユーザ状態出力スコア算出部１０６は、前述したように先に図３を参照して説明したセールス側ユーザ端末２２に出力するカスタマ側ユーザ１１のユーザ状態スコア（評価値）を算出する。

　興味、関心、好感出力スコア算出部１３１は、セールス側ユーザ端末２２に出力するグラフ中のカスタマユーザ１１の興味、関心、好感出力スコアを算出する。
　理解、納得、満足出力スコア算出部１３２は、セールス側ユーザ端末２２に出力するグラフ中のカスタマユーザ１１の理解、納得、満足出力スコアを算出する。
　疲労、ストレス出力スコア算出部１３３は、セールス側ユーザ端末２２に出力するグラフ中のカスタマユーザ１１の疲労、ストレススコアを算出する。

　このように、ユーザ状態出力スコア算出部１０６は、ユーザ状態推定部１０２の各推定部が推定したカスタマ側ユーザ１１のユーザ状態の推定スコア、すなわち、
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス
　これらのユーザ状態の推定スコア（興味度スコア、理解度スコア、疲労度スコア）の値に基づいて、セールス側ユーザ端末２２に出力する最終的なスコア（評価値）を算出する。

　具体的には、ユーザ状態推定部１０２の各推定部が推定した推定スコアの重みづけ加算処理等を実行して最終的な出力スコアを算出する。
　図１２に示すように、顧客情報取得部１０３、ミーティング情報取得部１０４、ミーティング実行環境情報取得部１０５が取得した情報を利用して算出した重みパラメータを利用した重みづけ加算を実行してセールス側ユーザ端末２２に出力する最終的なスコア（評価値）を算出する。

　顧客情報取得部１０３、ミーティング情報取得部１０４、ミーティング実行環境情報取得部１０５が取得する情報には、例えば、ミーティングの経過時間や、気候、カスタマ側ユーザ、セールス側ユーザの性格、体調、行動履歴などが含まれ、これらの情報を利用して重みパラメータを調整することができる。

　前述したように、例えば顧客情報データベース１１１には、各顧客対応の表情変化度合、声のトーン変化度合、使用語彙、ストレス検知度等の情報が記録され、これらの顧客特性に応じたグルーピングがなされている。例えば、同じグループに属する顧客については、ユーザ状態出力スコア算出処理に利用する重みパラメータを同一に設定するなどの処理を行うことができる。

　また、ユーザ状態出力スコア算出部１０６は、スコア算出アルゴリズム制御部１０７において決定されたアルゴリズムに従ってスコア算出を実行する。

　図１３を参照して、ユーザ状態出力スコア算出部１０６が実行するセールス側ユーザ端末２２に出力するための出力スコア（評価値）算出処理例について説明する。
　図１３に示す例は、ユーザ状態出力スコア算出部１０６内の１つの出力スコア算出部である興味、関心、好感出力スコア算出部１３１の処理例を示す図である。

　ユーザ状態出力スコア算出部１０６の興味、関心、好感出力スコア算出部１３１は、前段のユーザ状態推定部１０２の３つのユーザ状態推定部、すなわち、音声ベースユーザ状態推定部１２１、画像ベースユーザ状態推定部１２２、語彙ベースユーザ状態推定部１２３、これら３つのユーザ状態推定部の各々が推定した３つの興味、関心、好感スコアの値を入力し、これら３つのスコア値を重みづけ加算することで、最終的な出力スコアの値を算出する。すなわちセールス側ユーザ端末２２に出力する興味、関心、好感スコア（興味度スコア）を算出する。

　図１３に示すように、ユーザ状態推定部１０２の３つのユーザ状態推定部、すなわち、音声ベースユーザ状態推定部１２１、画像ベースユーザ状態推定部１２２、これらの各推定部が推定した興味、関心、好感出力スコアを以下の値とする。
　音声ベースユーザ状態推定部１２１が推定した興味、関心、好感出力スコア＝５、
　画像ベースユーザ状態推定部１２２が推定した興味、関心、好感出力スコア＝３、
　語彙ベースユーザ状態推定部１２３が推定した興味、関心、好感出力スコア＝４。

　この場合、ユーザ状態出力スコア算出部１０６の興味、関心、好感出力スコア算出部１３１は、以下の計算式（式１）に従って、最終的な出力スコアの値を算出する。すなわちセールス側ユーザ端末２２に出力する興味、関心、好感出力スコアを算出する。
　興味、関心、好感出力スコア＝（ｗ_１・５）＋（ｗ_２・３）＋（ｗ_３・４）・・（式１）

　上記（式１）において、５，３，４は、ユーザ状態推定部１０２の３つのユーザ状態推定部、すなわち、音声ベースユーザ状態推定部１２１、画像ベースユーザ状態推定部１２２、これらの各推定部が推定した興味、関心、好感スコアの推定値である。
　また、ｗ_１，ｗ_２，ｗ_３は、３つのユーザ状態推定部が推定したスコアに乗算する重みパラメータである。

　すなわち、
　ｗ_１＝音声ベースユーザ状態推定部１２１が推定した音声ベースユーザ状態スコア（興味、関心、好感出力スコア等）に対する乗算重み係数
　ｗ_２＝画像ベースユーザ状態推定部１２２が推定した画像ベースユーザ状態スコア（興味、関心、好感出力スコア等）に対する乗算重み係数
　ｗ_３＝語彙ベースユーザ状態推定部１２３が推定した語彙ベースユーザ状態スコア（興味、関心、好感出力スコア等）に対する乗算重み係数
　である。

　なお、音声ベースユーザ状態推定部１２１は主に声のトーンに基づくユーザ状態推定処理を実行し、画像ベースユーザ状態推定部１２２は主に表情に基づくユーザ状態推定処理を実行し、語彙ベースユーザ状態推定部１２３は発話内容に基づくユーザ状態推定処理を実行する。

　また、重みパラメータｗ_１，ｗ_２，ｗ_３は、基本的には、予め設定した値を利用できるが、例えば、顧客情報取得部１０３、ミーティング情報取得部１０４、ミーティング実行環境情報取得部１０５等が取得した情報を利用して、遂次、変更することも可能である。例えば、
　重みパラメータｗ_１，ｗ_２，ｗ_３は、以下の式（式２）に従って算出する構成としてもよい。
　（ｗ_１，ｗ_２，ｗ_３）＝ｆ（ｉａ１，ｉａ２，ｉｂ１，・・・ｉｄ１）・・・（式２）

　なお、上記（式２）において、
　ｉａ１，ｉａ２，ｉｂ１，・・・ｉｄ１は、顧客情報取得部１０３、ミーティング情報取得部１０４、ミーティング実行環境情報取得部１０５等が取得した情報を示す値であり、
　ｆ（）は、上記各情報を利用した重み算出関数であり、この関数を実行することで、重みパラメータｗ_１，ｗ_２，ｗ_３を算出する。
　なお、重み算出関数ｆは、予め規定される。また、スコア算出アルゴリズム制御部１０７の制御によって変更することも可能である。
　スコア算出アルゴリズム制御部１０７は通信部１０１を介してセールス側ユーザ端末２２から操作可能であり、セールス側ユーザ１２の操作によってスコア算出アルゴリズムを設定、変更することができる。

　図１３に示す例は、ユーザ状態出力スコア算出部１０６には、興味、関心、好感出力スコア算出部１３１の他、理解、納得、満足出力スコア算出部１３２と、疲労、ストレス出力スコア算出部１３３を有する。
　これらの各出力スコア算出部も図１３を参照して説明した興味、関心、好感出力スコア算出部１３１の出力スコア算出処理と同様の処理を実行する。

　図１４は、前段のユーザ状態推定部１０２の音声ベースユーザ状態推定部１２１と、画像ベースユーザ状態推定部１２２と、語彙ベースユーザ状態推定部１２３、これら３つのユーザ状態推定部の各々が推定した３つのユーザ状態スコアについて、ユーザ状態出力スコア算出部１０６の興味、関心、好感出力スコア算出部１３１と、理解、納得、満足出力スコア算出部１３２と、疲労、ストレス出力スコア算出部１３３が算出した出力スコアの一例を示す。

　例えば、図１４に示す表の（１）は、ユーザ状態出力スコア算出部１０６の興味、関心、好感出力スコア算出部１３１の出力スコア算出例である。前段のユーザ状態推定部１０２の音声ベースユーザ状態推定部１２１と、画像ベースユーザ状態推定部１２２と、語彙ベースユーザ状態推定部１２３、これら３つのユーザ状態推定部が推定した３つの興味、関心、好感スコアがそれぞれ５，３，４である。
　このとき、ユーザ状態出力スコア算出部１０６の興味、関心、好感出力スコア算出部１３１は、
　興味、関心、好感出力スコア
　＝（ｗ_１・５）＋（ｗ_２・３）＋（ｗ_３・４）
　＝４
　上記式に従って、興味、関心、好感出力スコア＝４を算出する。

　また、図１４に示す表の（２）は、ユーザ状態出力スコア算出部１０６の理解、納得、満足出力スコア算出部１３２の出力スコア算出例である。前段のユーザ状態推定部１０２の音声ベースユーザ状態推定部１２１と、画像ベースユーザ状態推定部１２２と、語彙ベースユーザ状態推定部１２３、これら３つのユーザ状態推定部が推定した３つの理解、納得、満足スコアがそれぞれ３，４，３である。
　このとき、ユーザ状態出力スコア算出部１０６の理解、納得、満足出力スコア算出部１３２は、
　理解、納得、満足出力スコア
　＝（ｗ_１・３）＋（ｗ_２・４）＋（ｗ_３・３）
　＝３
　上記式に従って、理解、納得、満足出力スコア＝３を算出する。

　さらに、図１４に示す表の（３）は、ユーザ状態出力スコア算出部１０６の疲れ、ストレス出力スコア算出部１３３の出力スコア算出例である。前段のユーザ状態推定部１０２の音声ベースユーザ状態推定部１２１と、画像ベースユーザ状態推定部１２２と、語彙ベースユーザ状態推定部１２３、これら３つのユーザ状態推定部が推定した３つの疲れ、ストレススコアがそれぞれ１，２，１である。
　このとき、ユーザ状態出力スコア算出部１０６の疲れ、ストレス出力スコア算出部１３１は、
　疲れ、ストレス出力スコア
　＝（ｗ_１・１）＋（ｗ_２・２）＋（ｗ_３・１）
　＝１
　上記式に従って、疲れ、ストレススコア＝１を算出する。

　このように、ユーザ状態出力スコア算出部１０６の興味、関心、好感出力スコア算出部１３１と、理解、納得、満足出力スコア算出部１３２と、疲労、ストレス出力スコア算出部１３３の各々は、それぞれ前段のユーザ状態推定部１０２の各ユーザ状態推定部の推定値を重みづけ加算して、セールス側ユーザ端末２２に出力するための出力スコアを算出する。すなわち、以下の各出力スコアを算出する。
　（ユーザ状態１スコア）興味、関心、好感スコア、
　（ユーザ状態２スコア）理解、納得、満足スコア、
　（ユーザ状態３スコア）疲労、ストレススコア、

　ユーザ状態出力スコア算出部１０６が算出したこれらの出力スコア値は、セールス側ユーザ端末２２に出力され、グラフ化されて表示される。
　図１５にグラフ表示例を示す。

　図１５に示すようにセールス側ユーザ端末２２の表示部に表示されるグラフは、横軸にミーティング開始からの経過時間、縦軸に上記のユーザ状態１～３の推定スコア（評価値）の値（１～５）を示したグラフである。

　情報処理装置１００のユーザ状態推定部１０２、ユーザ状態出力スコア算出部１０６は、カスタマ側ユーザ端末２１とセールス側ユーザ端末２２を使用したミーティング期間中、継続して処理を実行する。
　ユーザ状態推定部１０２が推定したユーザ状態スコアに変化があった場合等に、グラフの更新処理が実行されることになる。

　なお、図１５に示すセールス側ユーザ端末２２の表示画像の下側に示すグラフ中、
　（●）のグラフ（折れ線）は、「（ユーザ状態１）興味、関心、好感」の推定スコア（興味度スコア）の時間経過に伴う変化を示すグラフである。
　（▲）のグラフ（折れ線）は、「（ユーザ状態２）理解、納得、満足」の推定スコア（理解度スコア）の時間経過に伴う変化を示すグラフである。
　（■）のグラフ（折れ線）は、「（ユーザ状態３）疲労、ストレス」の推定スコア（疲労度スコア）の時間経過に伴う変化を示すグラフである。

　なお、グラフの生成処理は情報処理装置１００のユーザ状態出力スコア算出部１０６が実行してもよいし、セールス側ユーザ端末２２側で実行してもよい。
　情報処理装置１００のユーザ状態出力スコア算出部１０６がグラフを生成する場合は、ユーザ状態出力スコア算出部１０６が各時間のユーザ状態出力スコアに基づいてグラフを生成してセールス側ユーザ端末２２に送信する。

　また、セールス側ユーザ端末２２においてグラフを生成して表示する場合は、ユーザ状態出力スコア算出部１０６は、各時間のユーザ状態出力スコアを順次、セールス側ユーザ端末２２に送信する。セールス側ユーザ端末２２はユーザ状態出力スコア算出部１０６から、順次、受信するユーザ状態出力スコアを時間軸に沿って配列してグラフを生成して表示する。

　図１５に示す表示データの右上の表示データは、セールス側ユーザ１２が操作可能なＵＩ部２５である。
　セールス側ユーザ１２は、このＵＩ部２５を操作することで、情報処理装置１００におけるスコア算出アルゴリズムを変更することができる。
　すなわち、セールス側ユーザ１２によるＵＩ部２５の操作情報は、ネットワークを介して情報処理装置１００に送信される。

　情報処理装置１００の通信部１０１が受信したＵＩ操作情報は、情報処理装置１００のスコア算出アルゴリズム制御部１０７に入力される。
　情報処理装置１００のスコア算出アルゴリズム制御部１０７は、セールス側ユーザ１２によるＵＩ部２５の操作情報に応じてスコア算出アルゴリズムを変更制御する。

　　（３－３．スコア算出アルゴリズム制御部の処理の詳細と、セールス側ユーザ端末上の表示ＵＩについて）
　次に、スコア算出アルゴリズム制御部の処理の詳細と、セールス側ユーザ端末上の表示ＵＩについて説明する。

　図１６を参照してセールス側ユーザ端末２２に表示され、セールス側ユーザ１２が操作可能なＵＩ部２５の具体的構成例について説明する。
　図１６に示すように、ＵＩ部２５には以下の各ＵＩ部ａ～ｅ（操作部ａ～ｅ）が表示される
　ＵＩ部ａ：セールス側ユーザの画像、音声、語彙の有効化（ＯＮ）、無効化（ＯＦＦ）設定
　ＵＩ部ｂ：カスタマ側ユーザの画像、音声、語彙の有効化（ＯＮ）、無効化（ＯＦＦ）設定
　ＵＩ部ｃ：ユーザ状態出力スコア算出に適用する画像、音声、語彙ベースのユーザ状態スコア各々の重み設定
　ＵＩ部ｄ：ユーザ状態出力スコア算出に適用する画像、音声、語彙ベースのユーザ状態スコア各々の重みの調整に利用する情報の選択
　ＵＩ部ｅ：重み変更後の反映データの範囲を設定（現在以降のデータに反映させるか、ＭＴＧ開始後の全てのデータに反映させるかを設定）

　ＵＩ部ａは、セールス側ユーザの画像、音声、語彙の有効化（ＯＮ）、無効化（ＯＦＦ）を設定するＵＩであり、スコア算出に際して、セールス側ユーザの画像、音声、語彙を利用する（ＯＮ）か否か（ＯＦＦ）を設定することができる。
　ＵＩ部ｂは、カスタマ側ユーザの画像、音声、語彙の有効化（ＯＮ）、無効化（ＯＦＦ）設定を設定するＵＩであり、スコア算出に際して、カスタマ側ユーザの画像、音声、語彙を利用する（ＯＮ）か否か（ＯＦＦ）を設定することができる。

　ＵＩ部ｃは、ユーザ状態出力スコア算出に適用する画像、音声、語彙ベースのユーザ状態スコア各々の重みを設定するＵＩであり、スコア算出に際して適用する画像、音声、語彙の重み（ｗ_１，ｗ_２，ｗ_３）を変更することができる。
　図に示す三角形の各頂点が画像、音声、語彙ベースのユーザ状態スコア各々の重みの値に相当する。頂点を外側に設定するほど重みが大きくなり、内側に移動させるほど重みが小さく設定される。

　ＵＩ部ｄは、ユーザ状態出力スコア算出に適用する画像、音声、語彙ベースのユーザ状態スコア各々の重みの調整に利用する情報を選択するＵＩであり、スコア算出に際して適用する画像、音声、語彙の重み（ｗ_１，ｗ_２，ｗ_３）の算出処理に適用する情報を選択できる。

　図に示す例は、顧客情報、ＭＴＧ情報、ＭＴＧ環境、心拍情報の４つから、画像、音声、語彙の重み（ｗ_１，ｗ_２，ｗ_３）の算出処理に適用する情報を選択可能な構成例を示しており、図に示す例は、顧客情報、ＭＴＧ情報を利用、ＭＴＧ環境、心拍情報を非利用として設定した例である。

　ＵＩ部ｅは、重み変更後の反映データの範囲を設定するＵＩである。現在以降のデータに反映させるか、ＭＴＧ開始後の全てのデータに反映させるかを設定するかを選択できる。

　図１７にＵＩ部２５の調整例を示す。ＵＩ部２５はセールス側ユーザ１２によっていつでも操作可能である。ミーティング開始前、ミーティング実行中、任意のタイミングで設定を変更することが可能であり、変更情報は、ネットワークを介して情報処理装置１００に送信され、情報処理装置１００のスコア算出アルゴリズム制御部１０７はリアルタイムでスコア算出アルゴリズムを変更する。

　図１７には、（ａ）ＵＩ調整前と、（ｂ）ＵＩ調整後の各ＵＩ部２５の設定例を示している。
　（ａ）ＵＩ調整前の図に示すステップＳ０１～Ｓ０３の３つの操作をセールス側ユーザ１２が実行した例である。

　ステップＳ０１では、ＵＩ部ａの設定をＯＮからＯＦＦに変更している。
　ＵＩ部ａは、セールス側ユーザの画像、音声、語彙の有効化（ＯＮ）、無効化（ＯＦＦ）を設定するＵＩである。スコア算出に際して、セールス側ユーザの画像、音声、語彙を利用する（ＯＮ）設定を利用しない設定（ＯＦＦ）に変更している。

　ステップＳ０２，Ｓ０３では、ＵＩ部ｃの重み設定を変更している。
　ＵＩ部ｃは、ユーザ状態出力スコア算出に適用する画像、音声、語彙ベースのユーザ状態スコア各々の重みを設定するＵＩであり、スコア算出に際して適用する画像、音声、語彙の重み（ｗ_１，ｗ_２，ｗ_３）を変更することができる。

　図に示す例では、ステップＳ０２で、三角形の画像の頂点を外側に移動させ、ステップＳ０３で語彙の頂点を内側に移動させている。
　この設定変更により、ユーザ状態スコア算出時の重みの値が変更される。具体的には、語彙ベースのユーザ状態スコアに対する重みが小さく変更され、画像ベースのユーザ状態スコアに対する重みが大きく変更される。

　前述したように、これらの変更情報は即座に情報処理装置１００に送信され、情報処理装置１００のスコア算出アルゴリズム制御部１０７が、セールス側ユーザ１２の操作情報に応じてスコア算出アルゴリズムを変更する。

　上述したＵＩ部２５に対するセールス側ユーザ１２による操作によってスコア算出アルゴリズムが変更されると、例えば図１８に示すセールス側ユーザ端末２２に表示中のグラフが、変更後のアルゴリズムに従って算出される新たな更新スコアからなるグラフに変更されて表示されることになる。

　セールス側ユーザ１２は、セールス側ユーザ端末２２上に表示された更新後のグラフを確認しながら、ユーザ状態推定スコアの算出アルゴリズムをより適切と思われる態様に変更することができる。

　　（３－４．ユーザ状態変化理由推定部が実行する処理の詳細について）
　次に、ユーザ状態変化理由推定部が実行する処理の詳細について説明する。

　図１９以下を参照してユーザ状態変化理由推定部１０８の構成と処理について説明する。
　図１９に示すように、ユーザ状態変化理由推定部１０８は、ルールベースユーザ状態変化理由推定部１４１と、学習モデルベースユーザ状態変化理由推定部１４２、さらにユーザ状態変化理由推定結果統合処理部１４３を有する。

　ルールベースユーザ状態変化理由推定部１４１は、カスタマ側ユーザ１１の発話とセールス側ユーザ１２の発話の少なくともいずれかの発話内容に基づいて、ユーザ状態の変化理由を予め登録されたデータ（ルールベースモデル）を利用して推定する。

　学習モデルベースユーザ状態変化理由推定部１４２は、カスタマ側ユーザ１１とセールス側ユーザ１２の音声、画像に基づいて、ユーザ状態の変化理由を予め生成した学習モデルを利用して推定する。
　さらにその他のセンサー、例えばカスタマ側ユーザの心拍センサー等の生体センサーの検出情報を利用してユーザ状態の変化理由を予め生成した学習モデルを利用して推定する構成としてもよい。

　ユーザ状態変化理由推定結果統合処理部１４３は、ルールベースユーザ状態変化理由推定部１４１の推定結果と、学習モデルベースユーザ状態変化理由推定部１４２の推定結果を入力し、いずれかの推定結果の選択処理、あるいは両方の推定結果の選択処理、あるいは、２つの推定結果の合成処理による新たなユーザ状態変化理由の生成処理などを実行して、最終的にセールス側ユーザ端末２２に出力するユーザ状態変化理由を生成する。

　図２０を参照して、ルールベースユーザ状態変化理由推定部１４１の詳細構成例について説明する。
　ルールベースユーザ状態変化理由推定部１４１は図２０に示すように、音声解析部１５１、ルールベースモデル１５２、ルールベースユーザ状態変化理由決定部１５３を有する。

　カスタマ側ユーザ端末２１のマイクが取得したカスタマ側ユーザ１１の声を含む音声データと、セールス側ユーザ端末２２のマイクが取得したセールス側ユーザ１２の声を含む音声データが音声解析部１５１に入力される。
　音声解析部１５１は、音声データをテキスト変換して、ルールベースユーザ状態変化理由決定部１５３に出力する。
　音声解析部は、例えばＡＳＲ（Ａｕｔｏｍａｔｉｃ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ）機能を利用した音声解析部である。

　ルールベースユーザ状態変化理由決定部１５３は、音声解析部１５１から入力したテキストデータ、すなわち、カスタマ側ユーザ１１の発話内容を示すテキスト、あるいはセールス側ユーザ１２の発話内容を示すテキストに基づいて、ルールベースモデル１５２を参照して、入力発話テキストに基づいて、ユーザ状態変化理由を推定する。

　ルールベースモデル１５２は、カスタマ側ユーザ１１やセールス側ユーザの様々な発話テキストと、ユーザ状態変化理由とを対応付けて記録したルールベースモデルである。具体的には、例えば、図２１に示すようなデータが登録されている。

　ルールベースユーザ状態変化理由決定部１５３は、図２１に示すようなデータが登録されたルールベースモデル１５２を参照して、音声解析部１５１から入力したテキストデータ、すなわち、カスタマ側ユーザ１１の発話内容を示すテキスト、あるいはセールス側ユーザ１２の発話内容を示すテキストに最も近い登録データを選択して選択したデータに対応付けて記録されたユーザ状態変化理由を取得する。取得したユーザ状態変化理由は、ユーザ状態変化理由推定結果統合処理部１４３に出力される。

　一方、図１９に示す学習モデルベースユーザ状態変化理由推定部１４２は、予め生成した学習モデルを利用してユーザ状態変化理由を推定する。

　学習モデルは、カスタマ側ユーザ１１とセールス側ユーザ１２の音声、画像情報を入力し、ユーザ状態変化理由を出力する学習モデルである。
　あるいは、例えばカスタマ側ユーザの心拍センサーやその他の生体センサー等のセンサー検出情報が取得できる場合は、音声、画像情報に加えてセンサー検出情報を入力してユーザ状態変化理由を出力する学習モデルを生成して利用する構成としてもよい。

　学習モデルは、例えば多層型のニューラルネットワークであるディープニューラルネットワーク（ＤＮＮ：Ｄｅａｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）や、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、あるいは再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）などのアルゴリズムを適用した機械学習を実行して生成した学習モデルである。
　なお、学習モデルの生成処理方法の具体例については後段で説明する。

　学習モデルベースユーザ状態変化理由推定部１４２が学習モデルを利用して推定したユーザ状態変化理由も、ユーザ状態変化理由推定結果統合処理部１４３に出力される。

　ユーザ状態変化理由推定結果統合処理部１４３は、ルールベースユーザ状態変化理由推定部１４１の推定結果と、学習モデルベースユーザ状態変化理由推定部１４２の推定結果を入力し、いずれかの推定結果の選択処理、あるいは両方の推定結果の選択処理、あるいは、２つの推定結果の合成処理による新たなユーザ状態変化理由の生成処理などを実行する。

　ユーザ状態変化理由推定結果統合処理部１４３は、最終的にセールス側ユーザ端末２２に出力するユーザ状態変化理由を決定する。

　なお、最終的なセールス側ユーザ端末２２に出力するユーザ状態変化理由の決定処理に際し、ユーザ状態変化理由推定結果統合処理部１４３は、ユーザ状態出力スコア算出部１０６の興味、関心、好感出力スコア算出部１３１と、理解、納得、満足出力スコア算出部１３２と、疲労、ストレス出力スコア算出部１３３、これらの３種類のユーザ状態出力スコア算出部１３１～１３３の出力スコアの変化状態を検証する。

　ユーザ状態変化理由推定結果統合処理部１４３は、例えば、ユーザ状態出力スコア算出部１３１～１３３のいずれかが算出した出力スコアの変化量が予め規定したしきい値以上となった場合に、セールス側ユーザ端末２２に出力するユーザ状態変化理由を決定して出力する。
　あるいは、ユーザ状態出力スコア算出部１３１～１３３のいずれかが算出した出力スコアが最低値（スコア＝１）、または最高値（スコア＝５）となった場合に、セールス側ユーザ端末２２に出力するユーザ状態変化理由を決定して出力する。

　また、ユーザ状態変化理由推定結果統合処理部１４３は、セールス側ユーザ端末２２に出力するユーザ状態変化理由を決定する際の補助情報として顧客情報取得部１０３から入力する顧客情報、ミーティング情報取得部１０４から入力するミーティング情報、ミーティング実行環境情報取得部１０５から入力するミーティング実行環境情報を利用する構成としてもよい。

　さらに、ユーザ状態変化理由推定結果統合処理部１４３は、ユーザ状態変化理由のみならず、例えばミーティング結果の推定情報や、ユーザ状態スコア算出に適用する重みの推薦値情報などを生成してセールス側ユーザ端末２２に出力する構成としてもよい。

　図２２にユーザ状態変化理由推定結果統合処理部１４３が生成しセールス側ユーザ端末２２に出力するデータの例をまとめた図を示す。
　図２２に示すように、ユーザ状態変化理由推定結果統合処理部１４３はセールス側ユーザ端末２２に対して、例えば以下の情報を出力する。
　（１）ユーザ状態変化理由
　（２）ミーティング結果推定情報
　（３）ユーザ状態スコア算出に適用する重み推薦情報
　ユーザ状態変化理由推定結果統合処理部１４３は、例えば、これら（１）～（３）の情報を、予め生成した学習モデルやルールベースモデルを利用して推定してセールス側ユーザ端末２２に出力する。

　（１）ユーザ状態変化理由については、図２２の具体例の欄に示すように、例えば以下の場合に出力する。
　（例１）「興味・関心・好感出力スコア」、「理解・納得・満足出力スコア」、「疲労・ストレス出力スコア」のいずれかの変化量が、規定しきい値以上である場合にユーザ状態変化理由を出力
　（例２）「興味・関心・好感出力スコア」、「理解・納得・満足出力スコア」、「疲労・ストレス出力スコア」のいずれかのスコア値が最低値（１）または最高値と（５）のとき、ユーザ状態変化理由を出力

　（２）ミーティング結果推定情報については、対策を何もしない場合のミーティング結果推定情報と、対策を行った場合のミーティング結果の推定情報を生成して出力する。
　（３）ユーザ状態スコア算出に適用する重み推薦情報については、ユーザ状態スコア算出に適用する重み（画像、音声、語彙）の推薦値を出力する。

　図２３は、ユーザ状態変化理由推定部１０８のユーザ状態変化理由推定結果統合処理部１４３からセールス側ユーザ端末２２に出力される情報であるユーザ状態変化理由をセールス側ユーザ端末２２に表示した例を示す図である。

　図２４は、ミーティング結果推定情報や、ユーザ状態スコア算出に適用する重み推薦情報をセールス側ユーザ端末２２に表示した例を示す図である。
　図２５は、さらに、ユーザ状態スコア算出に適用する重み推薦情報の提示理由をセールス側ユーザ端末２２に表示した例を示す図である。

　セールス側ユーザ１２は、このような表示データを確認することで、説明の仕方などを変更するといった適切な対応を行うことが可能となる。

　　［４．その他の実施例について］
　次に、その他の実施例について説明する。

　上述した実施例は、通信ネットワークを介したミーティングに参加するユーザのユーザ状態を解析して、解析結果をそのミーティングに参加する他のユーザのユーザ端末に表示する処理例として説明した。

　上述した本開示の処理、すなわちユーザのユーザ状態を解析して解析結果を他のユーザのユーザ端末に表示する処理は、このようなオンライン型のミーティングにのみ利用されるものではなくその他の様々な利用形態が可能である。

　例えば、実空間の実オブジェクト画像と、実空間上には存在しない仮想オブジェクト画像を重畳した拡張現実画像（ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像）や、仮想現実画像（ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）画像）を表示するメガネ型あるいはゴーグル型デバイス等のウェアラブルデバイス上にユーザ状態の解析結果を表示する処理にも適用可能である。

　具体的には、例えばメガネ型デバイスを装着した複数のユーザが対面型のミーティングを行う場面での利用などが可能である。
　ユーザが装着したメガネ型デバイスに装着されたカメラやマイクを介して入力する画像や音声を解析してミーティング相手のユーザ状態を推定する。さらに、推定したユーザ状態に基づくグラフなどを生成し、生成したグラフなどのユーザ状態解析結果をメガネ型デバイスに仮想オブジェクトとして表示する。
　上述した本開示の構成や処理は、このような様々な場面において利用可能である。

　　［５．ユーザ状態推定部において利用する学習モデルの生成処理について］
　次に、ユーザ状態推定部において利用する学習モデルの生成処理について説明する。

　先に図６を参照して説明したように、情報処理装置１００のユーザ状態推定部１０２は、通信部１０１を介して入力するミーティング実行中のカスタマ側ユーザ端末２１とセールス側ユーザ端末２２から各ユーザの画像や音声データ等に基づいて、カスタマ側ユーザのユーザ状態を推定する。具体的には、例えば以下の各状態の推定処理を行う。
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス

　ユーザ状態推定部１０２は、例えば予め生成した学習モデルを利用してカスタマ側ユーザのユーザ状態を推定する。
　以下、ユーザ状態推定部１０２が利用する学習モデルの生成処理の具体例について説明する。

　図２６は、ユーザ状態推定部１０２が利用する学習モデルの生成処理に利用する学習データを取得するための模擬ミーティング構成を示す図である。
　図２６には、商品購入希望者であるお客様であるカスタマ側ユーザ１１と、商品提供者としてのセールス側ユーザ１２を示している。
　スマホ等のカスタマ側ユーザ端末２１と、ＰＣ等のセールス側ユーザ端末２２は通信ネットワークを介して接続され、これらの通信端末間で音声、画像を相互に送受信して会話を行って商談が進められる。

　ただし、学習モデルの生成処理に利用する学習データを取得するための模擬ミーティングを実行する場合、カスタマ側ユーザ１１は実際のお客様ではなく、お客様の役割を実行する人とする。
　例えば、セールス側ユーザ１２と同じ会社の社員やアルバイトなどがお客様の役を行う。
　セールス側ユーザ１２は、お客様役のカスタマ側ユーザ１１とネットワークを介して模擬的な商談等のミーティングを実行する。

　お客様役のカスタマ側ユーザ１１は、模擬ミーティングの実行中に自分の感情などのユーザ状態を随時、カスタマ側ユーザ端末２１に入力する。
　入力項目は、例えば、図２７に示すように以下の３つのユーザ状態である。
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス
　ただし、上記各ユーザ状態１～３中の「（ユーザ状態３）疲労、ストレス」については、心拍センサーを使用する場合や、顔画像からの心拍推定を行う場合は、ユーザ入力を行うことなく、心拍センサーや顔画像の解析によって取得する情報を利用する構成としてもよい。

　（ユーザ状態１）興味、関心、好感は、カスタマ側ユーザ１１が、セールス側ユーザ１２の説明や会話に興味、関心、好感を持っているか否かのユーザ状態である。
　お客様役のカスタマ側ユーザ１１は、セールス側ユーザ１２とのミーティング（商談）の実行中に、自分の興味、関心、好感レベルを判断し、その判断に基づくスコア（評価値）を、随時入力する。

　スコア（評価値）は１～５の５段階であり、興味、関心、好感が高いほどスコア（評価値）が高い。
　お客様役のカスタマ側ユーザ１１は、セールス側ユーザ１２の説明や会話に対する「興味、関心、好感」のレベルが最高レベルにあると感じた場合、そのタイミングでスコア＝５を入力する。
　カスタマ側ユーザ端末２１のディスプレイはタッチパネルであり、カスタマ側ユーザ１１はディスプレイにスコア＝５を入力する。

　一方、お客様役のカスタマ側ユーザ１１が、セールス側ユーザ１２の説明や会話に対する「興味、関心、好感」のレベルが最低レベルにあると感じた場合、そのタイミングで、スコア＝１を入力する。
　お客様役のカスタマ側ユーザ１１は、セールス側ユーザ１２とのミーティング（商談）期間内において、「興味、関心、好感」のレベルが変化したと感じた任意タイミングにおいて、随時、スコア（評価値）を入力する。

　（ユーザ状態２）理解、納得、満足は、カスタマ側ユーザ１１が、セールス側ユーザ１２の説明について理解、納得、満足したか否かのユーザ状態である。
　お客様役のカスタマ側ユーザ１１は、セールス側ユーザ１２とのミーティング（商談）の実行中に、随時、スコア（評価値）を入力する。

　お客様役のカスタマ側ユーザ１１は、セールス側ユーザ１２の説明に対する「理解、納得、満足」のレベルが最高レベルにあると感じた場合、そのタイミングでスコア＝５を入力し、最低レベルにあると感じた場合、そのタイミングでスコア＝１を入力する。
　お客様役のカスタマ側ユーザ１１は、セールス側ユーザ１２とのミーティング（商談）期間内において、「理解、納得、満足」のレベルが変化したと感じた任意タイミングにおいて、随時、スコア（評価値）を入力する。

　（ユーザ状態３）疲労、ストレスは、カスタマ側ユーザ１１が、セールス側ユーザ１２の説明や会話に対して、疲労、ストレスを感じたか否かのユーザ状態である。
　お客様役のカスタマ側ユーザ１１は、セールス側ユーザ１２とのミーティング（商談）の実行中に、随時、スコア（評価値）を入力する。

　お客様役のカスタマ側ユーザ１１は、セールス側ユーザ１２の説明や会話に対する「疲労、ストレス」のレベルが最高レベルにある（疲れている、またはストレスが高い）と感じた場合、そのタイミングでスコア＝５を入力し、最低レベルにある（疲れていない、またはリラックスしている）と感じた場合、そのタイミングでスコア＝１を入力する。

　お客様役のカスタマ側ユーザ１１は、セールス側ユーザ１２とのミーティング（商談）期間内において、「疲労、ストレス」のレベルが変化したと感じた任意タイミングにおいて、随時、スコア（評価値）を入力する。

　お客様役のカスタマ側ユーザ１１が入力した以下の３つのユーザ状態、すなわち、
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス
　これらのユーザ状態のスコア（評価値）は、スコア（評価値）入力タイミングを示すタイムスタンプとともに、カスタマ側ユーザ端末２１から情報処理装置１００に送信される。

　情報処理装置１００は、さらに、カスタマ側ユーザ端末２１と、セールス側ユーザ端末２２を介して、ミーティングの実行期間中の各ユーザの画像と音声を入力する。

　情報処理装置１００は、ミーティングの実行期間中の以下の各データを入力する。
　（Ａ）カスタマ側ユーザ端末２１から、カスタマ側ユーザ１１の画像と音声、
　（Ｂ）セールス側ユーザ端末２２から、セールス側ユーザ１２の画像と音声、
　（Ｃ）カスタマ側ユーザ端末２１から、上記（ユーザ状態１～３）のスコア（評価値）データ列

　情報処理装置１００は、ミーティングの実行期間中の上記データ（Ａ）～（Ｃ）を入力し、この入力データを利用した学習処理を実行してユーザ状態推定器（学習モデル）を生成する。

　図２８は、情報処理装置１００がカスタマ側ユーザ端末２１と、セールス側ユーザ端末２２から入力するデータであり、情報処理装置１００における機械学習処理に利用するデータ（ミーティングログ：Ｍｅｅｔｉｎｇ　ｌｏｇ）の一部を示すデータ例である。

　図２８に示すログデータ（Ｍｅｅｔｉｎｇ　ｌｏｇ）の先頭部分の記録領域［ラベル］は、ミーティング中にお客様役のカスタマ側ユーザ１１が入力したユーザ状態のスコア（評価値）の記録領域である。

　この［ラベル］記録領域には、ミーティング中にお客様役のカスタマ側ユーザ１１が入力した以下の３つのユーザ状態、すなわち、
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス
　これらのユーザ状態のスコア（評価値）が、ユーザ状態種類を示す状態ラベル名と、スコア（評価値）設定タイミングを示すタイムスタンプとともに記録される。

　次の記録領域［ミーティング条件（ＭＴＧタグ）］は、ミーティング開始前に設定されたミーティング条件の記録領域である。ミーティング条件（ＭＴＧタグ）には例えば以下のような条件（タグ）が含まれる。
　（タグａ）ミーティング（ＭＴＧ）ジャンル＝商談、面談
　（タグｂ）ミーティング（ＭＴＧ）規模＝大、中、小
　（タグｃ）疲れ（カスタマ）＝大、中、小
　（タグｄ）忙しさ（カスタマ）＝大、中、小

　さらに、最後部にミーティングの実行期間中の各ユーザの画像と音声、すなわちカスタマ側ユーザ１１と、セールス側ユーザ１２の画像と音声の記録領域が設定されている。

　情報処理装置１００は、これらのデータから構成されるログデータ（Ｍｅｅｔｉｎｇ　Ｌｏｇ）を、カスタマ側ユーザ端末２１、またはセールス側ユーザ端末２２の少なくともいずれかの端末から入力し、入力データを利用した機械学習処理を実行して、ユーザ状態推定器（学習モデル）を生成する。

　なお、図２８に示すログデータは、ミーティング期間に取得されるログデータの一部のデータである。１回のミーティング期間中、ログデータとして取得される［ラベル］のデータを利用することで、ミーティング中にカスタマ側ユーザ１１が逐次、入力したユーザ状態のスコア（評価値）の時系列データを生成することができる。

　図２９に、情報処理装置１００がカスタマ側ユーザ端末２１から取得するユーザ状態のスコア（評価値）に基づいて生成可能な時系列データの一例を示す。
　図２９には、以下のユーザ状態各々の時系列データを示している。
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス
　例えば、この時系列データを解析することで、ミーティング期間におけるカスタマ側ユーザ端末２１の状態変化の詳細な解析が可能となる。

　情報処理装置１００は、図２８に示すログデータを利用した機械学習処理を実行して、ユーザ状態推定部が利用する学習モデルを生成する。
　図３０以下を参照して、情報処理装置１００が実行する機械学習処理の詳細について説明する。

　図３０は、情報処理装置１００が実行する機械学習処理に利用するデータの収集構成例を示す図である。
　図３０に示すように、情報処理装置１００は、カスタマ側ユーザ端末２１から、ミーティング期間中の以下の各データを取得する。
　画像データ
　音声データ
　（ユーザ状態１対応スコア）＝興味、関心、好感スコア
　（ユーザ状態２対応スコア）＝理解、納得、満足スコア
　（ユーザ状態３対応スコア）＝疲労、ストレススコア

　画像データ、音声データは、カスタマ側ユーザ端末２１のカメラ、マイクによって取得されるカスタマ側ユーザ１１の顔画像を含む画像データと、カスタマ側ユーザ１１の発話音声データである。

　（ユーザ状態１対応スコア）＝興味、関心、好感スコア
　（ユーザ状態２対応スコア）＝理解、納得、満足スコア
　（ユーザ状態３対応スコア）＝疲労、ストレススコア
　これらのスコアデータは、先に図２９を参照して説明したように、カスタマ側ユーザ１１がミーティング期間中カスタマ側ユーザ端末２１に入力したユーザ状態のスコア（評価値）の時系列データである。

　情報処理装置１００は、これらのデータを情報処理装置１００内の記憶部（データベース）に格納する。
　図３０に示すように、画像データ、音声データは、画像・音声データベース１６１に格納する。
　興味、関心、好感スコアは、興味、関心、好感スコアデータベース１７１に格納し、理解、納得、満足スコアは、理解、納得、満足スコアデータベース１７２に格納し、疲労、ストレススコアは、疲労、ストレススコアデータベース１７３に格納する。

　情報処理装置１００は、さらに、セールス側ユーザ端末２２からも、ミーティング期間中の以下の各データを取得する。
　画像データ
　音声データ
　これらの画像データ、音声データは、セールス側ユーザ端末２２のカメラ、マイクによって取得されるセールス側ユーザ１２の顔画像を含む画像データと、セールス側ユーザ１２の発話音声データである。
　これらのデータも、情報処理装置１００の画像・音声データベース１６１に記録される。

　なお、画像・音声データベース１６１に記録される画像、音声データには、属性情報として、画像、音声の取得時間を示すタイムスタンプ等の記録時間情報、さらに画像、音声がカスタマ側ユーザ端末２１から取得したカスタマ側ユーザ１１のデータであるか、セールス側ユーザ端末２２から取得したセールス側ユーザ１２のデータであるかを識別するためのユーザ識別情報等が記録されている。

　なお、図３０に示す例では、カスタマ側ユーザ１１の心拍情報等の収集は行っていないが、例えばカスタマ側ユーザ１１の心拍情報等のセンサー検出情報を利用したユーザ状態推定処理を行う学習モデルを生成する場合には、カスタマ側ユーザ１１の心拍情報等の収集も実行し、センサー検出情報も含めた学習処理を実行する。

　また、図３０に示す情報処理装置１００の学習データ収集例では、セールス側ユーザ端末２２からも、ミーティング期間中の画像データと、音声データを取得する構成例であるが、例えば、図３１に示すように、セールス側ユーザ端末２２からの画像データと、音声データを取得することなく、カスタマ側ユーザ端末２１のみから、画像、音声、各ユーザ状態スコアを取得して、これらを学習処理に適用する構成も可能である。

　以下では、図３０に示すように、カスタマ側ユーザ端末２１、セールス側ユーザ端末２２の双方からミーティング期間中のデータを取得して学習処理を実行する処理例について説明する。

　図３２は、情報処理装置１００が実行する機械学習処理の構成と処理を説明する図である。
　図３２に示すように、情報処理装置１００は、興味度推定器生成部（興味度推定学習モデル生成部）１８１、理解度推定器生成部（理解度推定学習モデル生成部）１８２、疲労度推定器生成部（疲労度推定学習モデル生成部）１８３を有する。

　興味度推定器生成部（興味度推定学習モデル生成部）１８１は、興味・関心・好感スコアデータベース１７１の格納データと、画像音声データベース１６１の格納データを利用した機械学習処理を実行して、興味度推定器（興味度推定学習モデル）１９１を生成する。

　すなわち、興味度推定器生成部（興味度推定学習モデル生成部）１８１は、以下の各データを利用した機械学習処理を実行して、興味度推定器（興味度推定学習モデル）１９１を生成する。
　（ａ）ミーティング期間中のカスタマ側ユーザ１１、およびセールス側ユーザ１２の画像と音声、
　（ｂ）ミーティング期間中にカスタマ側ユーザ１１が入力した興味、関心、好感スコア（評価値）、

　また、理解度推定器生成部（理解度推定学習モデル生成部）１８２は、理解・納得・満足スコアデータベース１７２の格納データと、画像音声データベース１６１の格納データを利用した機械学習処理を実行して、理解度推定器（理解度推定学習モデル）１９２を生成する。

　すなわち、理解度推定器生成部（理解度推定学習モデル生成部）１８２は、以下の各データを利用した機械学習処理を実行して、理解度推定器（理解度推定学習モデル）１９２を生成する。
　（ａ）ミーティング期間中のカスタマ側ユーザ１１、およびセールス側ユーザ１２の画像と音声、
　（ｂ）ミーティング期間中にカスタマ側ユーザ１１が入力した理解、納得、満足スコア（評価値）、

　さらに、疲労度推定器生成部（疲労度推定学習モデル生成部）１８３は、疲労・ストレススコアデータベース１７３の格納データと、画像音声データベース１６１の格納データを利用した機械学習処理を実行して、疲労度推定器（疲労度推定学習モデル）１９３を生成する。

　すなわち、疲労度推定器生成部（疲労度推定学習モデル生成部）１８３は、以下の各データを利用した機械学習処理を実行して、疲労度推定器（疲労度推定学習モデル）１９３を生成する。
　（ａ）ミーティング期間中のカスタマ側ユーザ１１、およびセールス側ユーザ１２の画像と音声、
　（ｂ）ミーティング期間中にカスタマ側ユーザ１１が入力した疲労、ストレススコア（評価値）、

　なお、情報処理装置１００の学習処理部、すなわち興味度推定器生成部（興味度推定学習モデル生成部）１８１、理解度推定器生成部（理解度推定学習モデル生成部）１８２、疲労度推定器生成部（疲労度推定学習モデル生成部）１８３、これらの学習処理部は、例えば機械学習処理としての深層学習処理を実行する。

　例えば、興味度推定器生成部（興味度推定学習モデル生成部）１８１は、興味・関心・好感スコアデータベース１７１の格納データと、画像音声データベース１６１の格納データを教師データとした「教師あり学習処理」を実行する。

　この学習処理によって、カスタマ側ユーザの画像と音声データ、またはセールス側ユーザの画像と音声データの少なくともいずれかの画像、音声データに基づいて、カスタマ側ユーザの興味・関心・好感スコアを推定する興味度推定器（興味度推定学習モデル）１９１を生成する。

　また、理解度推定器生成部（理解度推定学習モデル生成部）１８２は、理解・納得・満足スコアデータベース１７２の格納データと、画像音声データベース１６１の格納データを教師データとした「教師あり学習処理」を実行する。

　この学習処理によって、カスタマ側ユーザの画像と音声データ、またはセールス側ユーザの画像と音声データの少なくともいずれかの画像、音声データに基づいて、カスタマ側ユーザの理解・納得・満足スコアを推定する理解度推定器（理解度推定学習モデル）１９２を生成する。

　さらに、疲労度推定器生成部（疲労度推定学習モデル生成部）１８３は、疲労・ストレススコアデータベース１７３の格納データと、画像音声データベース１６１の格納データを教師データとした「教師あり学習処理」を実行する。

　この学習処理によって、カスタマ側ユーザの画像と音声データ、またはセールス側ユーザの画像と音声データの少なくともいずれかの画像、音声データに基づいて、カスタマ側ユーザの疲労・ストレススコアを推定する疲労度推定器（疲労度推定学習モデル）１９３を生成する。

　図３３以下を参照して、具体的な学習処理の例について説明する。
　図３３は、興味度推定器生成部（興味度推定学習モデル生成部）１８１による興味度推定器（興味度推定学習モデル）１９１を生成するための学習処理の一例を説明する図である。

　図３３には、学習データとして用いる以下の各データを示している。
　（ａ）ミーティング期間中のカスタマ側ユーザ１１の画像と音声、
　（ｂ）ミーティング期間中にカスタマ側ユーザ１１が入力した興味・関心・好感スコア（評価値）、
　なお、これらは、先に図２８を参照して説明したログデータに含まれるデータである。すなわち、ミーティング実行中に、カスタマ側ユーザ端末２１において記録され、情報処理装置１００に送信されるログデータである。

　興味度推定器生成部（興味度推定学習モデル生成部）１８１は、まず、図３２に示す興味・関心・好感スコアデータベース１７１から、ミーティング期間中にカスタマ側ユーザ１１が入力した興味・関心・好感スコア（評価値）を１つ取得する。さらに、取得した興味・関心・好感スコア（評価値）のタイムスタンプを確認し、このタイムスタンプに一致する時間から所定時間前（例えば３０秒前）までのカスタマ側ユーザ１１の画像と音声データを画像・音声データベース１６１から取得する。

　興味度推定器生成部（興味度推定学習モデル生成部）１８１は、画像・音声データベース１６１から取得したカスタマ側ユーザ１１の画像と音声データの特徴量を取得し、この特徴量に対して、図３３（ｂ）に示すカスタマ側ユーザ１１が入力した興味・関心・好感スコア（評価値）＝１を対応付ける。

　すなわち、スコア入力直前３０秒間のカスタマ側ユーザ１１の画像と音声データとと、カスタマ側ユーザ１１が入力した興味・関心・好感スコア（評価値）を対応付けたデータセットを教師データとした学習処理を実行する。
　カスタマ側ユーザ１１が入力した興味・関心・好感スコア（評価値）は、画像音声データに対するアノテーションデータ（回答メタデータ）として利用される。

　このようなデータセットを多数、用いた学習処理を行うことで、一定期間（例えば３０秒）のカスタマ側ユーザ１１の画像と音声データに基づいてカスタマ側ユーザ１１の興味・関心・好感スコア（評価値）を推定する興味度推定器（興味度推定学習モデル）１９１を生成することができる。

　図３３に示す例では、図３３（ｂ）に示す興味・関心・好感スコア（評価値）＝１を入力する直前のカスタマ側ユーザ１１の画像、音声には、カスタマ側ユーザ１１の困った顔や、「え～」、「ん～」等の音声データが記録されている。
　例えば、興味度推定器生成部（興味度推定学習モデル生成部）１８１は、カスタマ側ユーザ１１の画像、音声にこのようなデータが記録されている場合、カスタマ側ユーザ１１の興味・関心・好感スコア（評価値）の値は低くなる傾向があることを学習することができる。

　図３４に異なる学習データの例を示す。
　図３４（ｂ）には興味・関心・好感スコアデータベース１７１から、ミーティング期間中にカスタマ側ユーザ１１が入力した興味・関心・好感スコア（評価値）＝５を示している。
　図３４（ａ）には、このスコア＝５を入力する直前のカスタマ側ユーザ１１の画像、音声データを示している。

　図３４（ａ）には、カスタマ側ユーザ１１の納得した顔や、「なるほど」、「そうか」等の音声データが記録されている。
　興味度推定器生成部（興味度推定学習モデル生成部）１８１は、カスタマ側ユーザ１１の画像、音声にこのようなデータが記録されている場合、カスタマ側ユーザ１１の興味・関心・好感スコア（評価値）の値は高くなる傾向があることを学習することができる。

　図３５に示す例は、セールス側ユーザ１２の画像と音声データを用いた学習処理の例である。
　図３５（ｂ）には興味・関心・好感スコアデータベース１７１から、ミーティング期間中にカスタマ側ユーザ１１が入力した興味・関心・好感スコア（評価値）＝１を示している。
　図３５（ａ）には、このスコア＝１を入力する直前のセールス側ユーザ１２の画像、音声データを示している。

　図３５（ａ）には、セールス側ユーザ１２の悩んだ顔や、「その件は」、「調べてみます」等の音声データが記録されている。
　興味度推定器生成部（興味度推定学習モデル生成部）１８１は、セールス側ユーザ１２の画像、音声にこのようなデータが記録されている場合、カスタマ側ユーザ１１の興味・関心・好感スコア（評価値）の値は低くなる傾向があることを学習することができる。

　このように、興味度推定器生成部（興味度推定学習モデル生成部）１８１は、ミーティング期間中にカスタマ側ユーザ１１が入力した興味・関心・好感スコア（評価値）と、カスタマ側ユーザ１１、またはセールス側ユーザ１２、少なくともいずれかの画像、音声データとによって構成される学習データを多数、入力して学習処理を実行する。

　興味度推定器生成部（興味度推定学習モデル生成部）１８１は、学習処理結果として、カスタマ側ユーザの画像と音声データ、またはセールス側ユーザの画像と音声データの少なくともいずれかの画像、音声データに基づいて、カスタマ側ユーザの興味・関心・好感スコアを推定する興味度推定器（興味度推定学習モデル）１９１を生成する。

　すなわち、興味度推定器生成部（興味度推定学習モデル生成部）１８１は、図３６に示すように、カスタマ側ユーザの画像と音声データ、またはセールス側ユーザの画像と音声データの少なくともいずれかの画像、音声データを入力し、出力として、カスタマ側ユーザの興味・関心・好感スコアの推定値を出力する興味度推定器（興味度推定学習モデル）１９１を生成する。

　すなわち、通信ネットワークを介したミーティングに参加する１人以上のユーザの画像データ、または音声データの少なくともいずれかのデータに基づいてユーザ状態を推定する推定器（学習モデル）を生成する。

　図３３～図３６を参照して説明した例は、興味度推定器生成部（興味度推定学習モデル生成部）１８１による学習処理と、この学習結果として生成する興味度推定器（興味度推定学習モデル）１９１の利用例である。

　この他の理解度推定器生成部（理解度推定学習モデル生成部）１８２、疲労度推定器生成部（疲労度推定学習モデル生成部）１８３もそれぞれ同様の学習処理を実行する。

　理解度推定器生成部（理解度推定学習モデル生成部）１８２は、カスタマ側ユーザの画像と音声データ、またはセールス側ユーザの画像と音声データの少なくともいずれかの画像、音声データを入力し、出力として、カスタマ側ユーザの理解・納得・満足スコアの推定値を出力する理解度推定器（理解度推定学習モデル）１９２を生成する。

　さらに、疲労度推定器生成部（疲労度推定学習モデル生成部）１８３は、カスタマ側ユーザの画像と音声データ、またはセールス側ユーザの画像と音声データの少なくともいずれかの画像、音声データを入力し、出力として、カスタマ側ユーザの疲労・ストレススコアの推定値を出力する疲労度推定器（疲労度推定学習モデル）１９３を生成する。

　　［６．ユーザ状態変化理由推定部において利用する学習モデルとルールベースモデルの生成処理について］
　次に、ユーザ状態変化理由推定部において利用する学習モデルとルールベースモデルの生成処理について説明する。

　先に図６を参照して説明したように、情報処理装置１００のユーザ状態変化理由推定部１０８は、例えばユーザ状態出力スコア算出部１０６が算出したカスタマ側ユーザ１１のユーザ状態出力スコアの値が大きく変化した場合に、その変化理由を推定する処理を実行する。
　ユーザ状態変化理由推定部１０８は、予め生成した学習モデル、あるいはルールベースモデルの少なくともいずれかを利用してユーザ状態が変化した理由の推定処理を実行する。

　以下では、ユーザ状態変化理由推定部において利用する学習モデルとルールベースモデルの生成処理について説明する。

　まず、ユーザ状態変化理由推定部において利用する学習モデルの生成処理について説明する。
　図３７は、ユーザ状態変化理由推定部において利用する学習モデルの生成処理に利用する学習データを取得するための模擬ミーティング構成を示す図である。
　図３７には、先に説明した図２６と同様の学習データを取得するための模擬ミーティングの実行構成を示している。カスタマ側ユーザ１１は実際のお客様ではなく、お客様の役割を実行する人とする。

　お客様役のカスタマユーザ１１は、セールス側ユーザ１２とのミーティング（商談）期間内において、以下の各ユーザ状態スコアを入力する。
　（ユーザ状態１）興味、関心、好感
　（ユーザ状態２）理解、納得、満足
　（ユーザ状態３）疲労、ストレス

　さらに、上記のユーザ状態スコアが予め規定したしきい値以上、変化した場合、例えば２段階以上変化した場合に、その理由（ユーザ状態変化理由）を選択する。
　あるいは、上記のユーザ状態スコアが最低スコア（スコア＝１）、または最高スコア（スコア＝５）となったとき、その理由（ユーザ状態変化理由）を選択する。

　ユーザ状態変化理由は予め複数、用意し、カスタマ側ユーザ端末２１に選択候補となる理由を表示する。カスタマ側ユーザ１１は、表示された複数の理由から該当する理由を選択する。

　カスタマ側ユーザ端末２１に表示するためのスコア変化理由は、例えば図３８に示すようなデータである。
　（ユーザ状態１）興味、関心、好感スコアが、良い方向に変化（ポジティブ変化）する理由として、
　（１）発話率バランスがよい
　（２）自分の意図をくみ取ってくれる
　（３）機嫌を取ってくれる
　（４）有益な情報を得られた
　例えば、これらの理由が登録されており、カスタマ側ユーザ端末２１に表示される。

　また、（ユーザ状態１）興味、関心、好感スコアが、悪い方向に変化（ネガティブ変化）する理由として、
　（１）説明がくどい
　（２）自分の意図をくみ取ってくれない
　（３）機嫌を取ってくれない
　（４）聞いていないことを答えた
　例えば、これらの理由が登録されており、カスタマ側ユーザ端末２１に表示される。

　（ユーザ状態２）理解、納得、満足が、良い方向に変化（ポジティブ変化）する理由として、
　（１）自分の意図通りの回答が得られた
　（２）説明が十分である
　（３）発話率バランスがよい
　例えば、これらの理由が登録されており、カスタマ側ユーザ端末２１に表示される。

　また、（ユーザ状態２）理解、納得、満足が、悪い方向に変化（ネガティブ変化）する理由として、
　（１）質問意図と異なる回答があった
　（２）相槌が多い
　（３）説明が足らない
　（４）沈黙が多い
　例えば、これらの理由が登録されており、カスタマ側ユーザ端末２１に表示される。

　（ユーザ状態３）疲労、ストレスが、良い方向に変化（ポジティブ変化）する理由として、
　（１）理解できている状態が継続している
　例えば、これらの理由が登録されており、カスタマ側ユーザ端末２１に表示される。

　また、（ユーザ状態３）疲労、ストレスが、悪い方向に変化（ネガティブ変化）する理由として、
　（１）休憩がない
　例えば、これらの理由が登録されており、カスタマ側ユーザ端末２１に表示される。
　なお、上記した理由は一部であり、この他にも様々な理由が登録され、表示される。

　カスタマユー側ユーザ１１が模擬ミーティング実行中にカスタマ側ユーザ端末２１に入力したデータ、すなわち、ユーザ状態スコアと、スコア変化理由の選択データは、情報処理装置１００に送信され、情報処理装置１００の学習処理部において学習モデル生成のための機械学習が実行される。

　図３９以下を参照して、情報処理装置１００が実行する機械学習処理による学習モデル生成処理例について説明する。

　図３９に示すように、情報処理装置１００は、カスタマ側ユーザ端末２１から、ミーティング期間中の以下の各データを取得する。
　画像データ
　音声データ
　ユーザ状態スコア
　ユーザ状態変化理由

　なお、ユーザ状態スコアには、以下の各スコアが含まれる。
　（ユーザ状態１対応スコア）＝興味、関心、好感スコア
　（ユーザ状態２対応スコア）＝理解、納得、満足スコア
　（ユーザ状態３対応スコア）＝疲労、ストレススコア

　ユーザ状態変化理由にも上記ユーザ状態スコア各々の変化理由が含まれる。
　ユーザ状態変化理由は、上記のユーザ状態スコアのいずれかが予め規定したしきい値以上、変化した場合、例えば２段階以上変化した場合、あるいは、上記のユーザ状態スコアが最低スコア（スコア＝１）、または最高スコア（スコア＝５）となったときに、カスタマ側ユーザ１１が選択した理由である。

　ユーザ状態スコアと、ユーザ状態変化理由は、先に図３８を参照して説明したように、カスタマ側ユーザ１１がミーティング期間中カスタマ側ユーザ端末２１に入力したユーザ状態のスコア（評価値）と、ユーザ状態変化理由である。

　情報処理装置１００は、これらのデータを情報処理装置１００内の記憶部（データベース）に格納する。
　図３９に示すように、画像データ、音声データは、画像・音声データベース１６１に格納する。
　ユーザ状態スコアは、ユーザ状態スコアデータベース１７０に格納し、ユーザ状態変化理由は、ユーザ状態変化理由データベース１７５に格納する。

　なお、図３９に示す例では、カスタマ側ユーザ１１の心拍情報等の収集は行っていないが、例えばカスタマ側ユーザ１１の心拍情報等のセンサー検出情報を利用したユーザ状態変化理由推定処理を行う学習モデルを生成する場合には、カスタマ側ユーザ１１の心拍情報等の収集も実行し、センサー検出情報も含めた学習処理を実行する。

　図４０は、情報処理装置１００が実行する機械学習処理の構成と処理を説明する図である。
　図４０に示すように、情報処理装置１００は、ユーザ状態変化理由推定器生成部（ユーザ状態変化理由推定学習モデル生成部）１８４を有する。

　ユーザ状態変化理由推定器生成部（ユーザ状態変化理由推定学習モデル生成部）１８４は、ユーザ状態スコアデータベース１７０の格納データと、ユーザ状態変化理由データベース１７５の格納データと、画像音声データベース１６１の格納データを利用した機械学習処理を実行して、ユーザ状態変化理由推定器（ユーザ状態変化理由推定学習モデル）１９４を生成する。

　なお、図４０に示すユーザ状態スコアデータベース１７０は、
　（ユーザ状態１対応スコア）＝興味、関心、好感スコア
　（ユーザ状態２対応スコア）＝理解、納得、満足スコア
　（ユーザ状態３対応スコア）＝疲労、ストレススコア
　これらの各ユーザ状態スコアが個別に格納されている。

　ユーザ状態変化理由データベース１７５にも、上記ユーザ状態スコア各々の変化理由が個別に格納されている。

　ユーザ状態変化理由推定器生成部（ユーザ状態変化理由推定学習モデル生成部）１８４は、以下の各ユーザ状態に対応する３つのユーザ状態変化理由推定器（ユーザ状態変化理由推定学習モデル）１９４を生成する。
　（ユーザ状態１）＝興味、関心、好感
　（ユーザ状態２）＝理解、納得、満足
　（ユーザ状態３）＝疲労、ストレス

　ユーザ状態変化理由推定器生成部（ユーザ状態変化理由推定学習モデル生成部）１８４は、以下の各データを利用した機械学習処理を実行して、ユーザ状態変化理由推定器（ユーザ状態変化理由推定学習モデル）１９４を生成する。
　（ａ）ミーティング期間中のカスタマ側ユーザ１１、およびセールス側ユーザ１２の画像と音声、
　（ｂ）ミーティング期間中にカスタマ側ユーザ１１が入力したユーザ状態スコア
　（ｃ）ミーティング期間中にカスタマ側ユーザ１１が入力したユーザ状態変化理由

　情報処理装置１００の学習処理部は、例えば機械学習処理としての深層学習処理を実行する。
　例えば、ミーティング期間中にカスタマ側ユーザ１１が入力したユーザ状態スコアと、ユーザ状態変化理由と、画像音声データベース１６１の格納データを教師データとした「教師あり学習処理」を実行する。

　この学習処理によって、カスタマ側ユーザの画像と音声データ、またはセールス側ユーザの画像と音声データの少なくともいずれかの画像、音声データに基づいて、カスタマ側ユーザのユーザ状態スコアと、ユーザ状態変化理由を推定するユーザ状態変化理由推定器（ユーザ状態変化理由推定学習モデル）１９４を生成する。

　なお、先に図２２を参照して説明したように、ユーザ状態変化理由推定結果統合処理部１４３はセールス側ユーザ端末２２に対して、ユーザ状態変化理由のみならず、ミーティング結果推定情報や、ユーザ状態スコア算出に適用する重み推薦情報を出力する構成としてもよい。
　このような構成とする場合は、模擬ミーティングによる学習処理に際してミーティング結果情報や、最適なスコア算出適用重みも学習する。このような学習処理によって、ミーティング結果情報や最適なスコア算出適用重みについても学習モデルを適用して取得することが可能となる。

　次に、図４１を参照して、情報処理装置１００のユーザ状態変化理由推定部１０８において利用するルールベースモデルの生成処理について説明する。

　図４１を参照して、ユーザ状態変化理由推定部１０８において利用するルールベースモデルの生成処理について説明する。
　ルールベースモデルは、例えば、先に説明した図２１に示すように、カスタマ側ユーザ１１やセールス側ユーザの様々な発話テキストと、ユーザ状態変化理由とを対応付けて記録したルールを記録したモデルである。

　ルールベースモデルは、ユーザ状態変化理由推定ルールの記録データであり、
　（ユーザ状態１）＝興味、関心、好感
　（ユーザ状態２）＝理解、納得、満足
　（ユーザ状態３）＝疲労、ストレス
　これらユーザ状態各々の個別のルールベースモデル（ユーザ状態変化理由推定ルール）を生成することになる。

　図４１を参照して、
　（ユーザ状態１）＝興味、関心、好感
　このユーザ状態１対応のルールベースモデル（ユーザ状態変化理由推定ルール）の生成処理例について説明する。

　図４１に示すように、情報処理装置１００は、興味度変化理由推定ルール生成部１８５を有する。

　興味度変化理由推定ルール生成部１８５は、興味・関心・好感スコアデータベース１７１の格納データと、興味・関心・好感スコア変化理由データベース１７４の格納データと、画像音声データベース１６１の格納データを利用した機械学習処理を実行して、興味度変化理由推定ルール（ルールベースモデル）１９５を生成する。

　すなわち、興味度変化理由推定ルール生成部１８５は、以下の各データを利用して、興味度変化理由推定ルール（ルールベースモデル）１９５を生成する。
　（ａ）ミーティング期間中のカスタマ側ユーザ１１、およびセールス側ユーザ１２の画像と音声、
　（ｂ）ミーティング期間中にカスタマ側ユーザ１１が入力したユーザ状態スコア
　（ｃ）ミーティング期間中にカスタマ側ユーザ１１が入力したユーザ状態変化理由

　情報処理装置１００の興味度変化理由推定ルール生成部１８５は、ミーティング期間中にカスタマ側ユーザ１１が入力したユーザ状態スコアが規定しきい値以上、変化したタイミング、あるいは、ユーザ状態スコアが最低値、または最高値となったタイミングのカスタマ側ユーザ１１、またはセールス側ユーザ１２少なくともいずれかの画像と音声を取得し、これらのデータと、そのタイミングにおけるカスタマ側ユーザ１１が入力したユーザ状態変化理由とを対応付けて記録する。

　これらのデータ取得、記録処理は、所定のプログラムに従って自動的に実行する構成としてもよいし、オペレータが実行してもよい。
　これらのデータ取得、記録処理を行うことで、図に示す興味度変化理由推定ルール（ルールベースモデル）１９５が生成される。

　なお、先に説明した学習モデルと同様、ユーザ状態変化理由推定結果統合処理部１４３がセールス側ユーザ端末２２に対して、ユーザ状態変化理由のみならず、ミーティング結果推定情報や、ユーザ状態スコア算出に適用する重み推薦情報を出力する構成とする場合は、生成するルールにミーティング結果情報や、最適なスコア算出適用重みも記録する。このようなルールを生成することで、ミーティング結果情報や最適なスコア算出適用重みについても生成ルールから取得することが可能となる。

　図４２は、上述した学習モデルの生成処理やルールベースモデルの生成処理を実行する情報処理装置１００の構成例を示すブロック図である。

　なお、学習モデルの生成処理やルールベースモデルの生成処理を実行する情報処理装置は、先に図６を参照して説明した情報処理装置１００、すなわち生成された学習モデルを利用したユーザ状態推定処理等を実行する情報処理装置１００と同一の装置としてもよいし、別の装置としてもよい。

　ここでは、学習処理を実行して学習モデルを生成する装置と、生成した学習モデルを利用してユーザ状態推定処理を実行する装置を同一の情報処理装置１００とした例について説明する。
　この場合、情報処理装置１００は、先に図６を参照して説明した構成と、以下に説明する図４２に示す構成を併せて有する装置となる。

　図４２に示す構成は、情報処理装置１００の一部構成であり、学習モデルの生成処理やルールベースモデルの生成処理を実行する構成を示している。
　図４２に示すように情報処理装置１００は、通信部２０１、記憶部２０２、第１学習処理部（ユーザ状態推定学習モデル生成部）２０３、第２学習処理部（ユーザ状態変化理由推定学習モデル生成部）２０４、ユーザ状態変化理由推定ルール生成部２０５を有する。

　なお、記憶部２０２は、画像・音声データベース２１１、興味・関心・好感スコアデータベース２１２、理解・納得・満足スコアデータベース２１３、疲労・ストレススコアデータベース２１４、興味・関心・好感スコア変化理由データベース２１５、理解・納得・満足スコア変化理由データベース２１６、疲労・ストレススコア変化理由データベース２１７を有する。

　通信部２０１は、カスタマ側ユーザ端末２１や、セールス側ユーザ端末２２との通信を実行する。各端末から画像、音声データを入力する。
　ユーザ状態推定学習モデルの生成処理を行う場合は、カスタマ側ユーザ端末２１から、カスタマ側ユーザの入力したユーザ状態スコア（評価値）を入力する。
　ユーザ状態変化理由推定学習モデルの生成処理を行う場合は、カスタマ側ユーザ端末２１から、カスタマ側ユーザの入力したユーザ状態変化理由を入力する。

　記憶部２０２の画像・音声データベース２１１には、カスタマ側ユーザ端末２１や、セールス側ユーザ端末２２から送信される画像、音声データを格納する。
　興味・関心・好感スコアデータベース２１２、理解・納得・満足スコアデータベース２１３、疲労・ストレススコアデータベース２１４の各々には、ユーザ状態推定器（学習モデル）の生成処理実行時にカスタマ側ユーザ端末２１から入力したユーザ状態スコア（評価値）を格納する。前述したように、これらはタイムスタンプが属性データとして付加されている。

　興味・関心・好感スコア変化理由データベース２１５、理解・納得・満足スコア変化理由データベース２１６、疲労・ストレススコア変化理由データベース２１７、これらのデータベースには、ユーザ状態変化理由推定学習モデルの生成処理時にカスタマ側ユーザ端末２１から入力したユーザ状態変化理由データが格納されている。これらにもタイムスタンプが属性データとして付加されている。

　第１学習処理部（ユーザ状態推定学習モデル生成部）２０３は、記憶部２０２の各データベースの格納データを利用した学習処理を実行し、ユーザ状態推定学習モデルを生成する。具体的には、以下の３種類のユーザ状態推定学習モデルを生成する。
　（ａ）興味・関心・好感スコア推定学習モデル
　（ｂ）理解・納得・満足スコア推定学習モデル
　（ｃ）疲労・ストレススコア推定学習モデル

　なお、第１学習処理部（ユーザ状態推定学習モデル生成部）２０３は、例えば、新たな学習データが記憶部２０２に格納された場合、それらのデータを利用した学習処理を行って生成済みの学習モデルを逐次、更新する処理も実行する。

　第２学習処理部（ユーザ状態変化理由推定学習モデル生成部）２０４は、記憶部２０２の各データベースの格納データを利用した学習処理を実行し、ユーザ状態変化理由推定学習モデルを生成する。具体的には、以下の３種類のユーザ状態変化理由推定学習モデルを生成する。
　（ａ）興味・関心・好感スコア変化理由推定学習モデル
　（ｂ）理解・納得・満足スコア変化理由推定学習モデル
　（ｃ）疲労・ストレススコア変化理由推定学習モデル

　なお、第２学習処理部（ユーザ状態変化理由推定学習モデル生成部）２０４は、例えば、新たな学習データが記憶部２０２に格納された場合、それらのデータを利用した学習処理を行って生成済みの学習モデルを逐次、更新する処理も実行する。

　ユーザ状態変化理由推定ルール生成部２０５は、記憶部２０２の各データベースの格納データを利用したルール生成処理を実行し、ユーザ状態変化理由推定ルール（ルールベースモデル）を生成する。具体的には、以下の３種類のユーザ状態変化理由推定ルール（ルールベースモデル）を生成する。
　（ａ）興味・関心・好感スコア変化理由推定ルール（ルールベースモデル）
　（ｂ）理解・納得・満足スコア変化理由推定ルール（ルールベースモデル）
　（ｃ）疲労・ストレススコア変化理由推定学ルール（ルールベースモデル）

　なお、ユーザ状態変化理由推定ルール生成部２０５も、例えば、新たなデータが記憶部２０２に格納された場合、それらのデータを利用したルール生成処理を行って生成済みのユーザ状態変化理由推定ルール（ルールベースモデル）を逐次、更新する処理を実行する。

　　［７．情報処理装置、およびユーザ端末の構成例について］
　次に、情報処理装置、およびユーザ端末の構成例について説明する。

　図４３を参照して本開示の情報処理システムを構成する３つの装置、すなわち、情報処理装置１００、カスタマ側ユーザ端末２１、セールス側ユーザ端末２２の構成例について説明する。

　図４３に示す情報処理装置１００は、先に図６を参照して説明した情報処理装置１００の構成と、図４２を参照して説明した情報処理装置１００の構成を併せ持つ情報処理装置１００である。
　この構成は、図６、図４２を参照して説明した通りであるので説明を省略する。

　カスタマ側ユーザ端末２１は、入力部３１０と、出力部３２０、および通信部３３０を有する。
　入力部３１０は、音声入力部（マイク）３１１と、画像入力部（カメラ）３１２と、ユーザ入力部（ＵＩ）３１３を有する。
　出力部３２０は、音声出力部（スピーカ）３２１と、画像出力部（表示部）３２２を有する。

　入力部３１０の音声入力部（マイク）３１１は、カスタマ側ユーザの声などの音声データを取得する。取得音声データは通信部３３０を介して、セールス側ユーザ端末２２と、情報処理装置１００に送信される。
　画像入力部（カメラ）３１２は、カスタマ側ユーザの顔画像などの画像データを取得する。取得画像データは通信部３３０を介して、セールス側ユーザ端末２２と、情報処理装置１００に送信される。

　ユーザ入力部（ＵＩ）３１３は、例えば情報処理装置１００においてユーザ状態推定器（学習モデル）生成処理を実行する際に、カスタマ側ユーザ１１によるユーザ状態スコア（評価値）や、ユーザ状態変化理由などの入力用インタフェースである。例えばタッチパネル形式の表示部が利用される。

　カスタマ側ユーザ１１が入力したユーザ状態スコア（評価値）や、ユーザ状態変化理由の入力データは、情報処理装置１００に送信され、学習モデル生成処理などに利用される。
　センサー検出値入力部３１４は、例えば心拍センサー等、カスタマ側ユーザに装着された生体情報取得センサーの検出値を取得する。取得データは通信部３３０を介して、セールス側ユーザ端末２２と、情報処理装置１００に送信される。

　次に、セールス側ユーザ端末２２の構成について説明する。
　セールス側ユーザ端末２２は、入力部４１０と、出力部４２０、および通信部４３０を有する。
　入力部４１０は、音声入力部（マイク）４１１と、画像入力部（カメラ）４１２を有する。
　出力部４２０は、音声出力部（スピーカ）４２１と、画像出力部（表示部）４２２を有する。

　入力部４１０の音声入力部（マイク）４１１は、セールス側ユーザの声などの音声データを取得する。取得音声データは通信部４３０を介して、カスタマ側ユーザ端末２１と、情報処理装置１００に送信される。
　画像入力部（カメラ）４１２は、セールス側ユーザの顔画像などの画像データを取得する。取得画像データは通信部４３０を介して、カスタマ側ユーザ端末２１と、情報処理装置１００に送信される。
　ユーザ入力部（ＵＩ）４１３は、例えば情報処理装置１００におけるユーザ状態スコア算出時に適用する重みパラメータの設定、変更などを行うための入力用インタフェースである。例えばタッチパネル形式の表示部が利用される。

　　［８．情報処理装置、およびユーザ端末のハードウェア構成例について］
　次に、情報処理装置、およびユーザ端末のハードウェア構成例について説明する。

　図４４は、本開示の情報処理装置１００、およびユーザ端末であるカスタマ側ユーザ端末２１、セールス側ユーザ端末２２のハードウェア構成の一例を示す図である。
　以下、図４４に示すハードウェア構成について説明する。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサーなどよりなる入力部５０６、ディスプレイ、スピーカーなどよりなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

　　［９．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　ユーザの画像データ、または音声データの少なくともいずれかのデータに基づいてユーザ状態を示すユーザ状態スコアを推定するユーザ状態推定部と、
　前記ユーザ状態推定部が推定したユーザ状態スコアに基づいてユーザ端末に出力するユーザ状態出力スコアを算出するユーザ状態出力スコア算出部を有し、
　前記ユーザ状態出力スコア算出部が算出したユーザ状態出力スコアの時間変化を示すグラフを前記ユーザ端末に表示させることを可能とした情報処理装置。

　（２）　前記ユーザ状態推定部によるユーザ状態推定対象ユーザと、
　前記グラフが表示されるユーザ端末側のユーザは、
　異なるユーザであり、
　前記グラフは、該グラフが表示されるユーザ端末側のユーザが他のユーザのユーザ状態を確認可能としたグラフである（１）に記載の情報処理装置。

　（３）　前記ユーザ状態推定部によるユーザ状態推定対象ユーザと、
　前記グラフが表示されるユーザ端末側のユーザは、
　いずれも通信ネットワークを介したミーティングに参加するユーザである（２）に記載の情報処理装置。

　（４）　前記ユーザ状態推定部は、
　前記ユーザの興味度レベルを示す興味度スコア、または前記ユーザの理解度レベルを示す理解度スコア、または前記ユーザの疲労度レベルを示す疲労度スコアの少なくともいずれかのユーザ状態スコアを推定する（１）～（３）いずれかに記載の情報処理装置。

　（５）　前記ユーザ状態出力スコア算出部は、
　前記ユーザ状態推定部が推定した興味度スコアに基づいて、前記ユーザ端末に出力する興味度出力スコアの算出処理、または、
　前記ユーザ状態推定部が推定した理解度スコアに基づいて、前記ユーザ端末に出力する理解度出力スコアの算出処理、または、
　前記ユーザ状態推定部が推定した疲労度スコアに基づいて、前記ユーザ端末に出力する疲労度出力スコアの算出処理の少なくともいずれかのユーザ状態出力スコアの算出処理を実行する（４）に記載の情報処理装置。

　（６）　前記ユーザ状態推定部は、
　前記ユーザの音声に基づいてユーザ状態スコアを推定する音声ベースユーザ状態推定部と、
　前記ユーザの画像に基づいてユーザ状態スコアを推定する画像ベースユーザ状態推定部と、
　前記ユーザの発話内容に基づいてユーザ状態スコアを推定する語彙ベースユーザ状態推定部を有する（１）～（５）いずれかに記載の情報処理装置。

　（７）　前記ユーザ状態出力スコア算出部は、
　（ａ）前記音声ベースユーザ状態推定部が推定したユーザ状態スコア、
　（ｂ）前記画像ベースユーザ状態推定部が推定したユーザ状態スコア、
　（ｃ）前記語彙ベースユーザ状態推定部が推定したユーザ状態スコア、
　上記各ユーザ状態スコア（ａ）～（ｃ）各々に対して固有の重みパラメータを乗算して加算する重みづけ加算処理を行って、前記ユーザ端末に出力するユーザ状態出力スコアを算出する（６）に記載の情報処理装置。

　（８）　前記ユーザ状態出力スコア算出部は、
　前記重みづけ加算処理に適用する重みパラメータを適宜、変更して前記ユーザ状態出力スコアを算出する（７）に記載の情報処理装置。

　（９）　前記ユーザ状態出力スコア算出部は、
　前記グラフが表示されるユーザ端末側のユーザが設定した重みパラメータを利用した重みづけ加算処理を行ってユーザ端末に出力するユーザ状態出力スコアを算出する（７）または（８）に記載の情報処理装置。

　（１０）　前記ユーザ端末には、
　（ａ）前記音声ベースユーザ状態推定部が推定するユーザ状態スコア、
　（ｂ）前記画像ベースユーザ状態推定部が推定するユーザ状態スコア、
　（ｃ）前記語彙ベースユーザ状態推定部が推定するユーザ状態スコア、
　上記各ユーザ状態スコア各々に対応する重みパラメータを個別に調整可能とした重み調整用ＵＩが表示され、
　前記ユーザ状態出力スコア算出部は、
　前記ユーザ端末側のユーザが前記重み調整用ＵＩを利用して設定した重みパラメータを利用した重みづけ加算処理を行ってユーザ端末に出力するユーザ状態出力スコアを算出する（９）に記載の情報処理装置。

　（１１）　前記ユーザ状態推定部は、
　予め生成した学習モデルを利用して、ユーザ状態を示すユーザ状態スコアを推定する（１）～（１０）いずれかに記載の情報処理装置。

　（１２）　前記学習モデルは、多層型のニューラルネットワークによって構成される学習モデルである（１１）に記載の情報処理装置。

　（１３）　前記ユーザ状態推定部は、
　前記ユーザの生体センサーの検出値を利用して前記ユーザ状態スコアを推定する（１）～（１２）いずれかに記載の情報処理装置。

　（１４）　前記情報処理装置は、さらに、
　前記ユーザのユーザ状態の変化理由を推定するユーザ状態変化理由推定部を有し、
　前記ユーザ状態変化理由推定部が推定したユーザ状態変化理由を前記ユーザ端末に表示させることを可能とした（１）～（１３）いずれかに記載の情報処理装置。

　（１５）　前記ユーザ状態変化理由推定部は、
　前記ユーザ状態出力スコア算出部が算出したスコアの変化量が予め規定したしきい値以上になった場合、または、
　前記ユーザ状態出力スコア算出部が算出したスコアが予め規定した値に等しくなった場合にユーザ状態変化理由の推定処理を実行する（１４）に記載の情報処理装置。

　（１６）　前記ユーザ状態変化理由推定部は、
　予め生成した学習モデル、または、予め生成したルールの少なくともいずれかを利用して、ユーザ状態変化理由を推定する（１４）または（１５）に記載の情報処理装置。

　（１７）　前記ユーザ状態変化理由推定部は、さらに、
　前記ユーザが参加するミーティングの結果推定情報、またはユーザ状態スコア算出に適用する重みパラメータ推薦情報の少なくともいずれかの情報を生成し、生成した情報を前記ユーザ端末に表示させることを可能とした（１４）～（１６）いずれかに記載の情報処理装置。

　（１８）　情報処理装置において実行する情報処理方法であり、
　ユーザ状態推定部が、
　ユーザの画像データ、または音声データの少なくともいずれかのデータに基づいてユーザ状態を示すユーザ状態スコアを推定するユーザ状態推定ステップと、
　ユーザ状態出力スコア算出部が、
　前記ユーザ状態推定ステップにおいて推定したユーザ状態スコアに基づいてユーザ端末に出力するユーザ状態出力スコアを算出するユーザ状態出力スコア算出ステップを実行し、
　前記ユーザ状態出力スコア算出部が算出したユーザ状態出力スコアの時間変化を示すグラフを前記ユーザ端末に表示させることを可能とした情報処理方法。

　（１９）　情報処理装置において情報処理を実行させるプログラムであり、
　ユーザ状態推定部に、
　ユーザの画像データ、または音声データの少なくともいずれかのデータに基づいてユーザ状態を示すユーザ状態スコアを推定させるユーザ状態推定ステップと、
　ユーザ状態出力スコア算出部に、
　前記ユーザ状態推定ステップにおいて推定したユーザ状態スコアに基づいてユーザ端末に出力するユーザ状態出力スコアを算出させるユーザ状態出力スコア算出ステップを実行させ、
　前記ユーザ状態出力スコア算出部が算出したユーザ状態出力スコアの時間変化を示すグラフを前記ユーザ端末に表示させることを可能としたプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、ミーティング参加ユーザのユーザ状態を示すスコアの時間変化グラフやユーザ状態変化理由を推定して他のミーティング参加ユーザの端末に表示する構成が実現される。
　具体的には、例えば、通信ネットワークを介したミーティングに参加するユーザの画像データ、または音声データの少なくともいずれかのデータに基づいて、ユーザの興味度、理解度、疲労度いずれかのユーザ状態を示すユーザ状態スコアを推定し、推定したユーザ状態スコアに基づいて、ミーティングに参加するユーザのユーザ端末に出力するユーザ状態出力スコアを算出し、算出したユーザ状態出力スコアの時間変化を示すグラフやユーザ状態変化理由を他のミーティング参加ユーザのユーザ端末に表示する。
　本構成により、ミーティング参加ユーザのユーザ状態を示すスコアの時間変化グラフやユーザ状態変化理由を推定して他のミーティング参加ユーザの端末に表示する構成が実現される。

　　１１　カスタマ側ユーザ
　　１２　セールス側ユーザ
　　２１　カスタマ側ユーザ端末
　　２２　セールス側ユーザ端末
　１００　情報処理装置
　１０１　通信部
　１０２　ユーザ状態推定部
　１０３　顧客情報取得部
　１０４　ミーティング情報取得部
　１０５　ミーティング実行環境情報取得部
　１０６　ユーザ状態出力スコア算出部
　１０７　スコア算出アルゴリズム制御部
　１０８　ユーザ状態変化理由推定部
　１１１　顧客情報データベース
　１１２　ミーティング（ＭＴＧ）情報データベース
　１２１　音声ベースユーザ状態推定部
　１２２　画像ベースユーザ状態推定部
　１２３　語彙ベースユーザ状態推定部
　１２４　心拍ベースユーザ状態推定部
　１３１　興味、関心、好感出力スコア算出部
　１３２　理解、納得、満足出力スコア算出部
　１３３　疲労、ストレス出力スコア算出部
　１４１　ルールベースユーザ状態変化理由推定部
　１４２　学習モデルベースユーザ状態変化理由推定部
　１４３　ユーザ状態変化理由推定結果統合処理部
　１５１　音声解析部
　１５２　ルールベースモデル
　１５３　ルールベースユーザ状態変化理由決定部
　１６１　画像・音声データベース
　１７１　興味、関心、好感スコアデータベース
　１７２　理解、納得、満足スコアデータベース
　１７３　疲労、ストレススコアデータベース
　１８１　興味度推定器生成部（興味度推定学習モデル生成部）
　１８２　理解度推定器生成部（理解度推定学習モデル生成部）
　１８３　疲労度推定器生成部（疲労度推定学習モデル生成部）
　１８４　ユーザ状態変化理由推定器生成部（ユーザ状態変化理由推定学習モデル生成部）
　１８５　興味度変化理由推定ルール生成部
　１９１　興味度推定器（興味度推定学習モデル）
　１９２　理解度推定器（理解度推定学習モデル）
　１９３　疲労度推定器（疲労度推定学習モデル）
　１９４　ユーザ状態変化理由推定器（ユーザ状態変化理由推定学習モデル）
　１９５　興味度変化理由推定ルール（ルールベースモデル）
　２０１　通信部
　２０２　記憶部
　２０３　第１学習処理部（ユーザ状態推定学習モデル生成部）
　２０４　第２学習処理部（ユーザ状態変化理由推定学習モデル生成部）
　２０５　ユーザ状態変化理由推定ルール生成部
　２１１　画像・音声データベース
　２１２　興味・関心・好感スコアデータベース
　２１３　理解・納得・満足スコアデータベース
　２１４　疲労・ストレススコアデータベース
　２１５　興味・関心・好感スコア変化理由データベース
　２１６　理解・納得・満足スコア変化理由データベース
　２１７　疲労・ストレススコア変化理由データベース
　３１０　入力部
　３１１　音声入力部（マイク）
　３１２　画像入力部（カメラ）
　３１３　ユーザ入力部（ＵＩ）
　３１４　センサー検出値入力部
　３２０　出力部
　３２１　音声出力部（スピーカ）
　３２２　画像出力部（表示部）
　３３０　通信部
　４１０　入力部
　４１１　音声入力部（マイク）
　４１２　画像入力部（カメラ）
　４２０　出力部
　４２１　音声出力部（スピーカ）
　４２２　画像出力部（表示部）
　４３０　通信部
　５０１　ＣＰＵ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　バス
　５０５　入出力インタフェース
　５０６　入力部
　５０７　出力部
　５０８　記憶部
　５０９　通信部
　５１０　ドライブ
　５１１　リムーバブルメディア

Claims

　ユーザの画像データ、または音声データの少なくともいずれかのデータに基づいてユーザ状態を示すユーザ状態スコアを推定するユーザ状態推定部と、
　前記ユーザ状態推定部が推定したユーザ状態スコアに基づいてユーザ端末に出力するユーザ状態出力スコアを算出するユーザ状態出力スコア算出部を有し、
　前記ユーザ状態出力スコア算出部が算出したユーザ状態出力スコアの時間変化を示すグラフを前記ユーザ端末に表示させることを可能とした情報処理装置。
　前記ユーザ状態推定部によるユーザ状態推定対象ユーザと、
　前記グラフが表示されるユーザ端末側のユーザは、
　異なるユーザであり、
　前記グラフは、該グラフが表示されるユーザ端末側のユーザが他のユーザのユーザ状態を確認可能としたグラフである請求項１に記載の情報処理装置。
　前記ユーザ状態推定部によるユーザ状態推定対象ユーザと、
　前記グラフが表示されるユーザ端末側のユーザは、
　いずれも通信ネットワークを介したミーティングに参加するユーザである請求項２に記載の情報処理装置。
　前記ユーザ状態推定部は、
　前記ユーザの興味度レベルを示す興味度スコア、または前記ユーザの理解度レベルを示す理解度スコア、または前記ユーザの疲労度レベルを示す疲労度スコアの少なくともいずれかのユーザ状態スコアを推定する請求項１に記載の情報処理装置。
　前記ユーザ状態出力スコア算出部は、
　前記ユーザ状態推定部が推定した興味度スコアに基づいて、前記ユーザ端末に出力する興味度出力スコアの算出処理、または、
　前記ユーザ状態推定部が推定した理解度スコアに基づいて、前記ユーザ端末に出力する理解度出力スコアの算出処理、または、
　前記ユーザ状態推定部が推定した疲労度スコアに基づいて、前記ユーザ端末に出力する疲労度出力スコアの算出処理の少なくともいずれかのユーザ状態出力スコアの算出処理を実行する請求項４に記載の情報処理装置。
　前記ユーザ状態推定部は、
　前記ユーザの音声に基づいてユーザ状態スコアを推定する音声ベースユーザ状態推定部と、
　前記ユーザの画像に基づいてユーザ状態スコアを推定する画像ベースユーザ状態推定部と、
　前記ユーザの発話内容に基づいてユーザ状態スコアを推定する語彙ベースユーザ状態推定部を有する請求項１に記載の情報処理装置。
　前記ユーザ状態出力スコア算出部は、
　（ａ）前記音声ベースユーザ状態推定部が推定したユーザ状態スコア、
　（ｂ）前記画像ベースユーザ状態推定部が推定したユーザ状態スコア、
　（ｃ）前記語彙ベースユーザ状態推定部が推定したユーザ状態スコア、
　上記各ユーザ状態スコア（ａ）～（ｃ）各々に対して固有の重みパラメータを乗算して加算する重みづけ加算処理を行って、前記ユーザ端末に出力するユーザ状態出力スコアを算出する請求項６に記載の情報処理装置。
　前記ユーザ状態出力スコア算出部は、
　前記重みづけ加算処理に適用する重みパラメータを適宜、変更して前記ユーザ状態出力スコアを算出する請求項７に記載の情報処理装置。
　前記ユーザ状態出力スコア算出部は、
　前記グラフが表示されるユーザ端末側のユーザが設定した重みパラメータを利用した重みづけ加算処理を行ってユーザ端末に出力するユーザ状態出力スコアを算出する請求項７に記載の情報処理装置。
　前記ユーザ端末には、
　（ａ）前記音声ベースユーザ状態推定部が推定するユーザ状態スコア、
　（ｂ）前記画像ベースユーザ状態推定部が推定するユーザ状態スコア、
　（ｃ）前記語彙ベースユーザ状態推定部が推定するユーザ状態スコア、
　上記各ユーザ状態スコア各々に対応する重みパラメータを個別に調整可能とした重み調整用ＵＩが表示され、
　前記ユーザ状態出力スコア算出部は、
　前記ユーザ端末側のユーザが前記重み調整用ＵＩを利用して設定した重みパラメータを利用した重みづけ加算処理を行ってユーザ端末に出力するユーザ状態出力スコアを算出する請求項９に記載の情報処理装置。
　前記ユーザ状態推定部は、
　予め生成した学習モデルを利用して、ユーザ状態を示すユーザ状態スコアを推定する請求項１に記載の情報処理装置。
　前記学習モデルは、多層型のニューラルネットワークによって構成される学習モデルである請求項１１に記載の情報処理装置。
　前記ユーザ状態推定部は、
　前記ユーザの生体センサーの検出値を利用して前記ユーザ状態スコアを推定する請求項１に記載の情報処理装置。
　前記情報処理装置は、さらに、
　前記ユーザのユーザ状態の変化理由を推定するユーザ状態変化理由推定部を有し、
　前記ユーザ状態変化理由推定部が推定したユーザ状態変化理由を前記ユーザ端末に表示させることを可能とした請求項１に記載の情報処理装置。
　前記ユーザ状態変化理由推定部は、
　前記ユーザ状態出力スコア算出部が算出したスコアの変化量が予め規定したしきい値以上になった場合、または、
　前記ユーザ状態出力スコア算出部が算出したスコアが予め規定した値に等しくなった場合にユーザ状態変化理由の推定処理を実行する請求項１４に記載の情報処理装置。
　前記ユーザ状態変化理由推定部は、
　予め生成した学習モデル、または、予め生成したルールの少なくともいずれかを利用して、ユーザ状態変化理由を推定する請求項１４に記載の情報処理装置。
　前記ユーザ状態変化理由推定部は、さらに、
　前記ユーザが参加するミーティングの結果推定情報、またはユーザ状態スコア算出に適用する重みパラメータ推薦情報の少なくともいずれかの情報を生成し、生成した情報を前記ユーザ端末に表示させることを可能とした請求項１４に記載の情報処理装置。
　情報処理装置において実行する情報処理方法であり、
　ユーザ状態推定部が、
　ユーザの画像データ、または音声データの少なくともいずれかのデータに基づいてユーザ状態を示すユーザ状態スコアを推定するユーザ状態推定ステップと、
　ユーザ状態出力スコア算出部が、
　前記ユーザ状態推定ステップにおいて推定したユーザ状態スコアに基づいてユーザ端末に出力するユーザ状態出力スコアを算出するユーザ状態出力スコア算出ステップを実行し、
　前記ユーザ状態出力スコア算出部が算出したユーザ状態出力スコアの時間変化を示すグラフを前記ユーザ端末に表示させることを可能とした情報処理方法。
　情報処理装置において情報処理を実行させるプログラムであり、
　ユーザ状態推定部に、
　ユーザの画像データ、または音声データの少なくともいずれかのデータに基づいてユーザ状態を示すユーザ状態スコアを推定させるユーザ状態推定ステップと、
　ユーザ状態出力スコア算出部に、
　前記ユーザ状態推定ステップにおいて推定したユーザ状態スコアに基づいてユーザ端末に出力するユーザ状態出力スコアを算出させるユーザ状態出力スコア算出ステップを実行させ、
　前記ユーザ状態出力スコア算出部が算出したユーザ状態出力スコアの時間変化を示すグラフを前記ユーザ端末に表示させることを可能としたプログラム。