JP7117801B1 - スキル評価プログラム及びスキル評価装置 - Google Patents

スキル評価プログラム及びスキル評価装置 Download PDF

Info

Publication number
JP7117801B1
JP7117801B1 JP2021145193A JP2021145193A JP7117801B1 JP 7117801 B1 JP7117801 B1 JP 7117801B1 JP 2021145193 A JP2021145193 A JP 2021145193A JP 2021145193 A JP2021145193 A JP 2021145193A JP 7117801 B1 JP7117801 B1 JP 7117801B1
Authority
JP
Japan
Prior art keywords
evaluation
evaluated
person
difficulty
role
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021145193A
Other languages
English (en)
Other versions
JP2022135881A (ja
Inventor
貴史 堀
Original Assignee
リープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リープ株式会社 filed Critical リープ株式会社
Application granted granted Critical
Publication of JP7117801B1 publication Critical patent/JP7117801B1/ja
Publication of JP2022135881A publication Critical patent/JP2022135881A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】評価対象者ではない別の参加者がとる行動指針のばらつきに起因して、評価対象者が有するコミュニケーションスキルの評価精度が低下することを抑制可能なスキル評価プログラム及びスキル評価装置を提供する。【解決手段】スキル評価装置14は、評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度を取得する取得手段30と、対話中の発言内容を示す対話データDDから実際の難度を推定する推定手段(44)と、対話中の発言内容の有効性又は発言内容同士の関連性を評価するための評価処理を対話データDDに対して施し、評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出手段(42,48)と、目標の難度と実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正する補正手段36と、を備える。【選択図】図3

Description

本発明は、スキル評価プログラム及びスキル評価装置に関する。
従来から、企業、団体又は学校などの組織にとって「人材の育成」が大きな課題の一つになっている。例えば、複数の参加者による対話中の発言内容を解析し、コミュニケーションスキルを評価するための様々な技術が提案されている。
特許文献1には、人のコミュニケーションの映像データと音声データを取り込み、人工知能技術を用いて数値データ化し、それらの数値データ化されたデータに基づき解析し、コミュニケーションの内容及びスキルに関する評価を行うシステムが開示されている。そして、この特許文献の段落[0090]には、業務上のコミュニケーション目的がある場合、該当する目的が達成されたかの度合いに応じて、コミュニケーション総体の結果に対して評価する旨の記載がある。
特開2019-133451号公報
上記した評価を行うために、複数の参加者にそれぞれ役割を与えた上で疑似的なタスク(ここでは、対話型のロールプレイ、あるいは対話シミュレーション)を遂行させることがある。この場合、評価の公平性を図るため、評価対象者ではない別の参加者が、与えられた役割を忠実に果たしつつ、一定の行動指針に則した言動を行うことが要求される。
ところが、別の参加者がとる行動指針の違いによりタスクの難易度が左右され、タスクの達成度が変動する場合がある。つまり、特許文献1に開示される手法では、コミュニケーションスキルの評価結果がタスクの達成度の変動の影響を受けるので、その分だけ評価精度が低下するという問題がある。
本発明はこのような問題に鑑みてなされたものであり、その目的は、評価対象者ではない別の参加者がとる行動指針のばらつきに起因して、評価対象者が有するコミュニケーションスキルの評価精度が低下することを抑制可能なスキル評価プログラム及びスキル評価装置を提供することにある。
本発明の第一態様におけるスキル評価プログラムは、評価対象者を含む複数の参加者が行う対話型のロールプレイを通じて、前記評価対象者のスキルを評価するためのプログラムであって、コンピュータを、前記評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度を取得する取得手段、前記取得手段が取得する前記目標の難度を想定した前記ロールプレイを通じて得られる対話中の発言内容を示す対話データから、前記合意の形成又は前記協力関係の獲得に関する実際の難度を推定する推定手段、前記対話中の発言内容の有効性又は前記発言内容同士の関連性を評価するための評価処理を前記対話データに対して施し、前記評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出手段、前記取得手段により取得された前記目標の難度と前記推定手段により推定された前記実際の難度との間の差が小さくなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する補正手段、として機能させる。
本発明の第二態様におけるスキル評価プログラムは、コンピュータを、前記目標の難度と前記実際の難度との差分に応じて前記補正手段による補正の要否を判定する判定手段としてさらに機能させる。
本発明の第三態様におけるスキル評価プログラムでは、前記判定手段は、前記差分の絶対値が閾値を上回る場合に前記補正手段による補正が必要であると判定する一方、前記差分の絶対値が前記閾値を上回らない場合に前記補正手段による補正が必要でないと判定する。
本発明の第四態様におけるスキル評価プログラムでは、前記算出手段は、前記対話中の発言内容の有効性又は前記発言内容同士の関連性を示す複数種類の個別評価値を算出し、前記複数種類の個別評価値がなす評価値空間上の領域の属否に応じて前記評価対象者を分類する。
本発明の第五態様におけるスキル評価装置は、評価対象者を含む複数の参加者が行う対話型のロールプレイを通じて、前記評価対象者のスキルを評価する装置であって、前記評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度を取得する取得手段と、前記取得手段が取得する前記目標の難度を想定した前記ロールプレイを通じて得られる対話中の発言内容を示す対話データから、前記合意の形成又は前記協力関係の獲得に関する実際の難度を推定する推定手段と、前記対話中の発言内容の有効性又は前記発言内容同士の関連性を評価するための評価処理を前記対話データに対して施し、前記評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出手段と、前記取得手段により取得された前記目標の難度と前記推定手段により推定された前記実際の難度との間の差が小さくなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する補正手段と、を備える。
本発明によれば、評価対象者ではない別の参加者がとる行動指針のばらつきに起因して、評価対象者が有するコミュニケーションスキルの評価精度の低下が抑制される。
本発明の一実施形態におけるスキル評価装置が組み込まれた模擬訓練システムの全体構成図である。 図1におけるスキル評価装置のハードウェア構成の一例を示す図である。 図2におけるスキル評価装置の機能ブロックの一例を示す図である。 図3に示すスキル評価装置の動作に関するフローチャートである。 図1のユーザ端末に表示される設定画面の一例を示す図である。 図1の対話データが示す対話内容を可視化した図である。 補正の要否に関する判定方法の一例を示す図である。 標準難度の顧客を想定した評価基準の一例を示す図である。 スキル評価に関する第一の補正方法を示す模式図である。 スキル評価に関する第二の補正方法を示す模式図である。
以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素又は同一のステップに対しては可能な限り同一の符号を付して、重複する説明は省略する。
[模擬訓練システム10の構成]
<全体構成>
図1は、本発明の一実施形態におけるスキル評価装置14が組み込まれた模擬訓練システム10の全体構成図である。この模擬訓練システム10は、対話型のロールプレイ(あるいは、対話シミュレーション)を通じて、コミュニケーションスキルの向上を支援する「スキル向上支援サービス」を提供可能に構成される。
この模擬訓練システム10は、具体的には、一又は複数のユーザ端末12と、スキル評価装置14と、一又は複数の専門家端末16と、を含んで構成される。スキル評価装置14は、ネットワークNTを通じて、各々のユーザ端末12との間で、あるいは各々の専門家端末16との間で相互に通信可能である。
ユーザ端末12は、企業、団体又は学校などの組織に所属するユーザが業務を行うための作業端末である。ユーザ端末12は、例えば、パーソナルコンピュータ、タブレット、スマートフォン、ウェアラブルデバイスなどから構成される。本図の例では、ユーザ端末12には、音声データの入力手段としてのマイクロフォン18と、映像データの入力手段としてのカメラ20と、がそれぞれ通信可能に接続される。
マイクロフォン18及びカメラ20は、対話型のロールプレイを行う場所(具体的には、会議室など)に設置される。このロールプレイは、高いコミュニケーションスキルが要求される場面を想定して行われる。具体例としては、[1]営業担当者と顧客との間で行われる商談、[2]複数のメンバ間で行われる会議、[3]上司と部下との間で行われる評価面談、[4]教師と生徒の間で行われる授業、[5]医師と患者との間で行われる診断結果の説明、などが挙げられる。
スキル評価装置14は、ユーザ端末12との間で、コミュニケーションスキルの向上に必要な各種情報(例えば、対話データDDや報告データRDなど)をやり取りするサーバコンピュータである。スキル評価装置14は、評価対象者を含む複数の参加者が行う対話型のロールプレイを通じて、評価対象者のスキルを評価可能に構成される。スキル評価装置14の具体的な構成については、後で詳述する。
専門家端末16は、コミュニケーションスキルに関する専門家(つまり、コンサルタント)が所有する作業端末である。専門家は、専門家端末16を用いて対話データDDを再生しながらコミュニケーションスキルを評価し、得られた評価結果を専門家端末16に入力する作業を行う。その後、専門家端末16は、専門家による送信操作に応じて、人間による評価結果を含むデータをスキル評価装置14に送信する。
<ハードウェア構成>
図2は、図1におけるスキル評価装置14のハードウェア構成の一例を示す図である。スキル評価装置14は、通信I/F22と、プロセッサ24と、メモリ26と、記憶装置28と、を含んで構成される。
通信I/F22は、外部装置に対して電気信号を送受信するインターフェースである。これにより、スキル評価装置14は、ユーザ端末12又は専門家端末16との間で、必要な情報のやり取りを行うことができる。
プロセッサ24は、CPU(Central Processing Unit)を含む汎用プロセッサであってもよいし、FPGA(Field Programmable Gate Array)やGPU(Graphics Processing Unit)を含む専用プロセッサであってもよい。メモリ26は、非一過性の記憶媒体であり、プロセッサ24が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶装置28は、例えば、ハードディスクドライブ(HDD:Hard Disk Drive)やソリッドステートドライブ(SSD:Solid State Drive)を含む非一過性の記憶媒体である。
<機能ブロック>
図3は、スキル評価装置14の機能ブロックの一例を示す図である。スキル評価装置14のプロセッサ24(図2)は、メモリ26(図2)から読み出したスキル評価プログラムを実行することで、取得手段30、分類手段32、評価手段34、補正手段36、出力指示手段38、及び記憶手段40として機能する。
ここで、取得手段30は、図2の通信I/F22及びプロセッサ24によって実現される手段である。また、分類手段32、評価手段34及び補正手段36はそれぞれ、図2のプロセッサ24により実現される手段である。また、出力指示手段38は、図2の通信I/F22及びプロセッサ24によって実現される手段である。また、記憶手段40は、図2の記憶装置28によって実現される手段である。
取得手段30は、複数の参加者による対話中の発言内容を示すデータ(以下、「対話データDD」という)をユーザ端末12から取得する。対話データDDは、音声データや映像データに限られず、例えば、テキストデータ・手話データであってもよい。また、取得手段30は、対話データDDを用いた専門家による評価結果(例えば、ルーブリック表)を含むデータを専門家端末16から取得する。
また、取得手段30は、上記した対話データDDと併せて、この対話データDDに対応する役割情報52を取得する。役割情報52には、評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度が含まれる。難度は、得点を含む連続値であってもよいし、レベルを含む離散値であってもよい。「合意の形成」の一例として、商談の成約、交渉の成立などが挙げられる。「協力関係の獲得」の一例として、タスク遂行のためのサポートなどが挙げられる。
分類手段32は、取得手段30により取得された対話データDDをチャンク単位で分割した後、対話中の発言内容を参加者毎に分類する。例えば、分類手段32は、音声データに対して周波数解析処理を行い、同じ声質であると推定される発言内容を参加者毎に分類してもよい。あるいは、分類手段32は、映像データに対して口の動きを認識する画像処理を行い、それぞれの発言内容と参加者を対応付けてもよい。なお、分類手段32は、対話データDDがテキストデータを含む場合、人工知能技術を用いて発言内容を要約するなどの前処理を行ってもよい。
評価手段34は、取得手段30が取得した対話データDDにより特定される対話中の発言内容の有効性又は発言内容同士の関連性に基づいて、複数の参加者に含まれる評価対象者のコミュニケーションスキルの高さを評価する。具体的には、評価手段34は、第1算出部42(「算出手段」に相当)と、推定部44(「推定手段」に相当)と、判定部46(「判定手段」に相当)と、第2算出部48(「算出手段」に相当)と、統合部50と、を含んで構成される。
第1算出部42は、対話中の発言内容の有効性又は発言内容同士の関連性を示す複数種類の評価値(以下、「個別評価値」という)を算出する。評価手法としては、自然言語処理の技術分野で知られる様々な評価手法(ルールベース型あるいは機械学習型)が用いられる。有効性を示す個別評価値として、例えば、評価対象者自身によるキーワードの使用の有無や頻度、相手によるキーワードの使用の有無や出現頻度、タスクの遂行のために効果的な提案内容を示すチャンク(単語のかたまり)の個数などが挙げられる。関連性を示す個別評価値として、例えば、評価対象者自身のチャンク間の相関度、自身と相手のチャンク間の相関度、特定の論法パターン(三つ以上のチャンク間の関係を示す特定のグラフ構造)の有無や出現頻度が挙げられる。
推定部44は、取得手段30が取得する目標の難度を想定したロールプレイを通じて得られる対話データDDから、合意の形成又は協力関係の獲得に関する難度(以下、「実際の難度」ともいう)を推定する。この推定は、他の参加者による肯定的配慮の高さを示す情報、具体的には、発言したキーワード(例えば、商談の場合には販売対象の商品名など)の有無・個数、肯定的又は否定的な発言の割合、発言の頻度、発言時の声の大きさ・感情変化などを解析して行われる。具体的には、推定部44は、[1]商品に関する発言数が少なく、[2]否定的な発言の割合が多く、[3]発言の頻度が少なく、又は[4]怒りの感情の割合が多いほど難度が高いと推定する。一方、推定部44は、[1]商品に関する発言数が多く、[2]肯定的な発言の割合が多く、[3]発言の頻度が多く、又は[4]喜びの感情の割合が多いほど難度が高いと推定する。
判定部46は、取得された目標の難度と推定された実際の難度との差分に応じて、補正手段36による補正の要否を判定し、補正が必要であると判定された場合に補正手段36に対して補正の要求を行う。判定部46は、上記した難度の乖離が評価結果に影響を与え得る場合に補正が必要であると判定する。例えば、判定部46は、差分の絶対値が閾値を上回る場合に補正手段36による補正が必要であると判定する一方、差分の絶対値が閾値を上回らない場合に補正手段36による補正が必要でないと判定する。
第2算出部48は、第1算出部42により算出されたN個の個別評価値及び後述する評価基準テーブル56を用いて、評価対象者の評価ランクを算出又は決定する。例えば、第2算出部48は、N次元の評価値空間上における評価点86(図8~図10)の領域属否を判定することで評価ランクを算出してもよい。評価ランクは、例えば、高い(H)、中位(M)、低い(L)の三段階からなる。これに代えて、ランク数は、二段階、あるいは四段階以上であってもよい。なお、この算出には、タスクの遂行度や目的の達成度などが併せて考慮されてもよい。
統合部50は、スキル評価装置14及び専門家によりそれぞれ得られた二種類の評価結果を統合する。具体的には、統合部50は、[1]二種類の評価結果を連結する、[2]二種類の評価結果を平均化する、又は[3]二種類の評価結果のうちいずれ一方を修正する、などのデータ処理を行う。また、統合部50は、自身が統合した評価結果を含むレポート情報58を生成する。
補正手段36は、評価対象者に適用する評価基準又は評価対象者の評価値を、評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する難度に応じて補正する。例えば、補正手段36は、承諾を得るための難度が高い承諾者であるほど、又は、補佐を得るための難度が高いフォロワであるほど評価基準が低くなるように補正する。一方、補正手段36は、承諾を得るための難度が高い承諾者であるほど、又は、補佐を得るための難度が高いフォロワであるほど評価値が高くなるように補正する。なお、難度が低い場合については、それぞれ上記とは逆の補正が行われる。
また、補正手段36は、判定部46からの要求に応じて、取得された目標の難度と実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正する。この難度差は、難度が得点で定義される場合には得点の差分に相当し、難度がレベルで定義される場合にはレベルの差分に相当する。例えば、補正手段36は、実際の難度が高くなるほど、評価基準が低くなるように又は評価値が高くなるように補正する。反対に、補正手段36は、実際の難度が低くなるほど、評価基準が高くなるように又は評価値が低くなるように補正する。
出力指示手段38は、評価手段34(より詳しくは、統合部50)により生成されたレポート情報58の出力をユーザ端末12に指示する。例えば、出力指示手段38は、サービスユーザからの要求に応じて、レポート情報58を含む報告データRDをユーザ端末12に向けて送信する。これにより、ユーザ端末12は、スキル評価装置14から受信した報告データRDに含まれるレポート情報58を出力することができる。
記憶手段40は、対話データDD及び評価結果を逐次記憶することで、コミュニケーションスキルの評価に関するデータベース(以下、スキル評価DB52)を構築する。また、記憶手段40は、さらに、役割情報54、評価基準テーブル56及びレポート情報58を記憶する。
スキル評価DB50には、例えば、[1]ユーザ名・所属(組織や部門など)・職位・職責を含むユーザ情報、[2]ロールプレイの実施要領(日時、場所、参加者、状況、役割など)・評価結果を含む実施情報、[3]対話データDD・発言内容の要約・模範対応を含む対話ログ情報、などが蓄積される。
役割情報54は、ロールプレイの役割に関するデータ、具体的には、状況設定、参加者毎に与えられた役割、又は難度を含む。「商談」などのロールプレイの場合、提案を行う「提案者」の役割(例えば、営業担当者)又は提案を承諾するか否かを判断する「承諾者」の役割(例えば、顧客)が設定され得る。「会議」などのロールプレイの場合、タスクの遂行を統率する「リーダー」の役割又はリーダーを補佐する「フォロワ」の役割が設定され得る。また、それぞれの役割に対する難度のレベル(熟練度や、交渉のタフさなど)の組み合わせが設けられてもよい。例えば、承諾を得るための難度が相対的に高い「高難度の承諾者」、業務の熟練度が高く専門知識が豊富な「ベテラン」、補佐を得るための難度が相対的に低い「低難度のフォロワ」が設けられてもよい。
評価基準テーブル56は、評価対象者に適用する評価基準を記述するテーブル形式のデータである。例えば、N次元の評価値空間上における評価点86(図8~図10)の領域属否に応じて評価ランクを決定する場合、評価基準テーブル56には、評価ランクの境界面を記述する各種情報(例えば、関数形状の種類、関数の係数、プロットの集合など)が含まれる。
レポート情報58は、サービスユーザへの報告内容を示す情報である。レポート情報58には、今回の評価結果、過去の評価結果の履歴、評価対象者へのアドバイス、カスタマイズされた教育用コンテンツ、又は教育用コンテンツの所在を示すURL(Uniform Resource Locator)などが含まれる。あるいは、レポート情報58には、予め設定された目標の難度、推定された実際の難度、上記した2つの難度の差分などが含まれてもよい。
[スキル評価装置14の動作]
この実施形態における模擬訓練システム10は、以上のように構成される。続いて、この模擬訓練システム10(より詳しくは、スキル評価装置14)の動作について、図4のフローチャート及び図5~図10を参照しながら詳細に説明する。
図4のステップSP10において、取得手段30は、コミュニケーションスキルの評価に用いられる対話データDD及び役割情報54を取得する。この取得に先立ち、[1]評価対象者を評価するためのロールプレイの設定、及び[2]複数の参加者によるロールプレイが順次行われる。
図5は、図1のユーザ端末12に表示される設定画面60の一例を示す図である。設定画面60上には、ロールプレイの名称に関する入力欄61と、状況設定に関する入力欄62と、参加者毎の設定欄63,64と、[キャンセル]と表記されたボタン65と、[保存]と表記されたボタン66と、が設けられる。各々の設定欄63,64には、評価対象であるか否かを示すアイコン71と、サービスユーザ、役割、及び目標の難度をそれぞれ選択するためのユーザコントロール72,73,74と、が設けられる。ユーザは、ロールプレイに関する設定操作が終了した後、設定画面60の[保存]ボタン66をクリックする。これにより、役割情報54が生成される。
ロールプレイの設定が完了した後、複数の参加者は、それぞれ与えられた役割に従って対話型のロールプレイを行う。そうすると、対話中の音声信号がマイクロフォン18(図1)を通じて、対話中の映像信号がカメラ20(図1)を通じてそれぞれユーザ端末12に供給される。その後、ユーザ端末12は、音声データ及び映像データを含む対話データDDを、役割情報54と対応付けた状態にてスキル評価装置14に送信する。
図6は、図1の対話データDDが示す対話内容を可視化した図である。この対話は、「営業担当者」である参加者Aと、「顧客」である参加者Bとの間で行われる。より具体的には、この対話は、「顧客が経営状況上、現時点での商品の購入が難しい」という状況設定の下で、営業担当者が商品を売り込むという場面を示している。
図4のステップSP12において、分類手段32は、ステップSP10で取得された対話データDDをチャンク単位で分割し、参加者数(ここでは、二名)を特定した後、参加者Aの発言内容と、参加者Bの発言内容とにそれぞれ分類する。
ステップSP14において、評価手段34(より詳しくは、第1算出部42)は、ステップSP12で分類された発言内容を解析し、対話中の発言内容の有効性又は発言内容同士の関連性を示すN個(例えば、N≧2)の個別評価値を算出する。
ステップSP16において、評価手段34は、補正手段36と連携しながら、評価対象者である参加者Aのコミュニケーションスキルの高さを評価する。推定部44は、対話データDDから実際の難度を推定する(ステップSP16A)。判定部46は、目標の難度、実際の難度、又は両方の難度に応じて補正が必要であるか否かを判定する(ステップSP16B)。第2算出部48は、算出又は補正されたN個の個別評価値、及び評価基準テーブル56を用いて、評価対象者の評価ランクを決定する(ステップSP16C)。
図7は、補正の要否に関する判定方法の一例を示す図である。グラフの軸は、難度を示している。ここでは、標準レベルの難度が70(点P0)である場合を想定する。[条件1]差分の絶対値が10未満である場合(例えば、点P1)、判定部46は、実際の難度が妥当であるので、補正が不要である旨の判定を行う。[条件2]実際の難度が目標の難度よりも10以上大きい場合(例えば、点P2)、判定部46は、実際の難度が妥当でないため、難度を低下させる補正が必要である旨の判定を行う。[条件3]実際の難度が目標の難度よりも10以上小さい場合(例えば、点P3)、判定部46は、実際の難度が妥当でないため、難度を上昇させる補正が必要である旨の判定を行う。
補正手段36は、ステップSP10で取得された目標の難度とステップSP16Aで推定された実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正する(ステップSP16D)。評価基準を補正する場合にはステップSP16A→16B→16C→16Dの順に実行される一方、評価値を補正する場合にはステップSP16A→16B→16D→16Cの順に実行される。以下、二つの補正例について、図8~図10を参照しながら説明する。
図8は、標準難度の顧客を想定した評価基準の一例を示す図である。本図に示すように、N次元の評価値空間80をなす領域は、概略円弧状の境界線82,84により、三つのランク領域(L/M/H)に区画される。図示の便宜上、N個の評価値成分のうち、2つの成分(i,j番目)のみを表記している。また、各々の評価値成分は、[0,1]の範囲に正規化されている。
具体的には、低ランク領域(L)と中ランク領域(M)とが境界線82により区画されるとともに、中ランク領域(M)と高ランク領域(H)とが境界線84により区画される。評価基準又は評価値の補正が行われない場合、評価対象者の得点(図8に示す評価点86)がどのランク領域に属するか否かによって評価対象者の評価ランクが決定される。本図の例では、評価対象者の評価ランクは「中ランク」に相当する。
図9は、スキル評価に関する第一の補正方法を示す模式図である。本図中の破線は、標準難度の顧客を想定した評価基準、すなわち「補正前」の境界線82,84の位置に相当する。一方、本図中の実線は、高難度の顧客を想定した評価基準、すなわち「補正後」の境界線82,84の位置に相当する。このように、高ランク領域(H)の拡大及び低ランク領域(L)の縮小が図られることで、高難度の顧客を相手にする場合、販売交渉が難航してコミュニケーションスキルの評価値が相対的に低くなる傾向が反映されやすくなる。
図10は、スキル評価に関する第二の補正方法を示す模式図である。本図中の塗り潰しがない丸印(〇)は、標準難度の顧客を想定した評価値、すなわち「補正前」の評価点86の位置に相当する。一方、本図中の塗り潰しがある丸印(●)は、高難度の顧客を想定した評価値、すなわち「補正後」の評価点86の位置に相当する。このように、評価値の嵩上げが図られることで、高難度の顧客を相手にする場合、販売交渉が難航してコミュニケーションスキルの評価値が相対的に低くなる傾向が反映されやすくなる。
図4のステップSP18において、評価手段34は、ステップSP16により得られた評価結果を記憶手段40に供給する。これにより、コミュニケーションスキルの評価結果が、評価対象者である参加者Aの識別情報(評価者ID)と対応付けた状態にてスキル評価DB52に蓄積される。
ステップSP20において、評価手段34は、取得手段30が専門家による評価結果を取得したか否かを確認する。評価結果がまだ取得されていない場合(ステップSP20:NO)、当該評価結果が取得されるまでの間、ステップSP20に留まる。一方、評価結果が取得された場合(ステップSP20:YES)、次のステップSP22に進む。
ステップSP22において、評価手段34(より詳しくは、統合部50)は、ステップSP16,SP20でそれぞれ得られた評価結果を統合した後、参加者Aを含むサービスユーザへの報告内容を示すレポート情報58を生成する。
ステップSP24において、出力指示手段38は、ステップSP22にて統合された評価結果を含むレポート情報58の出力をユーザ端末12に指示する。そうすると、ユーザ端末12は、スキル評価装置14から受信した報告データRDに含まれるレポート情報58を出力する。参加者Aは、出力されたレポート情報58を通じて、自身のコミュニケーションスキルの高さを把握することができる。また、参加者Aは、レポート画面上に表示されるURLにアクセスすることで、評価結果に応じてカスタマイズされた教育用コンテンツを視聴することができる。あるいは、レポート情報58に難度に関する情報が含まれる場合、参加者Bは、出力されたレポート情報58を通じて、所与の難度に従ってロールプレイを遂行したか否かを把握することができる。
このようにして、スキル評価装置14による一連の動作(図4のフローチャート)が終了する。参加者Aを含むサービスユーザは、模擬訓練システム10(図1)を利用したロールプレイ及び評価フィードバックを反復・継続することで、コミュニケーションスキルを向上させることができる。
[スキル評価装置14による効果]
以上のように、この実施形態におけるスキル評価装置14は、評価対象者を含む複数の参加者が行う対話型のロールプレイを通じて、評価対象者のスキルを評価するコンピュータである。スキル評価装置14は、評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度を取得する取得手段30と、取得手段30が取得する目標の難度を想定したロールプレイを通じて得られる対話中の発言内容を示す対話データDDから、合意の形成又は協力関係の獲得に関する実際の難度を推定する推定手段(ここでは、推定部44)と、対話中の発言内容の有効性又は発言内容同士の関連性を評価するための評価処理を対話データDDに対して施し、評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出手段(ここでは、第1算出部42又は第2算出部48)と、取得手段30により取得された目標の難度と推定部44により推定された実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正する補正手段36を備える。
また、この実施形態におけるスキル評価プログラム及び方法では、コンピュータ(ここでは、スキル評価装置14)が、合意の形成又は協力関係の獲得に関する目標の難度を取得する取得ステップ(図4のSP10)と、合意の形成又は協力関係の獲得に関する実際の難度を推定する推定ステップ(SP16A)と、評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出ステップ(SP14,SP16C)と、目標の難度と実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正する補正ステップ(SP16D)を実行する。
このように、目標の難度と実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正することで、評価対象者とは別の参加者に与えられた役割に対する解釈の違いなどから別の参加者の行動指針が変動する場合であっても、この変動を評価結果に適切に反映させることができる。これにより、評価対象者ではない別の参加者がとる行動指針のばらつきに起因して、評価対象者が有するコミュニケーションスキルの評価精度の低下が抑制される。
また、スキル評価装置14は、目標の難度と実際の難度との差分に応じて補正手段36による補正の要否を判定する判定部46をさらに備えてもよい。特に、判定部46は、差分の絶対値が閾値を上回る場合に補正手段36による補正が必要であると判定する一方、差分の絶対値が閾値を上回らない場合に補正手段36による補正が必要でないと判定してもよい。
また、第1算出部42及び第2算出部48は、対話中の発言内容の有効性又は発言内容同士の関連性を示す複数種類の個別評価値を算出し、複数種類の個別評価値がなす評価値空間80上の領域の属否に応じて評価対象者を分類してもよい。
また、評価対象者の役割が提案を行う提案者であり、別の参加者の役割が提案を承諾するか否かを判断する承諾者であってもよい。この場合、補正手段36は、承諾を得るための難度が高い承諾者であるほど評価基準が低くなるように補正し、又は、承諾を得るための難度が高い承諾者であるほど評価値が高くなるように補正する。これにより、提案を伴うロールプレイにおいて評価結果のばらつきが低減する。
また、評価対象者の役割がタスクの遂行を統率するリーダーであり、別の参加者の役割がリーダーを補佐するフォロワであってもよい。この場合、補正手段36は、補佐を得るための難度が高いフォロワであるほど評価基準が低くなるように補正し、又は、補佐を得るための難度が高いフォロワであるほど評価値が高くなるように補正する。これにより、タスクの遂行を伴うロールプレイにおいて評価結果のばらつきが低減する。
[変形例]
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲で図4のフローチャートを構成する各ステップの実行順を変更してもよい。
上記した実施形態では、図1のスキル評価装置14を単体のコンピュータとして図示しているが、これに代わって、スキル評価装置14は分散システムを構築するコンピュータ群であってもよい。また、スキル評価装置14は、クラウド型サーバあるいはオンプレミス型サーバのいずれであってもよい。
上記した実施形態では、図3の取得手段30がロールプレイを通じて生成された対話データDDを取得する場合について説明したが、対話データDDを取得する機会はこれに限られない。例えば、取得手段30は、別の参加者による許可が得られたことを前提として、実際の現場で行われる対話を通じて生成された対話データDDを取得してもよい。
上記した実施形態では、スキル評価装置14が分類手段32を備える場合(図3)について説明したが、これに代えて、スキル評価装置14には分類手段32が設けられなくてもよい。この場合、ユーザ端末12又は専門家端末16が、人手によって既に分類された対話データDDをスキル評価装置14に供給すればよい。
10…模擬訓練システム、14…スキル評価装置、16…マイクロフォン、18…カメラ、30…取得手段、32…分類手段、36…補正手段、38…出力指示手段、40…記憶手段、42…第1算出部(算出手段)、44…推定部(推定手段)、46…判定部(判定手段)、48…第2算出部(算出手段)、54…役割情報、DD…対話データ

Claims (6)

  1. 評価対象者を含む複数の参加者によるコミュニケーションを伴う対話型のロールプレイを通じて、前記評価対象者のコミュニケーションスキルを評価するためのスキル評価プログラムであって、
    ユーザ装置との間で通信可能なコンピュータを、
    前記評価対象者に与えられる役割と、前記評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度と、を想定した前記ロールプレイを通じて得られる対話中の発言内容を示す対話データを前記ユーザ装置から受信し、前記評価対象者の役割及び前記難度の目標値を含む役割情報と対応付けて前記対話データを取得する取得手段、
    前記取得手段により取得された前記対話データを用いて、キーワードの有無若しくは個数、肯定的な発言の割合、否定的な発言の割合若しくは発言の頻度、又は発言時の声の大きさ若しくは感情の変化を解析することで、前記合意の形成又は前記協力関係の獲得に関する実際の難度を推定し、前記難度の推定値を求める推定手段、
    前記取得手段により取得された前記対話データを用いて、キーワードの有無若しくは頻度、前記ロールプレイにてタスクを遂行するために効果的な提案内容である単語のかたまりを示すチャンクの個数、又は前記チャンク間の相関度を解析することで、前記取得手段により取得された前記役割情報に含まれる前記役割を担う前記評価対象者のコミュニケーションスキルの高さを示す評価値であって、前記役割情報に含まれる前記難度の目標値に対応する評価値を算出する算出手段、
    前記推定手段により推定された前記難度の推定値が前記算出手段での算出に用いられた前記難度の目標値よりも高い場合、補正前と比べて前記評価対象者の評価値が高くなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する補正手段、
    として機能させる、スキル評価プログラム。
  2. 前記補正手段は、さらに、前記難度の推定値が前記難度の目標値よりも低い場合、補正前と比べて前記評価対象者の評価値が低くなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する、
    請求項1に記載のスキル評価プログラム。
  3. 前記コンピュータを、
    前記難度の推定値と前記難度の目標値との差分の絶対値が閾値を上回る場合に前記補正手段による補正が必要であると判定する一方、前記差分の絶対値が前記閾値を上回らない場合に前記補正手段による補正が必要でないと判定する判定手段としてさらに機能させる、
    請求項1又は2に記載のスキル評価プログラム。
  4. 前記算出手段は、前記評価値として複数種類の個別評価値を算出し、記個別評価値を各軸とする複数次元の評価値座標空間上にて定められる評価ランクの領域の属否に応じて前記評価対象者を前記評価ランク毎に分類する、
    請求項1~3のいずれか1項に記載のスキル評価プログラム。
  5. ユーザ装置との間で通信可能に構成され、かつ評価対象者を含む複数の参加者によるコミュニケーションを伴う対話型のロールプレイを通じて、前記評価対象者のコミュニケーションスキルを評価するスキル評価装置であって、
    前記評価対象者に与えられる役割と、前記評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度と、を想定した前記ロールプレイを通じて得られる対話中の発言内容を示す対話データを前記ユーザ装置から受信し、前記評価対象者の役割及び前記難度の目標値を含む役割情報と対応付けて前記対話データを取得する取得手段と、
    前記取得手段により取得された前記対話データを用いて、キーワードの有無若しくは個数、肯定的な発言の割合、否定的な発言の割合若しくは発言の頻度、又は発言時の声の大きさ若しくは感情の変化を解析することで、前記合意の形成又は前記協力関係の獲得に関する実際の難度を推定し、前記難度の推定値を求める推定手段と、
    前記取得手段により取得された前記対話データを用いて、キーワードの有無若しくは頻度、前記ロールプレイにてタスクを遂行するために効果的な提案内容である単語のかたまりを示すチャンクの個数、又は前記チャンク間の相関度を解析することで、前記取得手段により取得された前記役割情報に含まれる前記役割を担う前記評価対象者のコミュニケーションスキルの高さを示す評価値であって、前記役割情報に含まれる前記難度の目標値に対応する評価値を算出する算出手段と、
    前記推定手段により推定された前記難度の推定値が前記算出手段での算出に用いられた前記難度の目標値よりも高い場合、補正前と比べて前記評価対象者の評価値が高くなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する補正手段と、
    を備える、スキル評価装置。
  6. 前記補正手段は、さらに、前記難度の推定値が前記難度の目標値よりも低い場合、補正前と比べて前記評価対象者の評価値が低くなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する、
    請求項5に記載のスキル評価装置。
JP2021145193A 2021-03-03 2021-09-07 スキル評価プログラム及びスキル評価装置 Active JP7117801B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021033854 2021-03-03
JP2021033854 2021-03-03

Publications (2)

Publication Number Publication Date
JP7117801B1 true JP7117801B1 (ja) 2022-08-15
JP2022135881A JP2022135881A (ja) 2022-09-15

Family

ID=82847591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021145193A Active JP7117801B1 (ja) 2021-03-03 2021-09-07 スキル評価プログラム及びスキル評価装置

Country Status (1)

Country Link
JP (1) JP7117801B1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017009826A (ja) 2015-06-23 2017-01-12 トヨタ自動車株式会社 グループ状態判定装置およびグループ状態判定方法
JP2017161731A (ja) 2016-03-09 2017-09-14 本田技研工業株式会社 会話解析装置、会話解析方法およびプログラム
WO2019093392A1 (ja) 2017-11-10 2019-05-16 日本電信電話株式会社 コミュニケーションスキル評価システム、装置、方法、及びプログラム
JP2020027648A (ja) 2018-08-11 2020-02-20 株式会社ヒトラボジェイピー 人材評価システム、人材評価方法及び人材評価プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017009826A (ja) 2015-06-23 2017-01-12 トヨタ自動車株式会社 グループ状態判定装置およびグループ状態判定方法
JP2017161731A (ja) 2016-03-09 2017-09-14 本田技研工業株式会社 会話解析装置、会話解析方法およびプログラム
WO2019093392A1 (ja) 2017-11-10 2019-05-16 日本電信電話株式会社 コミュニケーションスキル評価システム、装置、方法、及びプログラム
JP2020027648A (ja) 2018-08-11 2020-02-20 株式会社ヒトラボジェイピー 人材評価システム、人材評価方法及び人材評価プログラム

Also Published As

Publication number Publication date
JP2022135881A (ja) 2022-09-15

Similar Documents

Publication Publication Date Title
RU2672171C1 (ru) Способ подготовки рекомендаций для принятия решений на основе компьютеризированной оценки способностей пользователей
US10446055B2 (en) Public speaking trainer with 3-D simulation and real-time feedback
CN106663383B (zh) 分析受试者的方法和***
Wang et al. The politeness effect: Pedagogical agents and learning outcomes
US20160293036A1 (en) System and method for adaptive assessment and training
US20010042004A1 (en) Methods, systems and apparatuses for matching individuals with behavioral requirements and for managing providers of services to evaluate or increase individuals' behavioral capabilities
KR102377419B1 (ko) 기계학습에 기초한 비언어적 평가 방법, 시스템 및 컴퓨터-판독가능 매체
Saenz et al. The usability analysis of chatbot technologies for internal personnel communications
CN112740132A (zh) 简答题评分预测
KR102372976B1 (ko) 인지강화훈련 게임의 제공 방법
CN117541444A (zh) 一种互动虚拟现实口才表达训练方法、装置、设备及介质
Albayrak et al. Personalized training in fast-food restaurants using augmented reality glasses
US20220270500A1 (en) Information processing apparatus, information processing method, and program
JP7117801B1 (ja) スキル評価プログラム及びスキル評価装置
CN117573946A (zh) 对话样本生成方法、聊天对话大模型训练方法及相关装置
Fuyuno et al. Multimodal analysis of public speaking performance by EFL learners: Applying deep learning to understanding how successful speakers use facial movement
CN113748449A (zh) 评估和培训***
Wei Development and evaluation of an emotional lexicon system for young children
JP7152453B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
JP7427906B2 (ja) 情報処理装置、制御方法及びプログラム
Andrunyk Visualization of the content of information technologies: supporting the education of students with autism
JPWO2020170845A1 (ja) 情報処理装置、及び、プログラム
Paneth et al. Zooming in: The role of nonverbal behavior in sensing the quality of collaborative group engagement
KR102583312B1 (ko) 서비스 직원의 언어 및 제스처 분석을 통한 교육 평가 방법 및 시스템
Trang CHATBOT TO SUPPORT LEARNING AMONG NEWCOMERS IN CITIZEN SCIENCE

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210909

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20220302

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220726

R150 Certificate of patent or registration of utility model

Ref document number: 7117801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150