JP6259377B2 - 対話システム評価方法、対話システム評価装置及びプログラム - Google Patents
対話システム評価方法、対話システム評価装置及びプログラム Download PDFInfo
- Publication number
- JP6259377B2 JP6259377B2 JP2014170516A JP2014170516A JP6259377B2 JP 6259377 B2 JP6259377 B2 JP 6259377B2 JP 2014170516 A JP2014170516 A JP 2014170516A JP 2014170516 A JP2014170516 A JP 2014170516A JP 6259377 B2 JP6259377 B2 JP 6259377B2
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- evaluation value
- input
- sentences
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
Description
第一実施形態の対話システム評価装置1は、図1に示すように、リファレンス文データベース10、出力文取得部11、文間類似度計算部12及び評価値計算部13を例えば含む。
第二実施形態の対話システム評価装置2は、図3に示すように、出力文取得部11及び文間類似度計算部12を第一実施形態と同様に含み、リファレンス文データベース20及び評価値計算部23をさらに含む。
第三実施形態の対話システム評価装置3は、図3に示すように、リファレンス文データベース20、出力文取得部11及び文間類似度計算部12を第二実施形態と同様に含み、評価値計算部33をさらに含む。
第四実施形態の対話システム評価装置4は、図5に示すように、リファレンス文データベース20、出力文取得部11及び文間類似度計算部12を第三実施形態と同様に含み、学習データ記憶部40、回帰モデル学習部41、回帰モデルパラメータ記憶部42、特徴量抽出部43及び評価値計算部44をさらに含む。
第五実施形態の対話システム評価装置5は、図7に示すように、出力文取得部11、文間類似度計算部12、学習データ記憶部30、特徴量抽出部43を第四実施形態と同様に含み、リファレンス文データベース50、分類モデル学習部51、分類モデルパラメータ記憶部52及び評価値計算部54をさらに含む。
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
9 対話システム
10、20、50 リファレンス文データベース
11 出力文取得部
12 文間類似度計算部
13、23、33、44、54 評価値計算部
40 学習データ記憶部
41 回帰モデル学習部
42 回帰モデルパラメータ記憶部
43 特徴量抽出部
51 分類モデル学習部
52 分類モデルパラメータ記憶部
Claims (7)
- リファレンス文データベースに、入力文と上記入力文ごとに予め定めた複数のリファレンス文と上記リファレンス文ごとに付与された評価値とが記憶されており、
出力文取得部が、特定のタスクを持たない対話システムへ上記入力文を入力し、上記対話システムからのシステム出力文を得る出力文取得ステップと、
文間類似度計算部が、上記システム出力文と上記リファレンス文それぞれとの間で文間の類似度を計算する文間類似度計算ステップと、
評価値計算部が、上記評価値と上記類似度に基づいて上記リファレンス文を選択し、選択した上記リファレンス文の類似度もしくは評価値の少なくとも一方を用いて、上記システム出力文を評価するシステム評価値を計算する評価値計算ステップと、
を含む対話システム評価方法。 - リファレンス文データベースに、入力文と上記入力文ごとに予め定めた複数のリファレンス文と上記リファレンス文ごとに付与された評価値とが記憶されており、
回帰モデルパラメータ記憶部に、上記リファレンス文から抽出した特徴量と上記評価値とを用いて学習した、特徴量を入力すると当該特徴量に対応する評価値を出力する回帰モデルのパラメータが記憶されており、
出力文取得部が、特定のタスクを持たない対話システムへ上記入力文を入力し、上記対話システムからのシステム出力文を得る出力文取得ステップと、
評価値計算部が、上記システム出力文から抽出した特徴量を上記回帰モデルへ入力し、上記回帰モデルから出力される評価値を、上記システム出力文を評価するシステム評価値とする評価値計算ステップと、
を含む対話システム評価方法。 - リファレンス文データベースに、入力文と上記入力文ごとに予め定めた複数のリファレンス文と上記リファレンス文のペアごとに適切な方を表す勝ち負けである評価値とが記憶されており、
分類モデルパラメータ記憶部に、上記リファレンス文から抽出した特徴量と上記評価値とを用いて学習した、2つの特徴量を入力すると上記勝ち負けを出力する分類モデルのパラメータが記憶されており、
出力文取得部が、特定のタスクを持たない対話システムへ上記入力文を入力し、上記対話システムからのシステム出力文を得る出力文取得ステップと、
評価値計算部が、上記システム出力文から抽出した特徴量と上記リファレンス文から抽出した特徴量とを上記分類モデルへ入力し、上記分類モデルから出力される勝ち負けから計算した勝率を、上記システム出力文を評価するシステム評価値とする評価値計算ステップと、
を含む対話システム評価方法。 - 入力文と上記入力文ごとに予め定めた複数のリファレンス文と上記リファレンス文ごとに付与された評価値とを記憶するリファレンス文データベースと、
特定のタスクを持たない対話システムへ入力文を入力し、上記対話システムからのシステム出力文を得る出力文取得部と、
上記システム出力文と上記リファレンス文それぞれとの間で文間の類似度を計算する文間類似度計算部と、
上記評価値と上記類似度に基づいて上記リファレンス文を選択し、選択した上記リファレンス文の類似度もしくは評価値の少なくとも一方を用いて、上記システム出力文を評価するシステム評価値を計算する評価値計算部と、
を含む対話システム評価装置。 - 入力文と上記入力文ごとに予め定めた複数のリファレンス文と上記リファレンス文ごとに付与された評価値とを記憶するリファレンス文データベースと、
上記リファレンス文から抽出した特徴量と上記評価値とを用いて学習した、特徴量を入力すると当該特徴量に対応する評価値を出力する回帰モデルのパラメータを記憶する回帰モデルパラメータ記憶部と、
特定のタスクを持たない対話システムへ上記入力文を入力し、上記対話システムからのシステム出力文を得る出力文取得部と、
上記システム出力文から抽出した特徴量を上記回帰モデルへ入力し、上記回帰モデルから出力される評価値を、上記システム出力文を評価するシステム評価値とする評価値計算部と、
を含む対話システム評価装置。 - 入力文と上記入力文ごとに予め定めた複数のリファレンス文と上記リファレンス文のペアごとに適切な方を表す勝ち負けである評価値とを記憶するリファレンス文データベースと、
上記リファレンス文から抽出した特徴量と上記評価値とを用いて学習した、2つの特徴量を入力すると上記勝ち負けを出力する分類モデルのパラメータを記憶する分類モデルパラメータ記憶部と、
特定のタスクを持たない対話システムへ上記入力文を入力し、上記対話システムからのシステム出力文を得る出力文取得部と、
上記システム出力文から抽出した特徴量と上記リファレンス文から抽出した特徴量とを上記分類モデルへ入力し、上記分類モデルから出力される勝ち負けから計算した勝率を、上記システム出力文を評価するシステム評価値とする評価値計算部と、
を含む対話システム評価装置。 - 請求項1から3のいずれかに記載の対話システム評価方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014170516A JP6259377B2 (ja) | 2014-08-25 | 2014-08-25 | 対話システム評価方法、対話システム評価装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014170516A JP6259377B2 (ja) | 2014-08-25 | 2014-08-25 | 対話システム評価方法、対話システム評価装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016045769A JP2016045769A (ja) | 2016-04-04 |
JP6259377B2 true JP6259377B2 (ja) | 2018-01-10 |
Family
ID=55636263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014170516A Active JP6259377B2 (ja) | 2014-08-25 | 2014-08-25 | 対話システム評価方法、対話システム評価装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6259377B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109472030B (zh) * | 2018-11-09 | 2023-11-24 | 科大讯飞股份有限公司 | 一种***回复质量的评价方法及装置 |
CN110704597B (zh) * | 2019-09-29 | 2022-07-29 | 北京金山安全软件有限公司 | 对话***可靠性校验方法、模型生成方法及装置 |
CN110941701B (zh) * | 2019-11-27 | 2023-02-28 | 珠海格力电器股份有限公司 | 语义分析样本集的优化方法、存储介质和计算设备 |
CN112036923A (zh) * | 2020-07-06 | 2020-12-04 | 北京嘀嘀无限科技发展有限公司 | 一种服务评价方法、***、装置及存储介质 |
-
2014
- 2014-08-25 JP JP2014170516A patent/JP6259377B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016045769A (ja) | 2016-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Larson et al. | An evaluation dataset for intent classification and out-of-scope prediction | |
US11741484B2 (en) | Customer interaction and experience system using emotional-semantic computing | |
US11734509B2 (en) | Controllable style-based text transformation | |
US11645470B2 (en) | Automated testing of dialog systems | |
US20190163691A1 (en) | Intent Based Dynamic Generation of Personalized Content from Dynamic Sources | |
US9431003B1 (en) | Imbuing artificial intelligence systems with idiomatic traits | |
TW201933267A (zh) | 機器人客服轉人工客服的方法和裝置 | |
US9858923B2 (en) | Dynamic adaptation of language models and semantic tracking for automatic speech recognition | |
US10943070B2 (en) | Interactively building a topic model employing semantic similarity in a spoken dialog system | |
US20160226813A1 (en) | Smartphone indicator for conversation nonproductivity | |
WO2017075017A1 (en) | Automatic conversation creator for news | |
US9953029B2 (en) | Prediction and optimized prevention of bullying and other counterproductive interactions in live and virtual meeting contexts | |
JP6259377B2 (ja) | 対話システム評価方法、対話システム評価装置及びプログラム | |
US11748393B2 (en) | Creating compact example sets for intent classification | |
US20210089959A1 (en) | System and method for assisting customer support agents using a contextual bandit based decision support system | |
US11676044B1 (en) | Systems and methods for generating a chatbot | |
JP6230987B2 (ja) | 言語モデル作成装置、言語モデル作成方法、プログラム、および記録媒体 | |
CN117493830A (zh) | 训练数据质量的评估、评估模型的生成方法、装置及设备 | |
CN108733672A (zh) | 实现网络信息质量评估的方法和装置 | |
JP6158105B2 (ja) | 言語モデル作成装置、音声認識装置、その方法及びプログラム | |
Keizer et al. | User simulation in the development of statistical spoken dialogue systems | |
US11397857B2 (en) | Methods and systems for managing chatbots with respect to rare entities | |
JP6486789B2 (ja) | 音声認識装置、音声認識方法、プログラム | |
Jung et al. | LN-Annote: An alternative approach to information extraction from emails using locally-customized named-entity recognition | |
US20240202518A1 (en) | Privacy-preserving generation of synthesized training data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171010 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6259377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |