JP6772916B2 - 対話装置および対話方法 - Google Patents
対話装置および対話方法 Download PDFInfo
- Publication number
- JP6772916B2 JP6772916B2 JP2017053989A JP2017053989A JP6772916B2 JP 6772916 B2 JP6772916 B2 JP 6772916B2 JP 2017053989 A JP2017053989 A JP 2017053989A JP 2017053989 A JP2017053989 A JP 2017053989A JP 6772916 B2 JP6772916 B2 JP 6772916B2
- Authority
- JP
- Japan
- Prior art keywords
- response
- dialogue
- user
- utterance
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Machine Translation (AREA)
Description
例えば、ユーザが「気持ちがいい天気だね」と発話した場合、非タスク指向型の対話が開始されたことがわかるが、例えば、「明日は晴れるかな?」といった発話がなされた場合、文章のみでは、ユーザが明日の天気予報を知りたがっているのか、明日の行動予定について語りたがっているのかを明確に判別することができない。
ユーザが行った発話の内容を認識する発話認識手段と、前記発話に対する応答を生成するルールである応答方策に従って、前記発話に対する応答を生成する応答生成手段と、前記応答に対する好ましさを表す値であるユーザ評価を決定する評価取得手段と、前記ユーザ評価を報酬として強化学習を行い、前記応答方策を更新する更新手段と、を有し、前記応答生成手段は、前記応答方策に従って、タスク指向型の応答を生成するか、非タスク指向型の応答を生成するかを表す応答モードを決定し、前記応答モードに従って応答を生成することを特徴とする。
応答方策は、ユーザとの対話結果に基づいて得た報酬を用いて強化学習を行うことで更新される。例えば、デフォルトの応答方策を有している状態から開始し、対話を通して学習を行い更新してもよい。また、本発明では、強化学習に用いる報酬として、ユーザに提
供した応答がどの程度好ましいものであったかを表す値(ユーザ評価)を事後的に決定する。
また、ユーザ評価は、応答を行った後における対話の内容に基づいて決定してもよい。例えば、対話が継続した時間などを利用することができる。
かかる構成によると、対話を通じて強化学習が実施され、応答方策がより好ましいものとなる。すなわち、学習が進むにつれ、タスク指向型の応答を生成するか、非タスク指向型の応答を生成するかを適切に決定できるようになる。
また、前記評価取得手段は、前記応答方策に従って応答を行ったあとで一連の対話が継続した長さに基づいて、前記ユーザ評価を決定することを特徴としてもよい。
また、前記評価取得手段は、前記応答方策に従って応答を行ってから前記ユーザが更なる発話をするまでの時間に基づいて、前記ユーザ評価を決定することを特徴としてもよい。
<システム概要>
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
第一の実施形態に係る対話装置は、ユーザが発した音声を取得して音声認識を行い、認識結果に基づいて応答文を生成することでユーザとの対話を行うシステムである。
次に、前述した機能を実現するための装置のシステム構成について説明する。
図1は、第一の実施形態に係る対話装置のシステム構成図である。本実施形態に係る対話装置100は、入出力部101、発話取得部102、応答生成部103、状態推定部104、学習部105、評価取得部106を含んで構成される。
なお、発話取得部102は、装置外部のサービスを用いて音声認識を行ってもよい。例えば、図1に示したように、ネットワークを介して外部の音声認識サーバと通信を行い、認識結果を取得するように構成してもよい。
また応答生成部103は、後述する状態推定部104が推定した対話状態と、学習部105に記憶された情報に基づいて、タスク指向型の応答を生成するか、非タスク指向型の応答を生成するかを表す応答モードを決定し、当該応答モードに応じて異なるタイプの応答を生成する。具体的な方法については後述する。
ここで、図2を参照しながら対話状態について説明する。本明細書においては、対話中のある時点における状態を、タスク指向型の対話がなされている度合い(以下、タスク度)に関連付けて特定する。
ここで、対話が取りうる状態の集合をSとし、タスク度を10段階に離散化すると、Sは以下のようになる。なお、S0は発話が無い状態を意味するものとする。
S={S0,S1,S2,…,S10}
が、対話が最もタスク指向型である状態である。対話状態は、ユーザまたは装置が発話するたびに変化(遷移)しうる。各対話状態間は自由に遷移することができるが、発話があっても対話状態が変化しない場合もある。
状態推定部104は、ユーザが行った発話の内容に基づいてタスク度を判定し、対話状態をその都度推定する。タスク度の判定には、公知の技術を利用することができる。
そこで、本実施形態に係る対話装置は、後述する手段によって強化学習を行い、得られ
た学習結果を併用して応答モードを決定する。
図3(A)および(B)は、学習部105によって保持されるテーブル(報酬テーブル)の例である。本実施形態では、対話状態(状態推定部104が推定した対話状態に対応)と、応答モード(A1が非タスク指向型の応答を意味し、A2がタスク指向型の応答を意味する)が、期待報酬と関連付けて記憶されている。
期待報酬とは、強化学習において期待される報酬であり、本実施形態においては、応答の適切度を表す値である。期待報酬は、たとえば、ユーザの満足度などに基づいて、学習を通して更新される。学習の進め方と期待報酬については後述する。
指向型の応答をした場合により大きい報酬が期待できる(すなわち、ユーザが満足する)ことが示されている。また、対話状態がS10にある場合、タスク指向型の応答をした場合により大きい報酬が期待できることが示されている。
応答生成部103が生成した応答が適切な応答モードであった場合(すなわち、ユーザが望む応答モードと一致していた場合)、対話がスムーズに続くことが想定される。また、応答生成部103が生成した応答が適切な応答モードでなかった場合、対話がスムーズに続かなくなることが想定される。そこで、本実施形態では、応答をユーザに提供した後で、一連の対話が継続したか否かに基づいて報酬を算出する。
例えば、対話が継続した場合は+1.0という値を報酬とし、対話が途切れてしまった場合は−1.0という値を報酬とする。算出した報酬は学習部105へ送信され、直前に生成した応答を評価する学習データとして用いられる。
この他にも、ユーザをセンシングした結果に基づいて報酬を算出してもよい。例えば、声のトーンなどに基づいてユーザの満足度を推定し、報酬として利用してもよい。もちろん、発話の内容(例えば、直前の応答における応答モードを否定するような発話がなされたか否か)に基づいて報酬を算出してもよい。
能の全部または一部は、専用に設計された回路(半導体集積回路など)を用いて実行されてもよい。
次に、図1に示した各手段が行う処理について、処理フローチャート図である図4を参照しながら説明する。図4に示したフローチャートは、装置が学習を行っていない初期状態から開始される。
の応答)とA2(タスク指向型の応答)が関連付けられている。また、それぞれの応答に
期待報酬(Q値)が関連付けられている。期待報酬(Q値)は、どちらのモードで応答した場合により高い報酬(ユーザの満足度)が得られるかを表す無次元数である。本例では、デフォルト値として、全ての項目に5が挿入されている。
また、ユーザとの対話が開始されると、処理はステップS12へ遷移する。
次いで、状態推定部104が、ユーザが行った発話の内容に基づいて、現在の対話状態を推定する。例えば、図2に示した状態のうち、初期状態をS0(発話無しを意味する状
態)とすると、S0から、S1〜S10のいずれの状態に遷移したかを推定する。また、現在の状態がS1〜S10のいずれかにある場合、さらに他の状態に遷移したかを推定する。な
お、状態が変化しない(発話がなされた結果、同じ状態に遷移する)場合もあり得る。
)となる。よって、この場合、応答生成部103は、応答モードとして非タスク指向型の応答を選択する。
図5に、会話ターンの例を示す。本例では、時刻t1において、明日の天気予報を知りたいユーザが、「明日は晴れるかな?」という発話を行い、時刻t2において、対話装置が「晴れるといいね!」という非タスク指向型の応答(ユーザが望んでいないモードの応答)を返したものとする(ステップS14)。
一方、ユーザは、少しの沈黙のあと、時刻t4において、「明日の天気を教えて」と言い直したものとする。
報酬とは、強化学習における報酬であり、行動選択(本例では応答モードの選択)に対するスコアである。すなわち、ステップS16では、一つ前の会話ターンにおける応答モードが正しかったか否かを、次のユーザの発話に基づいて判定する。
例えば、対話が途切れずに持続した時間や会話のターン数によって、望ましい応答モードで応答ができたかを推定することができる。不適切な応答モードで応答を行った場合、対話が持続しにくくなると考えられるためである。
例えば、声のピッチやトーン、声量等を解析することで、ユーザが満足しているか否かを推定することができる。
例えば、不適切な応答モードで応答を行った場合、ユーザが困惑することが考えられるためである。この基準を図5の例に適用した場合、時刻t3において沈黙が発生しているため、装置は、時刻t4の時点で、時刻t2で行った応答に対する報酬が低かったことを知ることができる。
Q学習においては、方策πのもとで、状態sにおいて行動aを行った場合の期待報酬はQπ(s,a)と表される。方策πが報酬テーブルであり、状態sが、ステップS12で推定された対話状態である。また、aはA1またはA2となる。
本例では、装置が応答した結果、会話が途切れてしまった場合(沈黙が発生した場合。すなわち、状態がS0に遷移した場合)に−1.0という報酬を与え、会話が続いた場合
(すなわち、状態がS1〜S10に遷移した場合)に+1.0という報酬を与えるものとす
る。
このような学習を続けて報酬テーブルを更新していくと、報酬を最大化させるようなQ値が対話状態ごとに特定の値に収束していく。
タスク指向型の応答を行うかを適切に決定できるようになる。
第二の実施形態は、対話を行っているユーザを識別し、ユーザごとに学習を行う実施形態である。図6は、第二の実施形態における対話装置100のシステム構成図である。
第二の実施形態における対話装置100は、対話を行っているユーザを識別する手段(ユーザ識別部107)を有するという点において、第一の実施形態における対話装置100と異なる。
また、第二の実施形態では、ユーザ識別子ごとに複数の報酬テーブルが記憶され、ユーザごとに強化学習が可能な構成となっている。このように、第一の実施形態における処理をユーザごとに実施することで、よりパーソナライズされた受け答えが可能になる。
第三の実施形態は、対話においてユーザが言及している対象(すなわち話題)を識別し、話題ごとに学習を行う実施形態である。図7は、第三の実施形態における対話装置100のシステム構成図である。
第三の実施形態における対話装置100は、対話においてユーザが言及している対象を識別する手段(話題識別部108)を有するという点において、第一の実施形態における対話装置100と異なる。
また、第三の実施形態では、話題識別子ごとに複数の報酬テーブルが記憶され、話題ごとに強化学習が可能な構成となっている。このように、第一の実施形態における処理を話題ごとに実施することで、より精度の良い受け答えが可能になる。
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、第二の実施形態と第三の実施形態を組み合わせ、ユーザと話題の双方を利用するようにしてもよい。この場合、報酬テーブルは統合してもよいし、別々のまま利用してもよい。報酬テーブルを統合しない場合、応答モードを個別に決定したうえで、得られたQ値に基づいてどちらを採用するかを決定してもよい。
101 入出力部
102 発話取得部
103 応答生成
104 状態推定部
105 学習部
106 評価取得部
Claims (9)
- ユーザが行った発話の内容を認識する発話認識手段と、
前記発話に対する応答を生成するルールである応答方策に従って、前記発話に対する応答を生成する応答生成手段と、
前記応答に対する好ましさを表す値であるユーザ評価を決定する評価取得手段と、
前記ユーザ評価を報酬として強化学習を行い、前記応答方策を更新する更新手段と、
タスク指向型の対話がなされている度合いが関連付けられた複数の対話状態の中から、前記発話の内容に基づいて、現在の対話状態を推定する状態推定手段と、
を有し、
前記応答生成手段は、前記応答方策に従って、タスク指向型の応答を生成するか、非タスク指向型の応答を生成するかを表す応答モードを決定し、前記応答モードに従って応答を生成し、
前記更新手段は、前記複数の対話状態を用いて前記強化学習を行う、
対話装置。 - 前記強化学習はQ学習であり、
前記応答方策は、前記対話状態および応答モードの組み合わせに関連付いたQ値である、
請求項1に記載の対話装置。 - 前記ユーザが前記対話において言及している対象を識別する対象推定手段をさらに有し、
識別した前記対象ごとに、前記対話状態の推定および強化学習を行う、
請求項1または2に記載の対話装置。 - 前記ユーザを識別する話者推定手段をさらに有し、
識別した前記ユーザごとに、前記対話状態の推定および強化学習を行う、
請求項1から3のいずれかに記載の対話装置。 - 前記評価取得手段は、前記応答方策に従って応答を行ったあとにおける前記ユーザの発話に基づいて前記ユーザ評価を決定する、
請求項1から4のいずれかに記載の対話装置。 - 前記評価取得手段は、前記応答方策に従って応答を行ったあとで一連の対話が継続した長さに基づいて、前記ユーザ評価を決定する、
請求項1から5のいずれかに記載の対話装置。 - 前記評価取得手段は、前記応答方策に従って応答を行ってから前記ユーザが更なる発話をするまでの時間に基づいて、前記ユーザ評価を決定する、
請求項1から6のいずれかに記載の対話装置。 - ユーザが行った発話の内容を認識する発話認識ステップと、
前記発話に対して応答を生成するルールである応答方策に従って、前記発話に対する応答を生成する応答生成ステップと、
前記応答に対する好ましさを表す値であるユーザ評価を決定する評価取得ステップと、
前記ユーザ評価を報酬として強化学習を行い、前記応答方策を更新する更新ステップと、
タスク指向型の対話がなされている度合いが関連付けられた複数の対話状態の中から、前記発話の内容に基づいて、現在の対話状態を推定する状態推定ステップと、
を含み、
前記応答生成ステップでは、前記応答方策に従って、タスク指向型の応答を生成するか、非タスク指向型の応答を生成するかを表す応答モードを決定し、前記応答モードに従って応答を生成し、
前記更新ステップでは、前記複数の対話状態を用いて前記強化学習を行う、
対話方法。 - 請求項8に記載の対話方法をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017053989A JP6772916B2 (ja) | 2017-03-21 | 2017-03-21 | 対話装置および対話方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017053989A JP6772916B2 (ja) | 2017-03-21 | 2017-03-21 | 対話装置および対話方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018155980A JP2018155980A (ja) | 2018-10-04 |
JP6772916B2 true JP6772916B2 (ja) | 2020-10-21 |
Family
ID=63718077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017053989A Active JP6772916B2 (ja) | 2017-03-21 | 2017-03-21 | 対話装置および対話方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6772916B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7185540B2 (ja) * | 2019-01-23 | 2022-12-07 | 株式会社日立製作所 | 対話装置及び対話方法 |
CN112102821B (zh) * | 2019-06-18 | 2024-01-12 | 北京京东尚科信息技术有限公司 | 应用于电子设备的数据处理方法、装置、***、介质 |
KR20190107289A (ko) | 2019-08-30 | 2019-09-19 | 엘지전자 주식회사 | 인공지능 로봇 및 인공지능 로봇의 음성인식 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001125900A (ja) * | 1999-10-29 | 2001-05-11 | Yazaki Corp | 対話システム及び対話方法、双方向対話システム及び双方向対話方法並びに記録媒体 |
JP6362861B2 (ja) * | 2013-12-25 | 2018-07-25 | Kddi株式会社 | 対話シナリオに対する動的対話ノードの挿入行動を制御する対話プログラム、サーバ及び方法 |
JP2015138147A (ja) * | 2014-01-22 | 2015-07-30 | シャープ株式会社 | サーバ、対話装置、対話システム、対話方法および対話プログラム |
-
2017
- 2017-03-21 JP JP2017053989A patent/JP6772916B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018155980A (ja) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11398236B2 (en) | Intent-specific automatic speech recognition result generation | |
US11222626B2 (en) | System and method for a cooperative conversational voice user interface | |
US9583102B2 (en) | Method of controlling interactive system, method of controlling server, server, and interactive device | |
JP4369132B2 (ja) | 話者音声のバックグランド学習 | |
JP4533845B2 (ja) | オーディオ機器制御装置、オーディオ機器制御方法及びプログラム | |
JP5172021B2 (ja) | 自動音声認識音響モデルの適合 | |
KR101622111B1 (ko) | 대화 시스템 및 그의 대화 방법 | |
JP4260788B2 (ja) | 音声認識機器制御装置 | |
JP2008203559A (ja) | 対話装置及び方法 | |
US9922650B1 (en) | Intent-specific automatic speech recognition result generation | |
JP7230806B2 (ja) | 情報処理装置、及び情報処理方法 | |
JP7347217B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
JP6772916B2 (ja) | 対話装置および対話方法 | |
JP4634156B2 (ja) | 音声対話方法および音声対話装置 | |
JP2017125921A (ja) | 発話選択装置、方法、及びプログラム | |
JP2000207214A (ja) | 対話装置 | |
CN107170447B (zh) | 声音处理***以及声音处理方法 | |
JP2008241970A (ja) | 話者適応装置、話者適応方法及び話者適応プログラム | |
US11908463B1 (en) | Multi-session context | |
US11527247B2 (en) | Computing device and method of operating the same | |
US11804225B1 (en) | Dialog management system | |
US11837229B1 (en) | Interaction data and processing natural language inputs | |
JP7211050B2 (ja) | 対話制御プログラム、対話制御システム、及び対話制御方法 | |
JP2003263191A (ja) | 情報処理装置、情報処理方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200914 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6772916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |