JP6297144B2 - 対話マネージャー - Google Patents
対話マネージャー Download PDFInfo
- Publication number
- JP6297144B2 JP6297144B2 JP2016523334A JP2016523334A JP6297144B2 JP 6297144 B2 JP6297144 B2 JP 6297144B2 JP 2016523334 A JP2016523334 A JP 2016523334A JP 2016523334 A JP2016523334 A JP 2016523334A JP 6297144 B2 JP6297144 B2 JP 6297144B2
- Authority
- JP
- Japan
- Prior art keywords
- previous
- dialog manager
- variable
- user
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 14
- 230000003993 interaction Effects 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 239000002245 particle Substances 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 210000001072 colon Anatomy 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000009471 action Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000000034 method Methods 0.000 description 13
- 230000006399 behavior Effects 0.000 description 11
- 238000005457 optimization Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000007476 Maximum Likelihood Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Machine Translation (AREA)
Description
図1および図2に示すように、本発明の実施の形態は、対数線形対話マネージャーを提供する。このシステムは、プランニング部分100および学習部分200を備える。これらの2つの部分の方法は、当該技術分野において知られているように、バスによってメモリおよび入力/出力インターフェースに接続されたプロセッサ150および250において実行することができる。プロセッサ150および250は、組み合わせることができる。
本発明者らの確率モデルは、各時間ステップtにおいて4つの変数を有する。2つは、システム動作at102および観測結果ot101の観測可能変数である。他の2つは、ユーザー動作ut201および状態stの推論される潜在変数である。
S、U、A、およびOを、変数空間、すなわち、それぞれ変数st、ut、at、およびotの全ての可能な値の集合を表すものとする。各観測結果o∈Oは、波形、音響特徴量、認識されたテキスト、および/または言語的特徴量とすることができる。o∈Oを用いて入力シーケンスを表し、変数空間Oを、語彙集合V内の単語の全てのシーケンスの集合として定義することにする。
図3のファクターグラフおよび式(1)に見て取ることができるように、本発明者らのモデルには2つのタイプのファクターが存在する。第1のものは、fで示され、以前の状態および現在の状態、システム動作、ならびにユーザー動作の間の統計的依存関係をモデル化するものである。第2のものは、gで示され、観測された単語のシーケンスとそれらのセマンティック解釈との間の依存関係をモデル化するものである。空間がCFGを用いて定義される変数の場合、各変数値(各パース木)は、アクティブなプロダクションルールの集合として扱われる。例えば、図5のパース木において、アクティブなプロダクションルールは、図4のプロダクションルールでは太字体で示されている。
対話マネージャーが解決する必要がある2つの基本問題は、プランニング100および学習200である。本発明者らのモデルを評価する報酬関数r:S×A→R+が存在するものと仮定する。次に、この報酬関数の観点からプランニングおよび学習を説明することにする。
時刻τにおけるプランニングは、全ての以前のシステム動作a0:τ−1および観測結果o1:τを所与として最適なシステム動作aτを求めるという問題である。対話は、持続時間Tを有するものと仮定する。期待報酬Eを最大にするaτを求めるプランニング問題を、以下のような目的関数として定義することにする。
学習部分200は、最適な動作を求める代わりに最適なモデルパラメーターを求めることを対象としていることを除いて、プランニングと同様である。換言すれば、本発明者らは、期待報酬
変数空間は、無視するには大きすぎるので、粒子確率伝搬を用いて、上記問題を解くことにする。
Claims (13)
- 以前のシステム動作ならびに以前の観測結果および現在の観測結果を受信するステップと、
以前の観測結果および現在の観測結果から現在のユーザー動作を推論し、以前のシステム動作、現在のユーザー動作、ならびに以前のユーザー状態に基づいて現在のユーザー状態を推論するステップと、
前記ユーザー状態、前記システム動作、前記ユーザー動作、および前記観測結果に基づいて特徴量を抽出するステップと、
前記特徴量を組み込んだ対数線形モデルを評価するための報酬関数を用いて規定された期待報酬を目的関数として、全ての以前のシステム動作および全ての観測結果に基づいて前記期待報酬を最大にするシステム動作を求めるステップと
を含み、それぞれのステップは、プロセッサにおいて実行される、対話マネージャー。 - 確率モデルが、各時間ステップtにおいて、2つの観測可能変数である前記システム動作atおよび前記観測結果otと、2つの潜在変数である前記ユーザー動作utおよび前記ユーザー状態stとを含む4つの変数を有する、
請求項1に記載の対話マネージャー。 - 前記観測結果は、発話された単語またはテキストである
請求項1に記載の対話マネージャー。 - S、U、A、およびOは、それぞれ前記変数st、ut、at、およびotの全ての可能な値の集合である変数空間を表す
請求項3に記載の対話マネージャー。 - プロダクションルールの集合を含む文脈自由文法(CFG)を用いて、前記変数空間S、U、およびAを定義するステップ
をさらに含む、請求項6に記載の対話マネージャー。 - 各変数空間は、前記CFGによって生成することができる全ての可能なパース木の集合として定義される、請求項7に記載の対話マネージャー。
- 前記対話マネージャーのプランニング部分は、全ての以前のシステム動作a0:τ−1および以前の観測結果o1:τを所与として最適なシステム動作aτを求める
請求項3に記載の対話マネージャー。 - 前記目的関数に関する変分下限を最適化するステップ
をさらに含む、請求項10に記載の対話マネージャー。 - 前記目的関数は、勾配降下を用いて最適化される
請求項10に記載の対話マネージャー。 - 前記目的関数は、粒子確率確率伝搬を用いて最適化される
請求項10に記載の対話マネージャー。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/106,968 | 2013-12-16 | ||
US14/106,968 US9311430B2 (en) | 2013-12-16 | 2013-12-16 | Log-linear dialog manager that determines expected rewards and uses hidden states and actions |
PCT/JP2014/081666 WO2015093263A1 (en) | 2013-12-16 | 2014-11-21 | Dialog manager |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016535297A JP2016535297A (ja) | 2016-11-10 |
JP6297144B2 true JP6297144B2 (ja) | 2018-03-20 |
Family
ID=52023593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016523334A Active JP6297144B2 (ja) | 2013-12-16 | 2014-11-21 | 対話マネージャー |
Country Status (5)
Country | Link |
---|---|
US (1) | US9311430B2 (ja) |
JP (1) | JP6297144B2 (ja) |
CN (1) | CN105830058B (ja) |
DE (1) | DE112014005715T5 (ja) |
WO (1) | WO2015093263A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7005016B2 (ja) | 2018-11-15 | 2022-01-21 | 株式会社スノウチ | エンドタブ |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10831802B2 (en) * | 2016-04-11 | 2020-11-10 | Facebook, Inc. | Techniques to respond to user requests using natural-language machine learning based on example conversations |
GB2559408B (en) * | 2017-02-06 | 2020-07-08 | Toshiba Kk | A spoken dialogue system, a spoken dialogue method and a method of adapting a spoken dialogue system |
GB2559618B (en) * | 2017-02-13 | 2020-07-08 | Toshiba Kk | A dialogue system, a dialogue method and a method of adapting a dialogue system |
US10424302B2 (en) * | 2017-10-12 | 2019-09-24 | Google Llc | Turn-based reinforcement learning for dialog management |
CN108182942B (zh) * | 2017-12-28 | 2021-11-26 | 瑞芯微电子股份有限公司 | 一种支持不同虚拟角色交互的方法和装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5617509A (en) * | 1995-03-29 | 1997-04-01 | Motorola, Inc. | Method, apparatus, and radio optimizing Hidden Markov Model speech recognition |
JP2004139446A (ja) * | 2002-10-18 | 2004-05-13 | Inst Of Physical & Chemical Res | 日常言語コンピュータシステムで用いられる秘書エージェントシステム、秘書エージェントプログラムおよび対話プランニング方法 |
JP4843987B2 (ja) * | 2005-04-05 | 2011-12-21 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN101398914A (zh) * | 2008-11-10 | 2009-04-01 | 南京大学 | 基于点的部分可观察马尔可夫决策过程的预处理方法 |
US8793119B2 (en) | 2009-07-13 | 2014-07-29 | At&T Intellectual Property I, L.P. | System and method for generating manually designed and automatically optimized spoken dialog systems |
US8433578B2 (en) | 2009-11-30 | 2013-04-30 | At&T Intellectual Property I, L.P. | System and method for automatically generating a dialog manager |
US8457968B2 (en) | 2009-12-08 | 2013-06-04 | At&T Intellectual Property I, L.P. | System and method for efficient tracking of multiple dialog states with incremental recombination |
US8484077B2 (en) * | 2010-07-21 | 2013-07-09 | Yahoo! Inc. | Using linear and log-linear model combinations for estimating probabilities of events |
WO2012030838A1 (en) | 2010-08-30 | 2012-03-08 | Honda Motor Co., Ltd. | Belief tracking and action selection in spoken dialog systems |
US9582592B2 (en) * | 2011-12-20 | 2017-02-28 | Bitly, Inc. | Systems and methods for generating a recommended list of URLs by aggregating a plurality of enumerated lists of URLs, the recommended list of URLs identifying URLs accessed by users that also accessed a submitted URL |
GB2501067B (en) * | 2012-03-30 | 2014-12-03 | Toshiba Kk | A text to speech system |
US20130325483A1 (en) * | 2012-05-29 | 2013-12-05 | GM Global Technology Operations LLC | Dialogue models for vehicle occupants |
US20150025931A1 (en) * | 2013-07-18 | 2015-01-22 | International Business Machines Corporation | Business opportunity forecasting |
-
2013
- 2013-12-16 US US14/106,968 patent/US9311430B2/en active Active
-
2014
- 2014-11-21 DE DE112014005715.0T patent/DE112014005715T5/de active Pending
- 2014-11-21 CN CN201480068215.5A patent/CN105830058B/zh active Active
- 2014-11-21 JP JP2016523334A patent/JP6297144B2/ja active Active
- 2014-11-21 WO PCT/JP2014/081666 patent/WO2015093263A1/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7005016B2 (ja) | 2018-11-15 | 2022-01-21 | 株式会社スノウチ | エンドタブ |
Also Published As
Publication number | Publication date |
---|---|
CN105830058B (zh) | 2019-11-22 |
US20150169553A1 (en) | 2015-06-18 |
DE112014005715T5 (de) | 2016-09-22 |
US9311430B2 (en) | 2016-04-12 |
CN105830058A (zh) | 2016-08-03 |
WO2015093263A1 (en) | 2015-06-25 |
JP2016535297A (ja) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6297144B2 (ja) | 対話マネージャー | |
JP6671020B2 (ja) | 対話行為推定方法、対話行為推定装置及びプログラム | |
Su et al. | Sample-efficient actor-critic reinforcement learning with supervised data for dialogue management | |
Serban et al. | A hierarchical latent variable encoder-decoder model for generating dialogues | |
Miao et al. | Discovering discrete latent topics with neural variational inference | |
CN110444214B (zh) | 语音信号处理模型训练方法、装置、电子设备及存储介质 | |
JP6164639B2 (ja) | ディープ・ニューラルネットワークの学習方法、及びコンピュータプログラム | |
JP2018513405A (ja) | 音声言語理解システム | |
JP2019086679A (ja) | 対話システム、対話方法および対話プログラム | |
JP6884946B2 (ja) | 音響モデルの学習装置及びそのためのコンピュータプログラム | |
JP6823809B2 (ja) | 対話行為推定方法、対話行為推定装置およびプログラム | |
CN109726819B (zh) | 一种实现事件推理的方法及装置 | |
ElSalamouny et al. | An analysis of the exponential decay principle in probabilistic trust models | |
Paek et al. | Evaluating the Markov assumption in Markov Decision Processes for spoken dialogue management | |
US20060100874A1 (en) | Method for inducing a Hidden Markov Model with a similarity metric | |
Svensson et al. | Utilizing reinforcement learning for de novo drug design | |
JP6910002B2 (ja) | 対話行為推定方法、対話行為推定装置及びプログラム | |
Simmons-Edler et al. | Program synthesis through reinforcement learning guided tree search | |
Kaplan et al. | Efficient subjective Bayesian network belief propagation for trees | |
Chinaei et al. | An inverse reinforcement learning algorithm for partially observable domains with application on healthcare dialogue management | |
CN111400479A (zh) | 针对多轮对话的问题识别方法和装置 | |
Fink et al. | Hidden markov models | |
Mozes et al. | Speeding up HMM decoding and training by exploiting sequence repetitions | |
Sato et al. | Improved sampling using loopy belief propagation for probabilistic model building genetic programming | |
Tang et al. | Log-linear dialog manager |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6297144 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |