JP6297144B2 - 対話マネージャー - Google Patents

Description

本発明は、包括的には、テキスト処理および音声処理に関し、より詳細には、対話マネージャーに関する。

対話マネージャーは、音声対話またはテキスト対話のいずれかを用いて特定のタスクを達成するシステムである。対話は、ユーザーの番とシステムの番とを交互に繰り返す。対話は、ユーザー動作およびシステム動作のシーケンスを含むことができる。ユーザー動作は、システムから隠蔽される。システムは、観測結果からユーザー動作を求める。ユーザーは、同様にシステムから隠蔽される変化する状態を有する。システムは、ユーザーの音声またはテキストに基づいて以前のシステム動作および観測結果を所与として、プランニングを用いて、次のシステム動作を決定する。プランニングについては、以下で説明する。

対話マネージャーは、ルールベースとすることもできるし、統計的枠組み、例えば、部分観測可能マルコフ決定過程（ＰＯＭＤＰ）を用いることもできる。ＰＯＭＤＰ対話システムでは、対話は、確率変数の集合によって表される。各順番において、対話は、ユーザーが言ったことを表す観測変数と、これまでの対話の進行を表す隠れ状態変数と、選択されたシステム動作とを含む。ＰＯＭＤＰモデルは、以前の状態およびシステム動作を所与とする現在の状態の条件付き確率と、現在の状態および以前のシステム動作を所与とする観測結果の条件付き確率との２つの確率的依存関係を定義する。

報酬関数は、順番ごとに、その順番の状態および選択された動作の関数としての適合度基準を指定する。報酬関数が与えられると、現在の時刻における状態分布について知られるものを所与として、最適なシステム動作を提供する方策を求めることが可能である。この方策は、その後、対話の最中にシステム動作を生成するのに用いることができる。報酬を最大にするようにシステム動作を選択することは、プランニングと呼ばれる。

動作するシステムを得るには、ＰＯＭＤＰにおいて確率を定義するモデルパラメーターを推定する必要がある。この推定は、学習と呼ばれる。パラメーターは、通常、報酬関数を用いるのではなく、最尤（ＭＬ）基準を用いて推定される。例えば、最尤動的ベイジアンネットワーク（ＤＢＮ）を用いることができる。それらの手法に関する主な問題は、プランニングおよび学習が、異なる基準を用いて別々に独立して最適化されるということである。加えて、プランニングおよび学習は、難しい最適化問題であることで有名である。なぜならば、推論が、実際の問題を扱うのに十分大きな変数空間では処理しにくいからである。

本発明の実施の形態は、統計的な対話の枠組みに基づくテキストおよび音声の対話システムを提供する。従来の手法において用いられる生成モデルとは対照的に、本発明は、識別モデルを用いて、対数線形モデルの枠組みに基づくシステム動作、観測結果、および他の情報の間の関係を表す。その後、対話マネージャーは、確率伝搬（ＢＰ）手順を用いて期待報酬を直接最適化することによって、以前の観測結果およびシステム動作のシーケンスを所与とする適切なシステム動作を出力する。

本発明は、対数線形モデルを用いるので、対話中に取得される様々な特徴量をモデルに組み込むことができる。確率伝搬手順に基づいて、対話データを用いることによって対数線形モデル内のパラメーターを統計的にトレーニングし、精緻化されたシステム動作を用いて性能を改善することができる。

実施の形態は、一貫した最適化基準の利点を有すると同時に、最適化するのに、より効率的なコヒーレントなシステムを提供する。対話システムは、対数線形確率分布を用いてモデル化される。このため、本発明は、対数線形対話マネージャーを提供する。

対数線形分布は、条件付き確率場（ＣＲＦ）の導入以後、シーケンスをモデル化するのに用いられてきた。一般の対数線形モデルは、全ての分布族を表すことができるとは限らないが、特徴関数のそれらの柔軟な使用によって、モデルは、幅広い確率モデル族を表すことが可能になる。モデルは、マルコフ連鎖であるので、効率的な手順を最適化に利用することができる。特に、実施の形態は、時間軸に沿った報酬の合計を最適化する。

可能な状態、ユーザー動作、およびシステム動作の空間を表すために、文脈自由文法（ＣＦＧ）が用いられる。これらのそれぞれは、対話システムの領域に関係したセマンティック表現のグラフに基づいている。

確率変数は、単純な多項式ではなく、ＣＦＧによって生成されたパース木の空間内の値を取る。これによって、幅広い範囲の特徴量の抽出を可能にするリッチな構造が提供される。対数線形モデルに本来的な特徴量の柔軟な使用によって、これらの特徴量は、特殊な場合として従来のルールベースの対話システムのように正確に対話システムを挙動させるように設計することができる。これは、対話システムのルールを指示関数特徴量として実施するとともに、対数線形確率分布がこれらのルールに対応するように、パラメーターを初期化することによって行われる。

本発明の実施の形態による対話マネージャーのプランニング部分のフロー図である。 本発明の実施の形態による対話マネージャーの学習部分のフロー図である。 本発明の実施の形態による一例示のパース木を示す図である。 本発明の実施の形態による一例示の状態のパース木を示す図である。 図４のパース木の例示のプロダクションルールのブロック図である。

プランニング
図１および図２に示すように、本発明の実施の形態は、対数線形対話マネージャーを提供する。このシステムは、プランニング部分１００および学習部分２００を備える。これらの２つの部分の方法は、当該技術分野において知られているように、バスによってメモリおよび入力／出力インターフェースに接続されたプロセッサ１５０および２５０において実行することができる。プロセッサ１５０および２５０は、組み合わせることができる。

システムモデル
本発明者らの確率モデルは、各時間ステップｔにおいて４つの変数を有する。２つは、システム動作ａ_ｔ１０２および観測結果ｏ_ｔ１０１の観測可能変数である。他の２つは、ユーザー動作ｕ_ｔ２０１および状態ｓ_ｔの推論される潜在変数である。

対話の各ステップは、次のように進む。時刻ｔ−１までの以前のシステム動作および以前の観測結果の全てに基づいて、システムは、クエリａ_ｔ−１を用いてユーザーに入力を促す。ユーザーによる応答は、ｏ_ｔによって表される。１つの実施の形態では、ｏ_ｔは、ユーザーによって発話された単語のシーケンスである。ただし、応答は、タイプ入力されたテキストとすることもできるし、応答は、他の手段によってシステムに入力することもできることが理解される。

応答の意味は、観測結果から推論することができるユーザー動作ｕ_ｔによって表される。新たな状態ｓ_ｔは、システム動作ａ_ｔ−１およびユーザー動作ｕ_ｔ、ならびに以前の状態ｓ_ｔ−１に基づいて推論することができる。本発明者らのシステムでは、状態ｓ_ｔは、ユーザーの意図を表すが、一般に、状態は、追加の状況情報も含むことができる。

添え字のコロンを用いてシーケンス、例えば、

を表すと、持続時間Ｔの対話セッションは、以下の４つの変数シーケンスによって表される。

図３は、ファクターグラフによって表される対話セッションのモデルを示している。このファクターグラフは、本発明者らの対数線形モデルの場合、変数にわたる以下の結合確率分布に対応する。

ここで、Ｚ_θは、正規化定数であり、φ_ｆおよびφ_ｇは、特徴関数のベクトルであり、θ_ｆおよびθ_ｇは、それぞれ対応するモデルパラメーターのベクトルである。

時刻ｔ＝Ｔにおいて、ｓ_ｔ＋１およびｕ_ｔ＋１は、ファクターグラフのファクターｆ_Ｔに示すように未定義である。時刻ｔ＝Ｔにおいて、φ_ｆを、その最初の２つの入力のみの関数として定義する。表記を簡単にするために、以下のベクトルも定義する。

これによって、式（１）を、以下のようにより簡潔に書き換えることが可能になる。

ここで、

は、ｐ（ｓ_０：Ｔ，ａ_０：Ｔ，ｕ_１：Ｔ，ｏ_１：Ｔ）の分配関数である。

変数空間
Ｓ、Ｕ、Ａ、およびＯを、変数空間、すなわち、それぞれ変数ｓ_ｔ、ｕ_ｔ、ａ_ｔ、およびｏ_ｔの全ての可能な値の集合を表すものとする。各観測結果ｏ∈Ｏは、波形、音響特徴量、認識されたテキスト、および／または言語的特徴量とすることができる。ｏ∈Ｏを用いて入力シーケンスを表し、変数空間Ｏを、語彙集合Ｖ内の単語の全てのシーケンスの集合として定義することにする。

変数空間Ｓ、Ｕ、およびＡのそれぞれを、プロダクションルールの集合を含む文脈自由文法（ＣＦＧ）を用いて定義することにする。各変数空間は、そのＣＦＧによって生成することができる全ての可能なパース木の集合として定義される。

図５は、変数空間Ｓを定義するＣＦＧにおけるプロダクションルールのうちのいくつかを示している。Ｓにおける各パース木は、状態ｓ_ｔの可能な値である。図５は、図４に太字体で示されたプロダクションルールを用いて生成されたＳ内の１つのパース木である状態ｓ_ｔの１つの可能な値を示している。図４において、終端は、引用符で囲まれる一方、非終端は、引用符で囲まれない。変数＄ＡＤＤＲＥＳＳ＄は、他のプロダクションルールを用いてさらに拡張することもできるし、自由変数として存続することもできる。

特徴量
図３のファクターグラフおよび式（１）に見て取ることができるように、本発明者らのモデルには２つのタイプのファクターが存在する。第１のものは、ｆで示され、以前の状態および現在の状態、システム動作、ならびにユーザー動作の間の統計的依存関係をモデル化するものである。第２のものは、ｇで示され、観測された単語のシーケンスとそれらのセマンティック解釈との間の依存関係をモデル化するものである。空間がＣＦＧを用いて定義される変数の場合、各変数値（各パース木）は、アクティブなプロダクションルールの集合として扱われる。例えば、図５のパース木において、アクティブなプロダクションルールは、図４のプロダクションルールでは太字体で示されている。

Ｇ_Ｓ、Ｇ_Ｕ、およびＧ_Ａは、それぞれＳ（状態）、Ｕ（ユーザー動作）、およびＡ(システム動作）の変数空間を定義するＣＦＧによるプロダクションルールの集合であると仮定する。ファクターｇについて、ユーザー動作における各プロダクションルールは、関連付けられた単語のシーケンスの言語モデルと関連付けられる。具体的には、ユーザー動作ｕ_ｔおよび観測結果ｏ_ｔが与えられると、

の形態の特徴量が得られる。この特徴量は、特定のプロダクションルールｋ∈Ｇ_Ｕがユーザー動作ｕ_ｔのパース木においてアクティブであり、かつ、特定のバイグラムｗ_ｉ−１ｗ_ｉが観測結果ｏ_ｔの単語シーケンスに存在する場合に限り１に等しい指示関数を示す。

木のルートの近くに現われるプロダクションルールの言語モデルは、発話の一般的クラスをモデル化するのに対して、木のリーフの近くに現われるプロダクションルールは、より特殊化されている。ファクターｆについて、同時に生起するプロダクションルールを考えることができる。例えば、２つの特定のプロダクションルールｋ，ｋ’∈Ｇ_Ｓに関係する特徴量

は、ｋが状態ｓ_ｔ−１においてアクティブであり、かつ、ｋ’が状態ｓ_ｔにおいてアクティブである場合に限り、１に等しい。対話システムに通常見られる別のタイプの特徴タイプは、

であり、これは、プロダクションルールｊ∈Ｇ_Ａがシステム動作ａ_ｔ−１においてアクティブであることも必要とする。この特徴量は、特定のシステム動作が特定の状態遷移を誘発する傾向があることを示す。

プランニングおよび学習
対話マネージャーが解決する必要がある２つの基本問題は、プランニング１００および学習２００である。本発明者らのモデルを評価する報酬関数ｒ：Ｓ×Ａ→Ｒ^＋が存在するものと仮定する。次に、この報酬関数の観点からプランニングおよび学習を説明することにする。

プランニング
時刻τにおけるプランニングは、全ての以前のシステム動作ａ_{０：τ−１}および観測結果ｏ_１：τを所与として最適なシステム動作ａ_τを求めるという問題である。対話は、持続時間Ｔを有するものと仮定する。期待報酬Ｅを最大にするａ_τを求めるプランニング問題を、以下のような目的関数として定義することにする。

この期待値は、所与としない全ての変数、すなわち、全ての状態、全てのユーザー動作、ならびに全ての今後のシステム動作および観測結果にわたって得られる。

目的関数は、各動作ａ_τを仮定し、その動作を所与として積和手順を用いて期待報酬を求め、そして、期待報酬を最大にした動作を選択することによって、正確に最適化することができる。

しかしながら、実施を容易にするとともに高速にするために、上記の代わりに、イェンセン（Ｊｅｎｓｅｎ）の不等式から得られる以下の目的関数の変分下限が最適化される。

ここで、γ_ｔは、Σ_ｔγ_ｔ＝１となるような変分パラメーターである。γ_ｔは、期待値最大化（ＥＭ）手順を用いて最適化することができるが、計算をさらに簡単にするために、γ_ｔ＝１／（Ｔ＋１）とすることにする。

この積形式は、報酬を時間と因数分解することができるという優れた特性を有する。換言すれば、式（６）は、以下の式に拡張することができる。

ここで、Ｚ’は、ａ_{０：τ−１}，ｏ_１：τを所与とするｐの分配関数である。この時、最適なａ_τは、報酬用の追加の項を有するグラフモデル上で従来の積和手順によって求めることができる。

先ず、グラフモデルの双方の端部から時刻τまでの信念（ｂｅｌｉｅｆ）が収集され、式（６）を最大にするａ_τが求められる。確率伝搬（ｂｅｌｉｅｆ ｐｒｏｐａｇａｔｉｏｎ：信念伝搬）を明示的に詳しく記載するならば、確率伝搬は、前方後方手順となる。例えば、ファクターノードｆ_ｔから変数ノードｓ_ｔ＋１への前方メッセージ

は、時刻ｔからｔ＋１までの（正規化されていない）確率分布

を用いた、メッセージ

と、

と、

にわたる以下の総和によって求められる。

ここで、

は、変数ノードａ_ｔからファクターノードｆ_ｔへのメッセージである。ａ_ｔのいずれの事前分布も仮定しない場合には、一様分布を含む任意の分布を用いることができる。

は、変数ノードｓ_ｔからファクターノードｆ_ｔへのメッセージである。

は、以前のステップから再帰的に求められる。

変数ノードｕ_ｔ＋１からファクターノードｆ_ｔへのメッセージは、

である。このメッセージは、以下の式のように分布から求められる。

このため、メッセージ

を求めるのに、シーケンス

の全てにわたる総和を行うことが回避される。他のメッセージも、確率伝搬方法に基づいてシーケンスにわたる総和を計算することなく、効率的に求めることができる。

積和手順を用いた今後の動作にわたる平均化は、従来のＰＯＭＤＰ最適化と異なることに留意されたい。従来のＰＯＭＤＰ最適化は、今後のシステム動作にわたる報酬を最大にしようとするものである。ａ_ｔに対しては最大積手順を用いる一方、他の変数には積和を用いて、今後のシステム動作にわたる最大化を達成することも可能である。しかしながら、このモデル自体、今後の動作にわたる予測分布を提供する確率的方策を含む。

学習
学習部分２００は、最適な動作を求める代わりに最適なモデルパラメーターを求めることを対象としていることを除いて、プランニングと同様である。換言すれば、本発明者らは、期待報酬

が、全てのシステム動作ａ_０：Ｔおよび全ての観測結果ｏ_１：Ｔを所与して最大にされるようなθ１０３を見つけたい。この場合も、期待値は、所与としない全ての変数、すなわち、全ての状態および全てのユーザー動作にわたって得られる。プランニング部分と同様に、ここでも、式（８）の変分下限を用いることができる。

勾配降下を用いて、学習目的が最適化される。一般に、任意の効用関数ｖ（ｘ）および対数線形モデルに基づく形態の確率分布

について、期待効用の導関数は、以下の式となる。

θにおける各パラメーターθ_ｉについて、この導関数は、対応する特徴量φ_ｉと効用との間の共分散であることに留意されたい。このため、効用と正に相関する特徴量に対応するパラメーターは増加する一方、その対応する特徴量が効用と負に相関するパラメーターは減少する。

これを本発明者らのモデルに適用すると、以下の式が得られる。

ここで、期待値は、ｐ（ｓ_０：Ｔ，ｕ_１：Ｔ｜ａ_０：Ｔ，ｏ_１：Ｔ）を用いて求められる。一般的な場合、これらの量を求めることは困難な場合がある。本発明者らは、粒子確率伝搬を用いる。

粒子確率伝搬
変数空間は、無視するには大きすぎるので、粒子確率伝搬を用いて、上記問題を解くことにする。

ファクターノードｆ_ｔから変数ノードｓ_ｔ＋１に渡るメッセージ

を、ｓ_ｔ、ａ_ｔ、およびｕ_ｔ＋１を過小評価する下式によって検討することにする。

重点サンプリングを用いて上記和を書き直すと、期待値が求められる、あるサンプリング分布π_ｔ（ａ）、π_ｔ（ｕ）、π_ｔ（ｓ）について、以下の式が得られる。

次に、サンプル

にわたり、和を用いて上記期待値を近似することができる。

Claims (13)

1. 以前のシステム動作ならびに以前の観測結果および現在の観測結果を受信するステップと、
   以前の観測結果および現在の観測結果から現在のユーザー動作を推論し、以前のシステム動作、現在のユーザー動作、ならびに以前のユーザー状態に基づいて現在のユーザー状態を推論するステップと、
   前記ユーザー状態、前記システム動作、前記ユーザー動作、および前記観測結果に基づいて特徴量を抽出するステップと、
   前記特徴量を組み込んだ対数線形モデルを評価するための報酬関数を用いて規定された期待報酬を目的関数として、全ての以前のシステム動作および全ての観測結果に基づいて前記期待報酬を最大にするシステム動作を求めるステップと
   を含み、それぞれのステップは、プロセッサにおいて実行される、対話マネージャー。
2. 確率モデルが、各時間ステップｔにおいて、２つの観測可能変数である前記システム動作ａ_ｔおよび前記観測結果ｏ_ｔと、２つの潜在変数である前記ユーザー動作ｕ_ｔおよび前記ユーザー状態ｓ_ｔとを含む４つの変数を有する、
   請求項１に記載の対話マネージャー。
3. 添え字のコロンを用いてシーケンスを例えば下式
   

   

   で表すと、持続時間Ｔの対話セッションが、４つの変数シーケンス
   

   

   によって表される
   請求項２に記載の対話マネージャー。
4. 前記対話セッションは、以下の結合確率分布に対応するファクターグラフによって表され、
   

   

   ここで、Ｚ_θは、正規化定数であり、φ_ｆおよびφ_ｇは、前記特徴量であり、θ_ｆおよびθ_ｇは、それぞれ対応するモデルパラメーターのベクトルである
   請求項３に記載の対話マネージャー。
5. 前記観測結果は、発話された単語またはテキストである
   請求項１に記載の対話マネージャー。
6. Ｓ、Ｕ、Ａ、およびＯは、それぞれ前記変数ｓ_ｔ、ｕ_ｔ、ａ_ｔ、およびｏ_ｔの全ての可能な値の集合である変数空間を表す
   請求項３に記載の対話マネージャー。
7. プロダクションルールの集合を含む文脈自由文法（ＣＦＧ）を用いて、前記変数空間Ｓ、Ｕ、およびＡを定義するステップ
   をさらに含む、請求項６に記載の対話マネージャー。
8. 各変数空間は、前記ＣＦＧによって生成することができる全ての可能なパース木の集合として定義される、請求項７に記載の対話マネージャー。
9. 前記対話マネージャーのプランニング部分は、全ての以前のシステム動作ａ_{０：τ−１}および以前の観測結果ｏ_１：τを所与として最適なシステム動作ａ_τを求める
   請求項３に記載の対話マネージャー。
10. 報酬関数ｒ（ｓ_ｔ、ａ_ｔ）を用いて、目的関数
    

    

    を最大にして、前記期待報酬を求めるステップ
    をさらに含む、請求項３に記載の対話マネージャー。
11. 前記目的関数に関する変分下限を最適化するステップ
    をさらに含む、請求項１０に記載の対話マネージャー。
12. 前記目的関数は、勾配降下を用いて最適化される
    請求項１０に記載の対話マネージャー。
13. 前記目的関数は、粒子確率確率伝搬を用いて最適化される
    請求項１０に記載の対話マネージャー。

Images