JP4293340B2 - 対話理解装置 - Google Patents
対話理解装置 Download PDFInfo
- Publication number
- JP4293340B2 JP4293340B2 JP2003040053A JP2003040053A JP4293340B2 JP 4293340 B2 JP4293340 B2 JP 4293340B2 JP 2003040053 A JP2003040053 A JP 2003040053A JP 2003040053 A JP2003040053 A JP 2003040053A JP 4293340 B2 JP4293340 B2 JP 4293340B2
- Authority
- JP
- Japan
- Prior art keywords
- score
- class
- recognition
- past
- utterance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は音声対話システムによる機器の制御に関するもので、特に操作者の「手」あるいは「目」を煩わせることなく制御を行うことが要求される対話理解装置（音声情報入出力装置）に係る。
【０００２】
【従来の技術】
【特許文献１】
特開平８−２７８７９３号公報
【非特許文献１】
甲斐、石丸、伊藤、小西、伊東「目的地設定タスクにおける訂正発話の特徴分析と検出への応用」日本音響学会全国大会論文集2-1-8, pp.63-64,2001
【非特許文献２】
駒谷、河原、「音声対話システムにおける音声認識結果の信頼度の利用法」日本音響学会全国大会論文集3-5-2, pp.73-74,2000
従来の音声対話システムでは音源が自然発生の音声であること、また車両等においては走行中の騒音の影響があること等のため、使用者の発話を正しく理解することが出来ず、このため使用者の意図とは異なる応答をする場合が生じていた。その結果、システムと使用者との間の対話が円滑に進まなくなり、使用者に不快感を与えることがあった。この対策として、例えば上記「非特許文献１」あるいは「非特許文献２」等が報告されているが、前者は音声認識における誤認識に対する研究であり、後者は音声認識結果に信頼度を利用した対話制御に関する研究である。これらの研究において採用されている手法は、入力された音声信号を単語単位で逐次音響的に認識することを基本とするもので、人間が実行しているような文脈情報を含めた言語認識を行っていない。このため話者の発声条件、送話側および受話側両方における背景雑音等の影響を軽減するには限界があった。
【０００３】
また、特許文献１においては、構文解析結果から候補を逐次決定し、この候補に対応する標準パターンとの尤度（尤度の定義については後述）と、テキストデータベースから算出した当該候補に対応する生起尤度／生起順序の尤度との和を候補とすることにより、小記憶容量で照合速度の高速化を図る方法も開示されている。しかし、この方法においては、認識結果から候補を選定し、その候補の尤度を求めているのみで、使用者が必要としている情報を有する最終応答であるか否かについては不問の状態にある。
【０００４】
【発明が解決しようとする課題】
上記のように、従来の方法においては入力された発話の音声信号は、逐次認識しその認識精度を向上することに重点がおかれ、使用者の必要としている内容に至っているかについては検討されていなかった。また、文章形での認識に付いても行われているが、これは予め用意されたテキストデータベースとの比較で認識が行われるものであり、使用者の要求に沿った結果であるか否かは認識過程に入る余地はなかった。本発明は、以上述べた性能上の限界を超え、実用に耐えられる認識能力を有し、使用者の必要とする情報を短時間で取得可能とする対話制御システムに適用可能な言語理解能力を有する、使用者／システム間対話理解装置を提供することを目的としている。
【課題を解決するための手段】
上記目的を達成する方法の一つとして話者の発話内容における文脈の流れから対話的に音声情報を理解する手法が考えられる。この方法によれば、単に発話音声の明瞭度あるいは了解度向上に着目した従来の方法よりも良好な結果が期待される。本発明は、この方法実現のための具体的なアルゴリズムを開示し、これに基づく具体的な装置を提供するものである。
【０００５】
本発明においては、文脈情報を利用した音声情報処理に音声認識の信頼度を組み合わせて言語理解や応答生成を行うことを基本とした。すなわち、単に従来の音声認識の信頼度を利用するのみではなく、発話の種類や対話履歴（認識履歴）の情報も利用して学習させた結果を利用することで、対話的により尤もらしい言語理解を実行させるようにした。
【０００６】
このため、請求項１においては、対話に含まれる発話をその発話が包括する広さの順に階層的に複数のカテゴリーおよび該カテゴリーを細分化して構成されるクラスに分類し、どのクラスの単語が発話されたかその確からしさを与えるクラススコアと、発話に含まれる単語とから対話内容を理解し、発話内容にさらに詳細な情報を追加する詳細化・回答の対話を行い、かつ該詳細化・回答の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記憶されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算してクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行う対話理解装置について規定した。
【０００７】
請求項２においては、マイクロホンと音声増幅器とで構成された音声入力手段と、該音声入力手段の出力をデジタル化して音声認識を行う音声認識手段と該音声認識手段で認識された結果の信頼度を算出する信頼度生成手段と、前記音声認識手段と前記信頼度生成手段とにより得られた結果を用いて予め設定された前記複数のカテゴリー及び該カテゴリーを細分化した前記クラスからなる階層構造に分類し、前記クラスに分類された発話の確からしさを求めるクラススコア生成部と、これにより得られた結果から前記各カテゴリーを求めるカテゴリー理解部と、認識された単語の確からしさを求める単語スコア生成部と、上記各処理部で処理された結果として理解内容を生成する理解内容生成部とからなる言語理解手段と、前記言語理解手段における処理を実行するために使用される過去の認識履歴を記憶する記憶手段と、前記言語理解手段から得られた結果から応答情報を作成する応答生成手段と、前記応答情報を出力するための出力手段と、を有する請求項１に記載の対話理解装置であって、前記詳細化・回答の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記憶されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算してクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行う対話理解装置について規定している。
【０００８】
請求項３においては、請求項１または請求項２に記載の対話理解装置において、前記記憶されている過去のクラススコアの更新を次式により実行する対話理解装置について規定している。
【０００９】
Score(c)=Score(c)*weights+Conf(c)
ただし、Score：過去のクラススコア
Conf：最新の認識結果に対するクラス信頼度
weight s ：重み（0.0＜ weights＜1.0）
ｃ：スコアを生成するクラス
請求項４においては、対話に含まれる発話をその発話が包括する広さの順に階層的に複数のカテゴリーおよび該カテゴリーを細分化して構成されるクラスに分類し、どのクラスの単語が発話されたかその確からしさを与えるクラススコアと、発話に含まれる単語とから対話内容を理解し、システムから誤った応答があり、それを訂正する処理、すなわち、訂正・再入力を行い、かつ該訂正・再入力の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記憶されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算し、同一カテゴリーで、かつ異なるクラスの信頼度全てを減算することにより得られるスコアでクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行う対話理解装置について規定している。
【００１０】
請求項５においては、マイクロホンと音声増幅器とで構成された音声入力手段と、該音声入力手段の出力をデジタル化して音声認識を行う音声認識手段と該音声認識手段で認識された結果の信頼度を算出する信頼度生成手段と、前記音声認識手段と前記信頼度生成手段とにより得られた結果を用いて予め設定された前記複数のカテゴリー及び該カテゴリーを細分化した前記クラスからなる階層構造に分類し、前記クラスに分類された発話の確からしさを求めるクラススコア生成部と、これにより得られた結果から前記各カテゴリーを求めるカテゴリー理解部と、認識された単語の確からしさを求める単語スコア生成部と、上記各処理部で処理された結果として理解内容を生成する理解内容生成部とからなる言語理解手段と、前記言語理解手段における処理を実行するために使用される過去の認識履歴を記憶する記憶手段と、前記言語理解手段から得られた結果から応答情報を作成する応答生成手段と、前記応答情報を出力するための出力手段と、を有する請求項１または請求項４に記載の対話理解装置であって、前記訂正・再入力の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記録されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算し、同一カテゴリーで、かつ異なるクラスの信頼度全てを減算することにより得られるスコアでクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行う対話理解装置について規定している。
【００１１】
請求項６においては、請求項４または請求項５記載の対話理解装置において、前記記憶されている過去の認識履歴の更新を次式により実行する対話理解装置について規定している。
【００１２】
Score(ca)=Score(ca)*weightt-Conf(cb)+Conf(ca)
ただし、 Score：認識履歴のクラススコア
Conf：最新認識結果のクラス信頗度
Weightt：重み（0.0＜weightt＜1.0）
Ca ：スコアを生成するクラス
Cb ：caと同じカテゴリーで異なるクラス
請求項７においては、請求項１および請求項４に記載の構成を有する対話理解装置において、入力信号の尤度計算、信頼度計算を行いながら音声取り込み処理を行い、該取り込まれた音声の発話タイプが「詳細化・回答」か「訂正・再入力」かの判別を行い、該判別結果により請求項３に記載の演算式、または請求項６に記載の演算式の何れを用いるか決定してクラススコアの生成を行い、該生成されたクラススコアにより前記記憶媒体に記憶されている過去の認識履歴の更新を行う対話理解装置について規定している。
【００１３】
【発明の効果】
本発明によれば、以上述べたように、単に単語の音声認識を行なうのみならず、認識した単語をさらにカテゴリーとクラスとに分類し、文脈との関連を考慮して、より尤らしい語の選定を行う手法を採用することにより効率良く認識精度をさらに向上することが出来た。例えば、車両用ナビゲーションシステムにおける音声入力のように、雑音の大きな環境下で用いるときには特に有効である。
【発明の実施の形態】
以下、本発明による実施の形態を図により説明する。
図１は本発明による対話理解装置の基本構成を示すもので、入力されたアナログ音声入力信号は音声入力部１０１でデジタル信号に変換される。ここで、音声入力部１０１はマイクロホン、入力増幅器、Ａ／Ｄコンバータから構成されている。このデジタル化された音声信号は音声認識部１０２に入力され、使用者から入力される音声信号と、音声信号認識部１０２内に記憶してある認識対象文とのマッチング処理を行い、複数の認識結果候補文およびそれらの尤度（詳細は後述）を出力する。これら出力情報は信頼度生成部１０３において、使用者からの単一の発話に伴って入力される上記複数の認識結果候補文から、この認識結果候補文に含まれる単語と、これら単語の分類を示すクラスの尤もらしさを示す信頼度を出力する。
ここで、クラスとは図２に示すように目的地を示す表現形式を階層構造的に分類する。ここでカテゴリーは包括する範囲が広いほうから狭いほうに順次配列され、クラスは各カテゴリーに含まれる単語を内容別に分類したものである。図２の例では例えば、各単語は上位（ＰＲ）、中位（ＨＲ）、下位（ＬＭ）の３カテゴリーに分類され、さらに各カテゴリーにおいてそれぞれ複数のクラスに分類される。例えば図２の場合、上位カテゴリーでは「県」の１クラスのみであるが、下位カテゴリーでは「インターチェンジ」、「市区町村」、「駅」の３クラスを有している。
【００１４】
単語単位での信頼度は以下のようにして求められる。すなわち、まず、単語の認識結果から得られた候補単語列（例えば複数の単語で形成された文章）の第１位から第Ｎ位までの尤度の高い順に配列した単語列（以下Ｎ−ｂｅｓｔ候補と称する）と、それぞれの単語に対する対数尤度を求める。ここで、尤度とは認識結果から得られる音声信号列がＹである時、使用者が発話した音声信号列がＷである事後確率で定義される値で、「音声信号列に関する仮説Ｗに対し、音声信号列Ｙが観測される事前確率」と「音声信号列Ｗが発話される確率」との積と、音声信号列Ｙが観測される確率との比のうち最大確率である。
【００１５】
これにより第１位候補に含まれる単語ｗの信頼度Conf(w)を以下の（数１）式から求める。
【００１６】
【数１】
（数１）式において単語ｗがＮ−ｂｅｓｔ候補の中でｉ番目の候補に含まれている確からしさｐｉは下記の（数２）式から求められる。ここで、ＬｉはＮ−ｂｅｓｔ候補それぞれに対する対数尤度である。
【００１７】
【数２】
また、クラス単位での信頼度は上記単語単位の場合と同様に、第１位候補に含まれる各単語ｗのクラスＣｗにより、信頼度Conf(Ｃｗ)を以下の（数３）式から求められる。
【００１８】
【数３】
ここで、上記単語単位の場合と同様、ｐｉは下記の（数４）式から求められる。
【００１９】
【数４】
以上のようにして得られた認識データ（認識結果候補文、尤度及び信頼度）は言語理解部１０４に入力される。この言語理解部１０４はクラススコア生成部１０５、カテゴリー理解部１０６、単語スコア生成部１０７および理解内容生成部１０８の各部で構成されており、使用者からの複数回にわたる発話に伴って入力される単語と、その属するクラスの信頼度とから理解結果を生成する機能を有する。ここで、クラススコア生成部１０５は、使用者からの複数回にわたる発話に伴って入力される単語のクラス信頼度からどのクラスが発話されたかを示すスコアを計算するものであり、カテゴリー理解部１０６は使用者からの複数回にわたる発話に伴って入力されるクラススコアからクラスの分類を示すカテゴリーの理解結果、すなわち、どのカテゴリーが発話されたかを出力するものである。また、単語スコア生成部１０７は、使用者からの複数回にわたる発話に伴って入力される単語の信頼度から、どの単語が発話されたかを示すスコアを計算し、理解内容生成部１０８は、上記で得られたカテゴリー理解結果（１０６出力）および単語スコア（１０７出力）から理解内容を生成する機能を有する。
【００２０】
以上のようにして得られた言語理解部１０４の出力情報は応答生成部１０９に入力され、上記言語理解部１０４で得られた理解内容から応答文を生成する。この応答文は音声合成部１１０でデジタル信号として合成され、図示しないが音声合成部１１０内蔵のＤ／Ａコンバータ、出力増幅器を経て音声出力として出力する。一方、この出力応答文はＧＵＩ表示部１１１を経て図示しないが表示装置上に表示する。なお、認識履歴１１２は過去の認識状況を履歴データとして記憶しておく例えばハードディスク記憶装置等の記憶装置である。
【００２１】
次に上記装置構成の作用について説明する。
まず本発明の実施の形態で扱う目的地の表現形式を説明する。インターチェンジ、駅、市区町村名を目的地に設定することができ、各々には県、自動車道、鉄道路線を付加することができる。前記のように図２はこれら表現形式を階層構造的に表示したものである。すなわち、本実施の形態では、目的地を上位、中位、下位３段階の部分発話の組み合わせにより発話することができ、これを本実施の形態ではこの３段階の各々をカテゴリーと呼ぶ。上位カテゴリーＰＲでは、県（都道府県）を発話することができ、中位カテゴリーＨＲでは自動車道、または鉄道路線を発話することができ、下位カテゴリーＬＭではインターチェンジ、市区町村、駅を発話することができる。
【００２２】
本発明の実施の形態においては、対話形式での目的地設定をより柔軟な発話によって行うことを目的としている。すなわち、使用者は例えば、「静岡県の東名自動車道の浜松西インターチェンジ」と言うように、一度ですべてのカテゴリーを発話することもできる。また第一の発話で「静岡県」と発話し、第二の発話で「東名高速の浜松西インターチェンジ」と発話するように複数回に分けて発話することも可能である。
また使用者が複数回の発話を行うとき、過去の発話に対してより詳細な情報を追加していく詳細化発話を可能とするものである。例えば、第一の発話で、「静岡県の」と発話し、第二の発話で「浜松市」と発話することが可能である。また使用者が複数回の発話を行うとき、システムの応答結果を訂正する発話を可能とするものである。例えば、第一の発話「静岡県の浜松市」に対して、第一の応答「静岡県の浜松西インターチェンジですか」と誤った応答がなされたとき、第二の発話で「いいえ浜松市です。」と発話することが可能である。
また使用者が複数回の発話を行うとき、システムからの応答が質問であったときに、それに回答する発話も可能とするものである。例えば、第一の応答が「静岡県の何インターチェンジですか」であったとき、第二の発話で「浜松西インターチェンジです」と発話することが可能である。
また使用者が複数回の発話を行うとき、システムからの応答が再入力を促す発話であったときに、それに回答する発話を可能とするものである。例えば、第一の応答「もう一度発話してください」であったとき、第二の発話で第一の発話と同様の発話を行うことが可能である。
本実施の形態における認識対象語は図３に例示するようなものである。本実施の形態における対話例は図４に示すようなものである。図４中、Ｕは使用者の発話であり、Ｓはシステムからの応答であり、数字は発話順である。
【００２３】
次に、本発明の実施の形態における動作を図５のフローチャートを用いて説明する。
ステップ３０１で処理を開始し、まず、使用者が発話開始を指示するために、図示しないが音声入力スイッチ（発話スイッチ）がオン状態に操作されたこと検出（ステップ３０２）した場合、音声信号の取り込み開始のステップ（ステップ３０３）に移行する。ここで、音声入力スイッチのオン状態への操作が検出されない場合は、この操作が検出されるまでステップ３０２で待ち状態となる。
ステップ３０３では、使用者は認識対象文に含まれる発話を行う（例えば図３に例示した語等）。図１における音声入力部１０１は、マイクロホンからの信号をＡ／Ｄコンバータでデジタル信号に変換し、音声認識部１０２に出力する。音声認識部１０２は発話スイッチの操作がなされるまでは、前記デジタル信号の平均パワーの演算を継続している。前記発話スイッチが操作された後、前記平均パワーにくらべてデジタル信号の瞬時パワーが所定値以上に大きくなった時、使用者が発話したと判断し、音声信号の取り込みが開始される。
取り込まれた音声信号は、図１における音声認識部１０２において、記憶してある認識対象文と入力されたデジタル化された音声信号とを比較し、尤度を演算する（ステップ３０４）ことにより、複数の候補を設定する。なお本ステップ３０４を実行する間も、並列処理により上記の音声信号取り込みは継続されている。
デジタル化された音声信号の瞬時パワーが所定時間以上所定値以下の状態が継続した時、システム側では使用者の発話が終了したと判断し、音声信号の入力処理を終了する（ステップ３０５）。これにより、図１における音声認識部１０２は複数の認識結果候補文を尤度順にならべた上位Ｎ候補を、尤度データとともに出力する。図６にこの出力結果の例を示す。図６において、ＸＸＸと記されている部分は、各単語に対する算出された尤度を示している。
前記のＮ−Ｂｅｓｔ候補と呼ばれる音響的な尤度で順位付けられた複数の候補からなる認識結果をもとに、単語とクラスの２種類の信頼度について音響的な尤度とＮ−Ｂｅｓｔ候補中の出現頻度から、事後確立に基づく尺度として信頼度が演算される（ステップ３０６）。この演算は図１における信頼度生成部１０３において実行されるもので、演算結果の例を図７に示す。図７において、左側の表は図６で示した音声認識部出力であり、右側の表の単語信頼度は、ある単語が発話された可能性を示し、クラス信頼度はあるクラスの単語が発話された可能性を示す。なお、本演算に関しては前記「従来の技術」の項で述べた「非特許文献２」駒谷他、”音声対話システムにおける音声認識結果の信頼度の利用法”、日本音響学会講演論文集、3-5-2、pp73-74、2000に詳述されている。
【００２４】
以上のようにして発話された単語の信頼度を求めて尤らしい単語の推定が行われるが、本発明においては、システムと使用者との間での対話により単語推定の精度をさらに向上させている。このため、図１におけるクラススコア生成部１０５においてクラススコアが演算されるが（ステップ３０７）、このクラススコア演算に先立ち、使用者の発話タイプの判定が行われる。すなわち、第一の発話タイプは、以前の情報に新しい情報を追加する働きがある発話タイプである。例えば、詳細化および回答の処理がこれに相当する。また第二の発話タイプは、以前の情報を訂正する働きがある。例えば、訂正および再入力の処理がこれに相当する。このいずれの発話タイプであるかの判定は図８に示すように、判定材料の欄に記載されている判定材料の状況に対して発話タイプが判定される。また、これ以外の判定方法も存在する。例えば、地名入力でよく用いられる部分的な言い直し発生をＤＰマッチングによるワードスポッティング法を用いて検出する方法があり、これに関しては、角谷、北岡、中川”カーナビの地名入力における誤認識時の訂正発話の分析と検出、情報処理学会研究報告、音声言語情報処理37-11、2001に詳述されている。
発話タイプが判定された後に、クラススコア生成部１０５においてクラススコアが生成される。クラススコアは、対話中すなわち使用者の複数回の発話中におけるクラスの尤もらしさを示す値である。この場合、以前に理解した情報を残しつつ、新しい情報を付加することで、より適切にスコアを生成することができる。このクラススコアの生成は前記の発話タイプ別に異なる生成式を用いて行われる。したがって、図５におけるステップ３０７は図９に示すように２分割された処理が行われることになる。すなわち図８の判定材料の欄に記載の状況によりステップ３１５で詳細化、回答の発話タイプに該当するか否かを判定し、該当する場合はステップ３１６で処理し、該当しないで訂正、再入力の発話タイプの場合はステップ３１７で処理された後いずれの場合も処理はステップ３０８に移行する。
【００２５】
詳細化、回答の発話タイプにおける場合、すなわち図９におけるステップ３１６の場合のクラススコアは（数５）式で求められる。
Score(c) = Score(c)*weights + Conf(c) （数５）
但し、Scoreはクラススコアであり、（数５）式の左辺が新たに求められたクラススコアであり、（数５）式の右辺が過去の（認識履歴１１２から読み出した）クラススコアに対する処理である。Confは最新の認識結果から得られたクラス信頼度である。weightsは0.0〜1.0の値を採る重みである。cはスコアを生成するクラスである。重みweightsにより一定の割合で更新前のクラススコアを下げているのは、”情報が古くなるごとに信頼性が低下する”という方針を適用しているからである。また、weightsは、実際の発話データを用いて実験的に求めることができる。更新されたクラススコアは認識履歴１１２に書き込まれる。
【００２６】
詳細化・回答発話タイプのクラス生成の様子を図１０に示す。使用者は、過去の発話（旧クラススコア1.00）で「県」「鉄道路線」の発話を行っており、最新の発話（新クラス信頼度欄が0.81）で「駅」を発話している。この場合のクラススコア生成は（数５）式に基づいて行われる。
【００２７】
訂正・再入力の発話タイプの場合、すなわち図９におけるステップ３１７の場合におけるクラススコアは（数６）式で求められる。
Score(ca)=Score(ca)*weightt-Conf(cb)+ Conf(ca) （数６）
但し、Scoreはクラススコアであり、（数６）式の左辺が新たに得られたクラススコアであり、（数６）式の右辺が過去の（認識履歴１１２から読み出した）クラススコアである。Confは最新の認識結果から得られたクラス信頼度である。weighttは0.0〜1.0の値を採る重みである。caはスコアを生成するクラスであり、cbはcaと同じカテゴリーで異なる全てのクラスである。（数５）式と比較し、同カテゴリー、異クラスの信頼度を減算していることである。これによりクラスを間違えた場合にスコアが修正され易くなる。更新されたクラススコアは認識履歴１１２に書き込まれる。
訂正・再入力発話タイプのクラス生成の様子を図１１に示す。使用者は、過去の発話で「県」クラスの発話を行っており、クラススコアの値が不十分でカテゴリーを特定できず、システム応答は「もう一度発話して下さい」を出力している。使用者は次に再度同じ「県」クラスの発話を行い更新後のクラススコアを得ている（例えば、「県」の発話に対しては旧クラススコアと新クラス信頼度の両方の欄にスコアが記載されている）。この場合のクラススコア生成は（数６）式に基づいて行われている。
【００２８】
続いて、カテゴリー理解処理のステップ３０８に移るが、この処理は図１におけるカテゴリー理解部１０６で、過去の（認識履歴から読み出した）クラススコアと最新の認識結果におけるクラス信頼度との両方に対してカテゴリースコアを計算することにより実行される。この処理の様子を図１２に示す。カテゴリースコアは、図１２のａで表示した部分およびＢで表示した部分におけるそれぞれの欄の数字から知れるように、同じカテゴリーに属する全てのクラススコアあるいは信頼度を加算したものである。それぞれのカテゴリースコアは閾値で判定され、ＰＲ（上位）、ＨＲ（中位）、ＬＭ（下位）の３カテゴリーに対して、判定結果の論理和を計算する。そこで得られた結果が、現在までに発話されたカテゴリーの組み合わせを示している。クラススコアが図１２であった場合、それに続くカテゴリー理解の様子を図１３に示す。すなわち、旧および新スコアから各カテゴリーに対して判定を行い、その結果としてカテゴリー理解が得られる。
【００２９】
次に、ステップ３０９の単語スコア生成が行われるが、このステップ３０９は図１における単語スコア生成部１０７で実行され、
１）過去の（認識履歴１１２中に既に存在する）単語、および
２）新たに出現した単語（最新の認識結果中の単語）
の２つに対して、各々別々の方針を用いてスコアを生成する。後者２）の場合の単語は、最新の認識結果のＮ−Ｂｅｓｔ候補に含まれる全単語が対象となる。スコア生成は、図１における言語理解部１０４が最新の認識率を獲得するたびに、１）→２）の順番で実行される。
【００３０】
上記１）の認識履歴中に存在する単語は、単語の新しさ、システムの応答内容とユーザ発話タイプ（詳細化、訂正、回答、再入力）から、既存の単語スコアを上下させて、新しい単語スコアを生成する。これには以下５種類の方針を使用する。
方針１：古い情報は、信頼性が低くなるという仮定のもとに、新しい認識結果が入力されるたびに、認識履歴中に存在する全ての単語のスコアを下げる。
方針２：認識履歴中の単語Ａと認識結果単語Ｂが詳細化の関係にあった場合、単語Ａのスコアを上げる。
方針３：認識履歴中の単語Ａと認識履歴中の単語Ｂが訂正の関係にあった場合、単語Ａのスコアを下げる。
方針４：認識結果に肯定（はい、うん等）が含まれていた場合、応答に含まれていた単語のスコアを上げる。
方針５：認識結果に否定後（いいえ、ちがう等）が含まれていた場合、応答に含まれていた単語のスコアを下げる。
認識履歴中の単語スコアの生成は、下記の（数７）式による。
【００３１】
Score(Wd)=Score(Wd)-p1+p2*Conf(Ws)-p3*Conf(Wt)
+i*(p4*Conf(yes)-p5*Conf(no)-p6*Conf(rej)) （数７）
但し、Scoreは認識履歴中の単語のスコアであり、右辺が更新前、左辺が更新後である。Ｗｄは計算対象となる認識履歴１１２中の単語である。方針１に対応する項としては、ｐ１があり単語のスコアを下げる項である。方針２と方針３に対応する項に関しては、ｐ２、ｐ３は重み付け、Confは最新の認識結果から得られる信頼度であり、Ｗｓは最新の認識結果に含まれ、Ｗｄと詳細化の関係にある全ての単語であり、Ｗｔは最新の認識結果に含まれＷｄとは訂正の関係にある全ての単語である。方針４、方針５に対応する項に関しては、ｉは前回のシステム応答に単語が含まれている場合はｉ＝１となり、含まれていない場合はｉ＝０となる。またｙｅｓは最新の認識結果に含まれる肯定語を示し、ｎｏは今回の認識結果に含まれる否定後を示し、ｒｅｊは今回の認識結果に含まれる文末否定語を示す。
【００３２】
前記２）における最新の認識履歴中の単語であって、認識履歴にまだ登録されていない単語、すなわち新たに出現した単語のスコアの生成は、応答内容とユーザ発話タイプ（詳細化、訂正、回答、再入力）、Ｎ−Ｂｅｓｔの順位、発話長（発話された単語の数）により、音声認識の信頼度を上下させて、単語スコアを生成する。これには以下４種類の方針を使用する。
方針６：認識結果の単語Ａと応答とに含まれる単語Ｂが詳細化の関係にある場合
、単語Ａのスコアを上げる。
方針７：システム応答が質問（例、何インターチェンジですか？）であって、認識結果の内容が回答である場合、認識結果の単語のスコアを上げる。
方針８：認識結果の上位には正解単語が多く含まれているので、上位に含まれる単語のスコアを上げる。
方針９：発話長が長い発話（短い発話）は認識されやすい（認識されにくい）ため、１カテゴリーの結果はその単語のスコアを下げ、２カテゴリー以上の単語はそのスコアを上げる。
【００３３】
最新の認識履歴中の単語であって、認識履歴にまだ登録されていない単語のスコアの生成は、以下の（数８）式による。
【００３４】
Score(Wd)=Conf(Wd)+p6*Score(Ws)+p7*Conf(Wa)
+Conf(Wd)*(p8+p9*len2-p10*len1) （数８）式
但し、Scoreは認識履歴中の単語のスコアであり、Confは最新の認識結果から得られる信頼度である。Ｗｄは計算対象となる認識履歴中の単語である。方針６に対応する項に関しては、ｐ６が重み付けであり、Ｗｓは認識履歴に含まれるＷｄと詳細化の関係を持つ全ての単語である。方針７に対応する項に関しては、ｐ７は重み付け、認識結果が質問に対する回答である場合の認識結果に含まれる単語である。方針８に対応する項としてはｐ８がＮ−Ｂｅｓｔの順位の高さに応じた重み付けである。方針９に対応する項としてはｐ９、ｐ１０が重み付けであり、ｌｅｎ２は認識のカテゴリーが２以上であるときｌｅｎ２＝１になり、ｌｅｎ１は認識のカテゴリーが１であるときｌｅｎ１＝１になる値である。
上記１）で更新された単語のスコア、上記２）で追加された単語、およびそのスコアは統合された認識履歴として、認識履歴１１２に書き込まれる。統合された認識結果の例を実際の県名、鉄道名等を実例として図１４に示す。図中同名が複数存在する場合（厚木、田無等）があるが、これは複数路線に含まれる駅の名称などである。
【００３５】
上記により得られたカテゴリー理解結果、および前記統合された認識履歴とから、妥当な組み合わせとして複数個の候補を生成する。すなわち、上記により得られた情報を基に本装置が理解した内容として、尤らしい候補を複数個生成する（ステップ３１０）。この処理は図１における理解内容生成部１０８において実行される。図１３の結果から、ＰＲ、ＨＲおよびＬＭの３カテゴリーが発話されており、図１４から前記に該当し、実際に存在する組み合わせを抽出し候補とする。各カテゴリーのスコアの和が最大のものを選択する。その結果を図１５に示す。理解結果として、＜ＰＲカテゴリー＝愛知、スコア＝1.47＞、＜ＨＲカテゴリー＝名古屋鉄道、スコア＝1.17＞、＜ＬＭカテゴリー＝豊橋、スコア＝0.62＞が選択されている。
【００３６】
以上、図１における言語理解部１０４の各ステップで処理された結果である理解内容から応答フラグを生成する（ステップ３１１）までの全処理過程を説明した。これにより得られた出力(応答)情報は図１の応答生成部１０９で実行される。この応答フラグの種類を図１６に示す。なお、図１６における各ビット（ａ乃至Ｆの各ビット）が示す内容を図１７に示す。前記理解結果から、カテゴリーに該当する単語が存在する場合、該当するフラグを立てるがこの場合スコアを４段階で評価した値（ビット数）のフラグを立てる。すなわち、スコアが最大から最小までを評価１から評価４とし、フラグは１０００、０１００、００１０、０００１とする。
【００３７】
応答生成部１０９は、上記の応答フラグを利用し、対話における以下の方針に沿った応答を行う。
応答方針１：了承（相槌）
下位カテゴリーがなく、上位カテゴリーまたは中位カテゴリーのスコア評価が評価１の場合、対話をスムーズに進めるための応答を行う。
例 ユーザ発話 …「静岡県」
システム応答…「はい」
応答方針２：復唱
スコア評価が２の場合や、ユーザ発話の文頭に否定後が来た場合は確認の意味も込めて復唱を行う。
例 ユーザ発話 …「静岡県」
システム応答…「静岡県」
応答方針３ 最終確認
下位カテゴリーが発話され、信頼できる（スコア評価が１か２）場合は、最終確認を行う。
例 ユーザ発話 …「浜松インターから乗ります」
システム応答…「浜松インターを設定してよろしいですか」
応答方針４：目的地設定
前応答に下位カテゴリーがあり、肯定発話が信頼できる（スコア評価が１か２）場合は、目的地に設定する。
例 システム応答…「浜松インターを設定してよろしいですか」
ユーザ発話 …「はい」
システム応答…「目的地に設定しました」
応答方針５：分からない情報のみ尋ねる
ユーザに対して分からない情報のみを尋ねる。
例 ユーザ発話…「静岡県の東名自動車道です」 （下線部のスコア評価が低い時）
システム応答…「静岡県の何自動車道ですか？」
応答方針６：自信のない情報は応答しない
上位カテゴリー（ＰＲ）と中位カテゴリー（ＨＲ）の組み合わせで、どちらか一方だけ信頼できない（スコア評価が４）場合、スコアの高いものだけ応答することで対話を進める。
例 ユーザ発話…「静岡県の東名自動車道」（下線部のスコア評価が低いとき）
システム応答…「東名自動車道の」
応答方針７ 別情報の付加情報が少なく、スコア評価が悪いときに、上のカテゴリーも聞くことによって認識率の向上を図る。
例 ユーザ発話…「浜松インターから乗る」（下線部のスコア評価が低いとき）
システム応答…「何県のインターですが」
応答方針８：次の発話を促す
上位カテゴリーにつづいて肯定発話がきて、信頼できる場合（スコア評価が１か２の場合）次の発話を促す。
例 システム応答…「東名自動車道」
ユーザ発話 …「はい」
システム応答…「東名自動車道のどこですか」
応答方針９：別の候補を返す
否定発話が信頼できる場合（スコア評価が１か２の場合）前回の応答に用いていない別候補を返す。
例 システム応答…「浜松インターを設定しますか」
ユーザ発話 …「いいえ」
システム応答…「浜松西インターを設定しますか」
応答方針１０：前応答の繰り返し
肯定発話や否定発話が信頼できない場合（スコア評価が４の場合）
例 システム応答…「浜松インターを設定してよろしいですか」
ユーザ発話 …「はい」 （下線部のスコア評価が低いとき）
システム応答…「浜松インターを設定してよろしいですか」
応答方針１１：聞き返し
全ての情報に対して信頼できない場合（スコア評価が４の場合）
例 ユーザ発話 …「静岡県」 （下線部のスコア評価が低いとき）
システム応答…「もう一度発話してください」
応答生成部１０９は、上記の対話方針を実施するために、前記の応答フラグを、図１６のフラグテーブルと照らし合わせ、フラグが最初に一致した応答パターンで応答を返す。
応答生成部１０９が前記理解結果から生成した応答フラグは
"1 111000 1000 1000 0100 0000 0000 0000 0"
であり、図１６のフラグテーブルとの参照の結果、図示しないが応答パターン
“ＰＲカテゴリー単語”、“ＰＲカテゴリークラス”の
“ＨＲカテゴリー単語”、“ＨＲカテゴリークラス”の
“ＬＭカテゴリー単語”、“ＬＭカテゴリークラス”を設定してよろしいですか。が選択され、その結果、
「愛知県の名古屋鉄道の豊橋駅を設定してよろしいですか」が応答文として生成される。
【００３８】
以上のようにして生成された応答はステップ３１２で実行されるもので、図１における音声合成部１１０を経由して音声信号として出力され、またＧＵＩ表示部１１１を経由してディスプレイ上に表示される。
この段階で、入力処理が全て完了したか否かの確認が行われる（ステップ３１３）。すなわち、下位カテゴリー（ＬＭ）の単語が確定している場合は（ステップ３１３でｙｅｓの場合）、ステップ３１４に移行し全ての入力処理を終了する。もし、下位カテゴリー（ＬＭ）の単語が確定していない場合（ステップ３１３でｎｏの場合）は処理を継続する。本例では、「愛知県の名古屋鉄道の豊橋駅を設定してよろしいですか」が応答されている段階であり、次に使用者が「はい」を発話することで、「目的地に設定しました」の応答を行ったのち処理を終了する。
【図面の簡単な説明】
【図１】本発明による対話理解装置の基本構成ブロック図。
【図２】発話された単語の階層構造的分類法を示す構成図。
【図３】認識対象語と発話タイプとの関係を示す対応図。
【図４】システム／使用者間での対話の例を示す発話・応答図。
【図５】システムの動作を示すフロー図。
【図６】音声認識部の出力としての認識結果候補文と尤度との関係を示す対象図。
【図７】認識結果候補文と尤度との関係から信頼度を求める対象図。
【図８】発話タイプと発話タイプ判定材料との対象図。
【図９】発話タイプによる処理の使い分けを示すフロー図。
【図１０】詳細化・回答発話タイプにおける更新後のクラススコア生成過程を示す旧クラススコアとの対象図。
【図１１】訂正・再入力発話タイプにおける更新後のクラススコア生成過程を示す旧クラススコアとの対象図。
【図１２】クラススコア演算手順を示す新旧スコア比較図。
【図１３】カテゴリー理解処理における新旧スコア演算過程を示す対象図。
【図１４】統合された認識結果の実例を示すスコア対象図。
【図１５】言語理解最終スコアの項目別比較図。
【図１６】応答フラグと応答パターン対象図。
【図１７】応答フラグとその内容対象図。
【符号の説明】
１０１：音声入力部 １０２：音声認識部
１０３：信頼度生成部 １０４：言語理解部
１０５：クラススコア生成部 １０６：カテゴリ理解部
１０７：単語スコア生成部 １０８：理解内容生成部
１０９：応答生成部 １１０：音声合成部
１１１：ＧＵＩ表示部
【発明の属する技術分野】
本発明は音声対話システムによる機器の制御に関するもので、特に操作者の「手」あるいは「目」を煩わせることなく制御を行うことが要求される対話理解装置（音声情報入出力装置）に係る。
【０００２】
【従来の技術】
【特許文献１】
特開平８−２７８７９３号公報
【非特許文献１】
甲斐、石丸、伊藤、小西、伊東「目的地設定タスクにおける訂正発話の特徴分析と検出への応用」日本音響学会全国大会論文集2-1-8, pp.63-64,2001
【非特許文献２】
駒谷、河原、「音声対話システムにおける音声認識結果の信頼度の利用法」日本音響学会全国大会論文集3-5-2, pp.73-74,2000
従来の音声対話システムでは音源が自然発生の音声であること、また車両等においては走行中の騒音の影響があること等のため、使用者の発話を正しく理解することが出来ず、このため使用者の意図とは異なる応答をする場合が生じていた。その結果、システムと使用者との間の対話が円滑に進まなくなり、使用者に不快感を与えることがあった。この対策として、例えば上記「非特許文献１」あるいは「非特許文献２」等が報告されているが、前者は音声認識における誤認識に対する研究であり、後者は音声認識結果に信頼度を利用した対話制御に関する研究である。これらの研究において採用されている手法は、入力された音声信号を単語単位で逐次音響的に認識することを基本とするもので、人間が実行しているような文脈情報を含めた言語認識を行っていない。このため話者の発声条件、送話側および受話側両方における背景雑音等の影響を軽減するには限界があった。
【０００３】
また、特許文献１においては、構文解析結果から候補を逐次決定し、この候補に対応する標準パターンとの尤度（尤度の定義については後述）と、テキストデータベースから算出した当該候補に対応する生起尤度／生起順序の尤度との和を候補とすることにより、小記憶容量で照合速度の高速化を図る方法も開示されている。しかし、この方法においては、認識結果から候補を選定し、その候補の尤度を求めているのみで、使用者が必要としている情報を有する最終応答であるか否かについては不問の状態にある。
【０００４】
【発明が解決しようとする課題】
上記のように、従来の方法においては入力された発話の音声信号は、逐次認識しその認識精度を向上することに重点がおかれ、使用者の必要としている内容に至っているかについては検討されていなかった。また、文章形での認識に付いても行われているが、これは予め用意されたテキストデータベースとの比較で認識が行われるものであり、使用者の要求に沿った結果であるか否かは認識過程に入る余地はなかった。本発明は、以上述べた性能上の限界を超え、実用に耐えられる認識能力を有し、使用者の必要とする情報を短時間で取得可能とする対話制御システムに適用可能な言語理解能力を有する、使用者／システム間対話理解装置を提供することを目的としている。
【課題を解決するための手段】
上記目的を達成する方法の一つとして話者の発話内容における文脈の流れから対話的に音声情報を理解する手法が考えられる。この方法によれば、単に発話音声の明瞭度あるいは了解度向上に着目した従来の方法よりも良好な結果が期待される。本発明は、この方法実現のための具体的なアルゴリズムを開示し、これに基づく具体的な装置を提供するものである。
【０００５】
本発明においては、文脈情報を利用した音声情報処理に音声認識の信頼度を組み合わせて言語理解や応答生成を行うことを基本とした。すなわち、単に従来の音声認識の信頼度を利用するのみではなく、発話の種類や対話履歴（認識履歴）の情報も利用して学習させた結果を利用することで、対話的により尤もらしい言語理解を実行させるようにした。
【０００６】
このため、請求項１においては、対話に含まれる発話をその発話が包括する広さの順に階層的に複数のカテゴリーおよび該カテゴリーを細分化して構成されるクラスに分類し、どのクラスの単語が発話されたかその確からしさを与えるクラススコアと、発話に含まれる単語とから対話内容を理解し、発話内容にさらに詳細な情報を追加する詳細化・回答の対話を行い、かつ該詳細化・回答の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記憶されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算してクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行う対話理解装置について規定した。
【０００７】
請求項２においては、マイクロホンと音声増幅器とで構成された音声入力手段と、該音声入力手段の出力をデジタル化して音声認識を行う音声認識手段と該音声認識手段で認識された結果の信頼度を算出する信頼度生成手段と、前記音声認識手段と前記信頼度生成手段とにより得られた結果を用いて予め設定された前記複数のカテゴリー及び該カテゴリーを細分化した前記クラスからなる階層構造に分類し、前記クラスに分類された発話の確からしさを求めるクラススコア生成部と、これにより得られた結果から前記各カテゴリーを求めるカテゴリー理解部と、認識された単語の確からしさを求める単語スコア生成部と、上記各処理部で処理された結果として理解内容を生成する理解内容生成部とからなる言語理解手段と、前記言語理解手段における処理を実行するために使用される過去の認識履歴を記憶する記憶手段と、前記言語理解手段から得られた結果から応答情報を作成する応答生成手段と、前記応答情報を出力するための出力手段と、を有する請求項１に記載の対話理解装置であって、前記詳細化・回答の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記憶されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算してクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行う対話理解装置について規定している。
【０００８】
請求項３においては、請求項１または請求項２に記載の対話理解装置において、前記記憶されている過去のクラススコアの更新を次式により実行する対話理解装置について規定している。
【０００９】
Score(c)=Score(c)*weights+Conf(c)
ただし、Score：過去のクラススコア
Conf：最新の認識結果に対するクラス信頼度
weight s ：重み（0.0＜ weights＜1.0）
ｃ：スコアを生成するクラス
請求項４においては、対話に含まれる発話をその発話が包括する広さの順に階層的に複数のカテゴリーおよび該カテゴリーを細分化して構成されるクラスに分類し、どのクラスの単語が発話されたかその確からしさを与えるクラススコアと、発話に含まれる単語とから対話内容を理解し、システムから誤った応答があり、それを訂正する処理、すなわち、訂正・再入力を行い、かつ該訂正・再入力の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記憶されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算し、同一カテゴリーで、かつ異なるクラスの信頼度全てを減算することにより得られるスコアでクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行う対話理解装置について規定している。
【００１０】
請求項５においては、マイクロホンと音声増幅器とで構成された音声入力手段と、該音声入力手段の出力をデジタル化して音声認識を行う音声認識手段と該音声認識手段で認識された結果の信頼度を算出する信頼度生成手段と、前記音声認識手段と前記信頼度生成手段とにより得られた結果を用いて予め設定された前記複数のカテゴリー及び該カテゴリーを細分化した前記クラスからなる階層構造に分類し、前記クラスに分類された発話の確からしさを求めるクラススコア生成部と、これにより得られた結果から前記各カテゴリーを求めるカテゴリー理解部と、認識された単語の確からしさを求める単語スコア生成部と、上記各処理部で処理された結果として理解内容を生成する理解内容生成部とからなる言語理解手段と、前記言語理解手段における処理を実行するために使用される過去の認識履歴を記憶する記憶手段と、前記言語理解手段から得られた結果から応答情報を作成する応答生成手段と、前記応答情報を出力するための出力手段と、を有する請求項１または請求項４に記載の対話理解装置であって、前記訂正・再入力の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記録されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算し、同一カテゴリーで、かつ異なるクラスの信頼度全てを減算することにより得られるスコアでクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行う対話理解装置について規定している。
【００１１】
請求項６においては、請求項４または請求項５記載の対話理解装置において、前記記憶されている過去の認識履歴の更新を次式により実行する対話理解装置について規定している。
【００１２】
Score(ca)=Score(ca)*weightt-Conf(cb)+Conf(ca)
ただし、 Score：認識履歴のクラススコア
Conf：最新認識結果のクラス信頗度
Weightt：重み（0.0＜weightt＜1.0）
Ca ：スコアを生成するクラス
Cb ：caと同じカテゴリーで異なるクラス
請求項７においては、請求項１および請求項４に記載の構成を有する対話理解装置において、入力信号の尤度計算、信頼度計算を行いながら音声取り込み処理を行い、該取り込まれた音声の発話タイプが「詳細化・回答」か「訂正・再入力」かの判別を行い、該判別結果により請求項３に記載の演算式、または請求項６に記載の演算式の何れを用いるか決定してクラススコアの生成を行い、該生成されたクラススコアにより前記記憶媒体に記憶されている過去の認識履歴の更新を行う対話理解装置について規定している。
【００１３】
【発明の効果】
本発明によれば、以上述べたように、単に単語の音声認識を行なうのみならず、認識した単語をさらにカテゴリーとクラスとに分類し、文脈との関連を考慮して、より尤らしい語の選定を行う手法を採用することにより効率良く認識精度をさらに向上することが出来た。例えば、車両用ナビゲーションシステムにおける音声入力のように、雑音の大きな環境下で用いるときには特に有効である。
【発明の実施の形態】
以下、本発明による実施の形態を図により説明する。
図１は本発明による対話理解装置の基本構成を示すもので、入力されたアナログ音声入力信号は音声入力部１０１でデジタル信号に変換される。ここで、音声入力部１０１はマイクロホン、入力増幅器、Ａ／Ｄコンバータから構成されている。このデジタル化された音声信号は音声認識部１０２に入力され、使用者から入力される音声信号と、音声信号認識部１０２内に記憶してある認識対象文とのマッチング処理を行い、複数の認識結果候補文およびそれらの尤度（詳細は後述）を出力する。これら出力情報は信頼度生成部１０３において、使用者からの単一の発話に伴って入力される上記複数の認識結果候補文から、この認識結果候補文に含まれる単語と、これら単語の分類を示すクラスの尤もらしさを示す信頼度を出力する。
ここで、クラスとは図２に示すように目的地を示す表現形式を階層構造的に分類する。ここでカテゴリーは包括する範囲が広いほうから狭いほうに順次配列され、クラスは各カテゴリーに含まれる単語を内容別に分類したものである。図２の例では例えば、各単語は上位（ＰＲ）、中位（ＨＲ）、下位（ＬＭ）の３カテゴリーに分類され、さらに各カテゴリーにおいてそれぞれ複数のクラスに分類される。例えば図２の場合、上位カテゴリーでは「県」の１クラスのみであるが、下位カテゴリーでは「インターチェンジ」、「市区町村」、「駅」の３クラスを有している。
【００１４】
単語単位での信頼度は以下のようにして求められる。すなわち、まず、単語の認識結果から得られた候補単語列（例えば複数の単語で形成された文章）の第１位から第Ｎ位までの尤度の高い順に配列した単語列（以下Ｎ−ｂｅｓｔ候補と称する）と、それぞれの単語に対する対数尤度を求める。ここで、尤度とは認識結果から得られる音声信号列がＹである時、使用者が発話した音声信号列がＷである事後確率で定義される値で、「音声信号列に関する仮説Ｗに対し、音声信号列Ｙが観測される事前確率」と「音声信号列Ｗが発話される確率」との積と、音声信号列Ｙが観測される確率との比のうち最大確率である。
【００１５】
これにより第１位候補に含まれる単語ｗの信頼度Conf(w)を以下の（数１）式から求める。
【００１６】
【数１】
【００１７】
【数２】
【００１８】
【数３】
【００１９】
【数４】
【００２０】
以上のようにして得られた言語理解部１０４の出力情報は応答生成部１０９に入力され、上記言語理解部１０４で得られた理解内容から応答文を生成する。この応答文は音声合成部１１０でデジタル信号として合成され、図示しないが音声合成部１１０内蔵のＤ／Ａコンバータ、出力増幅器を経て音声出力として出力する。一方、この出力応答文はＧＵＩ表示部１１１を経て図示しないが表示装置上に表示する。なお、認識履歴１１２は過去の認識状況を履歴データとして記憶しておく例えばハードディスク記憶装置等の記憶装置である。
【００２１】
次に上記装置構成の作用について説明する。
まず本発明の実施の形態で扱う目的地の表現形式を説明する。インターチェンジ、駅、市区町村名を目的地に設定することができ、各々には県、自動車道、鉄道路線を付加することができる。前記のように図２はこれら表現形式を階層構造的に表示したものである。すなわち、本実施の形態では、目的地を上位、中位、下位３段階の部分発話の組み合わせにより発話することができ、これを本実施の形態ではこの３段階の各々をカテゴリーと呼ぶ。上位カテゴリーＰＲでは、県（都道府県）を発話することができ、中位カテゴリーＨＲでは自動車道、または鉄道路線を発話することができ、下位カテゴリーＬＭではインターチェンジ、市区町村、駅を発話することができる。
【００２２】
本発明の実施の形態においては、対話形式での目的地設定をより柔軟な発話によって行うことを目的としている。すなわち、使用者は例えば、「静岡県の東名自動車道の浜松西インターチェンジ」と言うように、一度ですべてのカテゴリーを発話することもできる。また第一の発話で「静岡県」と発話し、第二の発話で「東名高速の浜松西インターチェンジ」と発話するように複数回に分けて発話することも可能である。
また使用者が複数回の発話を行うとき、過去の発話に対してより詳細な情報を追加していく詳細化発話を可能とするものである。例えば、第一の発話で、「静岡県の」と発話し、第二の発話で「浜松市」と発話することが可能である。また使用者が複数回の発話を行うとき、システムの応答結果を訂正する発話を可能とするものである。例えば、第一の発話「静岡県の浜松市」に対して、第一の応答「静岡県の浜松西インターチェンジですか」と誤った応答がなされたとき、第二の発話で「いいえ浜松市です。」と発話することが可能である。
また使用者が複数回の発話を行うとき、システムからの応答が質問であったときに、それに回答する発話も可能とするものである。例えば、第一の応答が「静岡県の何インターチェンジですか」であったとき、第二の発話で「浜松西インターチェンジです」と発話することが可能である。
また使用者が複数回の発話を行うとき、システムからの応答が再入力を促す発話であったときに、それに回答する発話を可能とするものである。例えば、第一の応答「もう一度発話してください」であったとき、第二の発話で第一の発話と同様の発話を行うことが可能である。
本実施の形態における認識対象語は図３に例示するようなものである。本実施の形態における対話例は図４に示すようなものである。図４中、Ｕは使用者の発話であり、Ｓはシステムからの応答であり、数字は発話順である。
【００２３】
次に、本発明の実施の形態における動作を図５のフローチャートを用いて説明する。
ステップ３０１で処理を開始し、まず、使用者が発話開始を指示するために、図示しないが音声入力スイッチ（発話スイッチ）がオン状態に操作されたこと検出（ステップ３０２）した場合、音声信号の取り込み開始のステップ（ステップ３０３）に移行する。ここで、音声入力スイッチのオン状態への操作が検出されない場合は、この操作が検出されるまでステップ３０２で待ち状態となる。
ステップ３０３では、使用者は認識対象文に含まれる発話を行う（例えば図３に例示した語等）。図１における音声入力部１０１は、マイクロホンからの信号をＡ／Ｄコンバータでデジタル信号に変換し、音声認識部１０２に出力する。音声認識部１０２は発話スイッチの操作がなされるまでは、前記デジタル信号の平均パワーの演算を継続している。前記発話スイッチが操作された後、前記平均パワーにくらべてデジタル信号の瞬時パワーが所定値以上に大きくなった時、使用者が発話したと判断し、音声信号の取り込みが開始される。
取り込まれた音声信号は、図１における音声認識部１０２において、記憶してある認識対象文と入力されたデジタル化された音声信号とを比較し、尤度を演算する（ステップ３０４）ことにより、複数の候補を設定する。なお本ステップ３０４を実行する間も、並列処理により上記の音声信号取り込みは継続されている。
デジタル化された音声信号の瞬時パワーが所定時間以上所定値以下の状態が継続した時、システム側では使用者の発話が終了したと判断し、音声信号の入力処理を終了する（ステップ３０５）。これにより、図１における音声認識部１０２は複数の認識結果候補文を尤度順にならべた上位Ｎ候補を、尤度データとともに出力する。図６にこの出力結果の例を示す。図６において、ＸＸＸと記されている部分は、各単語に対する算出された尤度を示している。
前記のＮ−Ｂｅｓｔ候補と呼ばれる音響的な尤度で順位付けられた複数の候補からなる認識結果をもとに、単語とクラスの２種類の信頼度について音響的な尤度とＮ−Ｂｅｓｔ候補中の出現頻度から、事後確立に基づく尺度として信頼度が演算される（ステップ３０６）。この演算は図１における信頼度生成部１０３において実行されるもので、演算結果の例を図７に示す。図７において、左側の表は図６で示した音声認識部出力であり、右側の表の単語信頼度は、ある単語が発話された可能性を示し、クラス信頼度はあるクラスの単語が発話された可能性を示す。なお、本演算に関しては前記「従来の技術」の項で述べた「非特許文献２」駒谷他、”音声対話システムにおける音声認識結果の信頼度の利用法”、日本音響学会講演論文集、3-5-2、pp73-74、2000に詳述されている。
【００２４】
以上のようにして発話された単語の信頼度を求めて尤らしい単語の推定が行われるが、本発明においては、システムと使用者との間での対話により単語推定の精度をさらに向上させている。このため、図１におけるクラススコア生成部１０５においてクラススコアが演算されるが（ステップ３０７）、このクラススコア演算に先立ち、使用者の発話タイプの判定が行われる。すなわち、第一の発話タイプは、以前の情報に新しい情報を追加する働きがある発話タイプである。例えば、詳細化および回答の処理がこれに相当する。また第二の発話タイプは、以前の情報を訂正する働きがある。例えば、訂正および再入力の処理がこれに相当する。このいずれの発話タイプであるかの判定は図８に示すように、判定材料の欄に記載されている判定材料の状況に対して発話タイプが判定される。また、これ以外の判定方法も存在する。例えば、地名入力でよく用いられる部分的な言い直し発生をＤＰマッチングによるワードスポッティング法を用いて検出する方法があり、これに関しては、角谷、北岡、中川”カーナビの地名入力における誤認識時の訂正発話の分析と検出、情報処理学会研究報告、音声言語情報処理37-11、2001に詳述されている。
発話タイプが判定された後に、クラススコア生成部１０５においてクラススコアが生成される。クラススコアは、対話中すなわち使用者の複数回の発話中におけるクラスの尤もらしさを示す値である。この場合、以前に理解した情報を残しつつ、新しい情報を付加することで、より適切にスコアを生成することができる。このクラススコアの生成は前記の発話タイプ別に異なる生成式を用いて行われる。したがって、図５におけるステップ３０７は図９に示すように２分割された処理が行われることになる。すなわち図８の判定材料の欄に記載の状況によりステップ３１５で詳細化、回答の発話タイプに該当するか否かを判定し、該当する場合はステップ３１６で処理し、該当しないで訂正、再入力の発話タイプの場合はステップ３１７で処理された後いずれの場合も処理はステップ３０８に移行する。
【００２５】
詳細化、回答の発話タイプにおける場合、すなわち図９におけるステップ３１６の場合のクラススコアは（数５）式で求められる。
Score(c) = Score(c)*weights + Conf(c) （数５）
但し、Scoreはクラススコアであり、（数５）式の左辺が新たに求められたクラススコアであり、（数５）式の右辺が過去の（認識履歴１１２から読み出した）クラススコアに対する処理である。Confは最新の認識結果から得られたクラス信頼度である。weightsは0.0〜1.0の値を採る重みである。cはスコアを生成するクラスである。重みweightsにより一定の割合で更新前のクラススコアを下げているのは、”情報が古くなるごとに信頼性が低下する”という方針を適用しているからである。また、weightsは、実際の発話データを用いて実験的に求めることができる。更新されたクラススコアは認識履歴１１２に書き込まれる。
【００２６】
詳細化・回答発話タイプのクラス生成の様子を図１０に示す。使用者は、過去の発話（旧クラススコア1.00）で「県」「鉄道路線」の発話を行っており、最新の発話（新クラス信頼度欄が0.81）で「駅」を発話している。この場合のクラススコア生成は（数５）式に基づいて行われる。
【００２７】
訂正・再入力の発話タイプの場合、すなわち図９におけるステップ３１７の場合におけるクラススコアは（数６）式で求められる。
Score(ca)=Score(ca)*weightt-Conf(cb)+ Conf(ca) （数６）
但し、Scoreはクラススコアであり、（数６）式の左辺が新たに得られたクラススコアであり、（数６）式の右辺が過去の（認識履歴１１２から読み出した）クラススコアである。Confは最新の認識結果から得られたクラス信頼度である。weighttは0.0〜1.0の値を採る重みである。caはスコアを生成するクラスであり、cbはcaと同じカテゴリーで異なる全てのクラスである。（数５）式と比較し、同カテゴリー、異クラスの信頼度を減算していることである。これによりクラスを間違えた場合にスコアが修正され易くなる。更新されたクラススコアは認識履歴１１２に書き込まれる。
訂正・再入力発話タイプのクラス生成の様子を図１１に示す。使用者は、過去の発話で「県」クラスの発話を行っており、クラススコアの値が不十分でカテゴリーを特定できず、システム応答は「もう一度発話して下さい」を出力している。使用者は次に再度同じ「県」クラスの発話を行い更新後のクラススコアを得ている（例えば、「県」の発話に対しては旧クラススコアと新クラス信頼度の両方の欄にスコアが記載されている）。この場合のクラススコア生成は（数６）式に基づいて行われている。
【００２８】
続いて、カテゴリー理解処理のステップ３０８に移るが、この処理は図１におけるカテゴリー理解部１０６で、過去の（認識履歴から読み出した）クラススコアと最新の認識結果におけるクラス信頼度との両方に対してカテゴリースコアを計算することにより実行される。この処理の様子を図１２に示す。カテゴリースコアは、図１２のａで表示した部分およびＢで表示した部分におけるそれぞれの欄の数字から知れるように、同じカテゴリーに属する全てのクラススコアあるいは信頼度を加算したものである。それぞれのカテゴリースコアは閾値で判定され、ＰＲ（上位）、ＨＲ（中位）、ＬＭ（下位）の３カテゴリーに対して、判定結果の論理和を計算する。そこで得られた結果が、現在までに発話されたカテゴリーの組み合わせを示している。クラススコアが図１２であった場合、それに続くカテゴリー理解の様子を図１３に示す。すなわち、旧および新スコアから各カテゴリーに対して判定を行い、その結果としてカテゴリー理解が得られる。
【００２９】
次に、ステップ３０９の単語スコア生成が行われるが、このステップ３０９は図１における単語スコア生成部１０７で実行され、
１）過去の（認識履歴１１２中に既に存在する）単語、および
２）新たに出現した単語（最新の認識結果中の単語）
の２つに対して、各々別々の方針を用いてスコアを生成する。後者２）の場合の単語は、最新の認識結果のＮ−Ｂｅｓｔ候補に含まれる全単語が対象となる。スコア生成は、図１における言語理解部１０４が最新の認識率を獲得するたびに、１）→２）の順番で実行される。
【００３０】
上記１）の認識履歴中に存在する単語は、単語の新しさ、システムの応答内容とユーザ発話タイプ（詳細化、訂正、回答、再入力）から、既存の単語スコアを上下させて、新しい単語スコアを生成する。これには以下５種類の方針を使用する。
方針１：古い情報は、信頼性が低くなるという仮定のもとに、新しい認識結果が入力されるたびに、認識履歴中に存在する全ての単語のスコアを下げる。
方針２：認識履歴中の単語Ａと認識結果単語Ｂが詳細化の関係にあった場合、単語Ａのスコアを上げる。
方針３：認識履歴中の単語Ａと認識履歴中の単語Ｂが訂正の関係にあった場合、単語Ａのスコアを下げる。
方針４：認識結果に肯定（はい、うん等）が含まれていた場合、応答に含まれていた単語のスコアを上げる。
方針５：認識結果に否定後（いいえ、ちがう等）が含まれていた場合、応答に含まれていた単語のスコアを下げる。
認識履歴中の単語スコアの生成は、下記の（数７）式による。
【００３１】
Score(Wd)=Score(Wd)-p1+p2*Conf(Ws)-p3*Conf(Wt)
+i*(p4*Conf(yes)-p5*Conf(no)-p6*Conf(rej)) （数７）
但し、Scoreは認識履歴中の単語のスコアであり、右辺が更新前、左辺が更新後である。Ｗｄは計算対象となる認識履歴１１２中の単語である。方針１に対応する項としては、ｐ１があり単語のスコアを下げる項である。方針２と方針３に対応する項に関しては、ｐ２、ｐ３は重み付け、Confは最新の認識結果から得られる信頼度であり、Ｗｓは最新の認識結果に含まれ、Ｗｄと詳細化の関係にある全ての単語であり、Ｗｔは最新の認識結果に含まれＷｄとは訂正の関係にある全ての単語である。方針４、方針５に対応する項に関しては、ｉは前回のシステム応答に単語が含まれている場合はｉ＝１となり、含まれていない場合はｉ＝０となる。またｙｅｓは最新の認識結果に含まれる肯定語を示し、ｎｏは今回の認識結果に含まれる否定後を示し、ｒｅｊは今回の認識結果に含まれる文末否定語を示す。
【００３２】
前記２）における最新の認識履歴中の単語であって、認識履歴にまだ登録されていない単語、すなわち新たに出現した単語のスコアの生成は、応答内容とユーザ発話タイプ（詳細化、訂正、回答、再入力）、Ｎ−Ｂｅｓｔの順位、発話長（発話された単語の数）により、音声認識の信頼度を上下させて、単語スコアを生成する。これには以下４種類の方針を使用する。
方針６：認識結果の単語Ａと応答とに含まれる単語Ｂが詳細化の関係にある場合
、単語Ａのスコアを上げる。
方針７：システム応答が質問（例、何インターチェンジですか？）であって、認識結果の内容が回答である場合、認識結果の単語のスコアを上げる。
方針８：認識結果の上位には正解単語が多く含まれているので、上位に含まれる単語のスコアを上げる。
方針９：発話長が長い発話（短い発話）は認識されやすい（認識されにくい）ため、１カテゴリーの結果はその単語のスコアを下げ、２カテゴリー以上の単語はそのスコアを上げる。
【００３３】
最新の認識履歴中の単語であって、認識履歴にまだ登録されていない単語のスコアの生成は、以下の（数８）式による。
【００３４】
Score(Wd)=Conf(Wd)+p6*Score(Ws)+p7*Conf(Wa)
+Conf(Wd)*(p8+p9*len2-p10*len1) （数８）式
但し、Scoreは認識履歴中の単語のスコアであり、Confは最新の認識結果から得られる信頼度である。Ｗｄは計算対象となる認識履歴中の単語である。方針６に対応する項に関しては、ｐ６が重み付けであり、Ｗｓは認識履歴に含まれるＷｄと詳細化の関係を持つ全ての単語である。方針７に対応する項に関しては、ｐ７は重み付け、認識結果が質問に対する回答である場合の認識結果に含まれる単語である。方針８に対応する項としてはｐ８がＮ−Ｂｅｓｔの順位の高さに応じた重み付けである。方針９に対応する項としてはｐ９、ｐ１０が重み付けであり、ｌｅｎ２は認識のカテゴリーが２以上であるときｌｅｎ２＝１になり、ｌｅｎ１は認識のカテゴリーが１であるときｌｅｎ１＝１になる値である。
上記１）で更新された単語のスコア、上記２）で追加された単語、およびそのスコアは統合された認識履歴として、認識履歴１１２に書き込まれる。統合された認識結果の例を実際の県名、鉄道名等を実例として図１４に示す。図中同名が複数存在する場合（厚木、田無等）があるが、これは複数路線に含まれる駅の名称などである。
【００３５】
上記により得られたカテゴリー理解結果、および前記統合された認識履歴とから、妥当な組み合わせとして複数個の候補を生成する。すなわち、上記により得られた情報を基に本装置が理解した内容として、尤らしい候補を複数個生成する（ステップ３１０）。この処理は図１における理解内容生成部１０８において実行される。図１３の結果から、ＰＲ、ＨＲおよびＬＭの３カテゴリーが発話されており、図１４から前記に該当し、実際に存在する組み合わせを抽出し候補とする。各カテゴリーのスコアの和が最大のものを選択する。その結果を図１５に示す。理解結果として、＜ＰＲカテゴリー＝愛知、スコア＝1.47＞、＜ＨＲカテゴリー＝名古屋鉄道、スコア＝1.17＞、＜ＬＭカテゴリー＝豊橋、スコア＝0.62＞が選択されている。
【００３６】
以上、図１における言語理解部１０４の各ステップで処理された結果である理解内容から応答フラグを生成する（ステップ３１１）までの全処理過程を説明した。これにより得られた出力(応答)情報は図１の応答生成部１０９で実行される。この応答フラグの種類を図１６に示す。なお、図１６における各ビット（ａ乃至Ｆの各ビット）が示す内容を図１７に示す。前記理解結果から、カテゴリーに該当する単語が存在する場合、該当するフラグを立てるがこの場合スコアを４段階で評価した値（ビット数）のフラグを立てる。すなわち、スコアが最大から最小までを評価１から評価４とし、フラグは１０００、０１００、００１０、０００１とする。
【００３７】
応答生成部１０９は、上記の応答フラグを利用し、対話における以下の方針に沿った応答を行う。
応答方針１：了承（相槌）
下位カテゴリーがなく、上位カテゴリーまたは中位カテゴリーのスコア評価が評価１の場合、対話をスムーズに進めるための応答を行う。
例 ユーザ発話 …「静岡県」
システム応答…「はい」
応答方針２：復唱
スコア評価が２の場合や、ユーザ発話の文頭に否定後が来た場合は確認の意味も込めて復唱を行う。
例 ユーザ発話 …「静岡県」
システム応答…「静岡県」
応答方針３ 最終確認
下位カテゴリーが発話され、信頼できる（スコア評価が１か２）場合は、最終確認を行う。
例 ユーザ発話 …「浜松インターから乗ります」
システム応答…「浜松インターを設定してよろしいですか」
応答方針４：目的地設定
前応答に下位カテゴリーがあり、肯定発話が信頼できる（スコア評価が１か２）場合は、目的地に設定する。
例 システム応答…「浜松インターを設定してよろしいですか」
ユーザ発話 …「はい」
システム応答…「目的地に設定しました」
応答方針５：分からない情報のみ尋ねる
ユーザに対して分からない情報のみを尋ねる。
例 ユーザ発話…「静岡県の東名自動車道です」 （下線部のスコア評価が低い時）
システム応答…「静岡県の何自動車道ですか？」
応答方針６：自信のない情報は応答しない
上位カテゴリー（ＰＲ）と中位カテゴリー（ＨＲ）の組み合わせで、どちらか一方だけ信頼できない（スコア評価が４）場合、スコアの高いものだけ応答することで対話を進める。
例 ユーザ発話…「静岡県の東名自動車道」（下線部のスコア評価が低いとき）
システム応答…「東名自動車道の」
応答方針７ 別情報の付加情報が少なく、スコア評価が悪いときに、上のカテゴリーも聞くことによって認識率の向上を図る。
例 ユーザ発話…「浜松インターから乗る」（下線部のスコア評価が低いとき）
システム応答…「何県のインターですが」
応答方針８：次の発話を促す
上位カテゴリーにつづいて肯定発話がきて、信頼できる場合（スコア評価が１か２の場合）次の発話を促す。
例 システム応答…「東名自動車道」
ユーザ発話 …「はい」
システム応答…「東名自動車道のどこですか」
応答方針９：別の候補を返す
否定発話が信頼できる場合（スコア評価が１か２の場合）前回の応答に用いていない別候補を返す。
例 システム応答…「浜松インターを設定しますか」
ユーザ発話 …「いいえ」
システム応答…「浜松西インターを設定しますか」
応答方針１０：前応答の繰り返し
肯定発話や否定発話が信頼できない場合（スコア評価が４の場合）
例 システム応答…「浜松インターを設定してよろしいですか」
ユーザ発話 …「はい」 （下線部のスコア評価が低いとき）
システム応答…「浜松インターを設定してよろしいですか」
応答方針１１：聞き返し
全ての情報に対して信頼できない場合（スコア評価が４の場合）
例 ユーザ発話 …「静岡県」 （下線部のスコア評価が低いとき）
システム応答…「もう一度発話してください」
応答生成部１０９は、上記の対話方針を実施するために、前記の応答フラグを、図１６のフラグテーブルと照らし合わせ、フラグが最初に一致した応答パターンで応答を返す。
応答生成部１０９が前記理解結果から生成した応答フラグは
"1 111000 1000 1000 0100 0000 0000 0000 0"
であり、図１６のフラグテーブルとの参照の結果、図示しないが応答パターン
“ＰＲカテゴリー単語”、“ＰＲカテゴリークラス”の
“ＨＲカテゴリー単語”、“ＨＲカテゴリークラス”の
“ＬＭカテゴリー単語”、“ＬＭカテゴリークラス”を設定してよろしいですか。が選択され、その結果、
「愛知県の名古屋鉄道の豊橋駅を設定してよろしいですか」が応答文として生成される。
【００３８】
以上のようにして生成された応答はステップ３１２で実行されるもので、図１における音声合成部１１０を経由して音声信号として出力され、またＧＵＩ表示部１１１を経由してディスプレイ上に表示される。
この段階で、入力処理が全て完了したか否かの確認が行われる（ステップ３１３）。すなわち、下位カテゴリー（ＬＭ）の単語が確定している場合は（ステップ３１３でｙｅｓの場合）、ステップ３１４に移行し全ての入力処理を終了する。もし、下位カテゴリー（ＬＭ）の単語が確定していない場合（ステップ３１３でｎｏの場合）は処理を継続する。本例では、「愛知県の名古屋鉄道の豊橋駅を設定してよろしいですか」が応答されている段階であり、次に使用者が「はい」を発話することで、「目的地に設定しました」の応答を行ったのち処理を終了する。
【図面の簡単な説明】
【図１】本発明による対話理解装置の基本構成ブロック図。
【図２】発話された単語の階層構造的分類法を示す構成図。
【図３】認識対象語と発話タイプとの関係を示す対応図。
【図４】システム／使用者間での対話の例を示す発話・応答図。
【図５】システムの動作を示すフロー図。
【図６】音声認識部の出力としての認識結果候補文と尤度との関係を示す対象図。
【図７】認識結果候補文と尤度との関係から信頼度を求める対象図。
【図８】発話タイプと発話タイプ判定材料との対象図。
【図９】発話タイプによる処理の使い分けを示すフロー図。
【図１０】詳細化・回答発話タイプにおける更新後のクラススコア生成過程を示す旧クラススコアとの対象図。
【図１１】訂正・再入力発話タイプにおける更新後のクラススコア生成過程を示す旧クラススコアとの対象図。
【図１２】クラススコア演算手順を示す新旧スコア比較図。
【図１３】カテゴリー理解処理における新旧スコア演算過程を示す対象図。
【図１４】統合された認識結果の実例を示すスコア対象図。
【図１５】言語理解最終スコアの項目別比較図。
【図１６】応答フラグと応答パターン対象図。
【図１７】応答フラグとその内容対象図。
【符号の説明】
１０１：音声入力部 １０２：音声認識部
１０３：信頼度生成部 １０４：言語理解部
１０５：クラススコア生成部 １０６：カテゴリ理解部
１０７：単語スコア生成部 １０８：理解内容生成部
１０９：応答生成部 １１０：音声合成部
１１１：ＧＵＩ表示部
Claims (7)
- 対話に含まれる発話をその発話が包括する広さの順に階層的に複数のカテゴリーおよび該カテゴリーを細分化して構成されるクラスに分類し、どのクラスの単語が発話されたかその確からしさを与えるクラススコアと、発話に含まれる単語とから対話内容を理解し、
発話内容にさらに詳細な情報を追加する詳細化・回答の対話を行い、かつ該詳細化・回答の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記憶されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算してクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行うことを特徴とする対話理解装置。 - マイクロホンと音声増幅器とで構成された音声入力手段と、
該音声入力手段の出力をデジタル化して音声認識を行う音声認識手段と
該音声認識手段で認識された結果の信頼度を算出する信頼度生成手段と、
前記音声認識手段と前記信頼度生成手段とにより得られた結果を用いて予め設定された前記複数のカテゴリー及び該カテゴリーを細分化した前記クラスからなる階層構造に分類し、前記クラスに分類された発話の確からしさを求めるクラススコア生成部と、これにより得られた結果から前記各カテゴリーを求めるカテゴリー理解部と、認識された単語の確からしさを求める単語スコア生成部と、上記各処理部で処理された結果として理解内容を生成する理解内容生成部とからなる言語理解手段と、
前記言語理解手段における処理を実行するために使用される過去の認識履歴を記憶する記憶手段と、
前記言語理解手段から得られた結果から応答情報を作成する応答生成手段と、
前記応答情報を出力するための出力手段と、を有する請求項１に記載の対話理解装置であって、
前記詳細化・回答の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記憶されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算してクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行うことを特徴とする対話理解装置。 - 請求項１または請求項２に記載の対話理解装置において、前記記憶されている過去のクラススコアの更新を次式により実行することを特徴とする対話理解装置。
Score(c)=Score(c)*weights+Conf(c)
ただし、Score：過去のクラススコア
Conf：最新の認識結果に対するクラス信頼度
weight s ：重み（0.0＜ weights＜1.0）
ｃ：スコアを生成するクラス - 対話に含まれる発話をその発話が包括する広さの順に階層的に複数のカテゴリーおよび該カテゴリーを細分化して構成されるクラスに分類し、どのクラスの単語が発話されたかその確からしさを与えるクラススコアと、発話に含まれる単語とから対話内容を理解し、
システムから誤った応答があり、それを訂正する処理、すなわち、訂正・再入力を行い、かつ該訂正・再入力の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記憶されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算し、同一カテゴリーで、かつ異なるクラスの信頼度全てを減算することにより得られるスコアでクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行うことを特徴とする対話理解装置。 - マイクロホンと音声増幅器とで構成された音声入力手段と、
該音声入力手段の出力をデジタル化して音声認識を行う音声認識手段と
該音声認識手段で認識された結果の信頼度を算出する信頼度生成手段と、
前記音声認識手段と前記信頼度生成手段とにより得られた結果を用いて予め設定された前記複数のカテゴリー及び該カテゴリーを細分化した前記クラスからなる階層構造に分類し、前記クラスに分類された発話の確からしさを求めるクラススコア生成部と、これにより得られた結果から前記各カテゴリーを求めるカテゴリー理解部と、認識された単語の確からしさを求める単語スコア生成部と、上記各処理部で処理された結果として理解内容を生成する理解内容生成部とからなる言語理解手段と、
前記言語理解手段における処理を実行するために使用される過去の認識履歴を記憶する記憶手段と、
前記言語理解手段から得られた結果から応答情報を作成する応答生成手段と、
前記応答情報を出力するための出力手段と、を有する請求項１または請求項４に記載の対話理解装置であって、
前記訂正・再入力の発話タイプに対して、前記クラススコアを新たに生成する際に、使用者の過去の発話に基づいて演算され認識履歴として記録されている過去のクラススコアを読み出し、前記過去のクラススコアが小さくなるように重み付けを付加した値に、最新の認識結果による新たな信頼度を加算し、同一カテゴリーで、かつ異なるクラスの信頼度全てを減算することにより得られるスコアでクラススコアを更新し、該更新した新しいクラススコアを用いて順次クラススコアの認識履歴の更新を行うことを特徴とする対話理解装置。 - 請求項４または請求項５記載の対話理解装置において、前記記憶されている過去の認識履歴の更新を次式により実行することを特徴とする対話理解装置。
Score(ca)=Score(ca)*weightt-Conf(cb)+Conf(ca)
ただし、 Score：認識履歴のクラススコア
Conf：最新認識結果のクラス信頗度
Weightt：重み（0.0＜weightt＜1.0）
Ca ：スコアを生成するクラス
Cb ：caと同じカテゴリーで異なるクラス - 請求項１および請求項４に記載の構成を有する対話理解装置において、
入力信号の尤度計算、信頼度計算を行いながら音声取り込み処理を行い、
該取り込まれた音声の発話タイプが「詳細化・回答」か「訂正・再入力」かの判別を行い、
該判別結果により請求項３に記載の演算式、または請求項６に記載の演算式の何れを用いるか決定してクラススコアの生成を行い、該生成されたクラススコアにより前記記憶媒体に記憶されている過去の認識履歴の更新を行うことを特徴とする対話理解装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003040053A JP4293340B2 (ja) | 2003-02-18 | 2003-02-18 | 対話理解装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003040053A JP4293340B2 (ja) | 2003-02-18 | 2003-02-18 | 対話理解装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004251998A JP2004251998A (ja) | 2004-09-09 |
| JP4293340B2 true JP4293340B2 (ja) | 2009-07-08 |
Family
ID=33024054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003040053A Expired - Fee Related JP4293340B2 (ja) | 2003-02-18 | 2003-02-18 | 対話理解装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4293340B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4610249B2 (ja) * | 2004-07-12 | 2011-01-12 | 日産自動車株式会社 | 対話理解装置 |
| JP4661239B2 (ja) * | 2005-01-31 | 2011-03-30 | 日産自動車株式会社 | 音声対話装置及び音声対話方法 |
| JP4728905B2 (ja) * | 2006-08-02 | 2011-07-20 | クラリオン株式会社 | 音声対話装置および音声対話プログラム |
| JP4822993B2 (ja) * | 2006-09-11 | 2011-11-24 | アルパイン株式会社 | 地点探索装置及びナビゲーション装置 |
| US8244522B2 (en) * | 2007-05-22 | 2012-08-14 | Honda Motor Co., Ltd. | Language understanding device |
| JP6073498B2 (ja) * | 2013-11-25 | 2017-02-01 | 三菱電機株式会社 | 対話制御装置及び対話制御方法 |
| KR102420280B1 (ko) * | 2017-10-30 | 2022-07-13 | 엘지전자 주식회사 | 이동 단말기 |
| CN110427461B (zh) * | 2019-08-06 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 智能问答信息处理方法、电子设备及计算机可读存储介质 |
| KR20220020723A (ko) | 2020-08-12 | 2022-02-21 | 삼성전자주식회사 | 사용자의 음성 입력을 인식하는 디바이스 및 그 동작 방법 |
-
2003
- 2003-02-18 JP JP2003040053A patent/JP4293340B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004251998A (ja) | 2004-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11455995B2 (en) | User recognition for speech processing systems | |
| KR101183344B1 (ko) | 사용자 정정들을 이용한 자동 음성 인식 학습 | |
| US9542931B2 (en) | Leveraging interaction context to improve recognition confidence scores | |
| JP5633042B2 (ja) | 音声認識装置、音声認識方法、及び音声認識ロボット | |
| US7013276B2 (en) | Method of assessing degree of acoustic confusability, and system therefor | |
| JP5377430B2 (ja) | 質問応答データベース拡張装置および質問応答データベース拡張方法 | |
| US20080154591A1 (en) | Audio Recognition System For Generating Response Audio by Using Audio Data Extracted | |
| US20100324897A1 (en) | Audio recognition device and audio recognition method | |
| JP4950024B2 (ja) | 会話システムおよび会話ソフトウェア | |
| JP4293340B2 (ja) | 対話理解装置 | |
| JP5034323B2 (ja) | 音声対話装置 | |
| JP4661239B2 (ja) | 音声対話装置及び音声対話方法 | |
| JP2004325635A (ja) | 音声処理装置、音声処理方法、音声処理プログラム、および、プログラム記録媒体 | |
| JP3876703B2 (ja) | 音声認識のための話者学習装置及び方法 | |
| Hirschberg et al. | Generalizing prosodic prediction of speech recognition errors | |
| JP2000194392A (ja) | 騒音適応型音声認識装置及び騒音適応型音声認識プログラムを記録した記録媒体 | |
| JP2018031985A (ja) | 音声認識補完システム | |
| JP4610249B2 (ja) | 対話理解装置 | |
| JP4408665B2 (ja) | 音声認識用発話データ収集装置、音声認識用発話データ収集方法、及びコンピュータプログラム | |
| JP4604424B2 (ja) | 音声認識装置及び方法、並びにプログラム | |
| JP2001013988A (ja) | 音声認識方法及び装置 | |
| JP3841342B2 (ja) | 音声認識装置および音声認識プログラム | |
| Kitaoka et al. | Detection and recognition of correction utterances on misrecognition of spoken dialog system | |
| JP3357752B2 (ja) | パターンマッチング装置 | |
| JPH0792987A (ja) | 質問文内容構成方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090331 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090401 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |