JP5325176B2 - ２チャネル音声の音声認識方法とその装置とプログラム - Google Patents

Description

この発明は、例えばコールセンター等で行われる顧客側の音声とオペレータ側の音声とから成る２チャネルの音声を、音声認識する音声認識方法とその装置と、プログラムに関する。

従来、顧客側の音声（以降、送話側音声）とオペレータ側の音声（以降、受話側音声）の２チャネルの音声を音声認識する場合、それぞれのチャネルを別々に音声認識していた。そして、それぞれの音声認識結果に、音声認識結果の確からしさを表す認識信頼度を付与していた。

その認識信頼度を算出するための従来技術として、例えば特許文献１に、音声認識処理の探索結果の上位Ｎ位までのＮベスト候補のスコア１位の単語w₁の認識信頼度を、単語w₁のスコアとスコア２位以下でw₁と異なる単語w₂とのスコア差を単語w₁の継続時間長で正規化した値とする考えが示されている。

また、認識信頼度を算出するための別の方法として、音声認識結果中の各単語間の関連の強さを計測して周囲の単語と関連の強い単語に、高い認識信頼度を付与し、関連の弱い単語に低い認識信頼度を付与する方法がある（非特許文献１）。この方法は、単語w及び単語wの直前k個の単語と直後の１単語とのn個の単語集合N(w)を音声認識結果から取得する。そして、その単語集合N(w)に含まれる全ての２単語の組み合わせ（w_i,w_j）に対して、事前に学習コーパス上で算出した相互情報量MI（w_i,w_j）を用いて単語間の関連の強さS（w_i,w_j）を計算する。また、単語集合N(w)中の全ての単語tについての関連の強さS（t,w_i）の平均値を文脈一貫性尺度SC(t)として計算する。

特開２００５−１４８３４２号公報

D. Inkpen, A. Desilets, "Semantic Similarity for Detecting Recognition Errors in Automatic Speech Transcripts,"Proceedings of HLT/EMNLP, pp.49-56, October 2005.

一般的に送話側の音声は、様々な音響的環境で送話されるので、音声品質のバラツキが大きい。逆に、受話側の音声は比較的静かなオフィスにおける会話であるので音声品質が良好である。このように、音声品質に差のある音声をそれぞれ別々に音声認識して認識信頼度を付与すると、送話側の音声の認識信頼度を実際の信頼度よりも悪く評価してしまう場合がある。

この発明は、このような課題に鑑みてなされたものであり、送話側の音声認識信頼度を適切に付与することが出来る２チャネル音声の音声認識方法と、その装置とプログラムを提供することを目的とする。

この発明の２チャネル音声の音声認識方法は、音声認識過程と、認識信頼度計算過程と、を含む。音声認識過程は、送話側音声と受話側音声を入力としてそれぞれの音声を音声認識処理した単語毎に単語認識信頼度を付与した送話側音声認識結果と受話側音声認識結果を出力する。認識信頼度計算過程は、送話側音声認識結果と受話側音声認識結果を入力として音声認識結果の全ての単語間の組み合わせの２単語間の関連度を示す単語関連度テーブルを参照してそれぞれの音声認識結果のチャネル内文脈一貫性尺度と、送話側音声認識結果と受話側音声認識結果との間のチャネル間文脈一貫性尺度とを求め、送話側チャネル内文脈一貫性尺度とチャネル間文脈一貫性尺度の重み付き和を送話側認識信頼度として計算して出力する。

例えばコールセンター等で交わされる応対音声においては、送話側音声と受話側音声に共通する単語や、関連する単語が含まれる場合が多い。送話側音声と受話側音声との間の単語共起に着目したこの発明のチャネル間文脈一貫性尺度は、二つの音声の間の関連性が強い場合に大きな値を示すものである。よって、そのチャネル間文脈一貫性尺度と送話側チャネル内文脈一貫性尺度の重み付け和を送話側認識信頼度として計算するこの発明の２チャネル音声の音声認識方法は、送話側の認識信頼度を適切に付与することができる。

この発明の音声認識装置１００の機能構成例を示す図。 音声認識装置１００の動作フローを示す図。 Ｎベスト候補と単語認識信頼度について説明する図。 単語関連度テーブル作成装置１５０の機能構成例を示す図。 単語集合を概念的に示す図。 単語関連度テーブルの一例を示す図。 認識信頼度計算部３０の機能構成例を示す図。 この発明の音声認識装置２００の機能構成例を示す図。 重み計算部８０の機能構成例を示す図。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

図１に、この発明の音声認識装置１００の機能構成例を示す。その動作フローを図２に示す。音声認識装置１００は、音声認識部２０と、認識信頼度計算部３０と、単語関連度テーブル４０と、を具備する。音声認識装置１００の各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

音声認識部２０は、例えばコールセンター等で顧客とオペレータとの間で交わされる送話側音声と受話側音声とからなる応対音声を、音声認識処理した単語毎に単語認識信頼度を付与した送話側音声認識結果と受話側音声認識結果を出力する（ステップＳ２０）。音声認識部２０は、図示しない内部の音響分析部によって、送話側音声と受話側音声を、数十msecのフレームと呼ばれる単位でＬＰＣケプストラム、ＭＦＣＣ、その他の音響特徴パラメータ系列に分析する。そして、辞書と言語モデルを用いて入力音声に対する認識結果候補の探索を、音響特徴パラメータ系列について行う。探索の結果、上位Ｎ位までのＮベスト候補が、単語認識信頼度と共に音声認識結果として出力される。なお、応対音声が送話側音声と受話側音声とが一体化したものである場合は、その応対音声を送話側音声と受話側音声の２チャネルに分割する音声チャネル分割部１０を設ける。

ここで、図３を参照してＮベスト候補と単語認識信頼度について説明する。なお、Ｎベスト候補と単語認識信頼度については従来技術である。単語認識信頼度については、例えば特許文献１に記載されている。

図３の横軸は、経過時間でありフレームで表す。縦軸は、フレーム単位で探索された単語列候補を、スコアの高い順番に並べたＮベスト候補である。スコアとは探索時の尤度のことである。

単語認識信頼度は、フレームt_*において単語w_**(*は任意の整数)と異なる単語がＮベスト候補中に存在する場合、単語w_**のフレームt_*におけるスコアと対立候補単語のフレームt_*における次の順位のスコアとの間のスコア差によって与えられる。図３に示す例では、フレームt₁〜t₄の音響特徴パラメータ系列で探索された第１位候補の単語w₁₁（11は第１候補の１番目の単語であることを表す）の単語認識信頼度は、対向する単語が第３位候補の単語w₃₁と第２位候補の単語w₂₁であるので、それぞれのスコア差（●）の合計をフレーム数で除した値が単語認識信頼度となる。対立候補が存在しない単語w₁₃については、予め決められた固定値（○）が用いられて単語認識信頼度となる。この単語認識信頼度が候補毎に累積されて単語列の認識信頼度となる。

認識信頼度計算部３０は、送話側音声認識結果と受話側音声認識結果を入力として音声認識結果の全ての単語間の組み合わせの２単語間の関連度を示す単語関連度テーブル４０を参照して送話側音声認識結果と受話側音声認識結果のチャネル内文脈一貫性尺度と、送話側音声認識結果と受話側音声認識結果との間のチャネル間文脈一貫性尺度とを求め、送話側チャネル内文脈一貫性尺度とチャネル間文脈一貫性尺度の重み付き和を送話側認識信頼度として計算して出力する（ステップＳ３０）。

応対音声は、顧客とオペレータとの対話であるため、顧客の発話はオペレータの発話内容と関連することが多い。よって、顧客側の音声認識結果に、オペレータ側の音声認識結果と関連する単語が含まれるとき、その認識結果は正しいと考えて良い。この発明の２チャネル音声の音声認識方法は、２つの発話の関連性が強い場合に見られる単語共起の関係を利用するもので送話側認識信頼度の精度を高める効果を奏する。

ここで、単語関連度テーブルを作成する単語関連度テーブル作成装置１５０を説明する。
〔単語関連度テーブル作成装置〕
図４に単語関連度テーブル作成装置１５０の機能構成例を示す。単語関連度テーブル作成装置１５０は、学習コーパス１５１と、形態素解析部１５２と、学習コーパス単語集合取得部１５３と、単語リスト１５４と、単語カウント部１５５と、単語関連度計算部１５６と、テーブル配列部１５７と、を具備する。

学習コーパス１５１は音声文書を大規模に集積したものである。形態素解析部１５２は、学習コーパス１５１から音声文書を読み出して単語に分割する周知の形態素解析処理を行い、各単語の前後に単語境界を表す記号、例えば「\ｎ」を付与した単語境界付き学習コーパスを出力する。形態素解析処理は周知であり、例えば参考文献「特許第３３７９６４３号」に記載されている。

学習コーパス単語集合取得部１５３は、形態素解析部１５２が出力する単語境界付き学習コーパスの先頭から末尾まで、窓幅n単語、窓シフト量m単語で窓かけを行い、各窓に含まれる単語リスト１５４に記載された単語をまとめて単語集合とし、窓ごとの単語集合を出力する。単語リスト１５４は、音声認識結果に出現し得る全ての単語が記載されたものであり、事前に作成しておく。図５に、単語集合を概念的に示す。横方向は時間経過であり、単語集合をN₁〜N_ｈで示す。mは窓シフト量であり、nは窓幅である。隣り合う単語集合は、n-m個の単語を共有する関係にある。

単語カウント部１５５は、学習コーパス単語集合取得部１５３が出力する単語集合を入力として、単語集合内の各単語の単独生起回数C(w)、各単語ペアの生起回数C（w_i,w_j）、単語集合の総数をカウントして出力する。単語wの生起回数C(w)とは、単語wを含む単語集合の個数である。単語ペア（w_i,w_j）の生起回数C（w_i,w_j）とは、w_iとw_jを共に含む単語集合の個数である。

単語関連度計算部８６は、各単語ペア（w_i,w_j）の関連度S（w_i,w_j）を例えば式（１）で計算する。

Nは単語集合の総数、C(w)は単語wの単独生起回数、C（w_i,w_j）は単語w_iとw_jの共起回数である。関連度Ｓ（w_i,w_j）の値が大きいと、それらの単語同士の関連性が高いことを意味する。関連度S（w_i,w_j）には、式（１）の他に、例えばJaccard係数（式（２））を用いても良い。

また、Dice係数（式３）やSimpson係数（式４）を用いることもできる。

テーブル配列部１５７は、単語w_iとw_jから計算した関連度S（w_i,w_j）を参照できるテーブルの形式に配列する。図６に単語関連度テーブル４０の一例を示す。最上列と最左列は単語w₁〜w_Nであり、各行と各列の交差する欄にそれぞれの単語の関連度S（w_i,w_j）が配列される。

図７に、認識信頼度計算部３０のより具体的な機能構成例を示して更に詳しく説明する。認識信頼度計算部３０は、受話認識結果単語集合取得手段３１と、送話認識結果単語集合取得手段３２と、チャネル内文脈一貫性尺度計算手段３３と、チャネル間文脈一貫性尺度計算手段３４と、受話側文脈一貫性統合手段３５と、送話側文脈一貫性統合手段３６と、単語リスト１５４と、を備える。

受話認識結果単語集合取得手段３１は、単語関連度テーブル作成装置１５０の学習コーパス単語集合取得手段１５３と同じように、受話側音声認識結果の先頭から末尾まで、窓幅n単語、窓シフト量m単語で窓かけを行い、各窓に含まれる単語リスト１５４に記載された単語をまとめて単語集合とし、窓ごとに時間情報付き単語集合を出力する。単語リスト１５４は単語関連度テーブル作成装置１５０と同じものである。送話側認識結果単語集合取得手段３２も、送話側音声認識結果を入力として窓ごとに時間情報付き単語集合を出力する。

チャネル内文脈一貫性尺度計算手段３３は、送話側と受話側の時間情報付き単語集合NU_i，NO_iを入力として、各単語集合それぞれの文脈一貫性尺度をチャネル内文脈一貫性尺度として計算する。チャネル内文脈一貫性尺度は、単語集合に含まれる全ての単語ペア（w_i，w_j）に対して（但し、w_i≠w_j）単語関連度テーブル４０を参照して求めた関連度S（w_i，w_j）の平均値である。

チャネル内文脈一貫性尺度計算手段３３は、上記した計算を送話側と受話側の時間情報付き単語集合NU_i，NO_iのそれぞれについて行い、送話側のチャネル内文脈一貫性尺度SC_in(NU_i)と受話側のチャネル内文脈一貫性尺度SC_in(NO_i)を計算する。単語集合単位の関連性の強さを表すチャネル内文脈一貫性尺度SC_in(NU_i)，SC_in(NO_i)は、送話側及び受話側の発話単位での文脈の一貫性を表す指標である。

チャネル間文脈一貫性尺度計算手段３４は、送話側と受話側の時間情報付き単語集合NU_i，NO_iを入力として、チャネル間文脈一貫性尺度SC_inter(NU_i）を計算する。チャネル間文脈一貫性尺度SC_inter(NU_i）は次の手順で計算する。

先ず、送話側単語集合NU_iに付与された時刻TU_iの直前の時刻が付与された受話側単語集合NO_iを取得する。時刻TU_iの直前の時刻の受話側単語集合NO_iが無い場合は、最も早い時刻が付与された受話側単語集合とする。

次に、時刻TU_iの直前の時刻の受話側単語集合NO_iに含まれる単語と、着目している送話側単語集合に含まれる単語との組み合わせの関連度の平均値を、チャネル間文脈一貫性尺度SC_inter(NU_i）として計算する。チャネル間文脈一貫性尺度SC_inter(NU_i）は、送話側の単語集合毎に、その直前の受話側の単語集合との間の単語間の関連性の強さを表し、送話側と発話側との間の発話の関連性の強さを表す指標である。

送話側文脈一貫性統合手段３６は、チャネル内文脈一貫性尺度計算手段３３が出力する送話側のチャネル内文脈一貫性尺度SC_in(NU_i)と、チャネル間文脈一貫性尺度計算手段３４が出力するチャネル間文脈一貫性尺度SC_inter(NU_i）を入力として送話側認識信頼度CUを式（５）で計算して出力する。

hは単語集合の個数、αは重みである。重みαは、例えば、実際の応対音声と人手で作成した書き起こしテキストをペアにした開発セットに基づいて求めた送話側認識信頼度と受話側認識信頼度とを重み付け加算した認識信頼度と、音声認識精度との相関係数の値が最も高くなる様に事前に設定される任意の値（０＜α＜１）である。通常、受話側の音声認識精度の方が高いので、重みαは大きな値にした方が良い。その方が、より正確に送話側の認識信頼度を評価することになると考えられる。

このように、送話側文脈一貫性統合手段３６は、送話側音声認識結果の単語集合単位の関連性の強さと、送話側音声認識結果の単語集合とその直前の受話側音声認識結果の単語集合との関連性の強さとの重み付け和を、送話側音声認識結果の単語集合の数で平均した送話側認識信頼度として計算する。送話側認識信頼度CUは、送話側発話と受話側発話との間の関連性が強い場合に大きな値となる。

受話側文脈一貫性統合手段３５は、チャネル内文脈一貫性尺度計算手段３３が出力する受話側のチャネル内文脈一貫性尺度SC_in(NO_i)を、単語集合NO_iの数で平均した受話側認識信頼度COを計算（式（６））して出力する。

また、重みαは単語認識信頼度から計算で求めても良い。

図８に、重みαを単語認識信頼度から求める重み計算部８０を備えた音声認識装置２００の機能構成例を示す。音声認識装置２００は、音声認識装置１００に対して重み計算部８０を備える点のみが異なる。重み計算部８０は、音声認識部２０が出力する送話側音声認識結果と受話側音声認識結果を入力として重みαを計算して認識信頼度計算部３０の送話側文脈一貫性統合手段３６に重みαを与えるものである。

図９に重み計算部８０の機能構成例を示す。重み計算部８０は、受話側認識スコア算出手段８１と、送話側認識スコア算出手段８２と、シグモイド関数演算手段８３と、を備える。受話側認識スコア算出手段８１は、音声認識部２０が出力する受話側音声認識結果を入力として、音声認識結果の各単語に付与された単語認識信頼度の総和を、各単語の継続時間長の総和で除した受話側音声認識スコアPOを出力する。

送話側認識スコア算出手段８２は、音声認識部２０が出力する送話側音声認識結果の各単語に付与された単語認識信頼度の総和を、各単語の継続時間長の総和で除した受話側音声認識スコアPUを出力する。シグモイド関数演算手段８３は、受話側音声認識スコアPOと受話側音声認識スコアPUを入力として式（７）で重みαを計算する。

ｇは重みαのゲイン定数、ｄはシフト定数であり、予め設定される値であり、例えばシフト定数ｄは0＜50000の範囲、ゲイン定数は1000〜5000の範囲に設定される。

重み計算部８０は、送話側チャネルに比べて受話側チャネルの音声認識精度が高いほど、受話側音声認識スコアPOと受話側音声認識スコアPUの差が大きくなることを利用し、認識スコアの差をシグモイド関数によって０〜１の範囲の値に変換した値を重みαとして出力する。

上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (6)

1. 送話側音声と受話側音声を入力としてそれぞれの音声を音声認識処理した単語毎に単語認識信頼度を付与した送話側音声認識結果と受話側音声認識結果を出力する音声認識過程と、
   上記送話側音声認識結果と受話側音声認識結果を入力として音声認識結果の全ての単語間の組み合わせの２単語間の関連度を示す単語関連度テーブルを参照して上記それぞれの音声認識結果のチャネル内文脈一貫性尺度と、上記送話側音声認識結果と上記受話側音声認識結果との間のチャネル間文脈一貫性尺度とを求め、送話側チャネル内文脈一貫性尺度と上記チャネル間文脈一貫性尺度の重み付き和を送話側認識信頼度として計算して出力する認識信頼度計算過程と、
   を含む２チャネル音声の音声認識方法。
2. 請求項１に記載した音声認識方法において、
   上記認識信頼度計算過程は、
   更に、受話側チャネル内文脈一貫性尺度の平均値を受話側認識信頼度として計算して出力する過程であることを特徴とする２チャネル音声の音声認識方法。
3. 請求項２に記載した２チャネル音声の音声認識方法において、
   上記重み付き和の重みは、上記送話側音声認識結果と上記受話側音声認識結果の各単語に付与された単語認識信頼度の総和を、各単語の継続時間長の総和で除した受話側音声認識スコアと送話側音声認識スコアの差をゲインとするシグモイド関数で求められた値であることを特徴とする２チャネル音声の音声認識方法。
4. 送話側音声と受話側音声を入力としてそれぞれの音声を音声認識処理した単語毎に単語認識信頼度を付与した送話側音声認識結果と受話側音声認識結果を出力する音声認識部と、
   上記送話側音声認識結果と受話側音声認識結果を入力として音声認識結果の全ての単語間の組み合わせの２単語間の関連度を示す単語関連度テーブルを参照して上記それぞれの音声認識結果のチャネル内文脈一貫性尺度と、上記送話側音声認識結果と上記受話側音声認識結果との間のチャネル間文脈一貫性尺度とを求め、送話側チャネル内文脈一貫性尺度と上記チャネル間文脈一貫性尺度の重み付き和を送話側認識信頼度として計算して出力する認識信頼度計算部と、
   を具備する２チャネル音声の音声認識装置。
5. 請求項４に記載した音声認識装置において、
   上記認識信頼度計算部は、
   更に、受話側チャネル内文脈一貫性尺度の平均値を受話側認識信頼度として計算して出力するものであることを特徴とする２チャネル音声の音声認識装置。
6. 請求項１乃至３の何れかに記載した２チャネル音声の音声認識方法を、コンピュータに実行させるための２チャネル音声の音声認識方法プログラム。

Images