JPH0782357B2 - 適応的探索方法 - Google Patents
適応的探索方法Info
- Publication number
- JPH0782357B2 JPH0782357B2 JP5069746A JP6974693A JPH0782357B2 JP H0782357 B2 JPH0782357 B2 JP H0782357B2 JP 5069746 A JP5069746 A JP 5069746A JP 6974693 A JP6974693 A JP 6974693A JP H0782357 B2 JPH0782357 B2 JP H0782357B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- depth
- search tree
- score
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【0001】
【産業上の利用分野】この発明は適応的探索方法に関
し、さらに詳しくは、音声認識、自然言語理解、情報検
索などの分野において、多数存在する候補の中から正解
候補を絞る探索方法に関する。
し、さらに詳しくは、音声認識、自然言語理解、情報検
索などの分野において、多数存在する候補の中から正解
候補を絞る探索方法に関する。
【0002】
【従来の技術】従来より、問題の状態空間が木で表現さ
れる場合の探索には以下のような手法が提案されてい
る。
れる場合の探索には以下のような手法が提案されてい
る。
【0003】[縦型探索] 深さ優先探索とも呼ばれ、探索木の深い節点を先に調べ
る。縦型探索は解への道が多くあり、その道が長い場合
に特に有効である。
る。縦型探索は解への道が多くあり、その道が長い場合
に特に有効である。
【0004】[横型探索] 幅優先探索とも呼ばれ、探索木の浅い節点を先に調べ
る。一般に、目標とする解の節点が探索木の深いところ
にあれば前述した縦型探索が適しているが、浅いところ
にあればこの横型探索が適している。
る。一般に、目標とする解の節点が探索木の深いところ
にあれば前述した縦型探索が適しているが、浅いところ
にあればこの横型探索が適している。
【0005】これらの探索手法は、木の深さと、1つの
節点から出ている技の数の平均(有効枝別れ数)とがあ
る程度以上になると、いずれの方法でも探索しなければ
ならない木の節点の数は非常に大きくなる。このため、
極めて簡単な問題を除いて、時間または記憶空間の限界
をはみ出してしまうのが通常である。これを探索におけ
る組合せ的爆発といい、これらの手法は盲目的探索と呼
ばれる。
節点から出ている技の数の平均(有効枝別れ数)とがあ
る程度以上になると、いずれの方法でも探索しなければ
ならない木の節点の数は非常に大きくなる。このため、
極めて簡単な問題を除いて、時間または記憶空間の限界
をはみ出してしまうのが通常である。これを探索におけ
る組合せ的爆発といい、これらの手法は盲目的探索と呼
ばれる。
【0006】そこで、この組合せ的爆発を回避するた
め、特別な問題領域固有の情報を利用した探索が用いら
れることが多い。このような探索はヒューリスティック
探索と呼ばれる。以下、ヒューリスティック探索を例示
する。
め、特別な問題領域固有の情報を利用した探索が用いら
れることが多い。このような探索はヒューリスティック
探索と呼ばれる。以下、ヒューリスティック探索を例示
する。
【0007】[最良優先探索] 常に、現時点までに得られているすべての節点の中か
ら、最も目標に近い節点を選んで展開する。
ら、最も目標に近い節点を選んで展開する。
【0008】[A*探索] 最良優先探索において、節点nから目標までのコストh
(n)が予測できる場合、評価関数f(n)として、節
点nまでの道の実際にかかったコストg(n)と、上記
節点nから目標までのコストの予測値h*(n)との和
を採用する。この場合、評価関数も近似値f*(n)と
なり、次式で表わされる。この評価関数の近似値f
*(n)が小さい節点から順に展開する。
(n)が予測できる場合、評価関数f(n)として、節
点nまでの道の実際にかかったコストg(n)と、上記
節点nから目標までのコストの予測値h*(n)との和
を採用する。この場合、評価関数も近似値f*(n)と
なり、次式で表わされる。この評価関数の近似値f
*(n)が小さい節点から順に展開する。
【0009】 f*(n)=g(n)+h*(n) [ビーム探索] 横型探索のように水平に探索するが、各レベルでは、あ
る節点を探索木から切り捨てる。すなわち、技刈りすべ
きか否かを決定するのにヒューリスティックな情報を用
いる。
る節点を探索木から切り捨てる。すなわち、技刈りすべ
きか否かを決定するのにヒューリスティックな情報を用
いる。
【0010】
【発明が解決しようとする課題】たとえば音声認識の分
野では、認識語彙が増えたり、連続音声を対象としたり
すると、探索空間が膨大になる。その結果、認識処理時
間や記憶空間が極めて大きくなり、場合によっては天文
学的な処理時間や記憶空間を要することがあり得る。し
たがって、上述した盲目的探索では対処することができ
ない。
野では、認識語彙が増えたり、連続音声を対象としたり
すると、探索空間が膨大になる。その結果、認識処理時
間や記憶空間が極めて大きくなり、場合によっては天文
学的な処理時間や記憶空間を要することがあり得る。し
たがって、上述した盲目的探索では対処することができ
ない。
【0011】一方、上述したヒューリスティック探索に
よればこのような組合せ的爆発を回避することができる
が、ヒューリスティックな情報として主に仮説のスコア
だけを用いているため、場合によっては無駄な探索を行
なっていることがあり、また、場合によっては正解候補
が得られないこともある。
よればこのような組合せ的爆発を回避することができる
が、ヒューリスティックな情報として主に仮説のスコア
だけを用いているため、場合によっては無駄な探索を行
なっていることがあり、また、場合によっては正解候補
が得られないこともある。
【0012】この発明はこれらの問題を解決するために
なされたもので、より効率的に枝刈りなどを行なうこと
によって探索空間を削減し、ある程度の正解率を確保し
ながら探索時間を短縮することを目的とする。
なされたもので、より効率的に枝刈りなどを行なうこと
によって探索空間を削減し、ある程度の正解率を確保し
ながら探索時間を短縮することを目的とする。
【0013】
【課題を解決するための手段】請求項1に係る適応的探
索方法は、探索木よりなる問題空間から正解仮説を探索
する方法であって、前記探索木のある深さにおける節点
からその次の深さにおける複数の節点へ展開するステッ
プと、前記探索木のある深さにおいて、その深さに到達
するまでに得られた複数の候補仮説のスコアをそれぞれ
算出するステップと、前記探索木のある深さにおいて、
少なくともその深さを含む複数の観測可能な特徴量を入
力とする所定の制御関数を用いて前記探索木の枝刈りを
行なうステップとを含む。
索方法は、探索木よりなる問題空間から正解仮説を探索
する方法であって、前記探索木のある深さにおける節点
からその次の深さにおける複数の節点へ展開するステッ
プと、前記探索木のある深さにおいて、その深さに到達
するまでに得られた複数の候補仮説のスコアをそれぞれ
算出するステップと、前記探索木のある深さにおいて、
少なくともその深さを含む複数の観測可能な特徴量を入
力とする所定の制御関数を用いて前記探索木の枝刈りを
行なうステップとを含む。
【0014】請求項2に係る適応的探索方法では、上記
請求項1のステップに加えて、前記算出されたスコアの
順に前記複数の候補仮説を並べるステップをさらに含
み、前記複数の特徴量が前記探索木の深さに加えて前記
並べられた複数の候補仮説のスコア分布を表わす回帰係
数を含む。
請求項1のステップに加えて、前記算出されたスコアの
順に前記複数の候補仮説を並べるステップをさらに含
み、前記複数の特徴量が前記探索木の深さに加えて前記
並べられた複数の候補仮説のスコア分布を表わす回帰係
数を含む。
【0015】請求項3に係る適応的探索方法では、上記
請求項1のステップに加えて、前記算出されたスコアの
うちその深さにおける最大スコアとその前の深さにおけ
る最大スコアとの差を算出するステップをさらに含み、
前記複数の特徴量が前記探索木の深さに加えて前記算出
された最大スコアの差を含む。
請求項1のステップに加えて、前記算出されたスコアの
うちその深さにおける最大スコアとその前の深さにおけ
る最大スコアとの差を算出するステップをさらに含み、
前記複数の特徴量が前記探索木の深さに加えて前記算出
された最大スコアの差を含む。
【0016】請求項4に係る適応的探索方法は、探索木
よりなる問題空間から正解仮説を探索する方法であっ
て、前記探索木のある深さにおける節点からその次の深
さにおける複数の節点へ展開するステップと、前記探索
木のある深さにおいて、その深さに到達するまでに得ら
れた複数の候補仮説のスコアをそれぞれ算出するステッ
プと、前記算出されたスコアの順に前記複数の候補仮説
を並べるステップと、前記探索木のある深さにおいて、
少なくとも前記並べられた複数の候補仮説のスコア分布
を表わす回帰係数を含む複数の観測可能な特徴量を入力
とする所定の制御関数を用いて前記探索木の技刈りを行
なうステップとを含む。
よりなる問題空間から正解仮説を探索する方法であっ
て、前記探索木のある深さにおける節点からその次の深
さにおける複数の節点へ展開するステップと、前記探索
木のある深さにおいて、その深さに到達するまでに得ら
れた複数の候補仮説のスコアをそれぞれ算出するステッ
プと、前記算出されたスコアの順に前記複数の候補仮説
を並べるステップと、前記探索木のある深さにおいて、
少なくとも前記並べられた複数の候補仮説のスコア分布
を表わす回帰係数を含む複数の観測可能な特徴量を入力
とする所定の制御関数を用いて前記探索木の技刈りを行
なうステップとを含む。
【0017】請求項5に係る適応的探索方法は、上記請
求項1または4の制御関数としてニューラルネットワー
クを用いる。
求項1または4の制御関数としてニューラルネットワー
クを用いる。
【0018】請求項6に係る適応的探索方法は、上記請
求項1または4の制御関数として重回帰分析を用いる。
求項1または4の制御関数として重回帰分析を用いる。
【0019】請求項7に係る適応的探索方法は、上記請
求項1または4の制御関数として複数種類のものを用
い、それら制御関数の出力値を組合せることによって前
記探索木の枝刈りを行なう。
求項1または4の制御関数として複数種類のものを用
い、それら制御関数の出力値を組合せることによって前
記探索木の枝刈りを行なう。
【0020】
【作用】一般に、正解仮説を含む最小の探索空間Θ
(d)が得られれば、探索の効率は最もよくなる。これ
は、たとえばビーム探索の場合であれば正解仮説の順位
がわかっているので、そのビーム幅を正解仮説の順位に
設定することに相当する。
(d)が得られれば、探索の効率は最もよくなる。これ
は、たとえばビーム探索の場合であれば正解仮説の順位
がわかっているので、そのビーム幅を正解仮説の順位に
設定することに相当する。
【0021】そこで、観測可能な特徴量Oi を変数とす
るm次の制御関数φ()を用いて、この最小の探索空間
Θ(t)を次の式(1)のように近似する。
るm次の制御関数φ()を用いて、この最小の探索空間
Θ(t)を次の式(1)のように近似する。
【0022】 Θ* (t)=φ(O1 (t),O2 (t),…Om (t)) (1) ここで、{Oi (t)}(i=1,2,…m)は、時刻
tにおける観測可能な特徴量の集合を表わす。
tにおける観測可能な特徴量の集合を表わす。
【0023】なお、上述した従来のビーム探索の場合、
次の式(2)のように、近似の模索空間Θ* (t)は定
数関数となる。
次の式(2)のように、近似の模索空間Θ* (t)は定
数関数となる。
【0024】 Θ* (t)=const. (2) 従来から用いられてきたヒューリスティック探索では、
主として仮説のスコアのみをヒューリスティックな情報
として用いてきた。それに対し、本発明では従来のヒュ
ーリスティック情報に加え、各仮説のスコアの分布状況
などの観測可能な特徴量を入力とする制御関数φ()を
基に枝刈りをすべきか否かを決定する。すなわち、探索
範囲を適応的に変化させる。この制御関数φ()は、ニ
ューラルネットワークまたは重回帰分析で構成され、認
識実験で得られる観測可能な特徴量と正解仮説の順位の
サンプルを使って予め学習しておく。
主として仮説のスコアのみをヒューリスティックな情報
として用いてきた。それに対し、本発明では従来のヒュ
ーリスティック情報に加え、各仮説のスコアの分布状況
などの観測可能な特徴量を入力とする制御関数φ()を
基に枝刈りをすべきか否かを決定する。すなわち、探索
範囲を適応的に変化させる。この制御関数φ()は、ニ
ューラルネットワークまたは重回帰分析で構成され、認
識実験で得られる観測可能な特徴量と正解仮説の順位の
サンプルを使って予め学習しておく。
【0025】なお、予備実験の結果、正解仮説の順位と
観測可能な特徴量との間には何らかの相関関係が認めら
れており、制御関数φ()は精度よく正解仮説の順位を
予測できることが期待される。
観測可能な特徴量との間には何らかの相関関係が認めら
れており、制御関数φ()は精度よく正解仮説の順位を
予測できることが期待される。
【0026】
【実施例】次に、本発明に係る適応的探索方式の実施例
について図面に基づき詳しく説明する。
について図面に基づき詳しく説明する。
【0027】図1は、本発明に係る適応的探索方式の一
実施例を利用した音声認識システムの構成を示すブロッ
ク図である。
実施例を利用した音声認識システムの構成を示すブロッ
ク図である。
【0028】このシステムはHMM−LRと呼ばれるも
ので、言語モデルとしてLRパーザを用いたHMMベー
スの連続音声認識システムである。なお、この方式の詳
細は文献「北研二、川端豪、斉藤博昭:“HMM音韻認
識と拡張LR構文解析法を用いた連続音声認識”,情報
処理学会論文誌,Vol.31,No.3,pp.472-479(1990.3)」に
開示されているので、ここではこれを援用する。
ので、言語モデルとしてLRパーザを用いたHMMベー
スの連続音声認識システムである。なお、この方式の詳
細は文献「北研二、川端豪、斉藤博昭:“HMM音韻認
識と拡張LR構文解析法を用いた連続音声認識”,情報
処理学会論文誌,Vol.31,No.3,pp.472-479(1990.3)」に
開示されているので、ここではこれを援用する。
【0029】図1に示すように、このHMM−LR連続
音声認識システムは、概略、HMM音素の照合部1とL
Rパーザ部2とから構成される。またこのシステムに
は、HMMの格納部3、LRテーブルの格納部4、文脈
自由文法(CFG)の格納部5などが含まれる。
音声認識システムは、概略、HMM音素の照合部1とL
Rパーザ部2とから構成される。またこのシステムに
は、HMMの格納部3、LRテーブルの格納部4、文脈
自由文法(CFG)の格納部5などが含まれる。
【0030】この音声認識システムによれば、まず構文
解析動作表(LRテーブル)に基づいて、入力された音
声データ中の次の音素を予測し、その予測された次の音
素の尤度をHMM音素照合で調べることによって、音声
認識と言語処理とを同時に進行させる。そして、このよ
うな処理が進むにつれて解析木は徐々に広がり続け、そ
のため何らかの枝刈りが必要となる。
解析動作表(LRテーブル)に基づいて、入力された音
声データ中の次の音素を予測し、その予測された次の音
素の尤度をHMM音素照合で調べることによって、音声
認識と言語処理とを同時に進行させる。そして、このよ
うな処理が進むにつれて解析木は徐々に広がり続け、そ
のため何らかの枝刈りが必要となる。
【0031】ところで、従来のHMM−LRシステムで
は、仮説の上位N個までを残すビーム探索が採用されて
いた。すなわち、ヒューリスティックな情報としてN個
という固定的な値が用いられていた。しかしながら、現
在では音素モデルの性能が向上し、正解候補の順位は1
0位以内に入っていることが多い。その一方、音声認識
が完璧に行なわれるわけではないので、正解候補の順位
はしばしば100位を越えることもある。したがって、
高い認識性能を得るためには大きなビーム幅が必要であ
った。その結果、無駄な探索を行なっていることが多か
った。
は、仮説の上位N個までを残すビーム探索が採用されて
いた。すなわち、ヒューリスティックな情報としてN個
という固定的な値が用いられていた。しかしながら、現
在では音素モデルの性能が向上し、正解候補の順位は1
0位以内に入っていることが多い。その一方、音声認識
が完璧に行なわれるわけではないので、正解候補の順位
はしばしば100位を越えることもある。したがって、
高い認識性能を得るためには大きなビーム幅が必要であ
った。その結果、無駄な探索を行なっていることが多か
った。
【0032】そこで、この発明による音声認識システム
では、以下の手法により枝刈りが行なわれる。
では、以下の手法により枝刈りが行なわれる。
【0033】仮説のスコアの分布は、次の式(3),
(4)のように回帰分析によってなされる。
(4)のように回帰分析によってなされる。
【0034】 y=a1 x+a0 (3) y=b2 x2 +b1 x+b0 (4) ここで、xは仮説の順位、yはスコアの近似値である。
便宜上、xは{1,2,…10}に制限されている。観
測可能な特徴量、すなわち制御関数φ()への入力{O
1 ,O2 ,…O5 }として、次の5つの観測量を使用す
る。
便宜上、xは{1,2,…10}に制限されている。観
測可能な特徴量、すなわち制御関数φ()への入力{O
1 ,O2 ,…O5 }として、次の5つの観測量を使用す
る。
【0035】・回帰係数:a1 ,b2 ,b1 ・LR解析木の現在の深さ:n ・現在の探索時点(深さn)における第1位仮説のスコ
アと、その直前の探索時点(深さn−1)における第1
位仮説のスコアとの差:Δscore この実施例では、制御関数φ()としてニューラルネッ
トワーク6が用いられる。このニューラルネットワーク
6の役割を図2に示す。同図から明らかなように、この
ニューラルネットワーク6は、5つの入力ユニット6a
と1つの出力ユニット6bとを含み、回帰係数a1 ,b
1 ,b2 、現在の深さn、および現在の第1位仮説のス
コアと直前の第1位仮説のスコアとの差Δscoreか
ら構成される5つの入力に基づいて、正解仮説の順位を
出力するように学習されている。
アと、その直前の探索時点(深さn−1)における第1
位仮説のスコアとの差:Δscore この実施例では、制御関数φ()としてニューラルネッ
トワーク6が用いられる。このニューラルネットワーク
6の役割を図2に示す。同図から明らかなように、この
ニューラルネットワーク6は、5つの入力ユニット6a
と1つの出力ユニット6bとを含み、回帰係数a1 ,b
1 ,b2 、現在の深さn、および現在の第1位仮説のス
コアと直前の第1位仮説のスコアとの差Δscoreか
ら構成される5つの入力に基づいて、正解仮説の順位を
出力するように学習されている。
【0036】このHMM−LRシステムにおいて、ビー
ム探索は音素同期で動作する。すなわち、解析木の深さ
が1つ進むたびに枝刈りを実行する。したがって、前述
した式(1)において、時刻tは解析木の深さnで代用
される。
ム探索は音素同期で動作する。すなわち、解析木の深さ
が1つ進むたびに枝刈りを実行する。したがって、前述
した式(1)において、時刻tは解析木の深さnで代用
される。
【0037】このように、本実施例は回帰係数a1 ,b
1 ,b2 などの観測可能な特徴量を入力とするニューラ
ルネットワーク6からなる制御関数を用いて探索範囲を
適応的に変化させているので、ビーム幅の制御をきめ細
かく行なうことができる。したがって、従来よりも少な
い音素照合回数で常に安定した音声認識率が得られる。
1 ,b2 などの観測可能な特徴量を入力とするニューラ
ルネットワーク6からなる制御関数を用いて探索範囲を
適応的に変化させているので、ビーム幅の制御をきめ細
かく行なうことができる。したがって、従来よりも少な
い音素照合回数で常に安定した音声認識率が得られる。
【0038】また本実施例では、制御関数が学習により
得られているので、タスクや音素モデルの性能に応じて
ビーム幅の制御を最適に行なうことができる。さらに、
制御関数を学習し直すことによって、異なる問題領域に
対処することも可能である。すなわち、探索アルゴリズ
ム自体を変えることなく同じアルゴリズムで、さまざま
な問題に対応できるなど、汎用性に富む。
得られているので、タスクや音素モデルの性能に応じて
ビーム幅の制御を最適に行なうことができる。さらに、
制御関数を学習し直すことによって、異なる問題領域に
対処することも可能である。すなわち、探索アルゴリズ
ム自体を変えることなく同じアルゴリズムで、さまざま
な問題に対応できるなど、汎用性に富む。
【0039】以上、この発明の一実施例を詳述したが、
この発明は上述した実施例に限定されることなく、その
他の態様でも実施することができる。
この発明は上述した実施例に限定されることなく、その
他の態様でも実施することができる。
【0040】たとえば前述した実施例において、ニュー
ラルネットワーク6はしばしば真の順位よりもかなり大
きい値を出力することがある。このような過大評価は、
逆に無駄な探索につながることになる。
ラルネットワーク6はしばしば真の順位よりもかなり大
きい値を出力することがある。このような過大評価は、
逆に無駄な探索につながることになる。
【0041】そこで、ニューラルネットワークほどきめ
細かいビーム幅の制御はできないが、過大評価に陥る危
険が少ない、つまりロバスト性のある制御関数を用いて
正解仮説の順位に上限値を設定してもよい。すなわち、
複数種類の制御関数を用い、それらの出力値を組合せる
ことによってビーム幅を決定してもよい。
細かいビーム幅の制御はできないが、過大評価に陥る危
険が少ない、つまりロバスト性のある制御関数を用いて
正解仮説の順位に上限値を設定してもよい。すなわち、
複数種類の制御関数を用い、それらの出力値を組合せる
ことによってビーム幅を決定してもよい。
【0042】ここでは、ニューラルネットワークおよび
可変ビーム探索から構成される2種類の制御関数を用い
た場合について説明する。可変ビーム探索については、
文献「北,川端,森元;“HMM−LR連続音声認識シ
ステムにおける計算量削減の一検討”,日本音響学会講
演論文集3-6-4(1989.3) 」に開示されているので、ここ
ではこれを援用する。
可変ビーム探索から構成される2種類の制御関数を用い
た場合について説明する。可変ビーム探索については、
文献「北,川端,森元;“HMM−LR連続音声認識シ
ステムにおける計算量削減の一検討”,日本音響学会講
演論文集3-6-4(1989.3) 」に開示されているので、ここ
ではこれを援用する。
【0043】この実施例によれば、次の式(5)のよう
に、各深さnでニューラルネットワークの出力と可変ビ
ーム探索による出力とを比較し、値の小さい方を選択す
る。ただし、過小評価の防止対策として小さな値のマー
ジン(margin)を用いる。
に、各深さnでニューラルネットワークの出力と可変ビ
ーム探索による出力とを比較し、値の小さい方を選択す
る。ただし、過小評価の防止対策として小さな値のマー
ジン(margin)を用いる。
【0044】 φ(n) =min( φV (n),φN (O1 (n),O2 (n), …O5 (n))+margin) (5) ここで、φV ()は可変ビーム探索、φN ()はニュー
ラルネットワーク、φ(n) は本実施例による適応的ビー
ム探索である。
ラルネットワーク、φ(n) は本実施例による適応的ビー
ム探索である。
【0045】本発明者らは、この実施例である適応的ビ
ーム探索法と2つの従来法との比較実験を行なった。図
3は、これら3つの探索方式についての比較実験の結果
を示すグラフで、縦軸はビーム幅を表わし、横軸はLR
探索木の深さを表わす。
ーム探索法と2つの従来法との比較実験を行なった。図
3は、これら3つの探索方式についての比較実験の結果
を示すグラフで、縦軸はビーム幅を表わし、横軸はLR
探索木の深さを表わす。
【0046】図3から明らかなように、可変ビーム探索
によれば従来の固定ビーム探索に比べてグラフ上で山状
になっている部分の両側の探索空間が削減されたが、本
実施例である適応的ビーム探索によればさらに細かく探
索空間が削減された。このため、HMM音素の照合回数
は平均して3分の1以下に減少した。とりわけ、継続時
間の長い入力音声に対しては、探索が進むにつれてビー
ム幅が小さくなるという可変ビーム探索の絞り込み作用
によって、探索空間の削減効果がより大きくなった。
によれば従来の固定ビーム探索に比べてグラフ上で山状
になっている部分の両側の探索空間が削減されたが、本
実施例である適応的ビーム探索によればさらに細かく探
索空間が削減された。このため、HMM音素の照合回数
は平均して3分の1以下に減少した。とりわけ、継続時
間の長い入力音声に対しては、探索が進むにつれてビー
ム幅が小さくなるという可変ビーム探索の絞り込み作用
によって、探索空間の削減効果がより大きくなった。
【0047】さらに、制御関数としてニューラルネット
ワークの代わりに重回帰分析を用いてもよい。重回帰分
析の場合も同様に、回帰係数などを入力して正解仮説の
順位を出力する。ニュラルネットワークと重回帰分析と
の相違は、前者が非線形システムであるのに対し、後者
は線形システムであることである。
ワークの代わりに重回帰分析を用いてもよい。重回帰分
析の場合も同様に、回帰係数などを入力して正解仮説の
順位を出力する。ニュラルネットワークと重回帰分析と
の相違は、前者が非線形システムであるのに対し、後者
は線形システムであることである。
【0048】その他、本発明は当業者の知識に基づき種
々の改良、修正、変形を加えた態様で実施することが可
能である。
々の改良、修正、変形を加えた態様で実施することが可
能である。
【0049】
【発明の効果】この発明に係る適応的探索方式は、各候
補のスコアなどの観測可能な特徴量を入力とする制御関
数を用いて探索範囲を適応的に変化させているので、ビ
ーム幅の制御をきめ細かく行なうことができる。このた
め、比較的少量の探索で、常に安定した正解率を確保す
ることができる。
補のスコアなどの観測可能な特徴量を入力とする制御関
数を用いて探索範囲を適応的に変化させているので、ビ
ーム幅の制御をきめ細かく行なうことができる。このた
め、比較的少量の探索で、常に安定した正解率を確保す
ることができる。
【0050】また、制御関数としてニューラルネットワ
ークを用いれば、学習によってタスクや音素モデルなど
の性能に応じてビーム幅の制御を最適に行なうことがで
きる。さらに、制御関数を学習し直すことによって、異
なる問題領域に対処することも可能である。すなわち、
本発明は探索アルゴリズム自体を変えることなく同じア
ルゴリズムで、様々な問題に対応できる汎用性に富んだ
探索方式である。
ークを用いれば、学習によってタスクや音素モデルなど
の性能に応じてビーム幅の制御を最適に行なうことがで
きる。さらに、制御関数を学習し直すことによって、異
なる問題領域に対処することも可能である。すなわち、
本発明は探索アルゴリズム自体を変えることなく同じア
ルゴリズムで、様々な問題に対応できる汎用性に富んだ
探索方式である。
【図1】本発明に係る適応的探索方式の一実施例を利用
したHMM−LR連続音声認識システムの構成を示すブ
ロック図である。
したHMM−LR連続音声認識システムの構成を示すブ
ロック図である。
【図2】図1に示したニューラルネットワークの役割を
示す説明図である。
示す説明図である。
【図3】本発明に係る適応的探索方式の他の実施例であ
る適応的ビーム探索方式について、従来の探索方式との
比較実験を行なった結果を示すグラフである。
る適応的ビーム探索方式について、従来の探索方式との
比較実験を行なった結果を示すグラフである。
1 HMM音素の照合 2 LRパーザ 6 ニューラルネットワーク 7 回帰分析
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平4−115297(JP,A) 特開 平3−116100(JP,A)
Claims (7)
- 【請求項1】 探索木よりなる問題空間から正解仮説を
探索する方法であって、 前記探索木のある深さにおける節点からその次の深さに
おける複数の節点へ展開するステップと、 前記探索木のある深さにおいて、その深さに到達するま
でに得られた複数の候補仮説のスコアをそれぞれ算出す
るステップと、 前記探索木のある深さにおいて、少なくともその深さを
含む複数の観測可能な特徴量を入力とする所定の制御関
数を用いて前記探索木の枝刈りを行なうステップとを含
む適応的探索方法。 - 【請求項2】 前記算出されたスコアの順に前記複数の
候補仮説を並べるステップをさらに含み、 前記複数の特徴量が前記探索木の深さに加えて前記並べ
られた複数の候補仮説のスコア分布を表わす回帰係数を
含むことを特徴とする請求項1に記載の適応的探索方
法。 - 【請求項3】 前記算出されたスコアのうちその深さに
おける最大スコアとその前の深さにおける最大スコアと
の差を算出するステップをさらに含み、 前記複数の特徴量が前記探索木の深さに加えて前記算出
された最大スコアの差を含むことを特徴とする請求項1
に記載の適応的探索方法。 - 【請求項4】 探索木よりなる問題空間から正解仮説を
探索する方法であって、 前記探索木のある深さにおける節点からその次の深さに
おける複数の節点へ展開するステップと、 前記探索木のある深さにおいて、その深さに到達するま
でに得られた複数の候補仮説のスコアをそれぞれ算出す
るステップと、 前記算出されたスコアの順に前記複数の候補仮説を並べ
るステップと、 前記探索木のある深さにおいて、少なくとも前記並べら
れた複数の候補仮説のスコア分布を表わす回帰係数を含
む複数の観測可能な特徴量を入力とする所定の制御関数
を用いて前記探索木の枝刈りを行なうステップとを含む
適応的探索方法。 - 【請求項5】 前記制御関数としてニューラルネットワ
ークを用いることを特徴とする請求項1または4に記載
の適応的探索方法。 - 【請求項6】 前記制御関数として重回帰分析を用いる
ことを特徴とする請求項1または4に記載の適応的探索
方法。 - 【請求項7】 前記制御関数として複数種類のものを用
い、それら制御関数の出力値を組合せることによって前
記探索木の枝刈りを行なうことを特徴とする請求項1ま
たは4に記載の適応的探索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5069746A JPH0782357B2 (ja) | 1993-03-29 | 1993-03-29 | 適応的探索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5069746A JPH0782357B2 (ja) | 1993-03-29 | 1993-03-29 | 適応的探索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06282295A JPH06282295A (ja) | 1994-10-07 |
JPH0782357B2 true JPH0782357B2 (ja) | 1995-09-06 |
Family
ID=13411680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5069746A Expired - Fee Related JPH0782357B2 (ja) | 1993-03-29 | 1993-03-29 | 適応的探索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0782357B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011083528A1 (ja) * | 2010-01-06 | 2011-07-14 | 日本電気株式会社 | データ処理装置、そのコンピュータプログラムおよびデータ処理方法 |
JP5538350B2 (ja) * | 2011-11-30 | 2014-07-02 | 日本電信電話株式会社 | 音声認識方法とその装置とプログラム |
WO2013125203A1 (ja) * | 2012-02-21 | 2013-08-29 | 日本電気株式会社 | 音声認識装置、音声認識方法およびコンピュータプログラム |
JP7173327B2 (ja) * | 2019-06-07 | 2022-11-16 | 日本電信電話株式会社 | 学習装置、音声認識装置、それらの方法、およびプログラム |
US11487945B2 (en) * | 2019-07-02 | 2022-11-01 | Servicenow, Inc. | Predictive similarity scoring subsystem in a natural language understanding (NLU) framework |
WO2023162133A1 (ja) * | 2022-02-25 | 2023-08-31 | 日本電信電話株式会社 | 学習装置、学習方法および学習プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2813209B2 (ja) * | 1989-09-29 | 1998-10-22 | 富士通株式会社 | 大語彙音声認識装置 |
JPH04115297A (ja) * | 1990-09-05 | 1992-04-16 | Matsushita Electric Ind Co Ltd | 単語音声認識方法 |
-
1993
- 1993-03-29 JP JP5069746A patent/JPH0782357B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH06282295A (ja) | 1994-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gopalakrishnan et al. | A tree search strategy for large-vocabulary continuous speech recognition | |
US5787396A (en) | Speech recognition method | |
EP0813735B1 (en) | Speech recognition | |
US5884259A (en) | Method and apparatus for a time-synchronous tree-based search strategy | |
Valtchev et al. | Lattice-based discriminative training for large vocabulary speech recognition | |
Murveit et al. | Integrating natural language constraints into HMM-based speech recognition | |
US7035802B1 (en) | Recognition system using lexical trees | |
US7031915B2 (en) | Assisted speech recognition by dual search acceleration technique | |
JP2002507010A (ja) | 同時に起こるマルチモード口述のための装置及び方法 | |
Giachin | Phrase bigrams for continuous speech recognition | |
Nocera et al. | Phoneme lattice based A* search algorithm for speech recognition | |
US20040148169A1 (en) | Speech recognition with shadow modeling | |
US20040158464A1 (en) | System and method for priority queue searches from multiple bottom-up detected starting points | |
JPH0782357B2 (ja) | 適応的探索方法 | |
US20040158468A1 (en) | Speech recognition with soft pruning | |
Lee et al. | Korean speech act analysis system using hidden markov model with decision trees | |
Yu et al. | Evaluation of a long-contextual-Span hidden trajectory model and phonetic recognizer using a* lattice search. | |
JPH08110792A (ja) | 話者適応化装置及び音声認識装置 | |
JP3104900B2 (ja) | 音声認識方法 | |
Kershaw et al. | The 1995 Abbot hybrid connectionist-HMM large-vocabulary recognition system | |
JP3494338B2 (ja) | 音声認識方法 | |
JPH07104780A (ja) | 不特定話者連続音声認識方法 | |
Duchateau et al. | Improved parameter tying for efficient acoustic model evaluation in large vocabulary continuous speech recognition. | |
JP2888781B2 (ja) | 話者適応化装置及び音声認識装置 | |
JP3027553B2 (ja) | 構文解析装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19960227 |
|
LAPS | Cancellation because of no payment of annual fees |