JPH01298400A

JPH01298400A - 連続音声認識装置

Info

Publication number: JPH01298400A
Application number: JP63129347A
Authority: JP
Inventors: Tetsuya Morita; 哲也森田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1988-05-26
Filing date: 1988-05-26
Publication date: 1989-12-01

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［技術分野］本発明は、拡張連続ＤＰ法を用いた連続音声認識装置に
係り、特にそのワードスポツティング（Ｗｏｒｄ　Ｓ　
ｐａｔｔｉｎｇ）部の改良に関する。

［従来技術］この種の連続音声認識に関する公知資料としては、■「
拡張連続ＤＰ法による連続音声認識アルゴリズム」　（
中耕、電子通信学会誌、’　８４／１０　　Ｖｏｌ、Ｊ
　６７−Ｄ　ｋｌ　Ｏ，ｐｐ、１２４２−１２４９）、
■「拡張連続ＤＰ法による連続音声Ｌ＆識表装置試作」
　（隔部ほか、デジタル信号処理シンポジウム、昭和６
１年１１月１４・１５日、８２゜４）などがある。

上記■に述べられている拡張連続ＤＰ法は最適解ではな
く精度の良い準最適解を求めるアルゴリズムであり、２
段ＤＰ法に比べ計算量を著しく削除できるという特徴を
持つ。しかし、汎用計算機ではまだ負荷が大きく、リア
ルタイム処理が困薙であるという問題があった。

これに対処すべく上記■にはデジタル信号プロセッサ（
ＤＳＰ）を用いた専用ハードウェアが述べられているが
、これは小諸貧であっても実時間の約２倍の処理時間を
要するという問題があった。

［目　的］本発明は上記問題点に鑑みてなされたもので。

その目的は処理ネックとなるワードスポツティング部の
高速化を図り、リアルタイム処理を可能とした連続音声
認識装置を提供することにある。

［構　成］本発明は、入力音声信号から抽出された入力特徴パラメ
ータと標準特徴パラメータ記憶部から読出した標準特徴
パラメータとの局所距離を計算するＬＤ計算部と、ＬＤ
計算部により入力する局所距離と累積距離記憶部から読
出した累積距離とを用いてＤＰマツチング手法により累
積距離を計算するＤＰ計算部とをそれぞれ、該標準特徴
パラメータ記憶部および累積距離記憶部のアクセス時間
に同期して並列処理により局所距離および累積距離の計
算を行うように構成することにより、装置の処理ネット
ワークとなるワードスポツティング処理速度を向上させ
ることを特徴とするものである。

［実施例コ以下１図面を用い本発明の一実施例について説明する。

第１図は本発明に係る拡張連続ＤＰ法による連続音声認
識装置の全体的構成を示すブロック図である。１００は
音声を入力するためのマイクロホンである。このマイク
ロホン１００より入力された音声信号は増幅器１１０に
より増幅されたのち前処理・分析部１２０に入力する。

この前処理・分析部１２０は入力音声信号の高域強調と
周波数分析を行いｐビットＮ次の入力特徴パラメータを
得る。この入力特徴パラメータは。

ＬＰＣケプストラム、ＦＥＴケプストラムなどである。

この入力特徴パラメータは、フレーム周期（数ｍ５ｅｃ
から数十ｍ５ｅｃ）毎に得られ、ＤＰ計算部３００と−
もにワードスポツティング部を構成するＬＤ（局所距離
）計算部２００に入力する。

２１０は標準特徴パラメータの記憶部（ＲＡＭ）である
。ＬＤ計算部２００は、入力特徴パラメータと記憶部２
１０から読出される標準特徴パラメータとの局所距離を
パイプライン処理によりリアルタイムに計算するもので
ある。

こ＼では入力特徴パラメータとｗ準特徴パラメータとの
各法の差分の絶対値の総和である市街地距離を求める。

入力ｉフレームと標準ｊフレームの局所距離ｄ　（１１
Ｊ）は、第０次の入力特徴パラメータと標準特徴パラメ
ータをそれぞれ１ｐｔ（ｚ　：　ｎ）＋　　ｒｐ　ｔ　
　Ｆ　：　ｎ）とすると、次式で表される。

ｄ（ｉ、ｊ）＝ΣＩ　１ｐｔ（ｉｎｎ）−ｒｐｔ（ｊ：
ｎ）　Ｉ　　　　　＝ｌｌ）ｎ＝１このような演算系では、ＬＤ計算部２００は後述のよう
にパイプライン構成にできるため、記憶部２１０のアク
セス時間がボトルネックとなる。

一般にパイプライン処理系では、定常状態（パイプ内が
完全にデータで満たされた状態）におけるデータ当たり
の処理時間は処理プリミティブ時間となるから、これを
Ｔｒａｍ　（ｎｓｅｃ）とし、平均フレーム数をＦｒａ
ｍＡｖａ、フレーム周期をＴとすれば。

最大処理可能フレーム数＝　Ｔ　／　Ｔ　ｒａＩｌｌと
なり、したがって最大処理可能単語数＝　Ｔ　／　Ｔ　ｒａａ＋　／　Ｔ
　ｒａｍ　Ａ　ｖｅとなる。

ＬＤ計算部２００で計算された局所距離の情報は、ＤＰ
（ダイナミック・プログラミング）手法により累積距離
を計算するＤＰ計算部３００に入力する。このＤＰ計算
部３００は、局所距離を基に、各単語の標準フレーム分
だけ距離を累積し、各単語毎の累積距離（各単語の評価
値）を求めるものである。その際、第４図に示すような
経路（ＤＰパス）を用いてパイプライン的処理により標
準フレーム番号順に累積距離を逐次計算する。

３２０は累積距離の記憶部である。

４００はＬＤ計算部２００、ＤＰ計算部３００のパイプ
ライン処理と記憶部２１０，３２０の入出力を制御する
ためのシーケンサである。このシーケンサ４００の制御
下で、ＬＤ計算部２００およびＤＰ計算部３００は相互
に同期し、かつそれぞれの記憶部２１０，３２０のアク
セス時間に同期し並列処理を実行する。

ＤＰ計算部３００により求められた累積距離は記憶部３
２０を介し後処理用ＣＰＵ５００に入力する。このＣＰ
Ｕ５００は単語単位の認識結果に後処理を施すものであ
る。

第２図はＬＤ計算部２００の詳細ブロックである。図示
のようにＬＤ計算部２００は、リアルタイム処理のネッ
クとなる記憶部２１０のアクセス時間を処理プリミティ
ブとするパイプライン的構成を採っている。例えば記憶
部２１０のアクセス時間が１ｏｎｓｓｃであるとき、パ
イプラインの処理プリミティブ時間をＬ　ＯＯｎ５ａｃ
とすることにより、最適な処理速度が得られる。さらに
入力特徴パラメータがＴ　ｓｅｅ間隔で入力するならば
、Ｔ／１０ｎ！１ｌｅｃフレームの標準特徴パラメータ
との局所距離のリアルタイム処理が可能となる。もし１
ｏｎｓｓｃ間隔で入力特徴パラメータが入力するならば
、１０万標準フレームをリアルタイムに処理できる。

第２図において、２０１はｐビットＮ次の入力特徴パラ
メータをラッチするためのデータラッチであり、２０５
はＰピッ５Ｎ次の標準特徴パラメータをラッチするため
のデータラッチである。

２０４は入力特徴パラメータと標準特徴パラメータの各
法の差分の絶対値を求めるｐビット絶対差分計算器であ
る。この絶対差分計算器２０４は、その計算が処理プリ
ミティブ時間内に終了するように、パラメータの次数に
等しいＮ個並列に設けられている。

２０６は各法の絶対差分の総和（すなわち局所孔ｆｉ）
を求めるための多入力加算部である。この多入力加算部
２０６は、ｐビットＮ入力の加算を実質的に処理プリミ
ティブ時間で実行するもので。

（Ｎ−１）／　（ｋ−１）個のｐビットに入力加算器２
０３を用い、データラッチ２０２でｌｏｇＩ　Ｎ段に分
割した階層的構成である。データラッチ２０１．２０２
はすべて同一のクロックで動作する。

なお、パラメータ次数Ｎが小さい場合は、多入力加算部
２０６を１段で構成してもよい。そして、絶対差分計算
器２０４の出力をデータラッチを介せず直接的に入力す
るように構成してもよい。

第３図はＤＰ計算部３００の詳細ブロック図である。こ
のＤＰ計算部の処理の概要は、ＬＤ計算部２００から入
力する１標準フレーム前の局所距離ｄ（ｉ、ｊ−１）と
、記憶部３２０から読出した２入カフレーム前の累積距
離Ｄ　（１−２１ｊ−１）および１入カフレーム前の累
積距離Ｄ（ｉ−１ｔ　＝−１）＋　ｏ　（ｉ−１１ｊ−
２）を用い、Ｄ（１−２１ｊ　”）ｒ　Ｄ　Ｃｘ　　１
＋　ｊ　１）＋　Ｄ（ｉ−１，ｊ−２）　＋ｄ　（ｉ、
　ｊ−１）の中の最小の値を累積距離Ｄ（ＩＩＪ）とし
て求め、これを記憶部３２０に格納するというものであ
る。

さて第３図に示すように、ＤＰ計算部３００はＬＤ計算
部２００と同様にパイプライン的構成を持ち、ＬＤＤ算
部２００と同期しており、各局所距離ｄ　（ｉ、ｊ）が
入力する毎にＤＰ計算を進めるようになっている。

３０２〜３０６は累積距離を上述のように入出力するた
めのデータラッチである。各データラッチはＬＤ計計算
郡部２００同一クロックで動作し、データラッチの間が
パイプラインのプリミティブとなっている。３０７と３
０８は二つの入力データ（累積距離）中の小さい方の入
力データを出力する比較器であり、３０９と３１０は２
人力加算器である。３０１は記憶部３２０とデータラッ
チ３０２．３０３，３０４との間のデータ転送のための
３人力・３出力の双方向回線交換スイッチである。

累積距離の記憶部３２０は３個の独立したワーキングメ
モリ（ＲＡＭ）３２１，３２２，３２３からなり、それ
ぞれ累積距離を（標準フレーム数×入カフレーム数／３
）個分記憶できる容量を持つ。ワーキングメモリ３２１
，３２２，３２３は１人カフレーム分の処理毎にローテ
ーションし、連続する３フレ一ム分の入出力を行う。こ
のローテーションは１回線交換スイッチ３０１でワーキ
ングメモリ３２１，３２２，３２３とデータラッチ３０
２，３０３，３０４との接続を切替えることにより行わ
れる。

第３図においては、ワーキングメモリ３２１゜３２２．
３２３がそれぞれＤ　（ｉ−１）　、　Ｄ　（ｉ−２）
、Ｄ　（ｉ）のサイクルを示しており、ｊが標準フレー
ム分計算し終わったらローテーションが行われる。この
ローテーションの順番は、各メモリ３２１，３２２，３
２３に記入した通りである。データラッチ３０３，３０
４はそれぞれＤ（ｉ−２）　、　Ｄ　（ｉ−１）を担当
しているワーキングメモリ３２２，３２１から読出され
たデータをラッチするものである。ある時点でデータラ
ッチ３０３，３０４に入力されるデータがＤ（ｉ−２、
ｊ＋１）、Ｄ　（ｉ−１，ｊ＋１）であったとすると、
データラッチ３０３，３０４から出力されているデータ
はＤ　（１２＋　ｊ）＋　Ｄ　（ｌ　　ｌ＋ｊ）である
。Ｄ　（ｊ−２，ｊ）は比較器３０８へ。

Ｄ（ｉ−１，ｊ）は比較器３０８およびデータラッチ３
０５へ入力される。

動作は次の通りである。ＬＤ計算部２００で計算された
局所距離ｄ　（１１Ｊ）は加算器３１０に入力し、デー
タラッチ３０５の出力であるＤ（ｉｌｌＪＩ）と加算さ
れる。その結果は比較器３０７に入力し、比較器３０８
の出力と比較され、その小さいほうのデータがデータラ
ッチ３０６にラッチされる。比較器３０８の出力は、デ
ータラッチ３０３，３０４から入力されるＤ　（１２＋
ｊ）＊　ｏ　（ｉ−１，ｊ）の小さいほうのデータであ
る。

データラッチ３０６の出力は加算器３０９においてＬＤ
計算部２００から入力された局所距離ｄ（１，ｊ）と加
算され、その結果が累積距離Ｄ（ｉ、ｊ＋１）としてデ
ータラッチ３０２に入力する。その１サイクル前のデー
タラッチ３０２の出力は第４図に示したＤ（ｉ、ｊ）と
なっており。

回線交換スイッチ３０１を介してＤ　（ｉ）のフレーム
を格納するワーキングメモリ３２３に格納される。

以上の構成により、ＬＤ計算部２００およびＤＰ計算部
３００は、その記憶部２１０．３２０のアクセスネック
による理論的限界まで高速化が図れる。例えば記憶部２
１０，３２０のアクセス時間を２００ｎｓｅｃとすると
、処理速度は５０．０００（フレーム／　１０　Ｉ！１
ｓｅｃ）となり、１単語を約６０フレームとすれば、約
８３３（単語／　１０　ｍ５ｅｃ）の計算をリアルタイ
ムに実行可能である。しかも、ＬＤ計算部２００とＤＰ
計算部３００との間の橋渡しのための記憶部が不要とな
る。

［効　果］以上の説明から明らかなように、本発明によれば、拡張
連続ＤＰ法を用いた連続音声認識装置において処理ネッ
クであったワードスポツティグ部理を大幅に高速化する
ことができ、高速の連続音声認識装置が実現可能となる
。

【図面の簡単な説明】

第１図は本発明の一実施例に係る連続音声認識装置の概
略ブロック図、第２図はワードスポツティング部におけ
るＬＤ計算部の詳細ブロック図、第３図はワードスポツ
ティング部におけるＤＰ計算部の詳細ブロック図、第４
図はＤＰババス説明図である。１００・・・マイクロホン、１２０・・・前処理・分析部。２００・・・ＬＤ計算部、２０１．２０２，２０５・・データラッチ。２０３・・・加算器、　２０４・・・絶対差分計算器。２１０・・・標準特徴パラメータ記憶部、３００・・・
ＤＰ計算部、３０１・・・回線交換スイッチ、３０２〜３０６・・・データラッチ、３０７．３０８・・・比較器、３０９．３１０・・・加算器、３２０・・・累積距離記憶部。

Claims

【特許請求の範囲】

（１）入力音声信号から抽出された入力特徴パラメータ
と標準特徴パラメータ記憶部から読出した標準特徴パラ
メータとの局所距離を計算するＬＤ計算部と、該ＬＤ計
算部により入力する局所距離と累積距離記憶部から読出
した累積距離とを用いてＤＰマッチング手法により累積
距離を計算するＤＰ計算部とからなるワードスポッティ
ング部を有し、該ＬＤ計算部および該ＤＰ計算部はそれ
ぞれ該標準特徴パラメータ記憶部および該累積距離記憶
部のアクセス時間に同期して並列処理により局所距離お
よび累積距離の計算を行う構成を有することを特徴とす
る連続音声認識装置。