JPS62119599A - 単語音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の概要〕 種々の入力端末装置のうち音声をそのまま入力するいわ
ゆる音声入力装置を実現するための技術が音声認識技術
である。認識装置を実現するにあたって音節や単語等の
単位で区切って発声した音声を認識する場合には、比較
的容易に実現でき、特に特定話者の単語認識装置？？ば
種々の分野で実用化されている。この種の単記音声認識
装置において、単語の標準パターンと入力音声の特徴パ
ターンを照合する場合に同一発声者の同一単語であって
も音素によっては音響的特徴が時間的に変化するために
一般に継続時間長の伸縮を補正してマツチングを取るよ
うにしている。

この伸縮方法にし：１非線形及び線形方式があり、非線
形方式は−・般にり１的ａ１両法（ダイナミックプログ
ラミングＤＰ）が用いられている。Ｄ　Ｉ）法は標準パ
ターンと入カバターンとの誤差が最小になるように時間
軸伸縮用の変換関数を最適化アルゴリズムに従って選択
しているので認識性能を」二げることができるが処理量
が多くなり時間がかかるという問題がある。一方、線形
時間伸縮マツチング法は最適化アルゴリズム、が含まれ
ていないので、処理量が少なく処理時間を減少させるこ
とができるが、認識性能が低下するという問題がある。

本発明はこのような従来のｔｌｉｌ昔語認識装置の欠点
を除去するために認識対象の単語数によって線形時間伸
縮マツチング法とＤＰ法を選択的に利用する単記音声認
識装置を提供するものである。

すなわち予め各単語に対し特定話者の音声の標準パター
ンを登録し、該登録された標準パターンと未知入力単語
音声の特徴パターンを照合する単語音声認識装置におい
て、認識対象の単語数が予めさだめた閾値以上の場合に
は照合の処理量の少ない線形時間伸縮マツチング方式で
照合し、閾値以下の場合には照合の処理量は多いけれど
も認識性能の良いＤＰ方式で照合することを特徴として
いる。

このようにすれば認識対象の単語数が少ない場合には、
認識率を向上させることができるという効果がある。

〔産業上の利用分野〕

本発明は音声入力装置を実現するための基本となる音声
認識装置に係り、特に音節や単語等の単位で区切って発
声した音声を単語ごとに認識していく特定話者を対象と
する中詔音声認識装置で認識対象のｒｌ’４　ｇＢ数に
よって線形時間伸縮マツチング法とＤＰ法を選択するこ
とを可能とする単語音声認識装置の構成に関する。

〔従来の技術〕

集積化技術の進歩に伴い、マンマシンインターフェース
として利用する種々の入力端末装置のうち音声をそのま
す入力する音声入力装置が実用化されてきた。音声入力
装置を用いれば情報とするべき人力データの人力速度を
早くでき、入力装置の操作に熟練していない人でも音声
で入力データを入力できるという特徴がある。この音声
入力装置を実現するための基本となるのが、音声認識技
術である。音声認識技術において人間が自然に発生した
文音声は音響的特性がアクセントや抑揚などによって複
雑に変形するので、認識するのが非常に難しく、従って
音節や単語などの単位で文音声を区切って発声させ、個
々の音節や単語を認識していく、いわゆる離散型ｔ１’
を語認識装置がまず実用化されている。そして語党数は
通常、数百倍以下であるが、認識する語堂数がこのよう
に少なくても工場の製品検査等には有効に利用できる。

このような離散単語認識装置においては単語毎に区切り
を検出して順番に単語を認識していく。単語認識装置に
おいて、特定の人の音声を分析して得られる標準パター
ンを用いるとその発声者の音声入力に対しては高い認識
率が得られる。そこで、標準パターンを構成する場合に
は特定の発声者に対して発声者毎に作り変える学習機能
を用いて認識するようにした特定話者用音声認識装置は
全単語の学習を数回行うことにより９９％以上の認識率
を得ることができる。

前記標準パターンと装置に入力している入力音声の特徴
パターンを比較照合するマツチング部が認識装置内に必
ず存在する。ここで、入力音声パターンは入力された源
音声を一定なフレーム周期毎に特徴を抽出してできる時
系列である。一方、標準パターンは単語辞書として辞書
部に格納されているもので予め前記学習によって同様に
源音声から一定フレーＪ、周期毎に特徴を抽出したもの
の時系列である。入力音声を入力して単語辞書の各パタ
ーンを比較照合することにより現入力音声は特定な単語
であると決定するこＬになる。

従来この種のマツチング方式には線形と非線形とがある
。才なわら単語のマツチングにおいては入力音声のパタ
ーンと標準パターンとを比較する場合に同−話ｆｆが発
生した音声にお番ノる同一単語であっても時間軸」−の
伸１ｉｉ？ｉがあるため、時間軸の正規化を行う必要が
ある。　般にこの肋間輔」二の伸縮は非線形的な伸縮で
ある。線形マツチングは一定の伸縮率でｌ＋、’１間軸
上のス１応をとってしまうので処理方式はＷＩ中となる
が認識率はイ１（下するという問題がある。

一方、非線形マツチングを非線形の伸縮を調整して行う
場合には時間軸の正規化を行うための変換関数として入
カバターンと標Ｖ（−パターンとの誤差が最小になるよ
うに関数が選択される。このような最適化を行う場合に
入カバターンと標準パターンの各時系列データのあらゆ
る組み合わ−１に対して誤差が最小値となるように変換
関数を選択するので膨大な計算量が必要となる。従って
この計算量を減少する方法として一般的には動的計画法
（グイナミソクプログラミング）すなわちＤＰマツチン
グを用いることによって計算量を大幅に減らしているが
、このＤＰマツチング法を用いても線形マツチング方式
に比べるとかなり計算量が大きくなり、認識するまでの
時間は線形マツチングに比べると長いことになる。

従って、音声入力から、認識結果が得られるまでの応答
時間を、一定以内（例えば、５００　ｍｓ以内）にする
ためには、ＤＰ法を利用することができなかった。

〔発明が解決しようとする問題点〕

本発明は上記従来の認識装置の欠点を除去し、認識対象
の単語数によって線形時間伸縮マツチング法とＤＰ法を
選択し、認識対象の単語数があらかじめ定めた閾値以上
の場合は照合の処理量の少ない線形時間伸縮マツチング
法で照合し、閾値以下の場合には照合の処理量は多いけ
れども認識性能の良いＤＰ方式で照合することを特徴と
する単語音声認識装置を提供するものである。

〔問題点を解決するための手段〕

本発明は、上記問題点に鑑み、音声信号を入力し音声の
特徴を抽出し且つ区間検出を実行する音響分析部と、予
め前記音響分析部を介して分析された単語標準パターン
を格納する辞書部と、前記音声信号を前記音響分析部を
介して出力される前記音声信号の特徴パターンと前記辞
書部の単語標準パターンとを線形照合する第１の照合部
と、前記辞書部からの単語標準パターンと前記音声信号
の特徴パターンとを非線形照合する第２の照合部と、前
記音響分析部の出力を前記辞書部、前記第１の照合部ま
たは前記第２の照合部に転送することを選択的に行う選
択手段と、前記音響分析部、辞書部、第１及び第２の照
合部、及び前記選択手段を計算処理部を介して制御する
制御手段と、認識対象の単３ハ数が、予め定めた閾値以
上の場合は、照合の処理量の少ない前記第１部の照合部
で照合し、閾値以下の場合には、照合の処理量は多いけ
れども認識性能の良い前記第２の照合部で照合する手段
とを有することを特徴とするｍ語音声認識装置を提供す
ることにより達成される。

〔作　　　用〕

本発明は認識対象の単語数が予め定めた閾値以上の場合
には照合の処理量の少ない線形時間伸縮マツチング法を
利用し、閾値以下の場合には照合の処理量は多いけれど
もｆｂ’Ｎ　Ｌｆｋ性能のよいＤＰ方式を採用するよう
にしている。

〔実　　施　　例〕

次に本発明を図面を参照して説明する。

第１図の音声認識装置は入力された音声人力１を音響的
に分析し、音声入力中に含まれる単語の言語的特徴を抽
出し、予め特定話者に関して音声に含まれる単語の言語
的特徴に関する標準パターンを辞書７に記憶しておき、
現在入力された音声−１０＝ 入力の特徴パターンと比較しその類似性に基づいて認識
判定を行う。

マイクより入力される音声人力１は前処理部２に入力さ
れると高域部分が強調される。あるいは以後の処理がデ
ィジタル処理されるものである場合には前処理部２にお
いてアナログ音声入力はディジタル信号にへ／Ｄ変換器
を介して変換される。

高域強調された音声入力はパラメータ計算部３において
音響的に分析され特に音声の周波数スペクトル包絡が計
算される。１７１／ｇｔ数スペクトル包絡牛）性は第２
図に示す、ｊ、・うな・１１１賎フイルタｌｆｆと各帯
域フィルタに接続される整流平滑回］洛を用いて分析さ
れる。すなわち帯域フィルタ群１１１）　Ｆは音声周波
数帯域を１２個程度の小帯域に分割する。１２＋１１１
の帯域フィルタの各出力を整ｆｒ、し、かつ平滑するこ
とによって各帯域成分におりる信号のパワーの量が直流
電圧値として出力されるごとになる。ｎ個の帯域フィル
タの整流出力はｎ次元ヘクトルＡ　＋　。

Ａ２・・Ａ　（、となりこれによって音声の周波数スペ
クトル包絡の特徴を表すことになる。パラメータ計算部
３の出刃は区間検出部４に入力され、そこで各単語の開
始と終わりがパワーの閾値を用いて検出される。即ち入
力される音声入力のパワーを計算し、計算されたパワー
が閾値を越えれば単語の始まりであり、その閾値を上か
ら下に下がればその単語の終点とする。このようにして
各単語が区切られることになり、単語毎に順々に認識処
理を実施することができることになる。区間検出部４の
出力ば切換部６に入力され、パラメータ計算部３及び区
間検出部４によって求められた各単語の特徴パターン、
すなわち特にスペクトラル包絡に関する特徴パターンは
辞書部７、線形照合部９或いはＤＰ照合部８に選択的に
転送される。辞書部７に格納するべき標準パターンは特
定話者に関する言語的内容が既知の単語について予め前
記前処理部２、パラメーター計算部３及び区間検出部４
を介して音響分析し、得られたパターンである。単語標
Ｑ！パターンは認識単語のそれぞれについて全継続時間
にわたって分析してできる特徴パラメーターの時系列で
表されている。例えば、単語への継続時間長を１゛１と
すればＴＡ内において単語への標準パターンは帯ルｙフ
ィルタ出力を時間標本化して時系列データとして記録さ
れるのが普通である。ずなわら第３図に示すように、継
続時間長、すなわちフレームを横軸にとり、縦軸に各帯
域のチャネル数に対応してできる行列の各要素はパラメ
ーター計算部の出力、すなわち各チャネルのスベクトラ
ル包絡値である。その行列を複数の単語数分だり用意し
゛（辞書を構成している。

このように構成された標（１へパターンと、現時点でマ
イクより入力される音声人力１の特徴パターンとの類似
性を線形照合部９、又はＤＰ照合部８によって選択的に
照合するところに本発明の特徴がある。

辞書部７に格納された標準パターンと前処理部２、パラ
メーター計算部３、区間検出部４を介して入力されてい
る音声入力の特徴パターンとの類似性を比較する場合に
、入力される音声の音素によってはその音響的特徴が時
間的に変化するものがある。しかも同じ話者の同じｒｌ
’！　３（、であっても、単語の時間的な継続時間には
伸縮があるのでこの継続時間長の伸縮を補正して標準パ
ターンと音声入力の特徴パターンがもっとも近い状態に
おいて比較する必要がある。これが継続時間長の補正で
あり、時間軸の正規化である。この時間軸の正規化に対
して標準パターンと音声入力の特徴パターンとの比較照
合方法がいろいろと異なってくる。

今、認識しようとする音声入力を辞書部７に記憶されて
いる標準パターンの分析に用いたのと同じ帯域フィルタ
ＢＰＦを用いてパラメーター計算部３及び区間検出部４
で分析し、その出力を時間標本化して得られるパターン
をＸ−ｘ＋、Ｘ２．　　・・・・Ｘ　１１とする。すな
わち入カバターンＸはｍ個の時系列パターンより構成さ
れているものとする。一方標準パターンに対しても同様
で、標準パターンＹを３’ｌ＋３’２・・・ｙｎという
時系列パターンから構成されているものとする。なお、
各時系列パターンは第３図に示す行列の列に対応するも
のであるから帯域フィルタの各出力を要素として持つベ
クトルで表現されているものである。

今、入カバターンＸと標１１ｑパターンＹとをマツチン
グさせる場合に入カバターンＸの長さはｍに対して標１
１へパターンＹの長さがｎであるから、各時系列パター
ンを１文・１１に対応させて比較することができない。

一般に同−話：Ｆｆが発生した音声であっても時間軸上
の伸縮があるために時間軸の正規化を行って比較する必
要がある。しかもこの時間軸上の伸縮は一般的にＧ、ｌ
非線形な伸縮であり、非線形の伸縮に合わせて行・）非
線形マツチング方式を採用するが、−・力、強制的に一
定の伸縮率で時間軸」二のス・１応をとってしまう線形
マツチングがある。線形照合部９は−・定の伸縮率で時
間軸上の対応をとるマツチング方式で処理力′６乱１早
いが認識率が低下する照合方法である。一方、非線形の
伸縮を調整して時間軸の対応をとる非線形伸縮マツチン
グではこの計算を行うために動的計画法すなわちＤＰマ
ツチングが利用され、ＤＰ照合部８はこれに基づく処理
部である。例えば入カバターンＸの時系列パターンがｘ
ｌからｘｎまでの８１固あり、それに対する標準パター
ンＹがｙｌからＩ５までの５つしか時系列パターンがな
い場合に線形マツチング及び非線形マツチングはそれぞ
れ第４図及び第５図（ａｌ、（ｂｌに示すように各標本
点の間の対応が決められる。

第４図（ａｌ、　ｆｂｌに示すように、線形マツチング
はパターンＸと標準パターンＹの各標本の添字をそれぞ
れ横軸と縦軸にとった場合に時系列のパターン対応関係
を示す曲線が直線になるように時間的な正規化を行うも
のである。第４図（ｂ）においてはｘｌとＩ２は標準パ
ターンのｙｌと比較され、ｘｌはｙ２１ｘ４とＩ５はｙ
３１ｘ６はｙ４１ｘ７とＸｓはＩ５と比較することによ
ってこの対応関係の経路は直線となり、従って線形マツ
チングになるように間引きが行われている。このように
線形マツチングを行うのが線形照合部９である。

第５図（ａ）、　ｆｂ）に示す非線形マツチングにおい
ては対応関係がｆｂｌ図に示すように非線形になってい
る。すなわちＸｌｌ　　Ｉ２．Ｉ３はｙ＋と対応しＩ４
は”／２．Ｉ５とＩ６はＩ３に対応し、ｘｌは）Ｉ４．
ＸθはＩ５に対応するようになっている。

この場合曲線Ｕは非線形経路となる。そして、この経路
の選択には最適な経路が選択されるように最適アルゴリ
ズムが使われる。この最適化アルゴリズムは一般に最小
２乗法の概念が用いられ、入カバターンＸと標準パター
ンＹとの誤差が最小となるように単調増加関数ｔＪが選
択される。最小２乗法に基づく場合に入力の時系列パタ
ーンＸと標準の時系列パターンＹとの間の全ての相関を
計算することになるので、最適な変換関数Ｕを求めるこ
とは非常に時間がかかる。そのため計算量を大幅に減ら
すために一般的に動的計画法（グイナミソクプログラミ
ング：ＤＰ法）が用いられている。

このＤＰ法は標準パターンと入カバターンのあらゆるす
べての時系列パターンとを組み合わせてベクトル距離を
求めるのではなくベクトル距離を変換関数Ｕの初期値か
ら近傍の時系列パターンに関するベクトル距離のみを漸
化的に順次最適化を行って変換関数Ｕを求めていくもの
である。このように入カバターンと標ｌｌＲパターンと
の誤差を最小にするような変換関数Ｕを選択するＤＰ方
式は最適化アルゴリズムが含まれているので前記線形マ
ツチング方式に比べて計算量は大きくなるが、時間伸縮
に関して最適化させるので認識性能が非常に良いことに
なる。従って本発明では前記線形時間伸縮マツチング法
と前記ＤＰマツチング方式を切替部６の制御によって選
択して処理および認識性能に関して最適になるようにし
ている。

線形照合部９またはＤＩ）照合部８によって得られた認
識結果は制御部１０を介してホスト計算機５に転送され
適当な処理が行われる。なお、第１図の単語音声認識装
置において各部の制御は制御部１０を介してホスト計算
機５からの制御命令に従って制御される。

以上説明したように線形時間伸縮マツチング法は照合の
処理量は少ないが認識性能が劣るという方式であり、一
方、ＤＰ法は処理量は多いけれども認識性能のよい方式
である。そこで、本発明の１ｎ語音声認識装置ではホス
ト計算機の命令によって制御部ＩＯからの制御信号に基
づいて切替部６を働かせて認識対象の単語数によって線
形時間伸−１８＝ 縮マツチング法を採用するかＤＰ法を採用するかを決定
するところに特徴がある。さらにサブセントを指定でき
る場合にはザブセットによって認識対象の単語数が異な
るので単語数によってＤＰ法と線形時間伸縮マツチング
法を選択する方式が有効に働くことになる。ここでザブ
セットとは、例えば、第６図に示すように、種類によ−
、て分割された各部分集合のことである。Ｊブ七ソト１
は「１本の地名に関する単記が格納されているもので比
較的単語数は多くなるがザブセソ１−２はアルファベン
トの２６単語、ザプセソ１３は数字の０から９までの１
０単語がそれぞれ分割的にわかれている。

サブセントを指定するごとによってマツチングを取る対
象の数を少なくすることができ、認識率の向上と、処理
時間の短縮がはかれる。さらにサブセットの選択により
単語数が少な（なるので認識率の高いＤＰ法を利用でき
る確率が高くなる。このように本発明では、サブセント
の指定ができる認識装置において、認識対象の単語数が
予め定めた閾値ｎ以上の場合は照合の処理量の少ない簡
単な線形時間伸縮マツチング法で照合し、閾値ｎ以下の
場合には照合の処理量は多いけれども認識性能の良いＤ
Ｐ方式で照合するようにしている。

すなわち本発明の単語音声認識装置の動作に対するフロ
ーチャートは第７図に示される。

動作が開始するとまずサブセント指定を行う。

例えば第６図の下に描かれているΔ００３８という記号
列を認識する場合に最初のＡはサブセット２のアルファ
ベント集合に関するものであるからサブセット２を選択
する。次の４単語は数字に関する単語であるからサブセ
ット３を選択する。このようにして照合対象の集合量を
減じておく。サブセット指定後、音声を入力する。例え
ば音声発声者が“Ａ、０，０，３．８”と各単語に区切
って読み上げて音声入力する。音声入力後、認識対象の
単語数がホスト計算機５から入力される。すなわち最初
の単語はサブセット２のアルファヘットに関する音声で
あることは予めわかっているので単語数は２６の中の１
つであることがわかる。従って、サブセント指定時に第
６図のサブセット２を選択しておけば認識対象単語数は
２６となる。この認識対象単語数によって本発明は１）
１）照合を行うか、線形照合を行うかを判断する。例え
ばアルファへ・ノドは２６単語しかないのでｔｌ”！ｎ
ｎ数は少ないと判断し、ＤＰ照合を選択するようにする
。ＤＰ照合の結果、認識結果を出力し、その認識結果に
基づいてホスト計算機５ば認識処理を実行する。認識が
終了していれば計算機は停止するが、終了していない場
合にはサブセソ１−の変更を行うかどうかの判定を行う
。第６図の例ではＡ文字の後には数字が４つ続くのでサ
ブセット２の指定からサブセット３の指定に変更し、再
び音声の入力を行って同様に単語数でＤＰ照合を行うか
線形照合を行うかを↑）定し、認識するようにしている
。数字も０から９までの１０単語しかないので単語数は
少ないのでＤＰ照合を行うようにしている。しかしもし
数字の後に地名に関する単語が来る場合にはサブセット
１を選択することになるがこの場合には単語数が非常に
多くなることになる。従って認識り・１象の単語数は多
いと判断して認識性能は低いが処理量が少ない線形照合
を行うようにして処理速度を上げるようにしている。こ
のように認識対象の単語数が予め定めた閾値以上の場合
は照合の処理量の少ない線形時間伸縮マツチング法で照
合し、閾値以下の場合には照合の処理量は多いけれども
認識性能の良いＤＰ法で照合するようにすれば認識対象
の単記数が少ない場合の認識率を向上させることができ
る。

サブセット１の場合、ＤＰ法を用いないことと、卑語数
が多いという２つの理由で、一般に認識率は悪くなるが
、似通った単語を含まないように単語を選べば、ある程
度この問題は解決できる。

〔発明の効果〕

以上述べたように本発明は認識対象の単語数が予め定め
た閾値以上の場合には線形照合を実施し、閾値以下の場
合には処理量は多いけれども認識性能の良いＤＰ方式で
照合することによって認識対象の単語数の少ない場合の
認識率を向上させることができるという効果がある。

さらにサブセットの指定のできる認識装置においては認
識対象のｆｆｉ語数が多い場合と少ない場合とが存在す
るのでザブセノ１−によって照合方法を変化させ、ず）
１語数が少ないザブセットに関する認識率を向上さ・ｌ
ることができるという効果がある。

さらに木刀ｉ、い：１文字認識や図形認識等の他のパタ
ーンマンチングの装置にも同様に通用できるという効果
がある。

【図面の簡単な説明】 第１図は本発明のｒＢ語音声認識装置の構成図、第２図
は本発明の単語音声認識装置のパラメータ計算部の構成
図、 第３図は本発明のｍ語１゛）°再認識装置の辞書部に格
納される標準パターン、 第４図は本発明のｒ１１語石−声Ｒｇ識装置の線形伸縮
マツチング法の実施例図、 第５図は本発明のｔ１１語音声ＬＵａ！ｉ！ｉ装置の非
線形時間伸縮マツチング法（Ｔ）Ｐ法）の実施例図、第
６図は本発明の単語音声認識装置のサブセット指定法の
実施例図、 第７図は本発明の単語音声認識装置の動作のフローを示
すフローチャートである。 １・・・音声入力部、 ２・・・前処理部、 ３・・・パラメータ計算部、 ４・・・区間検出部、 ５・・・ホスト計算機、 ６・・・切替部、 ７・・・辞書部、１ ８・・・ＤＰ＠合部、 ９・・・線形照合部。 第２図 フレーム 第３図 弔４図（ｂ） 第５図（０） 第５図（ｂ） 寸フ゛セ・ソト１ ｊｆ−）（・ち、ｈおもりｌ　　””’。 サフ゛せット２ Ａ、８．Ｃ，Ｄ、　　・・・・・ 寸フパセット３ ．２ろ、（゛ち、ｌこ、さん２．５ サフ゛セツト４ 第６図 第７ 図

Claims (3)

【特許請求の範囲】
1. （１）音声信号を入力し音声の特徴を抽出し且つ区間検
   出を実行する音響分析部と、 予め前記音響分析部を介して分析された単語標準パター
   ンを格納する辞書部と、 前記音響分析部を介して出力される前記音声信号の特徴
   パターンと前記辞書部の単語標準パターンとを照合する
   照合の処理量の少ない第１の照合部と、 前記音声信号の特徴パターンと前記辞書部からの単語標
   準パターンとを照合する照合の処理量の多い第２の照合
   部と、 前記音響分析部の出力を前記辞書部、前記第１の照合部
   または前記第２の照合部に転送することを選択的に行う
   選択手段と、 前記音響分析部、辞書部、第１及び第２の照合部、及び
   前記選択手段を計算処理部を介して制御する制御手段と
   、 認識対象の単語数が、予め定めた閾値以上の場合は、前
   記第１の照合部で照合し、閾値以下の場合には、認識性
   能の良い前記第２の照合部で照合する手段とを有するこ
   とを特徴とする単語音声認識装置。
2. （２）前記第１の照合部は線形マッチングを行うことを
   特徴とする特許請求の範囲第１項記載の単語音声認識装
   置。
3. （３）前記第２の照合部は非線形マッチングを行うこと
   を特徴とする特許請求の範囲第１項記載の単語音声認識
   装置。