JPS6273391A - パタ−ン認識学習装置 - Google Patents
パタ−ン認識学習装置Info
- Publication number
- JPS6273391A JPS6273391A JP60212543A JP21254385A JPS6273391A JP S6273391 A JPS6273391 A JP S6273391A JP 60212543 A JP60212543 A JP 60212543A JP 21254385 A JP21254385 A JP 21254385A JP S6273391 A JPS6273391 A JP S6273391A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- vector
- learning
- covariance matrix
- expansion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003909 pattern recognition Methods 0.000 title claims description 18
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 27
- 239000002131 composite material Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 abstract description 77
- 230000015654 memory Effects 0.000 abstract description 36
- 230000011218 segmentation Effects 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 241001553014 Myrsine salicina Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔発明の技術分野〕
本発明は、特定カテゴリの入力パターンから、認識処理
に用いる為の上記特定カテゴリの標塾パターンを部局に
精度良く得ることのできるパターン認識学習装置に関す
る。
に用いる為の上記特定カテゴリの標塾パターンを部局に
精度良く得ることのできるパターン認識学習装置に関す
る。
音巾や文字等のパターンを入力し、その入力パターンを
認識して情報入力するパターン認識装置が種々開発され
ている。
認識して情報入力するパターン認識装置が種々開発され
ている。
この種のパターン認識装置では、入力パターンと標準パ
ターンとを照合し、入力パターンとマツチングのとれた
標準パターンのカテゴリをその認識結果として求めてい
る。この為、その認識率の向上を図る上で、標準パター
ンの学習が、必要となる。
ターンとを照合し、入力パターンとマツチングのとれた
標準パターンのカテゴリをその認識結果として求めてい
る。この為、その認識率の向上を図る上で、標準パター
ンの学習が、必要となる。
ところで従来一般的には、標票パターンの新規登録を学
習と称し、その学習時に入力されるカテゴリの知られて
いる複数のパターンを、認識対象とするパターンと同様
な形式でメモリに登録し、これをそのカテゴリの標準パ
ターンとしている。
習と称し、その学習時に入力されるカテゴリの知られて
いる複数のパターンを、認識対象とするパターンと同様
な形式でメモリに登録し、これをそのカテゴリの標準パ
ターンとしている。
このような標準パターンの登録によれば、この登録され
たパターンと入力パターンとのマツチングによって認識
処理が行われるから、時間的に同時期に発生されたパタ
ーンを随時参照することができる。しかし、このように
して登録される標準パターンは、認識対象の統計的分布
があまり考慮されていない。これ故、一般的には入力パ
ターンの変動が少ないパターン認識についてのみ利用さ
れている。
たパターンと入力パターンとのマツチングによって認識
処理が行われるから、時間的に同時期に発生されたパタ
ーンを随時参照することができる。しかし、このように
して登録される標準パターンは、認識対象の統計的分布
があまり考慮されていない。これ故、一般的には入力パ
ターンの変動が少ないパターン認識についてのみ利用さ
れている。
これ逸こ対して、マハラノビスの汎距離による認識法や
、調合類似度法等のパターンの統計的分布を考慮した認
識法かある。ところがこのような認識法にあっては、パ
ターンの統計的変動を考慮してその標準パターンを作成
する為、そのサンプルパターンを多く収集することが大
変である。しかも、そのサンプルパターンを統計的に分
析することも非常に大変である。
、調合類似度法等のパターンの統計的分布を考慮した認
識法かある。ところがこのような認識法にあっては、パ
ターンの統計的変動を考慮してその標準パターンを作成
する為、そのサンプルパターンを多く収集することが大
変である。しかも、そのサンプルパターンを統計的に分
析することも非常に大変である。
このように、この種のパターン認識法にあっては、その
標準パターンの学習が非常に困難である為、予めその学
習を別の計算機等を用いて行い、これによって求められ
た標章パターンをパターン認識装置に組込むようにして
いる。
標準パターンの学習が非常に困難である為、予めその学
習を別の計算機等を用いて行い、これによって求められ
た標章パターンをパターン認識装置に組込むようにして
いる。
即ち、調合類似度法等では、認識対象パターンの統計的
分布を考慮してその標章パターンが作成されている。従
って単に学習入力パターンを標錦パターンとして登録す
るものに比較して、その認識性能が格段に高い。しかし
、統計的分布を考慮して標章パターンを作成するには、
例えばKL展開等の手法を用いることが必要であり、容
すではない。
分布を考慮してその標章パターンが作成されている。従
って単に学習入力パターンを標錦パターンとして登録す
るものに比較して、その認識性能が格段に高い。しかし
、統計的分布を考慮して標章パターンを作成するには、
例えばKL展開等の手法を用いることが必要であり、容
すではない。
また上記KL展開の手法として、ヤコビ法やハウス・ホ
ルダー・スツルム法が知られているが、上記ヤコビ法を
用いた場合、計算手順は比較釣部+1’lであるが、そ
の計算量が膨大であると云う欠点がある。また上記ハウ
ス・ホルダー・スツルム法を用いるには、計算手順がt
隻雑であり、その装置化が難しいと云う欠点がある。
ルダー・スツルム法が知られているが、上記ヤコビ法を
用いた場合、計算手順は比較釣部+1’lであるが、そ
の計算量が膨大であると云う欠点がある。また上記ハウ
ス・ホルダー・スツルム法を用いるには、計算手順がt
隻雑であり、その装置化が難しいと云う欠点がある。
このような理由により、従来では専らパターン認識装置
とは別の計算機等によって凛僧パターンを求めているの
が実状である。
とは別の計算機等によって凛僧パターンを求めているの
が実状である。
本発明はこのような事情を考慮してなされたもので、そ
の]」的とするところは、認識性能の高い(ネ準パター
ンを効率の良い学習処理によって簡易に得ることかでき
るパターン認識学習装置を提供することにある。
の]」的とするところは、認識性能の高い(ネ準パター
ンを効率の良い学習処理によって簡易に得ることかでき
るパターン認識学習装置を提供することにある。
本発明は、特定カテゴリの入力パターンの共分散行列を
求め、KL展開によってその固付値と固釘ベクトルを求
めて上記特定カテゴリの[L:$パターンを作成するに
際し、上記KL展開をべき乗法を基本として実行するよ
うにしたものである。
求め、KL展開によってその固付値と固釘ベクトルを求
めて上記特定カテゴリの[L:$パターンを作成するに
際し、上記KL展開をべき乗法を基本として実行するよ
うにしたものである。
かくして本発明によれば、べき乗法を基本とするK L
展開によって入力パターンの共分散行列の固q値と固釘
ベクトルとを求めるので、その固−q値と固qベクトル
とが絶対値の大きいものから順に出現することになる。
展開によって入力パターンの共分散行列の固q値と固釘
ベクトルとを求めるので、その固−q値と固qベクトル
とが絶対値の大きいものから順に出現することになる。
この結果、少数のパターンから、そのパターンの統計的
変動を反映した標準パターンを簡易に求めることが可能
となる。しかも、パターン認識を複合類似度法、または
混合類似度法により実行する計算回路をそのまま用いて
」二連したKL展開を実行すことが可能となり、標章パ
ターンの学習を簡易に、且つ高速に行って、認識性能の
高い標章パターンを求めることがriJ能となる。従っ
て、入力パターンに対する統計的分布を十分に反映した
標章パターンを得ることができる等の多大なる効果が奏
せられる。
変動を反映した標準パターンを簡易に求めることが可能
となる。しかも、パターン認識を複合類似度法、または
混合類似度法により実行する計算回路をそのまま用いて
」二連したKL展開を実行すことが可能となり、標章パ
ターンの学習を簡易に、且つ高速に行って、認識性能の
高い標章パターンを求めることがriJ能となる。従っ
て、入力パターンに対する統計的分布を十分に反映した
標章パターンを得ることができる等の多大なる効果が奏
せられる。
以下、図面を参照して本発明の一実施例につき説明する
。
。
第1図は音声認識装置に適用した実施例装置の概略構成
図である。
図である。
音白入力部lから入力される音声信号は、電気信号に変
換されて特徴抽出部2に導かれる。この特徴抽出部2は
、例えば16チヤンネルのバンド・バス・フィルタ群か
らなり、16チヤンネルのバンド・バス・フィルタ出力
を母音認識用の音響パラメータとして出力している。ま
た特徴抽出部2は、上記16チヤンネルのバンド・バス
・フィルタ出力を隣接する 2チヤンネル毎にまとめ、
8チヤンネルの子音認識用音響パラメータとして出力し
ている。
換されて特徴抽出部2に導かれる。この特徴抽出部2は
、例えば16チヤンネルのバンド・バス・フィルタ群か
らなり、16チヤンネルのバンド・バス・フィルタ出力
を母音認識用の音響パラメータとして出力している。ま
た特徴抽出部2は、上記16チヤンネルのバンド・バス
・フィルタ出力を隣接する 2チヤンネル毎にまとめ、
8チヤンネルの子音認識用音響パラメータとして出力し
ている。
尚、特徴抽出部2は、ケプストラム係数や相関分析によ
って求められる種々のパラメータの一部、またはその複
数の組合せとして上記音響パラメータを求めるものであ
っても良い。
って求められる種々のパラメータの一部、またはその複
数の組合せとして上記音響パラメータを求めるものであ
っても良い。
このようにして求められた入力音声パターンの音響パラ
メータは、セグメント化処理部3に導かれ、例えば各単
音節毎に切出される。この単音節の切出しは、入力音声
のパワーの変化を調べる等して行われる。
メータは、セグメント化処理部3に導かれ、例えば各単
音節毎に切出される。この単音節の切出しは、入力音声
のパワーの変化を調べる等して行われる。
そして母音については、母音部のうちの1フレームを切
出し、これを母音認識用パターン、および母音学習用パ
ターンとしている。従って母音部1電用パターン、およ
び母音学習用パターンは、16チヤンネルのハンド・バ
ス・フィルタ出力からなる16次元の母音パターンとな
る。
出し、これを母音認識用パターン、および母音学習用パ
ターンとしている。従って母音部1電用パターン、およ
び母音学習用パターンは、16チヤンネルのハンド・バ
ス・フィルタ出力からなる16次元の母音パターンとな
る。
また子&については、子音から母音への渡りの部分を含
む8フレームを切出し、これを子音認識用パターン、お
よび子音学習用パターンとしている。従って子音認識用
パターン、および子音学習用パターンは、前述した8チ
ヤンネルのバンド・バス・フィルタ出力を時間方向に8
点サンプリングしたものとなるから、64次元の子音パ
ターンとなる。
む8フレームを切出し、これを子音認識用パターン、お
よび子音学習用パターンとしている。従って子音認識用
パターン、および子音学習用パターンは、前述した8チ
ヤンネルのバンド・バス・フィルタ出力を時間方向に8
点サンプリングしたものとなるから、64次元の子音パ
ターンとなる。
このようにして求められた母音パターン、および子音パ
ターンに対する認識処理が、認識処理部4にて標準パタ
ーン・メモリ部5に格納された標章パターンを用いて行
われる。
ターンに対する認識処理が、認識処理部4にて標準パタ
ーン・メモリ部5に格納された標章パターンを用いて行
われる。
このパターンの認識処理は、上記入力パターンのベクト
ルをf1カテゴリノについての標章パタ一部を(φn
)としたとき、次式に示す混合類似度法による計算
を実行することにより行われる。
ルをf1カテゴリノについての標章パタ一部を(φn
)としたとき、次式に示す混合類似度法による計算
を実行することにより行われる。
この計算は、上記標準パターン(φn(、f’)。
の&n面のベクトルと上記入力パターンのベクトルfと
の内積を求め、これにその固有値で決定さくlり れる係数an を掛けることによって行われ(i
) る。尚、上記係数an は正負の値を取り、負の
場合には他のカテゴリとの差が強調される。
の内積を求め、これにその固有値で決定さくlり れる係数an を掛けることによって行われ(i
) る。尚、上記係数an は正負の値を取り、負の
場合には他のカテゴリとの差が強調される。
また」1記係数an が正の値だけをとる場合には
、1(全類似度法と同じである。
、1(全類似度法と同じである。
このような混合類似度計算を全てのカテゴリの各標準パ
ターンとの間で行い、その混合類似度値S”)[r]を
最大とする標準パターンのカテゴリを認識結果として求
めることによって、入力音白パターンが認識される。
ターンとの間で行い、その混合類似度値S”)[r]を
最大とする標準パターンのカテゴリを認識結果として求
めることによって、入力音白パターンが認識される。
このようにして求められた入力パターンに対する認識結
果が、認識結果表示部8に表示される。
果が、認識結果表示部8に表示される。
−ガ、1−述した認識処理に供される入力音声パターン
は、学習用パターンとして学習パターン・メモリ部6に
順次格納される。また学習用として入力されたカテゴリ
か知られているパターンも、−に述した処理が施されて
学習パターン・メモリ部6に格納される。この結果、学
習パターン・メモリ部6には、同一のカテゴリに関する
前記母音パターン、および子音パターンがそれぞれ?j
2i個づつ格納される。そして、学習パターン・メモリ
部6に必要な数の学習用パターンが格納されたとき、こ
れらのパターンを用いて学習処理部7による学習か行わ
れる。
は、学習用パターンとして学習パターン・メモリ部6に
順次格納される。また学習用として入力されたカテゴリ
か知られているパターンも、−に述した処理が施されて
学習パターン・メモリ部6に格納される。この結果、学
習パターン・メモリ部6には、同一のカテゴリに関する
前記母音パターン、および子音パターンがそれぞれ?j
2i個づつ格納される。そして、学習パターン・メモリ
部6に必要な数の学習用パターンが格納されたとき、こ
れらのパターンを用いて学習処理部7による学習か行わ
れる。
この学習処理部7は、例えば第2図に示すようにマイク
ロプロセッサ部7aと、後述する専用ハードウェア部7
bとからなる。そしてマイクロプロセッサ部7aと専用
ハードウェア部7bとにその演算処理を割当て、1高速
に学習処理を行うものとなっている。
ロプロセッサ部7aと、後述する専用ハードウェア部7
bとからなる。そしてマイクロプロセッサ部7aと専用
ハードウェア部7bとにその演算処理を割当て、1高速
に学習処理を行うものとなっている。
つまり、パターンの学習を行う為の共分散行列を求める
処理、およびKL展開処理において必要な、多くの#4
和演算処理を専用ハードウェア部7bにより、高速に行
うものとなっている。
処理、およびKL展開処理において必要な、多くの#4
和演算処理を専用ハードウェア部7bにより、高速に行
うものとなっている。
この学習処理は、■母音パターンおよび子音パターンか
ら、その共分散行列を求める処理、■およびその共分散
行列に対する固有値と固有ベクトルとを求める処理とに
大別される。この固有値と固有ベクトルとを、その固有
値の大きいものからN測水める処理は、一般にKL展開
と称される。
ら、その共分散行列を求める処理、■およびその共分散
行列に対する固有値と固有ベクトルとを求める処理とに
大別される。この固有値と固有ベクトルとを、その固有
値の大きいものからN測水める処理は、一般にKL展開
と称される。
この学習処理について説明すると、先ず入力音声パター
ンの共分散行列には、その学習パターンを縦ベクトルS
mとしたとき、次のようにして求められる。
ンの共分散行列には、その学習パターンを縦ベクトルS
mとしたとき、次のようにして求められる。
尚、この学習パターン5I11は、子音パターンの場合
、64次元の縦ベクトルとして与えられる。また母音パ
ターンの場合には、16次元の縦ベクトルとして与えら
れる。
、64次元の縦ベクトルとして与えられる。また母音パ
ターンの場合には、16次元の縦ベクトルとして与えら
れる。
しかして」]コ分散行列には、m個の学習パターンにつ
いて、その縦ベクトル5llllと、この縦ベクトルを
転置した横ベクトル5lllとを掛合わせて作成された
行列の各成分を、上記M個の学習パターンに亙って平均
化して求められる。従って共分散行列の要素数は、上記
ベクトルの要素数の2乗となる。
いて、その縦ベクトル5llllと、この縦ベクトルを
転置した横ベクトル5lllとを掛合わせて作成された
行列の各成分を、上記M個の学習パターンに亙って平均
化して求められる。従って共分散行列の要素数は、上記
ベクトルの要素数の2乗となる。
尚、このような処理によって、そのカテゴリのパターン
分布を反映した共分散行列を得るには、ある程度の量の
学習パターンを必要とする。これ故、前述したように前
記学習パターン・メモリ部Gに所定数の学習パターンを
予め蓄積しておくことが8嘗となる。
分布を反映した共分散行列を得るには、ある程度の量の
学習パターンを必要とする。これ故、前述したように前
記学習パターン・メモリ部Gに所定数の学習パターンを
予め蓄積しておくことが8嘗となる。
しかし、少数の学習パターンによっても、逐次計算によ
って共分散行列を求め、その共分散行列を次第にパター
ン分布を反映した形に改良するには、次のような計算処
理を行うようにすれば良い。
って共分散行列を求め、その共分散行列を次第にパター
ン分布を反映した形に改良するには、次のような計算処
理を行うようにすれば良い。
即ち、
K−(1−w)K’ +wSn −Sn tなる演
算処理を行うようにすれば良い。但し、上式において、
Wは共分散行列の更新時における重み係数である。この
市み係数Wは、正負の値をとり、正tらば共分散行列の
入力パターンに対する類似度を大きくする作用を呈し、
逆に負の場合には−1−記碩似度を小さくする作用を呈
する。またに′は、Snなる学習パターンを学習する前
の共分散行列を示し、このSnなる学習パターンの学習
によって更新されt;共分散行列がKとなる。
算処理を行うようにすれば良い。但し、上式において、
Wは共分散行列の更新時における重み係数である。この
市み係数Wは、正負の値をとり、正tらば共分散行列の
入力パターンに対する類似度を大きくする作用を呈し、
逆に負の場合には−1−記碩似度を小さくする作用を呈
する。またに′は、Snなる学習パターンを学習する前
の共分散行列を示し、このSnなる学習パターンの学習
によって更新されt;共分散行列がKとなる。
この共分散行列の更新処理は、複数の学習パターンを用
いて反復的に良数回繰返して行われることは云うまでも
ない。
いて反復的に良数回繰返して行われることは云うまでも
ない。
しかる後、」−述した如く求められた共分散行列にλ・
1して、その固有値と同町ベクトルを求める処理か行わ
れる。この固宜値と固有ベクトルとに基いて、前述した
混合類似度計算に用いられる標準パターンか次のように
して作成される。
1して、その固有値と同町ベクトルを求める処理か行わ
れる。この固宜値と固有ベクトルとに基いて、前述した
混合類似度計算に用いられる標準パターンか次のように
して作成される。
この標章パターンは、上記共分散行列をKL展開するこ
とによって行われるが、本装置gでは、特にへき乗法に
よるKL展開によって、その標準パターンを求めるよう
にしている。
とによって行われるが、本装置gでは、特にへき乗法に
よるKL展開によって、その標準パターンを求めるよう
にしている。
今、共分散行列Kが、固有値λl、λ2.〜λnを持ち
、これに対応する固有ベクトルξ1.ξ2.〜ξnを持
つものとする。
、これに対応する固有ベクトルξ1.ξ2.〜ξnを持
つものとする。
この場合、その任意ベクトルUOは、上記固有ベクトル
ξ1.ξ2.〜ξnの線形結合として、として表される
。
ξ1.ξ2.〜ξnの線形結合として、として表される
。
しかして、
KCl−λi ξi
なる関係が成立することから、
となる。 1“1
ここて
1 λl 1 〉 1 λ21 〉 ・・・ 〉
l λ「 1 〉・・・ 〉1λn1 1λi /λl l <l (+=2.3.〜n)
であるから、Sが十分大きくなると」二式の第2項s+
1 は0″に収束する。故に、(K uo )と(Ks
uo)との比か固有値λ1となる。また」二足(K”u
o)は固自゛ペクト牛ξlに比例する。
l λ「 1 〉・・・ 〉1λn1 1λi /λl l <l (+=2.3.〜n)
であるから、Sが十分大きくなると」二式の第2項s+
1 は0″に収束する。故に、(K uo )と(Ks
uo)との比か固有値λ1となる。また」二足(K”u
o)は固自゛ペクト牛ξlに比例する。
尚、」二連した計算処理をそのまま実行すると、その計
算途中でスケールアウトする可能性が高い。
算途中でスケールアウトする可能性が高い。
そこでUOをf′r:意のベクトル、例えば単位ベクト
ルとし、 vs+I −Kus us+1−vs+l/bs+l (sJ、1.
2.=1とする。ここてb s+1はベクトルv s+
1の絶対値か最大の要素である。
ルとし、 vs+I −Kus us+1−vs+l/bs+l (sJ、1.
2.=1とする。ここてb s+1はベクトルv s+
1の絶対値か最大の要素である。
このとき、
us+I −vs+I / bs+1−K us /
bs+1=Kvs / (bs+1 −bs )となる
ので、これから λ l”=bs+1 、 ξ 1?us+1
それぞれ求めることが可能となる。
bs+1=Kvs / (bs+1 −bs )となる
ので、これから λ l”=bs+1 、 ξ 1?us+1
それぞれ求めることが可能となる。
しかしてこのようにしてその絶対値か最大の固q値λ1
と固有ベクトルξlとを求めたら、その絶対値が次に大
きい固有値λ2と固有ベク;・ルξ2とを求める。
と固有ベクトルξlとを求めたら、その絶対値が次に大
きい固有値λ2と固有ベク;・ルξ2とを求める。
ここで
に’ −に−λl ξ1 ξlt
を考えると、
ξl t Ei=o (1=2.3.〜n)より
、 K′ ξI −KEI −λl ξ1 ξl 1
ξl−λ 1 ξ 1− λ 1 ξ1−01く ′
ξ l −K ξ i −λ l ξ i
ξ 11 ξ 1− λ i ξi (i≠
1 ) となるので、」二足に′は 1λ21〉 ・・・ 〉1λrl> ・・・ 〉1λn 1〉0 なる固q値を持つことがわかる。尚、ここではξjは正
規化されているものとしている。
、 K′ ξI −KEI −λl ξ1 ξl 1
ξl−λ 1 ξ 1− λ 1 ξ1−01く ′
ξ l −K ξ i −λ l ξ i
ξ 11 ξ 1− λ i ξi (i≠
1 ) となるので、」二足に′は 1λ21〉 ・・・ 〉1λrl> ・・・ 〉1λn 1〉0 なる固q値を持つことがわかる。尚、ここではξjは正
規化されているものとしている。
このような処理は、前記共分散行列を
に’ −に−λl ξ・ξ1
のように変換したに′に対して、上述した処理を繰返し
実行することにより達せられる。この処理によって、順
次絶対値の大きい固を値と、それに対応する固有ベクト
ルとを、固有値の大きいものから順に求めることが可能
となる。
実行することにより達せられる。この処理によって、順
次絶対値の大きい固を値と、それに対応する固有ベクト
ルとを、固有値の大きいものから順に求めることが可能
となる。
しかしてこの処理は、次のようにして実行することがで
きる。第3図は上述した計算アルゴリズムの具体例を示
すものである。
きる。第3図は上述した計算アルゴリズムの具体例を示
すものである。
尚、ここでは固を値の絶対値の大きいものから順に求め
ているので混合類似度法による標準パターンを求めるの
に都合が良いが、負の同町値を削除すれば、?Sj合類
似度法による標準パターンを効果的に求めることも可能
となる。
ているので混合類似度法による標準パターンを求めるの
に都合が良いが、負の同町値を削除すれば、?Sj合類
似度法による標準パターンを効果的に求めることも可能
となる。
次に第3図に示すKL展開の流れについて説明する。
このK L展開の処理は、前述したマイクロプロセッサ
部7aと専用ハードウェア部7bとにより、その処理機
能を分↑uして行われる。
部7aと専用ハードウェア部7bとにより、その処理機
能を分↑uして行われる。
ここでは先ず前記マイクロプロセッサ部7aにて、同町
値最大の固有ベクトルを求めるので、面数の初期値を“
1″とする(ステップa)。この面数の設定は、面数か
所定数になるまで演算処理を行う為の川明設定である。
値最大の固有ベクトルを求めるので、面数の初期値を“
1″とする(ステップa)。この面数の設定は、面数か
所定数になるまで演算処理を行う為の川明設定である。
しかる後、専用ハードウェア部7bにて演算処理の川明
反復回数の設定を行う(ステップb)。この反復回数の
設定は、共分散行列とベクトルとの掛算を上記面数を“
2”ずつ増やしながら繰返し実行しても、その収束条件
が満されないとき、上記面数が最大の反復回数に達した
ことを判定して、その処理を打切る為に行われる。
反復回数の設定を行う(ステップb)。この反復回数の
設定は、共分散行列とベクトルとの掛算を上記面数を“
2”ずつ増やしながら繰返し実行しても、その収束条件
が満されないとき、上記面数が最大の反復回数に達した
ことを判定して、その処理を打切る為に行われる。
尚、収束のチェックは、上記掛算を2回行って双ノjの
ベクトル、およびベクトルのよその絶対値の最大値を使
って行うので、その反復回数は2回すつjCl・える。
ベクトル、およびベクトルのよその絶対値の最大値を使
って行うので、その反復回数は2回すつjCl・える。
またこの掛算を1回ずつ行い、前回のベクトルおよびベ
クトル要素の最大値を使って毎回収束チェックを行うよ
うにしても良い。
クトル要素の最大値を使って毎回収束チェックを行うよ
うにしても良い。
しかる後、次のステップCにおける積和演算を行う為の
初期ベクトルとして、例えば の如き111位ベクトルを初期設定する。
初期ベクトルとして、例えば の如き111位ベクトルを初期設定する。
このような初期設定が完了した時点で、前記専用ハード
・ウェア部7bにより、共分散行列にとベクトルξ1と
の掛算を行い、ベクトルξ2を求める(ステップC)。
・ウェア部7bにより、共分散行列にとベクトルξ1と
の掛算を行い、ベクトルξ2を求める(ステップC)。
しかし、ここで求められるベクトルξ2は、ベクトルξ
lが16ビツト、共分散行列Kが15ビツトに制限され
ていることから、35ビツト以内に収まるようになって
いる。つまり次のステップeての共分散行列にとベクト
ルξ2との乗算を行う為に、I−記ベクトルξ2を16
ビツトに納めることが必要であり、次のような処理を施
している(ステップd)。
lが16ビツト、共分散行列Kが15ビツトに制限され
ていることから、35ビツト以内に収まるようになって
いる。つまり次のステップeての共分散行列にとベクト
ルξ2との乗算を行う為に、I−記ベクトルξ2を16
ビツトに納めることが必要であり、次のような処理を施
している(ステップd)。
即ち先ず、35ビツトで示されるベクトルξ2の上位1
6ビツトを取出し、該ベクトルξ2の各要素のうちで絶
対値が最大となる要素を調べる。その要素の最大値を用
いて、後述する第4図に示すシフタ19を用いて、その
絶対値の最大値λ2が、例えば “5361170!ill”以下となるようにし、その
結果をALU24に導くようにする。
6ビツトを取出し、該ベクトルξ2の各要素のうちで絶
対値が最大となる要素を調べる。その要素の最大値を用
いて、後述する第4図に示すシフタ19を用いて、その
絶対値の最大値λ2が、例えば “5361170!ill”以下となるようにし、その
結果をALU24に導くようにする。
一方、λ2が零または正の場合には
λ2 /32787 +1
なる値を、また上記λ2が負の場合には、λ2 /32
787−1 なる値を求め、この値で前述したベクトルξiの各要素
をALU24にて割算ししている。このような処理によ
って前記ベクトルξ2の各要素の最大値がほぼ“327
67− (32767以下)になるように正規化処理
される。尚、λ2は、回付値に比例するので、このλ2
から回付値を得ることも可能である。しかし、混合類似
度や複合類似度にあっては、トロ!Lの比率が問題とな
るだけなので、回付値そのものを求める必要はない。
787−1 なる値を求め、この値で前述したベクトルξiの各要素
をALU24にて割算ししている。このような処理によ
って前記ベクトルξ2の各要素の最大値がほぼ“327
67− (32767以下)になるように正規化処理
される。尚、λ2は、回付値に比例するので、このλ2
から回付値を得ることも可能である。しかし、混合類似
度や複合類似度にあっては、トロ!Lの比率が問題とな
るだけなので、回付値そのものを求める必要はない。
このような正規化処理を経て、前述したステップCと同
様にして共分散行列にとベクトルξ2との掛算を行い、
ベクトルξlを求める(ステップe)。そして前記ステ
ップdにおける処理と同様にして、ベクトルξlの絶対
値の最大の要素を求め、これをλ1とした後、上記ξl
を正規化処理する(ステップf)。
様にして共分散行列にとベクトルξ2との掛算を行い、
ベクトルξlを求める(ステップe)。そして前記ステ
ップdにおける処理と同様にして、ベクトルξlの絶対
値の最大の要素を求め、これをλ1とした後、上記ξl
を正規化処理する(ステップf)。
しかして次に前記ベクトルξ1.ξ2の収束の程度をチ
ェックしくステップg)、収束条件が満される場合には
、共分散行列にとベクトルξとの掛算処理を終了し、次
のステップIに移行する。また、ベクトルξ17ξ2が
十分に収束していない場合には、その反復制限回数のチ
ェックを行い(ステップh)、前述したステップCから
の処理を繰返す。
ェックしくステップg)、収束条件が満される場合には
、共分散行列にとベクトルξとの掛算処理を終了し、次
のステップIに移行する。また、ベクトルξ17ξ2が
十分に収束していない場合には、その反復制限回数のチ
ェックを行い(ステップh)、前述したステップCから
の処理を繰返す。
尚、上記ベクトルξ1.ξ2の収束のチェックは、具体
的には次のようにして行われる。
的には次のようにして行われる。
即ち、λ2の前回の値をλ2 ″としたとき、これらの
値の差の絶対値とλ2の絶対値に基づく所定の閾値とを
比較して行われる。そして1λ2−λ2゛1≧1λ21
/β あるとき、これをベクトルξが収束していないと判定し
、 1λ2−λ2−1<lλ21/β である場合には、収束条件を満していると判定する。但
し、上記βは係数である。
値の差の絶対値とλ2の絶対値に基づく所定の閾値とを
比較して行われる。そして1λ2−λ2゛1≧1λ21
/β あるとき、これをベクトルξが収束していないと判定し
、 1λ2−λ2−1<lλ21/β である場合には、収束条件を満していると判定する。但
し、上記βは係数である。
しかしてこの第1の収束条件が満されたとき、次の収束
条件に対するチェックが行われる。この第2の収束条件
のチェックは、ベクトルξ2とベクトルξ2の各要素毎
の差の絶対値の和をSAとして求める。そしてこのSA
の値とλ2の絶対値に基づく所定の閾値とを比較し、 SA≧1λ21/γ 場合には収束せず、また SA<lλ21/γ 場合に収束していると判定する。但し、γは係数である
。
条件に対するチェックが行われる。この第2の収束条件
のチェックは、ベクトルξ2とベクトルξ2の各要素毎
の差の絶対値の和をSAとして求める。そしてこのSA
の値とλ2の絶対値に基づく所定の閾値とを比較し、 SA≧1λ21/γ 場合には収束せず、また SA<lλ21/γ 場合に収束していると判定する。但し、γは係数である
。
このような2段階の収束条件チェックによって、前記ベ
クトルξl、ξ2の収束が判定される。
クトルξl、ξ2の収束が判定される。
以」二の一連の処理によってベクトルξ[、ξ2の収束
か確認されると、ベクトルξ1のノルムが計算される(
ステップi)。このノルムの計算は、先ず なる演算を行ってノルムの2乗を求め、このノルムの2
乗値の平方根を求めることによって達せられる。このよ
うにして求めたノルムの値を用いて前記ベクトルξIを
正規化し、そのノルムが各面で等しくなるようにする。
か確認されると、ベクトルξ1のノルムが計算される(
ステップi)。このノルムの計算は、先ず なる演算を行ってノルムの2乗を求め、このノルムの2
乗値の平方根を求めることによって達せられる。このよ
うにして求めたノルムの値を用いて前記ベクトルξIを
正規化し、そのノルムが各面で等しくなるようにする。
このようにして求められたベクトルが、混合類似度法、
あるいは複合類似度法における辞書となる。
あるいは複合類似度法における辞書となる。
しかる後、前記共分散行列Kから上記ベクトルその後、
マイクロプロセッサ部7aに戻って、前記共分散行列に
の要素中の最大値を求め、その値を用いて該共分散行列
Kを正規化処理して、その固有値と固有ベクトルとを求
める(ステップk)。
マイクロプロセッサ部7aに戻って、前記共分散行列に
の要素中の最大値を求め、その値を用いて該共分散行列
Kを正規化処理して、その固有値と固有ベクトルとを求
める(ステップk)。
この処理は、共分散行列にの要素の最大値をMAXKと
して l5CAL−32767/MAXK (整数)を計算
し、共分散行列Kに上記l5CALの値を掛算する、つ
まり (K)−(K)* l5CAL を計算することによって達せられる。尚、上記“327
G7’なる値は、16ビツトで表現される正の最大の値
であるが、求めようとする固有ベクトルの値によっては
、15ビツトで正の最大となる“16383“、或いは
それ以下の値を用い、共分散行列を制限するようにして
も良い。
して l5CAL−32767/MAXK (整数)を計算
し、共分散行列Kに上記l5CALの値を掛算する、つ
まり (K)−(K)* l5CAL を計算することによって達せられる。尚、上記“327
G7’なる値は、16ビツトで表現される正の最大の値
であるが、求めようとする固有ベクトルの値によっては
、15ビツトで正の最大となる“16383“、或いは
それ以下の値を用い、共分散行列を制限するようにして
も良い。
しかる後、ここで求められた固有値と同町ベクトルが、
所定の面数に達しているか否かが判定され(ステップ得
る)、所定の面数に達していない場合には、前述したス
テップbからの処理を繰返すことになる。
所定の面数に達しているか否かが判定され(ステップ得
る)、所定の面数に達していない場合には、前述したス
テップbからの処理を繰返すことになる。
以上のようにして、そのKL展開処理が、マイクロプロ
セッサ部7aと専用ハードウェア部7bの処理機能を使
い分けて高速に実行される。
セッサ部7aと専用ハードウェア部7bの処理機能を使
い分けて高速に実行される。
つまり、このKL展開にあっては、共分散行列にと固釘
ベクトルξとの乗算計算口が非常に多い。
ベクトルξとの乗算計算口が非常に多い。
例えばベクトルξの次元が64次元のパターンであり、
その反復繰返し数を50回、求める開角゛値および同町
ベクトルの数を7とすると、 B4X fi4X 64X 50X 7−91.750
.400回もの、膨大な乗算処理と加算処理が必要とな
る。
その反復繰返し数を50回、求める開角゛値および同町
ベクトルの数を7とすると、 B4X fi4X 64X 50X 7−91.750
.400回もの、膨大な乗算処理と加算処理が必要とな
る。
このような乗算処理と加算処理とを専用ハードウェア部
7bにて実行することにより、マイクロプロセッサ部7
aの処理負担を大幅に軽減し、その処理速度の高速化が
図られている。
7bにて実行することにより、マイクロプロセッサ部7
aの処理負担を大幅に軽減し、その処理速度の高速化が
図られている。
尚、このような専用ハードウェア部7bは、前記認識処
理部4における認識処理計算回路と兼用することができ
る。換言すれば、前記認識処理部4における認識処理計
算回路を利用して共分散行列の計算、および共分散行列
のKLJJit開処理を行うことか可能である。従って
、装置構成がLM 21#化することがない。
理部4における認識処理計算回路と兼用することができ
る。換言すれば、前記認識処理部4における認識処理計
算回路を利用して共分散行列の計算、および共分散行列
のKLJJit開処理を行うことか可能である。従って
、装置構成がLM 21#化することがない。
さて、第4図は上述した専用ハードウェア部7bの構成
例を示すものである。
例を示すものである。
この専用ハードウェア部7bは、5つのメモリ11゜1
2、 +3. 14.15.1段目のセレクタ16.
17.1段目の積和回路I8、シフタエ9、係数レジ
スタ2012段口のセレクタ21.22.2段目の積和
回路23、そしてA L U 24、レジスタ群25に
よって構成される。
2、 +3. 14.15.1段目のセレクタ16.
17.1段目の積和回路I8、シフタエ9、係数レジ
スタ2012段口のセレクタ21.22.2段目の積和
回路23、そしてA L U 24、レジスタ群25に
よって構成される。
この専用ハードウェア部7bは、前述したKL展開処理
における基本演算処理を実行するもので、その基本演算
は次のGつの動作からなる。
における基本演算処理を実行するもので、その基本演算
は次のGつの動作からなる。
先ず第1の動作は、
つまり混合類似度Siの2乗和を計算する処理である。
この計算処理は、メモリ11に格納されたSlの内容を
順次セレクタ16.17を介して第1の積和回路18に
入力し、そのパラメータ1をインクリメントシなからS
iの相互掛算をn回繰返し計算することによって行われ
る。この積和回路18にて計算された値は、シフタ19
を介してA L U 24に与えられる。
順次セレクタ16.17を介して第1の積和回路18に
入力し、そのパラメータ1をインクリメントシなからS
iの相互掛算をn回繰返し計算することによって行われ
る。この積和回路18にて計算された値は、シフタ19
を介してA L U 24に与えられる。
また第2の動作は、
つまりSiの和の2乗を2I!lは整数)で割算する処
理である。
理である。
この処理は、メモリ11に格納されたSiの内容をセレ
クタ16を介して積和回路18に入力すると共に、メモ
リ13に格納されている整数ノの値、例えば(1)をセ
レクタ17を介して積和回路18に入力する。そして積
和回路18にて、これらの間の積和演算をパラメータi
の制御の元でn回繰返し実行し、その計算!111果を
前記シフタ19を介してALU24に取込むことにより
行われる。
クタ16を介して積和回路18に入力すると共に、メモ
リ13に格納されている整数ノの値、例えば(1)をセ
レクタ17を介して積和回路18に入力する。そして積
和回路18にて、これらの間の積和演算をパラメータi
の制御の元でn回繰返し実行し、その計算!111果を
前記シフタ19を介してALU24に取込むことにより
行われる。
第3の動作は、
つまりベクトルSiとベクトルφI、jの積和の2乗和
を求め、史にjをパラメータとしてその和を計算する処
理からなる。
を求め、史にjをパラメータとしてその和を計算する処
理からなる。
この処理は、メモリ11に格納されたベクトルSiをセ
レクタ17を介して積和回路18に入力し、且つメモリ
12に格納されたベクトルφi、jをセレクタ18を介
して積和回路18に入力する。そしてメモリ11.12
に対するアドレスを制御してパラメータiをインクリメ
ントし、その積和IrjJ算をn回繰返す。これによっ
て求められた値をセレクタ21゜22をそれぞれ介して
第2の積和回路23に入力する。
レクタ17を介して積和回路18に入力し、且つメモリ
12に格納されたベクトルφi、jをセレクタ18を介
して積和回路18に入力する。そしてメモリ11.12
に対するアドレスを制御してパラメータiをインクリメ
ントし、その積和IrjJ算をn回繰返す。これによっ
て求められた値をセレクタ21゜22をそれぞれ介して
第2の積和回路23に入力する。
そして、以上の処理をメモリ12におけるパラメータj
を更新しながらm回繰返して実行し、その演算結果を第
2の積和回路23に得、これを前記ALU24に格納し
て終了する。
を更新しながらm回繰返して実行し、その演算結果を第
2の積和回路23に得、これを前記ALU24に格納し
て終了する。
第4の動作は、行列にとベクトルξ1との積を求める処
理である。
理である。
このα理は、メモリ13に格納された行列にの内容をセ
レクタX6を介して積和回路18に読出し、またメモリ
14に格納されたベクトルξ1の内容をセレクタ17を
介して積和回路[8に読出すことによって行われる。こ
の積和演算は、例えば行列にの要素の1つを読出し、ベ
クトルξlの要素を順に読出し、てその積和処理を行っ
てベクトルξ2の要素の]つを求め、これをメモリ15
に格納する。その後、前記行列にの次の要素を読出し、
ベクトルξ1の要素を順に読出してその積和処理を行っ
てベクトルξ2の次の要素を求める。この処理を上記行
列にの各要素について、0回に亙って繰返し実行してベ
クトルξ2を前記メモリ15に求めて終了する。
レクタX6を介して積和回路18に読出し、またメモリ
14に格納されたベクトルξ1の内容をセレクタ17を
介して積和回路[8に読出すことによって行われる。こ
の積和演算は、例えば行列にの要素の1つを読出し、ベ
クトルξlの要素を順に読出し、てその積和処理を行っ
てベクトルξ2の要素の]つを求め、これをメモリ15
に格納する。その後、前記行列にの次の要素を読出し、
ベクトルξ1の要素を順に読出してその積和処理を行っ
てベクトルξ2の次の要素を求める。この処理を上記行
列にの各要素について、0回に亙って繰返し実行してベ
クトルξ2を前記メモリ15に求めて終了する。
更に第5の動作は、ベクトルξ1とSとの積を求める処
理からなる。
理からなる。
この処理は、メモリ11に格納されたSの内容をセレク
タ16を介して積和回路18に順次導き、メモリ14に
格納されたベクトルξ1の内容を積和回路18に順次導
くことによって行われる。この場合にも、メモリII、
14のアドレス制御を行い、各要素について繰返し演
算処理する。そしてその積和演算結果をシフタ19を通
してALU24に格納して、この処理が終了する。
タ16を介して積和回路18に順次導き、メモリ14に
格納されたベクトルξ1の内容を積和回路18に順次導
くことによって行われる。この場合にも、メモリII、
14のアドレス制御を行い、各要素について繰返し演
算処理する。そしてその積和演算結果をシフタ19を通
してALU24に格納して、この処理が終了する。
最後の第6の処理は、
なる演算式で示される処理である。この処理は、縦ベク
トルξ1と横ベクトルSとの積と、ベクトルにとの和を
求めるものであり、先ず前記メモリ13に格納されたベ
クトルにの内容をセレクタ21を介して第2の積和回路
23にプリロードしてから行われる。しかる後、メモリ
14に格納されたベクトルξ1の内容をセレクタ17を
介して積和回路18に導き、メモリ11に格納されたベ
クトルSの内容をセレクタ16を介して順に積和回路1
8に導く。この処理も、各要素について繰返し実行する
。
トルξ1と横ベクトルSとの積と、ベクトルにとの和を
求めるものであり、先ず前記メモリ13に格納されたベ
クトルにの内容をセレクタ21を介して第2の積和回路
23にプリロードしてから行われる。しかる後、メモリ
14に格納されたベクトルξ1の内容をセレクタ17を
介して積和回路18に導き、メモリ11に格納されたベ
クトルSの内容をセレクタ16を介して順に積和回路1
8に導く。この処理も、各要素について繰返し実行する
。
そして、その積和演算の結果を前記シフタ19からセレ
クタ22を通して第2の積和回路23に導き、また係数
レジスタ20に格納された演算係数αをセレクタ21を
介して積和囲路23に導く。そして上記係数αの下で、
該積和回路23にプリロードされている前記ベクトルに
の内容と積和処理する。
クタ22を通して第2の積和回路23に導き、また係数
レジスタ20に格納された演算係数αをセレクタ21を
介して積和囲路23に導く。そして上記係数αの下で、
該積和回路23にプリロードされている前記ベクトルに
の内容と積和処理する。
即ち、前記各メモリ11.13.14の各アドレスをそ
れぞれ制御しながら、上述した積和処理を繰返し実行す
る。具体的には、メモリ14のアドレスを(0)から(
n−1)まで変化される都度、メモリ11のアドレスを
順にインクリメントし、該メモリ1iのアドレスが(n
−1)に達するまで繰返し計算処理する。尚、このとき
メモリ13のアドレスは、(0)から(n 2−1)ま
で変化される。
れぞれ制御しながら、上述した積和処理を繰返し実行す
る。具体的には、メモリ14のアドレスを(0)から(
n−1)まで変化される都度、メモリ11のアドレスを
順にインクリメントし、該メモリ1iのアドレスが(n
−1)に達するまで繰返し計算処理する。尚、このとき
メモリ13のアドレスは、(0)から(n 2−1)ま
で変化される。
以上6つの動作によって、前述した学習におけるKL展
開の演算が実行されることになる。
開の演算が実行されることになる。
尚、第4図において、レジスタ群25は、セレクタ16
. 17.21.22の切替え、シフタ19のシフト量
、メモリのアドレス管理情報等を格納し、これを図示し
ない演算制御部に与えるものである。
. 17.21.22の切替え、シフタ19のシフト量
、メモリのアドレス管理情報等を格納し、これを図示し
ない演算制御部に与えるものである。
以I一本装置の(14成と、その動作につき説明したよ
うに、本装置によれば入力パターンの学習を簡易に、R
つ高速に実行することができる。しかも、そのサンプル
パターンの統計的分布を考慮した標準パターンを、高精
度に得ることができる。
うに、本装置によれば入力パターンの学習を簡易に、R
つ高速に実行することができる。しかも、そのサンプル
パターンの統計的分布を考慮した標準パターンを、高精
度に得ることができる。
しかも実施例に示すように、KL展開に必要な膨大な瓜
の積和演算を専用のハードウェア回路によって効率良く
、高速に実行することができる。
の積和演算を専用のハードウェア回路によって効率良く
、高速に実行することができる。
その上、上記ハードウェア回路は、入力パターンの認識
処理にそのまま用いることができるものである。
処理にそのまま用いることができるものである。
従って、パターン認識学習装置自体の全体構成の簡素化
を図ることができ、その低価格化を図ることが可能とな
る等の実用上多大なる効果が奏せられる。
を図ることができ、その低価格化を図ることが可能とな
る等の実用上多大なる効果が奏せられる。
尚、本発明は上述した実施例に限定されるものではなく
、その要旨を逸脱しない範囲で種々変形して実施できる
ことは云うまでもない。
、その要旨を逸脱しない範囲で種々変形して実施できる
ことは云うまでもない。
第1図は本発明の一実施例装置の概略構成図、第2図は
学習処理部の構成例を示す図、第3図はJIミ分散行列
のKL展開処理の流れを示す図、第4図はKL展開処理
に用いられるハードウェア回路の構成例を示す図である
。 l・・・音声入力部、2・・・特徴抽出部、3・・・セ
グメント化処理部、4・・認識処理部、5・・・標準パ
ターンメモリ部、6・・・学習パターンメモリ部、7・
・・学習処理部、8・・・認識結果表示部、11.12
.13.14゜15・・メモリ、16. 17. 21
. 22・・・セレクタ、18. 23・・・積和回路
、19・・・シフタ、20・・・係数レジスタ、24・
・・ALU、25・・・レジスタ群。 出願人代理人 弁理士 鈴江武彦 第1図 !2図 第3図 第4図
学習処理部の構成例を示す図、第3図はJIミ分散行列
のKL展開処理の流れを示す図、第4図はKL展開処理
に用いられるハードウェア回路の構成例を示す図である
。 l・・・音声入力部、2・・・特徴抽出部、3・・・セ
グメント化処理部、4・・認識処理部、5・・・標準パ
ターンメモリ部、6・・・学習パターンメモリ部、7・
・・学習処理部、8・・・認識結果表示部、11.12
.13.14゜15・・メモリ、16. 17. 21
. 22・・・セレクタ、18. 23・・・積和回路
、19・・・シフタ、20・・・係数レジスタ、24・
・・ALU、25・・・レジスタ群。 出願人代理人 弁理士 鈴江武彦 第1図 !2図 第3図 第4図
Claims (4)
- (1) 入力パターンを標準パターンと照合して認識処
理すると共に、特定カテゴリのパターンを入力して該特
定カテゴリの標準パターンを学習するパターン認識学習
装置において、 上記標準パターンの学習をべき乗法を用いたKL展開に
より行うことを特徴とするパターン認識学習装置。 - (2) 標準パターンを用いた入力パターンの認識処理
は、複合類似度法または混合類似度法によって行われる
ものである特許請求の範囲第1項記載のパターン認識学
習装置。 - (3) 標準パターンの学習は、特定カテゴリの複数の
入力パターンに対する共分散行列を求め、この共分散行
列をKL展開して上記特定カテゴリの標準パターンを得
るものである特許請求の範囲第1項記載のパターン認識
学習装置。 - (4) 共分散行列の計算、およびKL展開に必要な積
和演算は、専用のハードウェア回路にて実行するもので
ある特許請求の範囲第1項記載のパターン認識学習装置
。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP60212543A JPS6273391A (ja) | 1985-09-27 | 1985-09-27 | パタ−ン認識学習装置 |
EP86307384A EP0218421B1 (en) | 1985-09-27 | 1986-09-25 | Pattern recognition and learning apparatus |
DE8686307384T DE3685289D1 (de) | 1985-09-27 | 1986-09-25 | Einrichtung zur mustererkennung und zum lernen. |
US06/911,459 US4827522A (en) | 1985-09-27 | 1986-09-25 | Pattern recognition apparatus for determining a reference pattern by K-L expansion utilizing a power method |
CA000519218A CA1261068A (en) | 1985-09-27 | 1986-09-26 | Pattern recognition and learning apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP60212543A JPS6273391A (ja) | 1985-09-27 | 1985-09-27 | パタ−ン認識学習装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPS6273391A true JPS6273391A (ja) | 1987-04-04 |
Family
ID=16624419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP60212543A Pending JPS6273391A (ja) | 1985-09-27 | 1985-09-27 | パタ−ン認識学習装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US4827522A (ja) |
EP (1) | EP0218421B1 (ja) |
JP (1) | JPS6273391A (ja) |
CA (1) | CA1261068A (ja) |
DE (1) | DE3685289D1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0333968A (ja) * | 1989-06-30 | 1991-02-14 | Hitachi Ltd | ニューラルネツトを用いた情報処理システム及びパターン認識システム |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0386130A4 (en) * | 1987-11-16 | 1990-12-27 | Waters Instruments, Inc. | Non-invasive ultrasonic pulse doppler cardiac output monitor |
US5136653A (en) * | 1988-01-11 | 1992-08-04 | Ezel, Inc. | Acoustic recognition system using accumulate power series |
US5036539A (en) * | 1989-07-06 | 1991-07-30 | Itt Corporation | Real-time speech processing development system |
GB2237135A (en) * | 1989-10-16 | 1991-04-24 | Logica Uk Ltd | Speaker recognition |
JP2570448B2 (ja) * | 1989-12-28 | 1997-01-08 | 日本電気株式会社 | 標準パターン学習方法 |
US5299144A (en) * | 1992-06-17 | 1994-03-29 | Advanced Micro Devices, Inc. | Architecture for covariance matrix generation |
US5625748A (en) * | 1994-04-18 | 1997-04-29 | Bbn Corporation | Topic discriminator using posterior probability or confidence scores |
JP3724014B2 (ja) * | 1994-08-25 | 2005-12-07 | ソニー株式会社 | 画像認識装置および画像認識方法 |
KR19980703120A (ko) * | 1995-03-20 | 1998-10-15 | 조안나 티. 라우 | 이미지 식별 시스템 및 방법 |
JP3280825B2 (ja) * | 1995-04-26 | 2002-05-13 | 富士通株式会社 | 音声特徴分析装置 |
JP3342864B2 (ja) * | 2000-09-13 | 2002-11-11 | 株式会社エントロピーソフトウェア研究所 | 音声の類似度検出方法及びその検出値を用いた音声認識方法、並びに、振動波の類似度検出方法及びその検出値を用いた機械の異常判定方法、並びに、画像の類似度検出方法及びその検出値を用いた画像認識方法、並びに、立体の類似度検出方法及びその検出値を用いた立体認識方法、並びに、動画像の類似度検出方法及びその検出値を用いた動画像認識方法 |
JP2006170949A (ja) * | 2004-12-20 | 2006-06-29 | Fujitsu Ltd | ビットパターン学習プログラムおよびビットパターン学習方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4152772A (en) * | 1974-08-29 | 1979-05-01 | The United States Of America As Represented By The Secretary Of The Navy | Apparatus for performing a discrete cosine transform of an input signal |
US3981443A (en) * | 1975-09-10 | 1976-09-21 | Northrop Corporation | Class of transform digital processors for compression of multidimensional data |
US4068311A (en) * | 1976-12-03 | 1978-01-10 | The United States Of America As Represented By The Secretary Of The Navy | Discrete transform systems using permuter memories |
DE2813157C2 (de) * | 1978-03-25 | 1988-08-18 | Dornier Gmbh, 7990 Friedrichshafen | Gerät zur selbsttätigen, lageunabhängigen Mustererkennung |
US4381418A (en) * | 1981-12-04 | 1983-04-26 | Uop Inc. | Catalytic dehydrogenation process |
JPS58129684A (ja) * | 1982-01-29 | 1983-08-02 | Toshiba Corp | パタ−ン認識装置 |
JPS5972496A (ja) * | 1982-10-19 | 1984-04-24 | 株式会社東芝 | 単音識別装置 |
US4661913A (en) * | 1984-09-11 | 1987-04-28 | Becton, Dickinson And Company | Apparatus and method for the detection and classification of articles using flow cytometry techniques |
JPH0792673B2 (ja) * | 1984-10-02 | 1995-10-09 | 株式会社東芝 | 認識用辞書学習方法 |
-
1985
- 1985-09-27 JP JP60212543A patent/JPS6273391A/ja active Pending
-
1986
- 1986-09-25 EP EP86307384A patent/EP0218421B1/en not_active Expired
- 1986-09-25 US US06/911,459 patent/US4827522A/en not_active Expired - Fee Related
- 1986-09-25 DE DE8686307384T patent/DE3685289D1/de not_active Expired - Lifetime
- 1986-09-26 CA CA000519218A patent/CA1261068A/en not_active Expired
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0333968A (ja) * | 1989-06-30 | 1991-02-14 | Hitachi Ltd | ニューラルネツトを用いた情報処理システム及びパターン認識システム |
Also Published As
Publication number | Publication date |
---|---|
EP0218421B1 (en) | 1992-05-13 |
US4827522A (en) | 1989-05-02 |
DE3685289D1 (de) | 1992-06-17 |
CA1261068A (en) | 1989-09-26 |
EP0218421A1 (en) | 1987-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Recurrent neural network-based sentence encoder with gated attention for natural language inference | |
Sprechmann et al. | Learning efficient sparse and low rank models | |
Lan et al. | An extreme learning machine approach for speaker recognition | |
Rajisha et al. | Performance analysis of Malayalam language speech emotion recognition system using ANN/SVM | |
JPS6273391A (ja) | パタ−ン認識学習装置 | |
CN111444967A (zh) | 生成对抗网络的训练方法、生成方法、装置、设备及介质 | |
CN111582041A (zh) | 基于cwt和mlmsffcnn的脑电识别方法 | |
CN117672268A (zh) | 基于相对熵对齐融合的多模态语音情感识别方法 | |
Wang et al. | Contrastive Predictive Coding of Audio with an Adversary. | |
Akbal et al. | Development of novel automated language classification model using pyramid pattern technique with speech signals | |
CN113780418B (zh) | 一种数据的筛选方法、***、设备和存储介质 | |
JP7020331B2 (ja) | クラスタリング装置、方法、及びプログラム | |
Sivasankar et al. | Feature reduction in clinical data classification using augmented genetic algorithm | |
Ul Rahman et al. | Additive parameter for deep face recognition | |
Falco et al. | A human action descriptor based on motion coordination | |
Momo et al. | Speech recognition using feed forward neural network and principle component analysis | |
Makki et al. | Unaligned training for voice conversion based on a local nonlinear principal component analysis approach | |
JPH0225898A (ja) | 音声認識装置 | |
Fang et al. | Deep learning of chroma representation for cover song identification in compression domain | |
JP2019133563A (ja) | 情報処理装置および情報処理システム | |
Sunny et al. | Development of a speech recognition system for speaker independent isolated Malayalam words | |
Zhang et al. | Small-footprint keyword spotting based on gated Channel Transformation Sandglass residual neural network | |
JPS6274188A (ja) | 主成分分析装置 | |
Wan et al. | Co-compressing and unifying deep cnn models for efficient human face and speaker recognition | |
CN111694945A (zh) | 基于神经网络的法条关联推荐方法及装置 |