JPS6274188A - 主成分分析装置 - Google Patents
主成分分析装置Info
- Publication number
- JPS6274188A JPS6274188A JP60212545A JP21254585A JPS6274188A JP S6274188 A JPS6274188 A JP S6274188A JP 60212545 A JP60212545 A JP 60212545A JP 21254585 A JP21254585 A JP 21254585A JP S6274188 A JPS6274188 A JP S6274188A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- covariance matrix
- processing
- product
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔発明の技術分野〕
本発明は、多数のデータが持つ成分中の主成分を効果的
に抽出することのできる主成分分析装置に関する。
に抽出することのできる主成分分析装置に関する。
工業製品のロット・部品の品質を−・P価したり、ユー
ザ、小売点、企業、学生、患者等の対象を評価する場合
、これらの対象かどのような統Ji的分布に従っている
かか分析される。
ザ、小売点、企業、学生、患者等の対象を評価する場合
、これらの対象かどのような統Ji的分布に従っている
かか分析される。
つまり、複数のデータに共通する成分を分析導出し、そ
の本質的な情報を担う成分を求める云う主成分分析が良
く行われる。
の本質的な情報を担う成分を求める云う主成分分析が良
く行われる。
このような主成分分析は、理論的には多数のデータの共
分散行列を計算し、その共分散行列に対するKL展開を
行って、その固有値と固有ベクトルを求めることによっ
て達せられる。
分散行列を計算し、その共分散行列に対するKL展開を
行って、その固有値と固有ベクトルを求めることによっ
て達せられる。
しかしてl−記KL展開の手法とし、て、ヤコビ法°や
ハウス・ボルダ−・スツルム法等が知られているが、ト
記ヤコビ法を用いた場合、計算手順は比較的簡単である
が、その計算量が膨大であると云う欠点がある。また−
1−記ハウス・ホルダー・スツルム法を用いるには、計
算手順が複雑であり、その装置化が難し6いと云う欠点
がある。
ハウス・ボルダ−・スツルム法等が知られているが、ト
記ヤコビ法を用いた場合、計算手順は比較的簡単である
が、その計算量が膨大であると云う欠点がある。また−
1−記ハウス・ホルダー・スツルム法を用いるには、計
算手順が複雑であり、その装置化が難し6いと云う欠点
がある。
またその計算を高速に実行することも非常に困難であっ
た。
た。
本発明はこのような事情を考慮してなされたもので、そ
の目的とするところは、多数のデータの主成分を簡易に
、且つ高速に分析することのできる主成分分析装置を提
供することにある。
の目的とするところは、多数のデータの主成分を簡易に
、且つ高速に分析することのできる主成分分析装置を提
供することにある。
本発明は、多数のデータの主成分分析に必要な共分散行
列の計算とそのKL展開とを、べき乗法に基く積和演算
によって高速に処理するようにしたものである。
列の計算とそのKL展開とを、べき乗法に基く積和演算
によって高速に処理するようにしたものである。
かくして本発明によれば、べき乗法を基本とするKL展
開によって入カバターンの共分散行列の固有値と固有ベ
クトルとを求めるので、その固有値と固有ベクトルとが
絶対値の大きいものから順に出現することになる。この
結果、少数のパターンから、そのパターンの統計的変動
を反映した成分を効果的に求めることが可能となる。し
かも、マイクロプロセッサと積和処理を実行するハード
ウェアとにより、その演算処理を機能分担して実行する
ので、簡易に、且つ高速にその主成分を求めることがで
きる等の多大なる効果が奏せられる。
開によって入カバターンの共分散行列の固有値と固有ベ
クトルとを求めるので、その固有値と固有ベクトルとが
絶対値の大きいものから順に出現することになる。この
結果、少数のパターンから、そのパターンの統計的変動
を反映した成分を効果的に求めることが可能となる。し
かも、マイクロプロセッサと積和処理を実行するハード
ウェアとにより、その演算処理を機能分担して実行する
ので、簡易に、且つ高速にその主成分を求めることがで
きる等の多大なる効果が奏せられる。
以下、図面を参照して本発明の一実施例につき説明する
。
。
第1図は音声の主成分分析に適用し7た実施例装置の概
略構成図である。
略構成図である。
音響入力部1から入力される音声信号(データ)は、電
気信号に変換されて特徴抽出部2に導かれる。この特徴
抽出部2は、例えば16チヤンネルのバンドφパス・フ
ィルタ群からなり、16チヤンネルのバンド・バス・フ
ィルタ出力を母音分析用の特徴パラメータとして出力し
ている。また特徴抽出部2は、上記16チヤンネルのバ
ンド・パス拳フィルタ出力を隣接する 2チヤンネル毎
にまとめ、8チヤンネルの子音分析用特徴パラメータと
して出力している。
気信号に変換されて特徴抽出部2に導かれる。この特徴
抽出部2は、例えば16チヤンネルのバンドφパス・フ
ィルタ群からなり、16チヤンネルのバンド・バス・フ
ィルタ出力を母音分析用の特徴パラメータとして出力し
ている。また特徴抽出部2は、上記16チヤンネルのバ
ンド・パス拳フィルタ出力を隣接する 2チヤンネル毎
にまとめ、8チヤンネルの子音分析用特徴パラメータと
して出力している。
尚、特徴抽出部2は、ケプストラム係数や相関分析によ
って求められる種々のパラメータの一部、またはその複
数の組合せとしてI−記特徴バラメータを求めるもので
あっても良い。
って求められる種々のパラメータの一部、またはその複
数の組合せとしてI−記特徴バラメータを求めるもので
あっても良い。
このようにして求められた入力音声パターンの特徴パラ
メータは、セグメント化処理部3に導かれ、例えば各単
音節毎に切出される。この単音節の切出しは、入力音声
のパワーの変化を調べる等して行われる。
メータは、セグメント化処理部3に導かれ、例えば各単
音節毎に切出される。この単音節の切出しは、入力音声
のパワーの変化を調べる等して行われる。
そして母音については、母音部のうちの1フレームを切
出し、これを母音分析用パターンとしている。従って母
音分析用パターンは、16チヤンネルのバンド・パス拳
フィルタ出力からなる16次元の母音パターンとなる。
出し、これを母音分析用パターンとしている。従って母
音分析用パターンは、16チヤンネルのバンド・パス拳
フィルタ出力からなる16次元の母音パターンとなる。
また子音については、子音から母音への渡りの部分を含
む8フレームを切出し、これを子音分析用パターンとし
ている。従って子音分析用パターンは、前述した8チヤ
ンネルのバンド・パス・フィルタ出力を時間方向に8点
ザンプリングしたものとなるから、64次元の子音パタ
ーンとなる。
む8フレームを切出し、これを子音分析用パターンとし
ている。従って子音分析用パターンは、前述した8チヤ
ンネルのバンド・パス・フィルタ出力を時間方向に8点
ザンプリングしたものとなるから、64次元の子音パタ
ーンとなる。
このようにして求められた母音パターン、および子音パ
ターンに対する分析処理が、分析処理部4にて行われる
。また前記母音パターン、および子音パターンは、それ
ぞれ分析パターンとして分析パターン・メモリ5に順次
格納される。そして、分析パターン・メモリ5に必要な
数の分析用パターンが格納されたとき、これらのパター
ンを用いて上記分析処理部4によるデータの主成分分析
が行われる。
ターンに対する分析処理が、分析処理部4にて行われる
。また前記母音パターン、および子音パターンは、それ
ぞれ分析パターンとして分析パターン・メモリ5に順次
格納される。そして、分析パターン・メモリ5に必要な
数の分析用パターンが格納されたとき、これらのパター
ンを用いて上記分析処理部4によるデータの主成分分析
が行われる。
この分析処理部4は、例えば第2図に示すようにマイク
ロプロセッサ部4aと、後述する専用ノ1−ドウエア部
4bとからなる。そしてマイクロプロセッサ部4aと専
用ハードウェア部4bとにその演算処理を割当て、高速
に分析処理を行うものとなっている。
ロプロセッサ部4aと、後述する専用ノ1−ドウエア部
4bとからなる。そしてマイクロプロセッサ部4aと専
用ハードウェア部4bとにその演算処理を割当て、高速
に分析処理を行うものとなっている。
つまり、データの主成分分析を行う共分散行列の計算処
理、およびKL展開処理において必要な、多くの積和演
算処理を専用ハードウェア部4bにより、高速に行うも
のとなっている。
理、およびKL展開処理において必要な、多くの積和演
算処理を専用ハードウェア部4bにより、高速に行うも
のとなっている。
この分析処理について説明すると、先ず人力音声パター
ンの共分散行列には、その学習パターンを縦ベクトルS
+nとしたとき、次のようにして求められる。
ンの共分散行列には、その学習パターンを縦ベクトルS
+nとしたとき、次のようにして求められる。
尚、この分析パターン5I11は、子音パターンの場合
、64次元の縦ベクトルとして与えられる。また母音パ
ターンの場合には、16次元の縦ベクトルとして与えら
れる。
、64次元の縦ベクトルとして与えられる。また母音パ
ターンの場合には、16次元の縦ベクトルとして与えら
れる。
しかして共分散行列には、m個の分析パターンについて
、その縦ベクトル5rllと、この縦ベクトルを転置し
た横ベクトル5L111とを掛合わせて作成された行列
の各成分を、」二記M個の分析パターンに亙って平均化
して求められる。従って共分散行列の要素数は、」二記
ベクトルの要素数の2乗となる。
、その縦ベクトル5rllと、この縦ベクトルを転置し
た横ベクトル5L111とを掛合わせて作成された行列
の各成分を、」二記M個の分析パターンに亙って平均化
して求められる。従って共分散行列の要素数は、」二記
ベクトルの要素数の2乗となる。
尚、このような処理によって、そのカテゴリのパターン
分布を反映した共分散行列を得るには、ある程度の量の
分析パターンを必要とする。これ故、前述したように前
記分析パターン・メモリ部5に所定数の分析パターンを
予め蓄積しておくことが必要となる。
分布を反映した共分散行列を得るには、ある程度の量の
分析パターンを必要とする。これ故、前述したように前
記分析パターン・メモリ部5に所定数の分析パターンを
予め蓄積しておくことが必要となる。
しかる後、1−述した如く求められた共分散行列にに対
して、その固有値と固有ベクトルを求める処理が行われ
る。この固有値と固有ベクトルが前記複数のデータにお
ける主成分となる。
して、その固有値と固有ベクトルを求める処理が行われ
る。この固有値と固有ベクトルが前記複数のデータにお
ける主成分となる。
この主成分分析は、」−記共分散行列をKL展開するこ
とによって行われるが、本装置では、特にべき乗法によ
るKL展開によって、その標準パターンを求めるように
している。
とによって行われるが、本装置では、特にべき乗法によ
るKL展開によって、その標準パターンを求めるように
している。
今、共分散行列Kが、固有値λ1.λ2.〜λnを持ち
、これに対応する固有ベクトルξl、ξ2、〜ξnを持
つものとする。
、これに対応する固有ベクトルξl、ξ2、〜ξnを持
つものとする。
この場合、その任意ベクトルUOは、」−2固有ベクト
ルξl、ξ2.〜ξnの線形結合として、として表され
る。
ルξl、ξ2.〜ξnの線形結合として、として表され
る。
しかして、
KξI平λ1 ξi
なる関係が成立することから、
となる。
ここで
1 λ11 〉1 λ21 〉 ・・・ 〉1 λr
l>・・・ 〉1λnI K8 uo−λ1”’[(21ξ1 1 λi /λ1. I <l (i−2,3,〜
n)であるから、Sが十分大きくなると上式の第2項は
“0″に収束する。故に、(K”’uo)と(K u
O)との比が固有値λ1となる。また上記(K uo
)は固有ベクトルξ1に比例する。
l>・・・ 〉1λnI K8 uo−λ1”’[(21ξ1 1 λi /λ1. I <l (i−2,3,〜
n)であるから、Sが十分大きくなると上式の第2項は
“0″に収束する。故に、(K”’uo)と(K u
O)との比が固有値λ1となる。また上記(K uo
)は固有ベクトルξ1に比例する。
尚、」二連した計算処理をそのまま実行すると、その計
算途中でスケールアウトする可能性が高い。
算途中でスケールアウトする可能性が高い。
そこでUOを任意のベクトル、例えば単位ベクトルとし
、 vs+l −Kus u sol −v sol / b sol (s
−0,1,2,−)とする。ここでb solはベクト
ルv solの絶対値が最大の要素である。
、 vs+l −Kus u sol −v sol / b sol (s
−0,1,2,−)とする。ここでb solはベクト
ルv solの絶対値が最大の要素である。
このとき、
us+l −vs+1 /bs+l −Kus /bs
+1=K vs / (bs+1・bs )sol −−−−=K uo /(bs+1−=−bs )
となるので、これから λ1→bs+1 、 ξ1”=us+1それぞれ求
めることが可能となる。
+1=K vs / (bs+1・bs )sol −−−−=K uo /(bs+1−=−bs )
となるので、これから λ1→bs+1 、 ξ1”=us+1それぞれ求
めることが可能となる。
しかしてこのようにしてその絶対値が最大の固有値λ1
と固有ベクトルξ1とを求めたら、その絶対値が次に大
きい固有値λ2と固有ベクトルξ2とを求める。
と固有ベクトルξ1とを求めたら、その絶対値が次に大
きい固有値λ2と固有ベクトルξ2とを求める。
ここで
に’ −に−λ】 ξl ξ1を
を考えると、
ξ1 ξI −0(i=2.3.〜n)より、
K′ ξl=にξ1−λ1 ξ1 ξ11 ξl−λ1
ξ1−λ1 ξ1−O K′ ξl=にξi −λ1 ξi ξj 1 ξI=
λ1 ξ1 (i≠1) となるので、1−記に′は 1λ21〉 ・・・ 〉]λrl> ・・・・・〉1
λnl>0 なる固自゛値を持つことがわかる。尚、ここではξ1は
正規化されているものとしている。
ξ1−λ1 ξ1−O K′ ξl=にξi −λ1 ξi ξj 1 ξI=
λ1 ξ1 (i≠1) となるので、1−記に′は 1λ21〉 ・・・ 〉]λrl> ・・・・・〉1
λnl>0 なる固自゛値を持つことがわかる。尚、ここではξ1は
正規化されているものとしている。
このような処理は、前記共分散行列を
に’ =に一λ1 ξ・ξ1
のように変換したに′に対して、−L述した処理を繰返
し、実行することにより達せられる。この処理によって
、順次絶対値の大きい固有値と、それに対応する固有ベ
クトルとを、固釘値の大きいものから順に求めることが
可能となる。
し、実行することにより達せられる。この処理によって
、順次絶対値の大きい固有値と、それに対応する固有ベ
クトルとを、固釘値の大きいものから順に求めることが
可能となる。
しかしてこの処理は、次のようにして実行することかで
きる。第3図は」ユ述した計算アルゴリズムの具体例を
示すものである。
きる。第3図は」ユ述した計算アルゴリズムの具体例を
示すものである。
尚、ここでは固有値の絶対値の大きいものから順に求め
ているので混合類似度法による標準パターンを求めるの
に都合が良いが、負の固h゛値を削除すれば、複合類似
度法による標準パターンを効果的に求めることも可能と
なる。
ているので混合類似度法による標準パターンを求めるの
に都合が良いが、負の固h゛値を削除すれば、複合類似
度法による標準パターンを効果的に求めることも可能と
なる。
次に第3図に示ずKL展開の流れについて説明する。
このKL展開の処理は、前述したマイクロブロセッザ部
7aと専用ハードウェア部71)とにより、その処理機
能を分担して行われる。
7aと専用ハードウェア部71)とにより、その処理機
能を分担して行われる。
ここでは先ず前記マイクロブロセッ号部7aにて、固有
値最大の固有ベクトルを求めるので、面数の初期値を“
1“とする(ステップa)。この面数の設定は、面数か
所定数になるまで演算処理を行う為の初期設定である。
値最大の固有ベクトルを求めるので、面数の初期値を“
1“とする(ステップa)。この面数の設定は、面数か
所定数になるまで演算処理を行う為の初期設定である。
しかる後、専用ハードウェア部7bにて演算処理の初期
反復回数の設定を行う(ステップb)。この反復回数の
設定は、共分散行列とベクトルとの掛算を−1−記面数
を“2″ずつ増やしながら繰返し実行しても、その収束
条件が満されないとき、J−記面数が最大の反復回数に
達したことを判定し、て、その処理を打切る為に行われ
る。
反復回数の設定を行う(ステップb)。この反復回数の
設定は、共分散行列とベクトルとの掛算を−1−記面数
を“2″ずつ増やしながら繰返し実行しても、その収束
条件が満されないとき、J−記面数が最大の反復回数に
達したことを判定し、て、その処理を打切る為に行われ
る。
尚、収束のチェックは、上記掛算を2回行って双方のベ
クトル、およびベクトルのよその絶対値の最大値を使っ
て行うので、その反復回数は2回ずつ増える。またこの
掛算を1回ずつ行い、前回のベクトルおよびベクトル要
素の最大値を使って毎回収束チェックを行うようにして
も良い。
クトル、およびベクトルのよその絶対値の最大値を使っ
て行うので、その反復回数は2回ずつ増える。またこの
掛算を1回ずつ行い、前回のベクトルおよびベクトル要
素の最大値を使って毎回収束チェックを行うようにして
も良い。
しかる後、次のステップCにおける積和演算を行う為の
初期ベクトルとして、例えば の如き単位ベクトルを初期設定する。
初期ベクトルとして、例えば の如き単位ベクトルを初期設定する。
このような初期設定が完了した時点で、前記専用ハード
・ウェア部7bにより、共分散行列にとベクトルξ1と
の掛算を行い、ベクトルξ2を求める(ステップC)。
・ウェア部7bにより、共分散行列にとベクトルξ1と
の掛算を行い、ベクトルξ2を求める(ステップC)。
しかし、ここで求められるベクトルξ2は、ベクトルξ
1が16ビツト、共分散行列Kか15ビットに制限され
ていることから、35ビツト以内に収まるようになって
いる。つまり次のステップeての共分散行列にとベクト
ルξ2との乗算を行う為に、L記ベクトルξ2を16ビ
ツトに納めることが必要であり、次のような処理を施し
ている(ステップd)。
1が16ビツト、共分散行列Kか15ビットに制限され
ていることから、35ビツト以内に収まるようになって
いる。つまり次のステップeての共分散行列にとベクト
ルξ2との乗算を行う為に、L記ベクトルξ2を16ビ
ツトに納めることが必要であり、次のような処理を施し
ている(ステップd)。
即ち先ず、35ビットで示されるベクトルξ2の上位1
6ビツトを取出し、該ベクトルξ2の各要素のうちで絶
対値が最大となる要素を調べる。その要素の最大値を用
いて、後述する第4図に示ずシフタ19を用いて、その
絶対値の最大値λ2が、例えば “536870911“以下となるようにし、その結果
をALU24に導くよ・うにする。
6ビツトを取出し、該ベクトルξ2の各要素のうちで絶
対値が最大となる要素を調べる。その要素の最大値を用
いて、後述する第4図に示ずシフタ19を用いて、その
絶対値の最大値λ2が、例えば “536870911“以下となるようにし、その結果
をALU24に導くよ・うにする。
一方、λ2が零または正の場合には
λ2 / 32767 + 1
なる値を、また上記λ2が負の場合には、λ 2 /
327137−1 なる値を求め、この値で前述したベクトルξiの各要素
をA L U 24にて割算ししている。このような処
理によって前記ベクトルξ2の各要素の最大値がほぼ“
327B7″ (32787以下)になるように正規化
処理される。尚、λ2は、固有値に比例するので、この
λ2から固有値を得ることも口■能である。しかし、混
合類似度や複合類似度にあっては、相互の比率か問題と
なるだけなので、固有値そのものを求める必要はない。
327137−1 なる値を求め、この値で前述したベクトルξiの各要素
をA L U 24にて割算ししている。このような処
理によって前記ベクトルξ2の各要素の最大値がほぼ“
327B7″ (32787以下)になるように正規化
処理される。尚、λ2は、固有値に比例するので、この
λ2から固有値を得ることも口■能である。しかし、混
合類似度や複合類似度にあっては、相互の比率か問題と
なるだけなので、固有値そのものを求める必要はない。
このような正規化処理を経て、前述したステップCと同
様にして共分散行列にとベクトルξ2との掛算を行い、
ベクトルξ1を求める(ステップe)。そして前記ステ
ップdにおける処理と同様にして、ベクトルξlの絶対
値の最大の要素を求め、これをλ1とした後、l記ξ1
を正規化処理する(ステップf)。
様にして共分散行列にとベクトルξ2との掛算を行い、
ベクトルξ1を求める(ステップe)。そして前記ステ
ップdにおける処理と同様にして、ベクトルξlの絶対
値の最大の要素を求め、これをλ1とした後、l記ξ1
を正規化処理する(ステップf)。
しかして次に前記ベクトルξ1.ξ2の収束の程度をチ
ェックしくステップg)、収束条件か満される場合には
、共分散行列にとベクトルξとの掛算処理を終了し、次
のステップlに移行する。また、ベクトルξl、ξ2が
十分に収束していない場合には、その反復制限回数のチ
ェックを行い(ステップh)、前述したステップCから
の処理を繰返す。
ェックしくステップg)、収束条件か満される場合には
、共分散行列にとベクトルξとの掛算処理を終了し、次
のステップlに移行する。また、ベクトルξl、ξ2が
十分に収束していない場合には、その反復制限回数のチ
ェックを行い(ステップh)、前述したステップCから
の処理を繰返す。
尚、上記ベクトルξj、ξ2の収束のチェックは、具体
的には次のようにして行われる。
的には次のようにして行われる。
即ち、λ2の前回の値をλ2としたとき、これらの値の
差の絶対値とλ2の絶対値に基づく所定の閾値とを比較
し2て行われる。そして1λ2−λ21≧1λ21/β あるとき、これをベクトルξが収束しCいないと判定し
、 1λ2−λ21<lλ21/β である場合には、収束条件を満していると判定する。但
し、上記βは係数である。
差の絶対値とλ2の絶対値に基づく所定の閾値とを比較
し2て行われる。そして1λ2−λ21≧1λ21/β あるとき、これをベクトルξが収束しCいないと判定し
、 1λ2−λ21<lλ21/β である場合には、収束条件を満していると判定する。但
し、上記βは係数である。
しかしてこの第1の収束条件が満されたとき、次の収束
条件に対するチェックが行われる。この第2の収束条件
のチェックは、ベクトルξ2とベクトルξ2の各要素毎
の差の絶対値の和をSAと= 16− して求める。そしてこのSAの値とλ2の絶対値に基づ
く所定の閾値とを比較し、 SA≧1λ21/γ 場合には収束せず、また SA<lれ 1/γ 場合に収束していると判定する。但し、γは係数である
。
条件に対するチェックが行われる。この第2の収束条件
のチェックは、ベクトルξ2とベクトルξ2の各要素毎
の差の絶対値の和をSAと= 16− して求める。そしてこのSAの値とλ2の絶対値に基づ
く所定の閾値とを比較し、 SA≧1λ21/γ 場合には収束せず、また SA<lれ 1/γ 場合に収束していると判定する。但し、γは係数である
。
このような2段階の収束条件チェックによって、前記ベ
クトルξ1.ξ2の収束が判定される。
クトルξ1.ξ2の収束が判定される。
以」−の一連の処理によってベクトルξ1.ξ2の収束
が確認されると、ベクトルξ1のノルムが計算される(
ステップi)。このノルムの計算は、先ず なる演算を行ってノルムの2乗を求め、このノルムの2
乗値の平方根を求めることによって達せられる。このよ
うにして求めたノルムの値を用いて前記ベクトルξ1を
正規化し、そのノルムが各面で等しくなるようにする。
が確認されると、ベクトルξ1のノルムが計算される(
ステップi)。このノルムの計算は、先ず なる演算を行ってノルムの2乗を求め、このノルムの2
乗値の平方根を求めることによって達せられる。このよ
うにして求めたノルムの値を用いて前記ベクトルξ1を
正規化し、そのノルムが各面で等しくなるようにする。
このように12で求められたベクトルが、混合類似度法
、あるいは複合類似度法における辞書となる。
、あるいは複合類似度法における辞書となる。
しかる後、前記共分散行列Kから−1−記ベクトルξ1
の成分を取除くべく なる計算を行う(ステップk)。
の成分を取除くべく なる計算を行う(ステップk)。
その後、マイクロプロセッサ部7aに戻って、前記共分
散行列にの要素中の最大値を求め、その値を用いて該共
分散行列Kを正規化処理して、その固有値と固有ベクト
ルとを求める(ステップk)。
散行列にの要素中の最大値を求め、その値を用いて該共
分散行列Kを正規化処理して、その固有値と固有ベクト
ルとを求める(ステップk)。
この処理は、共分散行列にの要素の最大値をMAXKと
して I 5CAL−82767/MAXK (整数)を計
算し、共分散行列Kに」二記l5CALの値を掛算する
、つまり (K) −(K)* I 5CAL を計算することによって達せられる。尚、上記“827
G7″なる値は、I6ビツトで表現される正の最大の値
であるが、求めようとする固有ベクトルの値によっては
、15ビツトで正の最大となる” ]、6383″、或
いはそれ以下の値を用い、共分散行列を制限するように
しても良い。
して I 5CAL−82767/MAXK (整数)を計
算し、共分散行列Kに」二記l5CALの値を掛算する
、つまり (K) −(K)* I 5CAL を計算することによって達せられる。尚、上記“827
G7″なる値は、I6ビツトで表現される正の最大の値
であるが、求めようとする固有ベクトルの値によっては
、15ビツトで正の最大となる” ]、6383″、或
いはそれ以下の値を用い、共分散行列を制限するように
しても良い。
しかる後、ここで求められた固有値と固有ベクトルが、
所定の面数に達しているか否かが判定され(ステップ得
る)、所定の面数に達していない場合には、前述したス
テップbからの処理を繰返すことになる。
所定の面数に達しているか否かが判定され(ステップ得
る)、所定の面数に達していない場合には、前述したス
テップbからの処理を繰返すことになる。
以上のようにして、そのKL展開処理が、マイクロプロ
セッサ部7aと専用ハードウェア部7bの処理機能を使
い分けて高速に実行される。
セッサ部7aと専用ハードウェア部7bの処理機能を使
い分けて高速に実行される。
つまり、このKL展開にあっては、共分散行列にと固有
ベクトルξとの乗算計算量か非常に多い。
ベクトルξとの乗算計算量か非常に多い。
例えばベクトルξの次元が64次元のパターンであり、
その反復繰返し数を50回、求める固有値および固有ベ
クトルの数を7とすると、 84x 64x [i4x 50X 7−91.750
,400回もの、膨大な乗算処理と加算処理が必要とな
る。
その反復繰返し数を50回、求める固有値および固有ベ
クトルの数を7とすると、 84x 64x [i4x 50X 7−91.750
,400回もの、膨大な乗算処理と加算処理が必要とな
る。
−19〜
このような乗算処理と加算処理とを専用ハードウェア部
7bにて実行することにより、マイクロプロセッサ部7
aの処理負担を大幅に軽減し、その処理速度の高速化が
図られている。
7bにて実行することにより、マイクロプロセッサ部7
aの処理負担を大幅に軽減し、その処理速度の高速化が
図られている。
尚、このような専用ハードウェア部7bは、前記認識処
理部4における認識処理計算回路と兼用することができ
る。換言すれば、前記認識処理部4における認識処理計
算回路を利用して共分散行列の計算、および共分散行列
のKL展開処理を行うことが可能である。従って、装置
構成が複雑化することがない。
理部4における認識処理計算回路と兼用することができ
る。換言すれば、前記認識処理部4における認識処理計
算回路を利用して共分散行列の計算、および共分散行列
のKL展開処理を行うことが可能である。従って、装置
構成が複雑化することがない。
さて、第4図は」二連した専用ハードウェア部4bの構
成例を示すものである。
成例を示すものである。
この専用ハードウェア部4bは、5つのメモリ11゜1
2、13.14.15.1段目のセレクタ1B、 1
.7.1段目の積和回路18、シフタ19、係数レジス
タ20.2段目のセレクタ2L 22.2段目の積和回
路23、そしてALU24、レジスタ群25によって構
成される。
2、13.14.15.1段目のセレクタ1B、 1
.7.1段目の積和回路18、シフタ19、係数レジス
タ20.2段目のセレクタ2L 22.2段目の積和回
路23、そしてALU24、レジスタ群25によって構
成される。
この専用ハードウェア部4bは、前述したKL展開処理
における基本演算処理を実行するもので、その基本演算
は次の3つの動作からなる。
における基本演算処理を実行するもので、その基本演算
は次の3つの動作からなる。
先ず第1の動作は、行列にとベクトルξlとの積を求め
る処理である。
る処理である。
この処理は、メモリ13に格納された行列にの内容をセ
レクタ16を介して積和回路18に読出し、またメモリ
14に格納されたベクトルξlの内容をセレクタ17を
介して積和回路18に読出すことによって行われる。こ
の積和演算は、例えば行列にの要素の1つを読出し、ベ
クトルξ1の要素を順に読出してその積和処理を行って
ベクトルξ2の要素の1つを求め、これをメモリ15に
格納する。その後、前記行列にの次の要素を読出し、ベ
クトルξIの要素を順に読出してその積和処理を行って
ベクトルξ2の次の要素を求める。この処理を上記行列
にの各要素について、11回に亙って繰返し実行してベ
クトルξ2を前記メモリ15に求めて終了する。
レクタ16を介して積和回路18に読出し、またメモリ
14に格納されたベクトルξlの内容をセレクタ17を
介して積和回路18に読出すことによって行われる。こ
の積和演算は、例えば行列にの要素の1つを読出し、ベ
クトルξ1の要素を順に読出してその積和処理を行って
ベクトルξ2の要素の1つを求め、これをメモリ15に
格納する。その後、前記行列にの次の要素を読出し、ベ
クトルξIの要素を順に読出してその積和処理を行って
ベクトルξ2の次の要素を求める。この処理を上記行列
にの各要素について、11回に亙って繰返し実行してベ
クトルξ2を前記メモリ15に求めて終了する。
次に第2の動作は、ベクトルξ1とSとの積を求める処
理からなる。
理からなる。
この処理は、メモリ11に格納されたSの内容を−21
〜 セレクタ16を介して積和回路18に順次導き、メモリ
14に格納されたベクトルξ1の内容を積和回路18に
順次導くことによって行われる。この場合にも、メモリ
II、 14のアドレス制御を行い、各要素について繰
返し演算処理する。そしてその積和演算結果をシフタ1
9を通してA L U 24に格納して、この処理が終
了する。
〜 セレクタ16を介して積和回路18に順次導き、メモリ
14に格納されたベクトルξ1の内容を積和回路18に
順次導くことによって行われる。この場合にも、メモリ
II、 14のアドレス制御を行い、各要素について繰
返し演算処理する。そしてその積和演算結果をシフタ1
9を通してA L U 24に格納して、この処理が終
了する。
最後の第3の処理は、
なる演算式で示される処理である。この処理は、縦ベク
トルξ1と横ベクトルSとの積と、ベクトルにとの和を
求めるものであり、先ず前記メモリtitに格納された
ベクトルにの内容をセレクタ21を介して第2の積和回
路23にプリロードしてから行われる。しかる後、メモ
リ14に格納されたベクトルξ1の内容をセレクタ17
を介して積和囲路18に導き、メモリ11に格納された
ベクトルSの内容をセレクタ16を介して順に積和回路
I8に導く。この処理も、各要素について繰返し5実行
する。
トルξ1と横ベクトルSとの積と、ベクトルにとの和を
求めるものであり、先ず前記メモリtitに格納された
ベクトルにの内容をセレクタ21を介して第2の積和回
路23にプリロードしてから行われる。しかる後、メモ
リ14に格納されたベクトルξ1の内容をセレクタ17
を介して積和囲路18に導き、メモリ11に格納された
ベクトルSの内容をセレクタ16を介して順に積和回路
I8に導く。この処理も、各要素について繰返し5実行
する。
そし、て、その積和演算の結果を前記シフタ19からセ
レクタ22を通して第2の積和回路23に導き、また係
数レジスタ20に格納された演算係数αをセレクタ2(
を介して積和回路23に導く。モし2て上記係数αの下
で、該積和回路23にブリロー ドされている前記ベク
トルにの内容と積和処理する。
レクタ22を通して第2の積和回路23に導き、また係
数レジスタ20に格納された演算係数αをセレクタ2(
を介して積和回路23に導く。モし2て上記係数αの下
で、該積和回路23にブリロー ドされている前記ベク
トルにの内容と積和処理する。
即ち、前記各メモリ11.、13.14の各アドレスを
それぞれ制御しながら、」二連した積和処理を繰返し実
行する。具体的には、メモリ14のアドレスを(0)か
ら(n−1,)まで変化される都度、メモリ11のアド
レスを順にインクリメントし、該メモリ11のアドレス
が(n−1)に達するまで繰返し計算処理する。尚、こ
のときメモリ13のアドレスは、(0)から(n ”−
1)まで変化される。
それぞれ制御しながら、」二連した積和処理を繰返し実
行する。具体的には、メモリ14のアドレスを(0)か
ら(n−1,)まで変化される都度、メモリ11のアド
レスを順にインクリメントし、該メモリ11のアドレス
が(n−1)に達するまで繰返し計算処理する。尚、こ
のときメモリ13のアドレスは、(0)から(n ”−
1)まで変化される。
以上の処理によって前述したKL展開に必要な積和演算
が高速に実行される。
が高速に実行される。
尚、このハード・ウェア部4bによれば次のような演算
処理も高速に実行することができる。
処理も高速に実行することができる。
= 23−
和を計算する処理である。
この計算処理は、メモリ11に格納されたSlの内容を
順次セレクタ18.17を介して第1の積和回路18に
入力し、そのパラメータ1をインクリメントしなからS
iの相互掛算を0回繰返し計算することによって行われ
る。この積和回路18にて計算された値は、シフタ19
を介してALU24に与えることにより実現される。
順次セレクタ18.17を介して第1の積和回路18に
入力し、そのパラメータ1をインクリメントしなからS
iの相互掛算を0回繰返し計算することによって行われ
る。この積和回路18にて計算された値は、シフタ19
を介してALU24に与えることにより実現される。
またその2つ目は、
つまりSiの和の2乗を2’(Jは整数)で割算子る処
理である。
理である。
この処理は、メモリ11に格納されたSlの内容をセレ
クタ16を介して積和回路18に入力すると共に、メモ
リ13に格納されている整数lの値、例えば(1)をセ
レクタ17を介して積和回路18に人力する。そして積
和回路18にて、これらの間の積和演算をパラメータ1
の制御の元で0回繰返し実行し、その計算結果を前記シ
フタj9を介してALU24に取込むことにより行われ
る。
クタ16を介して積和回路18に入力すると共に、メモ
リ13に格納されている整数lの値、例えば(1)をセ
レクタ17を介して積和回路18に人力する。そして積
和回路18にて、これらの間の積和演算をパラメータ1
の制御の元で0回繰返し実行し、その計算結果を前記シ
フタj9を介してALU24に取込むことにより行われ
る。
そして3つ目は、
つまりベクトルSi とベクトルφ1.jの積和の2乗
和を求め、更にその総和を計算する処理からなる。
和を求め、更にその総和を計算する処理からなる。
この処理は、メモリ11に格納されたベクトルS1をセ
レクタ17を介して積和回路18に入力し、且つメモリ
I2に格納されたベクトルφi、Jをセレクタ16を介
して積和回路18に入力する。そしてメモリ11.12
に対するアドレスを制御してパラメータiをインクリメ
ントし、その積和演算を0回繰返す。これによって求め
られた値をセレクタ21゜22をそれぞれ介して第2の
積和回路23に入力する。
レクタ17を介して積和回路18に入力し、且つメモリ
I2に格納されたベクトルφi、Jをセレクタ16を介
して積和回路18に入力する。そしてメモリ11.12
に対するアドレスを制御してパラメータiをインクリメ
ントし、その積和演算を0回繰返す。これによって求め
られた値をセレクタ21゜22をそれぞれ介して第2の
積和回路23に入力する。
そして、以」二の処理をメモリ12におけるパラメータ
jを更新しながらm回繰返して実行し、その演算結果を
第2の積和回路23に得、これを前記ALU24に格納
して終了する。
jを更新しながらm回繰返して実行し、その演算結果を
第2の積和回路23に得、これを前記ALU24に格納
して終了する。
尚、第4図において、レジスタ群25は、セレクタ1.
8.17.2+、、 22の切替え、シフタ19のシフ
ト量、メモリのアドレス管理情報等を格納し、これを図
示しない演算制御部に与えるものである。
8.17.2+、、 22の切替え、シフタ19のシフ
ト量、メモリのアドレス管理情報等を格納し、これを図
示しない演算制御部に与えるものである。
以上本装置の構成と、その動作につき説明したように、
本装置によれば多数のデータの主成分を簡易に、且つ高
速な演算処理によって求めることができる。しかも、デ
ータの統計的分布を考慮して、その主成分を高精度に分
析することができる。
本装置によれば多数のデータの主成分を簡易に、且つ高
速な演算処理によって求めることができる。しかも、デ
ータの統計的分布を考慮して、その主成分を高精度に分
析することができる。
また実施例に示すように、K L展開に必要な膨大な量
の積和演算を専用のハードウェア回路によちて効率良く
、高速に実行することができる。
の積和演算を専用のハードウェア回路によちて効率良く
、高速に実行することができる。
従って、装置自体の全体構成の簡素化を図ることができ
、その低価格化を図ることがiiJ能となる等の実用l
−多大なる効果が奏せられる。
、その低価格化を図ることがiiJ能となる等の実用l
−多大なる効果が奏せられる。
尚、本発明は上述した実施例に限定されるものではない
。ここでは音声データの主成分分析につき説明したが、
他の種類のデータの主成分分析に対しても同様に適用可
能である。要するに本発明= 26− は、その要旨を逸脱しない範囲で種々変形して実施する
ことができる。
。ここでは音声データの主成分分析につき説明したが、
他の種類のデータの主成分分析に対しても同様に適用可
能である。要するに本発明= 26− は、その要旨を逸脱しない範囲で種々変形して実施する
ことができる。
第1図は本発明の一実施例装置の概略構成図、第2図は
分析処理部の構成例を示す図、第3図は共分散行列のK
L展開処理の流れを示す図、第4図はKL展開処理に用
いられるハードウェア回路の構成例を示す図である。 1・・・音声人力部、2・・・特徴抽出部、訃・・セグ
メント化処理部、4・・・分析処理部、5・・・分析パ
ターンメモリ部、11. +2. 13. 14.
15・・・メモリ、]、[i、 17.21.22・・
・セレクタ、18.23・・・積和回路、19・・シフ
タ、20・・・係数レジスタ、24・・・ALU。 25・・・レジスタ群。 出願人代理人 弁理士 鈴江武彦 第 1 図 ■−−−−−−−−i 第2図
分析処理部の構成例を示す図、第3図は共分散行列のK
L展開処理の流れを示す図、第4図はKL展開処理に用
いられるハードウェア回路の構成例を示す図である。 1・・・音声人力部、2・・・特徴抽出部、訃・・セグ
メント化処理部、4・・・分析処理部、5・・・分析パ
ターンメモリ部、11. +2. 13. 14.
15・・・メモリ、]、[i、 17.21.22・・
・セレクタ、18.23・・・積和回路、19・・シフ
タ、20・・・係数レジスタ、24・・・ALU。 25・・・レジスタ群。 出願人代理人 弁理士 鈴江武彦 第 1 図 ■−−−−−−−−i 第2図
Claims (2)
- (1) 複数のデータを入力する手段と、上記複数のデ
ータの共分散行列を求める計算手段と、上記共分散行列
をべき乗法に基く積和演算によりKL展開して、その固
有値と固有値ベクトルを求める手段とを具備したことを
特徴とする主成分分析装置。 - (2) 共分散行列の計算、およびKL展開は、マイク
ロプロセッサと積和演算を実行するハードウェアとによ
り、演算機能を分担して実行されるものである特許請求
の範囲第1項記載の主成分分析装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP60212545A JPS6274188A (ja) | 1985-09-27 | 1985-09-27 | 主成分分析装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP60212545A JPS6274188A (ja) | 1985-09-27 | 1985-09-27 | 主成分分析装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPS6274188A true JPS6274188A (ja) | 1987-04-04 |
Family
ID=16624454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP60212545A Pending JPS6274188A (ja) | 1985-09-27 | 1985-09-27 | 主成分分析装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPS6274188A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63275000A (ja) * | 1987-05-06 | 1988-11-11 | 沖電気工業株式会社 | 線形予測分析装置 |
WO2000055819A1 (fr) * | 1999-03-17 | 2000-09-21 | Sanyo Electric Co., Ltd. | Procedes de confirmation de l'authenticite d'une feuille |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59171999A (ja) * | 1983-03-18 | 1984-09-28 | ソニー株式会社 | 音声認識方法 |
-
1985
- 1985-09-27 JP JP60212545A patent/JPS6274188A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59171999A (ja) * | 1983-03-18 | 1984-09-28 | ソニー株式会社 | 音声認識方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63275000A (ja) * | 1987-05-06 | 1988-11-11 | 沖電気工業株式会社 | 線形予測分析装置 |
WO2000055819A1 (fr) * | 1999-03-17 | 2000-09-21 | Sanyo Electric Co., Ltd. | Procedes de confirmation de l'authenticite d'une feuille |
US6868173B1 (en) | 1999-03-17 | 2005-03-15 | Sanyo Electric Co., Ltd. | Method for confirming authenticity of sheet |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Smaragdis et al. | Non-negative matrix factorization for polyphonic music transcription | |
Rajisha et al. | Performance analysis of Malayalam language speech emotion recognition system using ANN/SVM | |
Salamat et al. | Accelerating hyperdimensional computing on fpgas by exploiting computational reuse | |
Lee et al. | Optimizing feature extraction for speech recognition | |
JPS6273391A (ja) | パタ−ン認識学習装置 | |
Vladimirov | Nonlinear equations for p-adic open, closed, and open-closed strings | |
Sunny et al. | Recognition of speech signals: an experimental comparison of linear predictive coding and discrete wavelet transforms | |
Grais et al. | Discriminative enhancement for single channel audio source separation using deep neural networks | |
JP7020331B2 (ja) | クラスタリング装置、方法、及びプログラム | |
Záviška et al. | Revisiting synthesis model in sparse audio declipper | |
Sivasankar et al. | Feature reduction in clinical data classification using augmented genetic algorithm | |
US20200388295A1 (en) | System and method for transferring a voice from one body of recordings to other recordings | |
Woo et al. | Governing singularities of symmetric orbit closures | |
JPS6274188A (ja) | 主成分分析装置 | |
Lu et al. | Predicting likability of speakers with Gaussian processes | |
Ashraf et al. | The Role of CNN and RNN in the Classification of Audio Music Genres | |
JPH0225898A (ja) | 音声認識装置 | |
CN111354364B (zh) | 一种基于rnn聚合方式的声纹识别方法与*** | |
Zhang et al. | Small-footprint keyword spotting based on gated Channel Transformation Sandglass residual neural network | |
Sunny et al. | Development of a speech recognition system for speaker independent isolated Malayalam words | |
Sun et al. | Single-channel blind source separation based on joint dictionary with common sub-dictionary | |
Can et al. | Well-posedness and regularization for Caputo fractional elliptic equation with nonlocal condition | |
Alex et al. | Performance analysis of SOFM based reduced complexity feature extraction methods with back propagation neural network for multilingual digit recognition | |
Gulhane et al. | Identification of musical instruments using mfcc features | |
Varsha et al. | Stress recognition using sparse representation of speech signal for deception detection applications in Indian context |