JP2933537B2 - 隠れマルコフモデルの計算方式 - Google Patents
隠れマルコフモデルの計算方式Info
- Publication number
- JP2933537B2 JP2933537B2 JP8164227A JP16422796A JP2933537B2 JP 2933537 B2 JP2933537 B2 JP 2933537B2 JP 8164227 A JP8164227 A JP 8164227A JP 16422796 A JP16422796 A JP 16422796A JP 2933537 B2 JP2933537 B2 JP 2933537B2
- Authority
- JP
- Japan
- Prior art keywords
- algorithm
- processor
- calculation
- probability
- hidden markov
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】この発明は、隠れマルコフモ
デル（ＨＭＭ）の計算方式に関し、特にその並列計算方
式に関する。
デル（ＨＭＭ）の計算方式に関し、特にその並列計算方
式に関する。
【０００２】
【従来の技術】音声認識においては、音声の特徴パラメ
ータの時間的な変化と確率的な変動とを統計的に扱うた
めに、隠れマルコフモデル（ＨＭＭ）が使用される。Ｈ
ＭＭを用いた音声認識における学習では、複数の音声を
入力としてＨＭＭのパラメータを決定する。そして、実
際の音声認識動作のときは、認識対象の音声よりパラメ
ータが決定されたＨＭＭを用いてその確率を計算するよ
うにしている。
ータの時間的な変化と確率的な変動とを統計的に扱うた
めに、隠れマルコフモデル（ＨＭＭ）が使用される。Ｈ
ＭＭを用いた音声認識における学習では、複数の音声を
入力としてＨＭＭのパラメータを決定する。そして、実
際の音声認識動作のときは、認識対象の音声よりパラメ
ータが決定されたＨＭＭを用いてその確率を計算するよ
うにしている。
【０００３】すなわち、パラメータがθとして決定され
たＨＭＭが認識対象の音声であるシンボル列Ｘ＝ｘ0，
ｘ1，ｘ2，・・・，ｘT-1を出力する確率Ｐ（Ｘ｜θ）
は、以下の（１）式で示される。 P(X｜θ)＝πB(x0)AB(x1)AB(x2)…AB(xT-2)AB(xT-1)F・・・（１） ここで、Ａは以下の（２）式に示す状態数Ｎ×Ｎの行列
で、各成分ａi,j は、状態ｉから状態ｊへ遷移する確率
を表している。
たＨＭＭが認識対象の音声であるシンボル列Ｘ＝ｘ0，
ｘ1，ｘ2，・・・，ｘT-1を出力する確率Ｐ（Ｘ｜θ）
は、以下の（１）式で示される。 P(X｜θ)＝πB(x0)AB(x1)AB(x2)…AB(xT-2)AB(xT-1)F・・・（１） ここで、Ａは以下の（２）式に示す状態数Ｎ×Ｎの行列
で、各成分ａi,j は、状態ｉから状態ｊへ遷移する確率
を表している。
【０００４】
【数１】
【０００５】また、Ｂは以下の（３）式に示す状態数Ｎ
×Ｎの行列で、各対角成分ｂi （ｓ）は、状態ｉにおい
てｓ番目のシンボルを出力する確率である（ｓ＝０〜Ｓ
−１）。
×Ｎの行列で、各対角成分ｂi （ｓ）は、状態ｉにおい
てｓ番目のシンボルを出力する確率である（ｓ＝０〜Ｓ
−１）。
【０００６】
【数２】
【０００７】また、πは、以下の（４）式で示される初
期状態確率ベクトルである。１×Ｎの行ベクトルである
πの各成分は、状態ｉが初期状態である確率を表す。 π＝（π0，π1，・・・，πN-1）・・・（４） そして、Ｆは以下の（５）式で示されるＮ×１の列ベク
トルで、ｆi は終状態に対応する成分が１でそれ以外が
０である。
期状態確率ベクトルである。１×Ｎの行ベクトルである
πの各成分は、状態ｉが初期状態である確率を表す。 π＝（π0，π1，・・・，πN-1）・・・（４） そして、Ｆは以下の（５）式で示されるＮ×１の列ベク
トルで、ｆi は終状態に対応する成分が１でそれ以外が
０である。
【０００８】
【数３】
【０００９】前述した音声認識の学習段階では、ＨＭＭ
の処理過程で、図９に示すフォワードアルゴリズムおよ
び図１０に示すバックワードアルゴリズムの計算が必要
となる。図９において、α(t) はフォーワードアルゴリ
ズムの過程で生成されるｔ番目の行ベクトルを示してい
る。また、図１０において、β(t) はバックワードアル
ゴリズムの過程で生成されるｔ番目列ベクトルを示して
いる。また、図９，１０において、ｘtはシンボル列中
のｔ番目のシンボルを表している（ｔ＝０〜Ｔ−１）。
ここで、Ｔはシンボル列の長さである。
の処理過程で、図９に示すフォワードアルゴリズムおよ
び図１０に示すバックワードアルゴリズムの計算が必要
となる。図９において、α(t) はフォーワードアルゴリ
ズムの過程で生成されるｔ番目の行ベクトルを示してい
る。また、図１０において、β(t) はバックワードアル
ゴリズムの過程で生成されるｔ番目列ベクトルを示して
いる。また、図９，１０において、ｘtはシンボル列中
のｔ番目のシンボルを表している（ｔ＝０〜Ｔ−１）。
ここで、Ｔはシンボル列の長さである。
【００１０】ＨＭＭのフォワードアルゴリズムは、
（１）式を左側から計算しているものであり、図９に示
されるように、まず、インデックスｔを０とした後、次
のステップの処理Ｆ１でπ×Ｂ（Ｘt ）を計算する。こ
の処理において、以下の（６）式に示される行列の演算
がなされている。すなわち、各要素のかけ算が、状態数
Ｎ個分おこなわれることになる。
（１）式を左側から計算しているものであり、図９に示
されるように、まず、インデックスｔを０とした後、次
のステップの処理Ｆ１でπ×Ｂ（Ｘt ）を計算する。こ
の処理において、以下の（６）式に示される行列の演算
がなされている。すなわち、各要素のかけ算が、状態数
Ｎ個分おこなわれることになる。
【００１１】
【数４】
【００１２】次いで、次のステップの処理Ｆ２で、処理
Ｆ１の結果にＡを乗ずる。次いで、インデックスｔを１
増やし、次のステップの処理Ｆ３で、今度は、Ｂ（Ｘ
2 ）を処理Ｆ２の結果に乗ずる。次いで、次のステップ
の処理Ｆ４で、インデックスｔがＴ−１と等しいかどう
かを判断する。すなわち、Ｆ２のステップからＦ３のス
テップまでを、シンボル列のシンボルの数Ｔだけおこな
う。
Ｆ１の結果にＡを乗ずる。次いで、インデックスｔを１
増やし、次のステップの処理Ｆ３で、今度は、Ｂ（Ｘ
2 ）を処理Ｆ２の結果に乗ずる。次いで、次のステップ
の処理Ｆ４で、インデックスｔがＴ−１と等しいかどう
かを判断する。すなわち、Ｆ２のステップからＦ３のス
テップまでを、シンボル列のシンボルの数Ｔだけおこな
う。
【００１３】一方、バックワードアルゴリズムは、
（１）式を右側から計算しているものであり、図１０に
示されるように、まず、処理Ｂ１において、β(t)にＦ
を代入して、次のステップの処理Ｂ２において、β(t)
にＢ（ｘt ）を乗じたものをβ(t-1)とする。すなわ
ち、Ｆ・Ｂ（ｘT-1 ）の計算をおこなう。次いで、次の
ステップの処理Ｂ３で、β(t)にＡを乗じる。すなわ
ち、これでＦ・Ｂ（ｘT-1 ）・Ａまで計算したことにな
る。そして、次のステップＢ４で、インデックスｔが０
になったかどうかを判断し、ここでは、ｔがまだ０にな
っていないので、Ｂ２の処理に戻り、Ｂ（ｘt ）を乗ず
る。すなわち、Ｆ・Ｂ（ｘT-1 ）・Ａ・（ｘT-2 ）まで
計算をおこなう。そして、以上のことを繰り返すこと
で、（１）式の計算をおこなう。
（１）式を右側から計算しているものであり、図１０に
示されるように、まず、処理Ｂ１において、β(t)にＦ
を代入して、次のステップの処理Ｂ２において、β(t)
にＢ（ｘt ）を乗じたものをβ(t-1)とする。すなわ
ち、Ｆ・Ｂ（ｘT-1 ）の計算をおこなう。次いで、次の
ステップの処理Ｂ３で、β(t)にＡを乗じる。すなわ
ち、これでＦ・Ｂ（ｘT-1 ）・Ａまで計算したことにな
る。そして、次のステップＢ４で、インデックスｔが０
になったかどうかを判断し、ここでは、ｔがまだ０にな
っていないので、Ｂ２の処理に戻り、Ｂ（ｘt ）を乗ず
る。すなわち、Ｆ・Ｂ（ｘT-1 ）・Ａ・（ｘT-2 ）まで
計算をおこなう。そして、以上のことを繰り返すこと
で、（１）式の計算をおこなう。
【００１４】しかし、これらのアルゴリズムを単一プロ
セッサで処理すると多大な時間を要する。例えば、図９
の処理Ｆ１では、状態数Ｎ回の計算が必要となる。この
ため、これらのところを並列化して計算することで、処
理の高速化が期待できる。従来、この種のＨＭＭの並列
計算方式として、たとえば特開平５−１０８６９５号公
報に示されるような方式が提案されている。図１１にそ
の従来のＨＭＭの並列計算方式における並列計算装置の
ブロック図を示す。これはＨＭＭの状態数Ｎと同じ数の
プロセッサエレメントＰＥ0〜ＰＥN-1で構成される並列
処理部１を、データ伝送路２で環状に結合したリングア
レイプロセッサである。
セッサで処理すると多大な時間を要する。例えば、図９
の処理Ｆ１では、状態数Ｎ回の計算が必要となる。この
ため、これらのところを並列化して計算することで、処
理の高速化が期待できる。従来、この種のＨＭＭの並列
計算方式として、たとえば特開平５−１０８６９５号公
報に示されるような方式が提案されている。図１１にそ
の従来のＨＭＭの並列計算方式における並列計算装置の
ブロック図を示す。これはＨＭＭの状態数Ｎと同じ数の
プロセッサエレメントＰＥ0〜ＰＥN-1で構成される並列
処理部１を、データ伝送路２で環状に結合したリングア
レイプロセッサである。
【００１５】このリングアレイプロセッサでは、フォー
ワードアルゴリズムにおいて、データ３が各プロセッサ
エレメントＰＥi （ｉ＝０〜Ｎ−１）に生成される。ま
た、リングアレイプロセッサでは、バックワードアルゴ
リズムにおいて、データ７が各プロセッサエレメントＰ
Ｅi （ｉ＝０〜Ｎ−１）に生成される。
ワードアルゴリズムにおいて、データ３が各プロセッサ
エレメントＰＥi （ｉ＝０〜Ｎ−１）に生成される。ま
た、リングアレイプロセッサでは、バックワードアルゴ
リズムにおいて、データ７が各プロセッサエレメントＰ
Ｅi （ｉ＝０〜Ｎ−１）に生成される。
【００１６】以下、図１１に示した並列計算装置を用
い、フォワードアルゴリズムを実行するときの各プロセ
ッサエレメントＰＥi （ｉ＝０〜Ｎ−１）の処理過程
を、図１２示す。図１２の処理Ｆ１１，Ｆ１２，Ｆ１３
は、図９の処理Ｆ１，Ｆ２，Ｆ３に対応する。なお、各
プロセッサエレメントＰＥi はそれぞれメモリーを所有
し、プロセッサエレメントＰＥi における処理に必要な
パラメータがあらかじめ保存されているものとする。ま
た、Ａcc1 はプロセッサエレメントＰＥi に内蔵されて
いるアキュミュレータ、α1 (t)（ｔ＝０〜Ｔ−１）はプ
ロセッサエレメントＰＥiに内蔵されているレジスター
群である。アキュミュレータは、演算結果を保持するレ
ジスターをいい、累算器とも呼ばれる。
い、フォワードアルゴリズムを実行するときの各プロセ
ッサエレメントＰＥi （ｉ＝０〜Ｎ−１）の処理過程
を、図１２示す。図１２の処理Ｆ１１，Ｆ１２，Ｆ１３
は、図９の処理Ｆ１，Ｆ２，Ｆ３に対応する。なお、各
プロセッサエレメントＰＥi はそれぞれメモリーを所有
し、プロセッサエレメントＰＥi における処理に必要な
パラメータがあらかじめ保存されているものとする。ま
た、Ａcc1 はプロセッサエレメントＰＥi に内蔵されて
いるアキュミュレータ、α1 (t)（ｔ＝０〜Ｔ−１）はプ
ロセッサエレメントＰＥiに内蔵されているレジスター
群である。アキュミュレータは、演算結果を保持するレ
ジスターをいい、累算器とも呼ばれる。
【００１７】図１２において、まず、インデックスｔを
０とした後、次のステップの処理Ｆ１でα(t) にπＢ
（Ｘt ）の計算結果を代入する。これは、前述した
（６）式に示される計算であり、図１１のリングアレイ
プロセッサを用いれば、並列処理部１の一度の並列処理
で計算が終了する。次いで、次のステップの処理Ｆ１２
に移行する。この処理１２は、行ベクトルπ×Ｂ（Ｘ
t ）と一般に非対角行列であるところのＡとの積であ
る。この処理では、並列処理部１で数回の並列処理をお
こなうことになる。
０とした後、次のステップの処理Ｆ１でα(t) にπＢ
（Ｘt ）の計算結果を代入する。これは、前述した
（６）式に示される計算であり、図１１のリングアレイ
プロセッサを用いれば、並列処理部１の一度の並列処理
で計算が終了する。次いで、次のステップの処理Ｆ１２
に移行する。この処理１２は、行ベクトルπ×Ｂ（Ｘ
t ）と一般に非対角行列であるところのＡとの積であ
る。この処理では、並列処理部１で数回の並列処理をお
こなうことになる。
【００１８】処理Ｆ１２において、まず、インデックス
ｊを０とした後、次のステップのＦ１５において、Ａｃ
ｃi に０を代入する。次いで、次のステップの処理Ｆ１
６において、Ａｃｃi にａ(i-j)modNにαi (t )を乗じた
ものを加える。ここで、ｘmod Ｎは、ｘをＮで割った余
りを意味する。 すなわち、この処理Ｆ１６では、
（２）式で示した行列Ａの対角列とπＢ（ｘt ）との乗
算を、図１１のリングアレイプロセッサを用いて並列処
理で計算するものである。以後Ａの行列要素の集合｛ａ
(i+j)mod N,i｜ｉ＝０〜Ｎ−１｝を第ｊ対角列と呼ぶこ
とにする。
ｊを０とした後、次のステップのＦ１５において、Ａｃ
ｃi に０を代入する。次いで、次のステップの処理Ｆ１
６において、Ａｃｃi にａ(i-j)modNにαi (t )を乗じた
ものを加える。ここで、ｘmod Ｎは、ｘをＮで割った余
りを意味する。 すなわち、この処理Ｆ１６では、
（２）式で示した行列Ａの対角列とπＢ（ｘt ）との乗
算を、図１１のリングアレイプロセッサを用いて並列処
理で計算するものである。以後Ａの行列要素の集合｛ａ
(i+j)mod N,i｜ｉ＝０〜Ｎ−１｝を第ｊ対角列と呼ぶこ
とにする。
【００１９】次いで、次のステップの処理Ｆ１７におい
て、αi (t)をα(i-j)modN (t)とする。これは、図１１の
フォワードアルゴリズムの流れに示されるように、各プ
ロセッサエレメントＰＥi に保持されているα(t)のデ
ータを、隣接したプロセッサエレメントに転送する操作
である。そして、インデックスｊを１増やす。次いで、
次のステップの処理Ｆ８で、ｊがＮと等しいか、また
は、Ａのｊ番目以降の対角列が全て０行列であるかどう
か判断する。ここで、ｊがＮと等しいか、または、Ａの
ｊ番目以降の対角列が全て０行列であると判断されなか
った場合、Ｆ１６の処理に戻る。
て、αi (t)をα(i-j)modN (t)とする。これは、図１１の
フォワードアルゴリズムの流れに示されるように、各プ
ロセッサエレメントＰＥi に保持されているα(t)のデ
ータを、隣接したプロセッサエレメントに転送する操作
である。そして、インデックスｊを１増やす。次いで、
次のステップの処理Ｆ８で、ｊがＮと等しいか、また
は、Ａのｊ番目以降の対角列が全て０行列であるかどう
か判断する。ここで、ｊがＮと等しいか、または、Ａの
ｊ番目以降の対角列が全て０行列であると判断されなか
った場合、Ｆ１６の処理に戻る。
【００２０】一方、Ｆ８の処理でｊがＮと等しいか、ま
たは、Ａのｊ番目以降の対角列が全て０行列であると判
断された場合、インデックスｔを１増やし、次のステッ
プの処理Ｆ１３でαi (t)をｂi（ｘt）Ａｃｃiとする。
そして、次のステップのＦ４の処理で、ｔがＴ−１と等
しいかどうかを判断する。ここで、等しいと判断された
場合処理を終了し、等しいと判断されなかった場合、再
びＦ１２の処理をおこなう。
たは、Ａのｊ番目以降の対角列が全て０行列であると判
断された場合、インデックスｔを１増やし、次のステッ
プの処理Ｆ１３でαi (t)をｂi（ｘt）Ａｃｃiとする。
そして、次のステップのＦ４の処理で、ｔがＴ−１と等
しいかどうかを判断する。ここで、等しいと判断された
場合処理を終了し、等しいと判断されなかった場合、再
びＦ１２の処理をおこなう。
【００２１】次に、図１１の装置を用いてバックワード
アルゴリズムを実行するときの各プロセッサエレメント
ＰＥi の処理過程を図１３に示す。図１３の処理Ｂ１
１，Ｂ１２，Ｂ１３は、それぞれ図１０の処理Ｂ１，Ｂ
２，Ｂ３に対応する。また、各プロセッサエレメントＰ
Ｅi には処理に必要なパラメータがあらかじめ保存され
ているものとする。なお、βi (t)（ｔ＝０〜Ｔ−１）
は、プロセッサエレメントＰＥi に内蔵されているレジ
スター群である。
アルゴリズムを実行するときの各プロセッサエレメント
ＰＥi の処理過程を図１３に示す。図１３の処理Ｂ１
１，Ｂ１２，Ｂ１３は、それぞれ図１０の処理Ｂ１，Ｂ
２，Ｂ３に対応する。また、各プロセッサエレメントＰ
Ｅi には処理に必要なパラメータがあらかじめ保存され
ているものとする。なお、βi (t)（ｔ＝０〜Ｔ−１）
は、プロセッサエレメントＰＥi に内蔵されているレジ
スター群である。
【００２２】このバックワードアルゴリズムの処理過程
においては、まず、インデックスｊをＴ−１とした後、
次のステップのＢ１１において、βi (t)にｆi を代入す
る。ついで、次のステップＢ１２において、βi (t-1)に
ｂi（ｘt）βi (t)を代入する。これは、（１）式を右側
から計算していくなかのＦ・Ｂ（ｘT-1 ）の計算であ
り、図１１のリングアレイプロセッサを用いれば、並列
処理部１の一度の並列処理で計算が終了する。
においては、まず、インデックスｊをＴ−１とした後、
次のステップのＢ１１において、βi (t)にｆi を代入す
る。ついで、次のステップＢ１２において、βi (t-1)に
ｂi（ｘt）βi (t)を代入する。これは、（１）式を右側
から計算していくなかのＦ・Ｂ（ｘT-1 ）の計算であ
り、図１１のリングアレイプロセッサを用いれば、並列
処理部１の一度の並列処理で計算が終了する。
【００２３】ついで、インデックスｔを１減らし、処理
Ｂ１３に移行する。この処理１３は、｛Ｆ・Ｂ（ｘ
T-1 ）｝・Ａの計算であり、一般に非対角行列であると
ころのＡと列ベクトルβ(t)の積である。まず、Ｂ１５
の処理でＡｃｃi に０を代入する。次いで、次のステッ
プの処理Ｂ１６において、Ａｃｃi にａi,(i+j)modNに
βi (t)を乗じたものを加える。この処理Ｂ１６では、
（２）式で示した行列Ａの対角列とβi (t)との乗算を、
図１１のリングアレイプロセッサを用いて並列処理で計
算するものである。
Ｂ１３に移行する。この処理１３は、｛Ｆ・Ｂ（ｘ
T-1 ）｝・Ａの計算であり、一般に非対角行列であると
ころのＡと列ベクトルβ(t)の積である。まず、Ｂ１５
の処理でＡｃｃi に０を代入する。次いで、次のステッ
プの処理Ｂ１６において、Ａｃｃi にａi,(i+j)modNに
βi (t)を乗じたものを加える。この処理Ｂ１６では、
（２）式で示した行列Ａの対角列とβi (t)との乗算を、
図１１のリングアレイプロセッサを用いて並列処理で計
算するものである。
【００２４】次のステップの処理Ｂ１７において、βi
(t)をβ(i+j)modN (t)とする。これは、図１１のバック
ワードアルゴリズムの流れに示されるように、各プロセ
ッサエレメントＰＥi に保持されているβi (t)のデータ
を、隣接したプロセッサエレメントにサイクリックに転
送する操作である。そして、インデックスｊを１増や
す。次いで、次のステップの処理Ｂ８で、ｊがＮと等し
いか、または、Ａのｊ番目以降の対角列が全て０行列で
あるかどうか判断する。ここで、ｊがＮと等しいか、ま
たは、Ａのｊ番目以降の対角列が全て０行列であると判
断されなかった場合、Ｂ１６の処理に戻る。
(t)をβ(i+j)modN (t)とする。これは、図１１のバック
ワードアルゴリズムの流れに示されるように、各プロセ
ッサエレメントＰＥi に保持されているβi (t)のデータ
を、隣接したプロセッサエレメントにサイクリックに転
送する操作である。そして、インデックスｊを１増や
す。次いで、次のステップの処理Ｂ８で、ｊがＮと等し
いか、または、Ａのｊ番目以降の対角列が全て０行列で
あるかどうか判断する。ここで、ｊがＮと等しいか、ま
たは、Ａのｊ番目以降の対角列が全て０行列であると判
断されなかった場合、Ｂ１６の処理に戻る。
【００２５】一方、Ｂ８の処理で、ｊがＮと等しいか、
または、Ａのｊ番目以降の対角列が全て０行列であると
判断された場合、βi (t)をＡｃｃi とする。そして、次
のステップのＢ４の処理で、ｔが０と等しいかどうかを
判断する。ここで、等しいと判断された場合は処理を終
了し、等しいと判断されなかった場合は再びＢ１２の処
理をおこなう。以上に示したように、ＨＭＭの計算にお
いては、状態数Ｎの個数のプロセッサエレメントを用い
ることで、並列演算をおこなうことが可能となる。
または、Ａのｊ番目以降の対角列が全て０行列であると
判断された場合、βi (t)をＡｃｃi とする。そして、次
のステップのＢ４の処理で、ｔが０と等しいかどうかを
判断する。ここで、等しいと判断された場合は処理を終
了し、等しいと判断されなかった場合は再びＢ１２の処
理をおこなう。以上に示したように、ＨＭＭの計算にお
いては、状態数Ｎの個数のプロセッサエレメントを用い
ることで、並列演算をおこなうことが可能となる。
【００２６】
【発明が解決しようとする課題】従来は以上のように構
成されていたので、以下に示すような問題があった。従
来では、並列演算をおこなおうとすれば、プロセッサエ
レメントの数は状態数Ｎ個しか用いることができない。
前述したように、ＨＭＭの並列計算においては、Ｎ個の
プロセッサエレメントが必要となるが、プロセッサエレ
メントがＮ個以上あっても、並列演算に用いられること
がない。Ｎ個を越えるプロセッサエレメントは無駄にな
ってしまう。
成されていたので、以下に示すような問題があった。従
来では、並列演算をおこなおうとすれば、プロセッサエ
レメントの数は状態数Ｎ個しか用いることができない。
前述したように、ＨＭＭの並列計算においては、Ｎ個の
プロセッサエレメントが必要となるが、プロセッサエレ
メントがＮ個以上あっても、並列演算に用いられること
がない。Ｎ個を越えるプロセッサエレメントは無駄にな
ってしまう。
【００２７】また、上述したことにより、ＨＭＭの計算
を高速化しようとする場合は、Ｎ個のプロセッサエレメ
ントを用意して並列演算をおこなうしかない。したがっ
て、より少ない数のプロセッサエレメントで計算の高速
化をおこなうことができなかった。すなわち、従来で
は、規模に対する制約がなく、大規模な並列処理部を用
意しても、プロセッサエレメントが状態数Ｎ個までの並
列化による高速化しかできず、それ以上の高速化ができ
ない。一方で、計算の高速化をより小さい規模でおこな
おうとしても、高速処理のための並列化が効果を発揮す
るのは、プロセッサエレメントが状態数Ｎ個の場合だけ
であり、小規模での計算の高速化が望めなかった。
を高速化しようとする場合は、Ｎ個のプロセッサエレメ
ントを用意して並列演算をおこなうしかない。したがっ
て、より少ない数のプロセッサエレメントで計算の高速
化をおこなうことができなかった。すなわち、従来で
は、規模に対する制約がなく、大規模な並列処理部を用
意しても、プロセッサエレメントが状態数Ｎ個までの並
列化による高速化しかできず、それ以上の高速化ができ
ない。一方で、計算の高速化をより小さい規模でおこな
おうとしても、高速処理のための並列化が効果を発揮す
るのは、プロセッサエレメントが状態数Ｎ個の場合だけ
であり、小規模での計算の高速化が望めなかった。
【００２８】この発明は、以上のような問題点を解消す
るためになされたものであり、ＨＭＭの計算を、より高
速化できるようにすることを目的とする。
るためになされたものであり、ＨＭＭの計算を、より高
速化できるようにすることを目的とする。
【００２９】
【課題を解決するための手段】この発明の隠れマルコフ
モデルの計算方式は、複数のレジスタとアキュミュレー
タとを有するプロセッサエレメントを状態数Ｎ個リング
状に結合した第１のリングアレイプロセッサと、プロセ
ッサエレメントを状態数Ｎ個リング状に結合し、それら
が第１のリングアレイプロセッサを構成するプロセッサ
エレメントそれぞれと結合した第２のリングアレイプロ
セッサとを備え、第１のリングアレイプロセッサがフォ
ーワードアルゴリズムを並列計算し、第２のリングアレ
イプロセッサがバックワードアルゴリズムを並列計算す
るようにした。このため、フォワードアルゴリズムとバ
ックワードアルゴリズムの並列計算を同時におこなうこ
とができる。
モデルの計算方式は、複数のレジスタとアキュミュレー
タとを有するプロセッサエレメントを状態数Ｎ個リング
状に結合した第１のリングアレイプロセッサと、プロセ
ッサエレメントを状態数Ｎ個リング状に結合し、それら
が第１のリングアレイプロセッサを構成するプロセッサ
エレメントそれぞれと結合した第２のリングアレイプロ
セッサとを備え、第１のリングアレイプロセッサがフォ
ーワードアルゴリズムを並列計算し、第２のリングアレ
イプロセッサがバックワードアルゴリズムを並列計算す
るようにした。このため、フォワードアルゴリズムとバ
ックワードアルゴリズムの並列計算を同時におこなうこ
とができる。
【００３０】また、この発明の隠れマルコフモデルの計
算方式は、複数のレジスタとアキュミュレータとを有す
る第１および第２のプロセッサエレメントを備え、それ
ら第１と第２のプロセッサエレメントを結合した状態
で、第１のプロセッサエレメントがフォーワードアルゴ
リズムを計算し、第２のプロセッサエレメントがバック
ワードアルゴリズムを計算するようにした。このため、
フォワードアルゴリズムとバックワードアルゴリズムの
計算を同時に並列しておこなうことができる。そして、
パラメータおよび計算によって生成される数値の対数を
整数に量子化し、フォーワードアルゴリズムおよびバッ
クワードアルゴリズムを計算するようにした。すなわ
ち、対数表現のアルゴリズムを用いることにより、フォ
ーワードアルゴリズムおよびバックワードアルゴリズム
を計算するようにした。
算方式は、複数のレジスタとアキュミュレータとを有す
る第１および第２のプロセッサエレメントを備え、それ
ら第１と第２のプロセッサエレメントを結合した状態
で、第１のプロセッサエレメントがフォーワードアルゴ
リズムを計算し、第２のプロセッサエレメントがバック
ワードアルゴリズムを計算するようにした。このため、
フォワードアルゴリズムとバックワードアルゴリズムの
計算を同時に並列しておこなうことができる。そして、
パラメータおよび計算によって生成される数値の対数を
整数に量子化し、フォーワードアルゴリズムおよびバッ
クワードアルゴリズムを計算するようにした。すなわ
ち、対数表現のアルゴリズムを用いることにより、フォ
ーワードアルゴリズムおよびバックワードアルゴリズム
を計算するようにした。
【００３１】
【発明の実施の形態】以下この発明の実施の形態を図を
参照して説明する。 実施の形態１．図１は、この発明の第１の実施の形態に
おける隠れマルコフモデルの計算システムの構成を示す
構成図である。この実施の形態では、図１に示されるよ
うに、２つのリングアレイプロセッサ４，８を用いるよ
うにしたものである。
参照して説明する。 実施の形態１．図１は、この発明の第１の実施の形態に
おける隠れマルコフモデルの計算システムの構成を示す
構成図である。この実施の形態では、図１に示されるよ
うに、２つのリングアレイプロセッサ４，８を用いるよ
うにしたものである。
【００３２】リングアレイプロセッサ４では、プロセッ
サエレメントＰＥ0,i （ｉ＝０〜Ｎ−１）から構成され
た並列処理部１とそれらを接続するデータ転送路２によ
り、フォワードアルゴリズムにおけるデータ３を並列処
理する。一方、リングアレイプロセッサ８では、プロセ
ッサエレメントＰＥ1,i （ｉ＝０〜Ｎ−１）から構成さ
れた並列処理部５とそれらを接続するデータ転送路６に
より、バックワードアルゴリズムにおけるデータ７を並
列処理する。そして、並列処理部１と並列処理部５の各
プロセッサエレメントは、それぞれデータ転送路９で接
続されている。
サエレメントＰＥ0,i （ｉ＝０〜Ｎ−１）から構成され
た並列処理部１とそれらを接続するデータ転送路２によ
り、フォワードアルゴリズムにおけるデータ３を並列処
理する。一方、リングアレイプロセッサ８では、プロセ
ッサエレメントＰＥ1,i （ｉ＝０〜Ｎ−１）から構成さ
れた並列処理部５とそれらを接続するデータ転送路６に
より、バックワードアルゴリズムにおけるデータ７を並
列処理する。そして、並列処理部１と並列処理部５の各
プロセッサエレメントは、それぞれデータ転送路９で接
続されている。
【００３３】このようにすることで、例えば、音声認識
動作で、パラメータが決定されたＨＭＭを用いてその確
率を求めるときに、以下に示すようにできる。 まず、（１）式に示した計算を、左側からリングアレ
イプロセッサ４を用いて途中まで計算する（フォーワー
ドアルゴリズム）。 一方、（１）式に示した計算を、右側からリングアレ
イプロセッサ８を用いて途中まで計算する（バックワー
ドアルゴリズム）。 そして、それらの計算結果を合わせる。 以上のことにより、従来に比較して約半分の時間で計算
を終わらせることができる。
動作で、パラメータが決定されたＨＭＭを用いてその確
率を求めるときに、以下に示すようにできる。 まず、（１）式に示した計算を、左側からリングアレ
イプロセッサ４を用いて途中まで計算する（フォーワー
ドアルゴリズム）。 一方、（１）式に示した計算を、右側からリングアレ
イプロセッサ８を用いて途中まで計算する（バックワー
ドアルゴリズム）。 そして、それらの計算結果を合わせる。 以上のことにより、従来に比較して約半分の時間で計算
を終わらせることができる。
【００３４】前述したように、パラメータを指定された
ＨＭＭθが、シンボル列Ｘ＝ｘ0,ｘl,ｘ2,…,ｘT-1を出
力する確率Ｐ（Ｘ｜θ）は、（１）式で与えられる。そ
して、（１）式の右辺を、左から右へ順に計算を進めて
いったものが、図９に示したフォーワードアルゴリズム
てあり、その計算過程で中間結果としてベクトルα(t)
が生成される。また、（１）式の右辺を、右から左へ順
に計算を進めていったものが図１０に示したバックワー
ドアルゴリズムそあり、その計算過程で中間結果として
ペグトルβ(t)が生成される。
ＨＭＭθが、シンボル列Ｘ＝ｘ0,ｘl,ｘ2,…,ｘT-1を出
力する確率Ｐ（Ｘ｜θ）は、（１）式で与えられる。そ
して、（１）式の右辺を、左から右へ順に計算を進めて
いったものが、図９に示したフォーワードアルゴリズム
てあり、その計算過程で中間結果としてベクトルα(t)
が生成される。また、（１）式の右辺を、右から左へ順
に計算を進めていったものが図１０に示したバックワー
ドアルゴリズムそあり、その計算過程で中間結果として
ペグトルβ(t)が生成される。
【００３５】従来、Ｐ（Ｘ｜θ）を求めるとき、図１１
に示すような一つのリングアレイプロセッサを用いて、
フォーワードアルゴリズムかバックワードアルゴリズム
の一方を計算していた。すなわち、フォーワードアルゴ
リズムの終了時に得られるα(T-1) を用いてα(T-1) Ｆ
を計算するか、あるいはバックワードアルゴリズムの終
了時に得られるβ(0) を用いてπＢ（ｘ０）β(0) を計
算するか、どちらかの方法が取られていた。
に示すような一つのリングアレイプロセッサを用いて、
フォーワードアルゴリズムかバックワードアルゴリズム
の一方を計算していた。すなわち、フォーワードアルゴ
リズムの終了時に得られるα(T-1) を用いてα(T-1) Ｆ
を計算するか、あるいはバックワードアルゴリズムの終
了時に得られるβ(0) を用いてπＢ（ｘ０）β(0) を計
算するか、どちらかの方法が取られていた。
【００３６】ところで、（１）式は、Ｐ（Ｘ｜θ）＝α
(L)β(L)のように書くことができる。ここでＬは、０≦
Ｌ≦Ｔ−１を満たす整数である（Ｔはシンボル列の長
さ）。すなわち、この実施の形態では、この式において
ＬをＴ／２に近い整数とし、α(L)とβ(L)の計算を、そ
れぞれリングアレイプロセッサ４，８でおこなうように
したものである。ＬはＴ／２に近い整数であればよい
が、両リングアレイプロセッサ４，８の負荷を可能な限
り均等に分散するため、Ｔが偶数のとき（Ｔ／２）−
１、Ｔが奇数のとき（Ｔ−１）／２とするのが最も好ま
しい。
(L)β(L)のように書くことができる。ここでＬは、０≦
Ｌ≦Ｔ−１を満たす整数である（Ｔはシンボル列の長
さ）。すなわち、この実施の形態では、この式において
ＬをＴ／２に近い整数とし、α(L)とβ(L)の計算を、そ
れぞれリングアレイプロセッサ４，８でおこなうように
したものである。ＬはＴ／２に近い整数であればよい
が、両リングアレイプロセッサ４，８の負荷を可能な限
り均等に分散するため、Ｔが偶数のとき（Ｔ／２）−
１、Ｔが奇数のとき（Ｔ−１）／２とするのが最も好ま
しい。
【００３７】α(L)の計算は、図９に示したフォーワー
ドアルゴリズムにおいて、終了条件Ｆ４を「ｔがＬに等
しいか？」とすることによっておこなうことができる。
そしてこれは、図１の並列処理部１の各プロセッサエレ
メントＰＥ0,i（ｉ＝０〜Ｎ−１）が、図１２のアルゴ
リズムにしたがって処理を進めることによって並列計算
がなされる。ただし、このときの終了条件Ｆ４は、「ｔ
がＬに等しいか？」となる。
ドアルゴリズムにおいて、終了条件Ｆ４を「ｔがＬに等
しいか？」とすることによっておこなうことができる。
そしてこれは、図１の並列処理部１の各プロセッサエレ
メントＰＥ0,i（ｉ＝０〜Ｎ−１）が、図１２のアルゴ
リズムにしたがって処理を進めることによって並列計算
がなされる。ただし、このときの終了条件Ｆ４は、「ｔ
がＬに等しいか？」となる。
【００３８】また、β(L)の計算は、図１０に示したバ
ックワードアルゴリズムにおいて、終了条件Ｂ４を「ｔ
がＬに等しいか？」とすることによって計算される。そ
してこれは、図１の並列処理部５の各プロセッサエレメ
ントＰＥ1,i（ｉ＝０〜Ｎ−１）が、図１３のアルゴリ
ズムにしたがって処理を進めることによって平行計算が
なされる。ただし、このときの終了条件Ｂ４は「ｔがＬ
に等しいか？」とする。
ックワードアルゴリズムにおいて、終了条件Ｂ４を「ｔ
がＬに等しいか？」とすることによって計算される。そ
してこれは、図１の並列処理部５の各プロセッサエレメ
ントＰＥ1,i（ｉ＝０〜Ｎ−１）が、図１３のアルゴリ
ズムにしたがって処理を進めることによって平行計算が
なされる。ただし、このときの終了条件Ｂ４は「ｔがＬ
に等しいか？」とする。
【００３９】以上このとにより、図１の並列処理部１に
α(L)のデータが得られ、並列処理部５にβ(L)のデータ
が得られたのち、両並列処理部１，５をつなぐデータ伝
送路９を通じでα(L)のデータを並列処理部５に転送す
る。そして、並列処理部５で両ベクトルの内積α(L)β
(L)を計算することによりＰ（Ｘ｜θ）を得ることがで
きる。あるいは、並列処理部５のβ(L)のデータを、デ
ータ伝送路９を通じで並列処理部１に転送し、並列処理
部１でα(L)β(L)を計算してもよい。
α(L)のデータが得られ、並列処理部５にβ(L)のデータ
が得られたのち、両並列処理部１，５をつなぐデータ伝
送路９を通じでα(L)のデータを並列処理部５に転送す
る。そして、並列処理部５で両ベクトルの内積α(L)β
(L)を計算することによりＰ（Ｘ｜θ）を得ることがで
きる。あるいは、並列処理部５のβ(L)のデータを、デ
ータ伝送路９を通じで並列処理部１に転送し、並列処理
部１でα(L)β(L)を計算してもよい。
【００４０】以上示したように、この実施の形態１によ
れば、Ｐ（Ｘ｜θ）を従来の約半分の時間で求めること
ができる。以上は、ＨＭＭの識別アルゴリズムの場合を
例に取り説明したが、ＨＭＭの学習アルゴリズムである
Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムも、フォワード・バ
ックワードアルゴリズムを含んでおり、この実施の形態
１を使用できる。このとき、図１のリングアレイプロセ
ッサ４でフォーワードアルゴリズムを、リングアレイプ
ロセッサ８でバックワードアルゴリズムを実行する。
れば、Ｐ（Ｘ｜θ）を従来の約半分の時間で求めること
ができる。以上は、ＨＭＭの識別アルゴリズムの場合を
例に取り説明したが、ＨＭＭの学習アルゴリズムである
Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムも、フォワード・バ
ックワードアルゴリズムを含んでおり、この実施の形態
１を使用できる。このとき、図１のリングアレイプロセ
ッサ４でフォーワードアルゴリズムを、リングアレイプ
ロセッサ８でバックワードアルゴリズムを実行する。
【００４１】しかし、上述したＰ（Ｘ｜θ）の算出の場
合と異なり、フォーワードアルゴリズムの終了条件であ
るの処理Ｆ４は「ｔがＴ−１と等しいか」となり、バッ
クワードアルゴリズムの終了条件である処理Ｂ４は「ｔ
が０と等しいか」となる。すなわち、ＨＭＭの学習アル
ゴリズムでは、（１）式の計算をフォワード／バックワ
ードそれぞれおこなうようにする。このことにより、Ｂ
ａｕｍ−Ｗｅｌｃｈアルゴリズムのフォーワード・バッ
クワードアルゴリズムは、従来の半分の時間で処理を済
ますことができる。
合と異なり、フォーワードアルゴリズムの終了条件であ
るの処理Ｆ４は「ｔがＴ−１と等しいか」となり、バッ
クワードアルゴリズムの終了条件である処理Ｂ４は「ｔ
が０と等しいか」となる。すなわち、ＨＭＭの学習アル
ゴリズムでは、（１）式の計算をフォワード／バックワ
ードそれぞれおこなうようにする。このことにより、Ｂ
ａｕｍ−Ｗｅｌｃｈアルゴリズムのフォーワード・バッ
クワードアルゴリズムは、従来の半分の時間で処理を済
ますことができる。
【００４２】実施の形態２．次に、本発明の第２の実施
の形態について説明する。これは、第１の実施の形態の
計算アルゴリズムを、以下に説明するように対数上の計
算アルゴリズムに置き換えたものである。これまで定義
したＨＭＭに関するパラメータの対数を、以下の（７）
式のように定義する。
の形態について説明する。これは、第１の実施の形態の
計算アルゴリズムを、以下に説明するように対数上の計
算アルゴリズムに置き換えたものである。これまで定義
したＨＭＭに関するパラメータの対数を、以下の（７）
式のように定義する。
【００４３】 ｖi＝ｌｏｇcπi，ｗi（ｓ）＝−ｌｏｇcｂi（ｓ）， ｙi,j＝−ｌｏｇcａi,j，ｚ＝−ｌｏｇcａi， γi (t)＝−ｌｏｇcαi (t)，δi (t)＝−ｌｏｇcβi (t) ・・・（７） ただし、対数が無限大になるときは、プロセッサで表現
可能な最大の数値（以下これをＩｎｆ．と略す）を用い
る。
可能な最大の数値（以下これをＩｎｆ．と略す）を用い
る。
【００４４】（７）式を用いると、図１の、プロセッサ
エレメントＰＥ0,i（ｉ＝０〜Ｎ−１）によってフォー
ワードアルゴリズムを実行するためには、図２に示す処
理を行えばよい。ただし、前述の第１の実施の形態と同
様に、識別アルゴリズムにおいては図２の終了条件Ｆ４
を「ｔがＬに等しいか？」とする。図２においてＦ２
１，Ｆ２２，Ｆ２３，Ｆ２５，Ｆ２６，Ｆ２７は、図１
２のＦ１１，Ｆ１２，Ｆ１３，Ｆ１５，Ｆ１６，Ｆ１７
に対応している。なお、Ｆ４，Ｆ８は同一である。
エレメントＰＥ0,i（ｉ＝０〜Ｎ−１）によってフォー
ワードアルゴリズムを実行するためには、図２に示す処
理を行えばよい。ただし、前述の第１の実施の形態と同
様に、識別アルゴリズムにおいては図２の終了条件Ｆ４
を「ｔがＬに等しいか？」とする。図２においてＦ２
１，Ｆ２２，Ｆ２３，Ｆ２５，Ｆ２６，Ｆ２７は、図１
２のＦ１１，Ｆ１２，Ｆ１３，Ｆ１５，Ｆ１６，Ｆ１７
に対応している。なお、Ｆ４，Ｆ８は同一である。
【００４５】なお、図２において、処理Ｆ２５で、Ｉｎ
ｆ.はプロセッサエレメントで表現可能な最大の数値を
表す。また、処理Ｆ２６における２変数関数Ｇc（ｐ，
ｑ）は、以下の（８）式で示されるように定義される。 ｐ≧ｑのとき、Ｇc（ｐ，ｑ）＝ｑ−ｇc（ｐ−ｑ） ｐ＜ｑのとき、Ｇc（ｐ，ｑ）＝ｐ−ｇc（ｑ−ｐ） ・・・（８） ここで、関数ｇc（ｘ）は以下の（９）式で定義され
る。 ｇc（ｘ）＝ｌｏｇc（１＋ｃ-x） ・・・（９）
ｆ.はプロセッサエレメントで表現可能な最大の数値を
表す。また、処理Ｆ２６における２変数関数Ｇc（ｐ，
ｑ）は、以下の（８）式で示されるように定義される。 ｐ≧ｑのとき、Ｇc（ｐ，ｑ）＝ｑ−ｇc（ｐ−ｑ） ｐ＜ｑのとき、Ｇc（ｐ，ｑ）＝ｐ−ｇc（ｑ−ｐ） ・・・（８） ここで、関数ｇc（ｘ）は以下の（９）式で定義され
る。 ｇc（ｘ）＝ｌｏｇc（１＋ｃ-x） ・・・（９）
【００４６】また、（７）式に示した定義により、バッ
クワードアルゴリズムの実行は、図３のアルゴリズムに
よっておこなう。図２においてＢ２１，Ｂ２２，Ｂ２
３，Ｂ２５，Ｂ２６，Ｂ２７は、図１２のＢ１１，Ｂ１
２，Ｂ１３，Ｂ１５，Ｂ１６，Ｂ１７に対応している。
なお、Ｂ４，Ｂ８は同一である。ただし、前述の実施の
形態１と同様に、識別アルゴリズムにおいては図３の終
了条件Ｂ４を「ｔがＬに等しいか？」とする。
クワードアルゴリズムの実行は、図３のアルゴリズムに
よっておこなう。図２においてＢ２１，Ｂ２２，Ｂ２
３，Ｂ２５，Ｂ２６，Ｂ２７は、図１２のＢ１１，Ｂ１
２，Ｂ１３，Ｂ１５，Ｂ１６，Ｂ１７に対応している。
なお、Ｂ４，Ｂ８は同一である。ただし、前述の実施の
形態１と同様に、識別アルゴリズムにおいては図３の終
了条件Ｂ４を「ｔがＬに等しいか？」とする。
【００４７】以上示したことにより、（７）式の定義に
よる対数表現においても、並列演算処理がおこない得
る。この対数表現では、対数の底ｃを１より大きくかつ
１に十分近い数値にとることにより、すべての数値を整
数に量子化しても十分な計算精度を得ることができる。
（９）式に示した関数ｇc（ｘ）は、予め必要な範囲の
整数の引数についで値を計算しておき、その値を量子化
したものをメモリーに保持してルックアップテーブルと
して使用することにより、全計算を整数の演算だけで処
理することができる。
よる対数表現においても、並列演算処理がおこない得
る。この対数表現では、対数の底ｃを１より大きくかつ
１に十分近い数値にとることにより、すべての数値を整
数に量子化しても十分な計算精度を得ることができる。
（９）式に示した関数ｇc（ｘ）は、予め必要な範囲の
整数の引数についで値を計算しておき、その値を量子化
したものをメモリーに保持してルックアップテーブルと
して使用することにより、全計算を整数の演算だけで処
理することができる。
【００４８】このため、この実施の形態２によれば、複
雑で大きい浮動小数点演算器が不要になるという利点が
ある。実施の形態１は、浮動小数点を用いたアルゴリズ
ムとなるが、ＩＥＥＥ規格の浮動小数点を採用した標準
的な汎用プロセッサでは、本対数表現を用いた整数演算
によるアルゴリズムの方が、実施の形態１より計算のダ
イナミックレンジ（計算で扱える数値の範囲）を大きく
とることができるという利点もある。
雑で大きい浮動小数点演算器が不要になるという利点が
ある。実施の形態１は、浮動小数点を用いたアルゴリズ
ムとなるが、ＩＥＥＥ規格の浮動小数点を採用した標準
的な汎用プロセッサでは、本対数表現を用いた整数演算
によるアルゴリズムの方が、実施の形態１より計算のダ
イナミックレンジ（計算で扱える数値の範囲）を大きく
とることができるという利点もある。
【００４９】実施の形態３．次に、本発明の第３の実施
の形態について図面を参照して説明する。図４は、本発
明の第３の実施の形態におけるアレイプロセッサの構成
を示す構成図である。これは、２つのプロセッサエレメ
ントＰＥ0 およびプロセッサエレメントＰＥ1 をデータ
伝送路９で結合したものである。そして、プロセッサエ
レメントＰＥ0 でフォオーワードアルゴリズムの処理を
おこない、プロセッサエレメントＰＥ1 でバックワード
アルゴリズムをおこない、それらを同時に処理すること
により、単独のプロセッサによる処理に比べて処理時間
を半分に短縮することができる。ただし、前述の実施の
形態１と同様に、識別アルゴリズムにおいては終了条件
Ｆ４および終了条件Ｂ４を「ｔがＬに等しいか？」とす
る。
の形態について図面を参照して説明する。図４は、本発
明の第３の実施の形態におけるアレイプロセッサの構成
を示す構成図である。これは、２つのプロセッサエレメ
ントＰＥ0 およびプロセッサエレメントＰＥ1 をデータ
伝送路９で結合したものである。そして、プロセッサエ
レメントＰＥ0 でフォオーワードアルゴリズムの処理を
おこない、プロセッサエレメントＰＥ1 でバックワード
アルゴリズムをおこない、それらを同時に処理すること
により、単独のプロセッサによる処理に比べて処理時間
を半分に短縮することができる。ただし、前述の実施の
形態１と同様に、識別アルゴリズムにおいては終了条件
Ｆ４および終了条件Ｂ４を「ｔがＬに等しいか？」とす
る。
【００５０】まず、プロセッサエレメントＰＥ0 で、図
５に示すフォーワードアルゴリズムを実行する。これ
は、図９に示したフォーワードアルゴリズムを実行する
とき、処理Ｆ１は図５（ａ）、処理Ｆ２は図５（ｂ）、
処理Ｆ３は図５（ｃ）に示したアルゴリズムを用いるこ
とと同様である。ここで、図５（ｂ）のアルゴリズムて
は２次元配列Ｉを使用する。これは、状態遷移確率行列
Ａの第ｊ列成分のうち非零成分に通し番号を付け、その
第ｉ番目の成分の行数を配列Ｉの第ｉ行ｊ列成分Ｉ
（ｉ，ｊ）に保存するものである。また１次元配列ｎの
第ｊ成分ｎ（ｊ）には、状態遷移確率行列Ａの第ｊ列の
非零成分の数を保存するものである。これらの配列を用
いた図５（ｂ）のアルゴリズムは、行列Ａの零成分との
不必要な積和演算を省略するものであり、行列Ａが不規
則疎行列である場合には効率的な処理を可能とする。
５に示すフォーワードアルゴリズムを実行する。これ
は、図９に示したフォーワードアルゴリズムを実行する
とき、処理Ｆ１は図５（ａ）、処理Ｆ２は図５（ｂ）、
処理Ｆ３は図５（ｃ）に示したアルゴリズムを用いるこ
とと同様である。ここで、図５（ｂ）のアルゴリズムて
は２次元配列Ｉを使用する。これは、状態遷移確率行列
Ａの第ｊ列成分のうち非零成分に通し番号を付け、その
第ｉ番目の成分の行数を配列Ｉの第ｉ行ｊ列成分Ｉ
（ｉ，ｊ）に保存するものである。また１次元配列ｎの
第ｊ成分ｎ（ｊ）には、状態遷移確率行列Ａの第ｊ列の
非零成分の数を保存するものである。これらの配列を用
いた図５（ｂ）のアルゴリズムは、行列Ａの零成分との
不必要な積和演算を省略するものであり、行列Ａが不規
則疎行列である場合には効率的な処理を可能とする。
【００５１】一方、プロセッサエレメントＰＥ1 で図６
に示すバックワードアルゴリズムを実行する。これは、
図１０に示したバックワードアルゴリズムを実行すると
き、処理Ｂ１は図６（ａ），処理Ｂ２は図６（ｂ），処
理Ｂ３は図６（ｃ）に示したアルゴリズムに従うことと
同様である。ここで、図６（ｃ）のアルゴリズムでは２
次元配列Ｊを使用する。これは、状態遷移確率行列Ａの
第ｉ行成分のうち非零成分に通し番号を付け、その第ｊ
番目の成分の列数を配列Ｊの第ｉ行ｊ列成分Ｊ（ｉ，
ｊ）に保存するものである。また１次元配列ｍの第ｊ成
分ｍ（ｉ）には、状態遷移確率行列Ａの第ｉ行の非零成
分の数を保存するものである。これらの配列を用いた図
６（ｃ）のアルゴリズムは、行列Ａの零成分との不必要
な積和演算を省略するものであり、行列Ａが不規則疎行
列である場合には効率的な処理を可能とする。
に示すバックワードアルゴリズムを実行する。これは、
図１０に示したバックワードアルゴリズムを実行すると
き、処理Ｂ１は図６（ａ），処理Ｂ２は図６（ｂ），処
理Ｂ３は図６（ｃ）に示したアルゴリズムに従うことと
同様である。ここで、図６（ｃ）のアルゴリズムでは２
次元配列Ｊを使用する。これは、状態遷移確率行列Ａの
第ｉ行成分のうち非零成分に通し番号を付け、その第ｊ
番目の成分の列数を配列Ｊの第ｉ行ｊ列成分Ｊ（ｉ，
ｊ）に保存するものである。また１次元配列ｍの第ｊ成
分ｍ（ｉ）には、状態遷移確率行列Ａの第ｉ行の非零成
分の数を保存するものである。これらの配列を用いた図
６（ｃ）のアルゴリズムは、行列Ａの零成分との不必要
な積和演算を省略するものであり、行列Ａが不規則疎行
列である場合には効率的な処理を可能とする。
【００５２】図６（ｃ）において、ηi（ｉ＝０〜Ｎ−
１）は中間結果保存用のレジスターである。Ｐ（Ｘ｜
θ）を求めるときは、フォーワードアルゴリズムでプロ
セッサエレメントＰＥ0 に生成されたα(L)のデータ
を、データ伝送路９を通じてプロセッサエレメントＰＥ
1 に転送し、プロセッサエレメントＰＥ1 で（６）式を
計算する。 あるいは逆に、バックワードアルゴリズム
でプロセッサエレメントＰＥ1 に生成されたβ(L)のデ
ータをデータ伝送路９を通じてプロセッサエレメントＰ
Ｅ0 に転送し、プロセッサエレメントＰＥ0 で（６）式
を計算してもよい。
１）は中間結果保存用のレジスターである。Ｐ（Ｘ｜
θ）を求めるときは、フォーワードアルゴリズムでプロ
セッサエレメントＰＥ0 に生成されたα(L)のデータ
を、データ伝送路９を通じてプロセッサエレメントＰＥ
1 に転送し、プロセッサエレメントＰＥ1 で（６）式を
計算する。 あるいは逆に、バックワードアルゴリズム
でプロセッサエレメントＰＥ1 に生成されたβ(L)のデ
ータをデータ伝送路９を通じてプロセッサエレメントＰ
Ｅ0 に転送し、プロセッサエレメントＰＥ0 で（６）式
を計算してもよい。
【００５３】従来では、ＨＭＭの並列計算をおこなおう
とすると、ＨＭＭの状態数個のプロセッサエレメントを
必要としたため、装置が大規模になるという欠点があっ
た。しかし、この実施の形態３では、ＨＭＭの計算を２
つのプロセッサエレメントで並列処理するようにした。
このため、ＨＭＭの並列計算をおこなうとき、従来のよ
うに状態数個のプロセッサエレメントを用意することな
く、小型のＨＭＭ計算装置でおこなうことができる。
とすると、ＨＭＭの状態数個のプロセッサエレメントを
必要としたため、装置が大規模になるという欠点があっ
た。しかし、この実施の形態３では、ＨＭＭの計算を２
つのプロセッサエレメントで並列処理するようにした。
このため、ＨＭＭの並列計算をおこなうとき、従来のよ
うに状態数個のプロセッサエレメントを用意することな
く、小型のＨＭＭ計算装置でおこなうことができる。
【００５４】実施の形態４．次に、この発明の第４の実
施の形態について説明する。本実施の形態４では、図４
に示すようにデータ伝送路９で結合された２つのプロセ
ッサエレメントＰＥ0 およびプロセッサエレメントＰＥ
i を用いるようにした。そして、プロセッサエレメント
ＰＥ0 でフォーワードアルゴリズムを、プロセッサエレ
メントＰＥ1でバックワードアルゴリズムを処理する。
施の形態について説明する。本実施の形態４では、図４
に示すようにデータ伝送路９で結合された２つのプロセ
ッサエレメントＰＥ0 およびプロセッサエレメントＰＥ
i を用いるようにした。そして、プロセッサエレメント
ＰＥ0 でフォーワードアルゴリズムを、プロセッサエレ
メントＰＥ1でバックワードアルゴリズムを処理する。
【００５５】そして、プロセッサエレメントＰＥ0 で図
７に示すフォーワードアルゴリズムを実行する。これ
は、図９に示したフォーワードアルゴリズムを、処理Ｆ
１は図７（ａ），処理Ｆ２は図７（ｂ），処理Ｆ３は図
７（ｃ）に示したアルゴリズムを用いておこなうことと
同様である。また、プロセッサエレメントＰＥi で図８
に示すバックワードアルゴリズムを実行する。これは、
図１０に示したバックワードアルゴリズムを、処理Ｂ１
は図８（ａ），処理Ｂ２は図８（ｂ），処理Ｂ３は図８
（ｃ）に示したアルゴリズムを用いておこなうことと同
様である。すなわち、実施の形態２と同様に、対数上で
処理するものである。
７に示すフォーワードアルゴリズムを実行する。これ
は、図９に示したフォーワードアルゴリズムを、処理Ｆ
１は図７（ａ），処理Ｆ２は図７（ｂ），処理Ｆ３は図
７（ｃ）に示したアルゴリズムを用いておこなうことと
同様である。また、プロセッサエレメントＰＥi で図８
に示すバックワードアルゴリズムを実行する。これは、
図１０に示したバックワードアルゴリズムを、処理Ｂ１
は図８（ａ），処理Ｂ２は図８（ｂ），処理Ｂ３は図８
（ｃ）に示したアルゴリズムを用いておこなうことと同
様である。すなわち、実施の形態２と同様に、対数上で
処理するものである。
【００５６】なお、フォーワードアルゴリズムの終了条
件Ｆ４、および、バックワードアルゴリズムの終了条件
Ｂ４は、学習アルゴリズムにおいては図６，７に示した
通り、識別アルゴリズムにおいて「ｔがＬに等しいか
？」とする。この実施の形態４においても、上記実施の
形態と同様の効果を奏するものである。
件Ｆ４、および、バックワードアルゴリズムの終了条件
Ｂ４は、学習アルゴリズムにおいては図６，７に示した
通り、識別アルゴリズムにおいて「ｔがＬに等しいか
？」とする。この実施の形態４においても、上記実施の
形態と同様の効果を奏するものである。
【００５７】また、対数上での計算アルゴリズムを用い
るため整数演算のみでよく、演算器の規模が大きくなる
積算および除算を必要としないため、プロセッサは小規
模で簡単なものになる。また、実施の形態３では、浮動
小数点を用いたアルゴリズムとなるが、ＩＥＥＥ規格の
浮動小数点を採用した標準的な汎用プロセッサでは、本
対数表現を用いた整数演算によるアルゴリズムの方が、
実施の形態３より計算のダイナミックレンジを大きくと
ることができるという利点もある。
るため整数演算のみでよく、演算器の規模が大きくなる
積算および除算を必要としないため、プロセッサは小規
模で簡単なものになる。また、実施の形態３では、浮動
小数点を用いたアルゴリズムとなるが、ＩＥＥＥ規格の
浮動小数点を採用した標準的な汎用プロセッサでは、本
対数表現を用いた整数演算によるアルゴリズムの方が、
実施の形態３より計算のダイナミックレンジを大きくと
ることができるという利点もある。
【００５８】
【発明の効果】以上説明したように、この発明では、複
数のレジスタとアキュミュレータとを有するプロセッサ
エレメントを状態数Ｎ個リング状に結合した第１のリン
グアレイプロセッサと、プロセッサエレメントを状態数
Ｎ個リング状に結合し、それらが第１のリングアレイプ
ロセッサを構成するプロセッサエレメントそれぞれと結
合した第２のリングアレイプロセッサとを備え、第１の
リングアレイプロセッサがフォーワードアルゴリズムを
並列計算し、第２のリングアレイプロセッサがバックワ
ードアルゴリズムを並列計算するようにした。また、複
数のレジスタとアキュミュレータとを有する第１および
第２のプロセッサエレメントを備え、それら第１と第２
のプロセッサエレメントを結合した状態で、第１のプロ
セッサエレメントがフォーワードアルゴリズムを計算
し、第２のプロセッサエレメントがバックワードアルゴ
リズムを計算するようにした。そして、パラメータおよ
び計算によって生成される数値の対数を整数に量子化
し、フォーワードアルゴリズムおよびバックワードアル
ゴリズムを計算するようにした。
数のレジスタとアキュミュレータとを有するプロセッサ
エレメントを状態数Ｎ個リング状に結合した第１のリン
グアレイプロセッサと、プロセッサエレメントを状態数
Ｎ個リング状に結合し、それらが第１のリングアレイプ
ロセッサを構成するプロセッサエレメントそれぞれと結
合した第２のリングアレイプロセッサとを備え、第１の
リングアレイプロセッサがフォーワードアルゴリズムを
並列計算し、第２のリングアレイプロセッサがバックワ
ードアルゴリズムを並列計算するようにした。また、複
数のレジスタとアキュミュレータとを有する第１および
第２のプロセッサエレメントを備え、それら第１と第２
のプロセッサエレメントを結合した状態で、第１のプロ
セッサエレメントがフォーワードアルゴリズムを計算
し、第２のプロセッサエレメントがバックワードアルゴ
リズムを計算するようにした。そして、パラメータおよ
び計算によって生成される数値の対数を整数に量子化
し、フォーワードアルゴリズムおよびバックワードアル
ゴリズムを計算するようにした。
【００５９】以上のことにより、この発明によれば、以
下に示すような効果を得ることができる。まず、ＨＭＭ
の計算において、従来の２倍の並列化ができるようにな
る。また、プロセッサエレメント２つで、ＨＭＭの並列
計算ができるようになる。また、対数表現のアルゴリズ
ムを用いることにより、すべての処理を整数上で行うこ
とができ、かつ掛け算および割り算が必要なくなる。こ
のためプロセッサとして、小規模で簡単な整数演算器の
みを備えたものを用いることができる。そして、計算の
ダイナミックレンジを大きくとることができることであ
る。これは、対数表現の整数演算アルゴリズムを用いる
ようにしたので、広く普及しているＩＥＥＥ規格の浮動
小数点を採用した標準的な汎用プロセッサを用いた場
合、浮動小数点を用いたアルゴリズムより計算のダイナ
ミックレンジを大きくすることができるためである。
下に示すような効果を得ることができる。まず、ＨＭＭ
の計算において、従来の２倍の並列化ができるようにな
る。また、プロセッサエレメント２つで、ＨＭＭの並列
計算ができるようになる。また、対数表現のアルゴリズ
ムを用いることにより、すべての処理を整数上で行うこ
とができ、かつ掛け算および割り算が必要なくなる。こ
のためプロセッサとして、小規模で簡単な整数演算器の
みを備えたものを用いることができる。そして、計算の
ダイナミックレンジを大きくとることができることであ
る。これは、対数表現の整数演算アルゴリズムを用いる
ようにしたので、広く普及しているＩＥＥＥ規格の浮動
小数点を採用した標準的な汎用プロセッサを用いた場
合、浮動小数点を用いたアルゴリズムより計算のダイナ
ミックレンジを大きくすることができるためである。
【図１】 この発明の第１の実施の形態における隠れマ
ルコフモデルの計算システムの構成を示す構成図であ
る。
ルコフモデルの計算システムの構成を示す構成図であ
る。
【図２】 実施の形態１におけるフォーワードアルゴリ
ズムを実行するための処理を示すフローチャートであ
る。
ズムを実行するための処理を示すフローチャートであ
る。
【図３】 実施の形態１におけるバックワードアルゴリ
ズムの実行するための処理を示すフローチャートであ
る。
ズムの実行するための処理を示すフローチャートであ
る。
【図４】 本発明の第３の実施の形態におけるアレイプ
ロセッサの構成を示す構成図である。
ロセッサの構成を示す構成図である。
【図５】 実施の形態３におけるフォーワードアルゴリ
ズムを示すフローチャートである。
ズムを示すフローチャートである。
【図６】 実施の形態３におけるバックワードアルゴリ
ズムを示すフローチャートである。
ズムを示すフローチャートである。
【図７】 実施の形態４におけるフォーワードアルゴリ
ズムを示すフローチャートである。
ズムを示すフローチャートである。
【図８】 実施の形態４におけるバックワードアルゴリ
ズムを示すフローチャートである。
ズムを示すフローチャートである。
【図９】 従来のフォーワードアルゴリズムを示すフロ
ーチャートである。
ーチャートである。
【図１０】 従来のバックワードアルゴリズムを示すフ
ローチャートである。
ローチャートである。
【図１１】 従来のリングアレイプロセッサの構成を示
す構成図である。
す構成図である。
【図１２】 従来の並列処理によるフォーワードアルゴ
リズムを示すフローチャートである。
リズムを示すフローチャートである。
【図１３】 従来の並列処理によるバックワードアルゴ
リズムを示すフローチャートである。
リズムを示すフローチャートである。
１，５…並列処理部、２，６，９…データ転送路、３，
７…データ、４，８…リングアレイプロセッサ、ＰＥ…
プロセッサエレメント。
７…データ、４，８…リングアレイプロセッサ、ＰＥ…
プロセッサエレメント。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−108695（ＪＰ，Ａ) 特開 平６−167995（ＪＰ，Ａ) 特開 昭57−30900（ＪＰ，Ａ) 特開 平４−125698（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G10L 3/00 - 9/18 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (3)
- 【請求項１】 Ｔ個のシンボルからなるシンボル列を出
力する確率Ｐを与え、状態数Ｎと，状態の遷移確率を示
すマルコフ行列と呼ばれる遷移確率行列Ａと，初期の状
態確率を示すベクトルπと，終状態を示す集合Ｆと，前
記シンボルを出力する確率を示す出力確率行列Ｂとで示
されるパラメータで決定される隠れマルコフモデルのフ
ォーワードアルゴリズムおよバックワードアルゴリズム
を計算する隠れマルコフモデルの計算方式において、 複数のレジスタとアキュミュレータとを有するプロセッ
サエレメントを、前記状態数Ｎ個リング状に結合した第
１のリングアレイプロセッサと、 前記プロセッサエレメントを前記状態数Ｎ個リング状に
結合し、それらが前記第１のリングアレイプロセッサを
構成するプロセッサエレメントそれぞれと結合した第２
のリングアレイプロセッサとを備え、 前記第１のリングアレイプロセッサが前記フォーワード
アルゴリズムを並列計算し、 前記第２のリングアレイプロセッサが前記バックワード
アルゴリズムを並列計算することを特徴とする隠れマル
コフモデルの計算方式。 - 【請求項２】 Ｔ個のシンボルからなるシンボル列を出
力する確率Ｐを与え、状態数Ｎと，状態の遷移確率を示
すマルコフ行列と呼ばれる遷移確率行列Ａと，初期の状
態確率を示すベクトルπと，終状態を示す集合Ｆと，前
記シンボルを出力する確率を示す出力確率行列Ｂとで示
されるパラメータで決定される隠れマルコフモデルのフ
ォーワードアルゴリズムおよバックワードアルゴリズム
を計算する隠れマルコフモデルの計算方式において、 複数のレジスタとアキュミュレータとを有する第１およ
び第２のプロセッサエレメントを備え、 前記第１と第２のプロセッサエレメントを結合し、 前記第１のプロセッサエレメントが前記フォーワードア
ルゴリズムを計算し、 前記第２のプロセッサエレメントが前記バックワードア
ルゴリズムを計算することを特徴とする隠れマルコフモ
デルの計算方式。 - 【請求項３】 請求項１または２記載の隠れマルコフモ
デルの計算方式において、 前記パラメータおよび計算によって生成される数値の対
数を整数に量子化し、前記フォーワードアルゴリズムお
よびバックワードアルゴリズムを計算することを特徴と
する隠れマルコフモデルの計算方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8164227A JP2933537B2 (ja) | 1996-06-25 | 1996-06-25 | 隠れマルコフモデルの計算方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8164227A JP2933537B2 (ja) | 1996-06-25 | 1996-06-25 | 隠れマルコフモデルの計算方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1011086A JPH1011086A (ja) | 1998-01-16 |
| JP2933537B2 true JP2933537B2 (ja) | 1999-08-16 |
Family
ID=15789094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8164227A Expired - Fee Related JP2933537B2 (ja) | 1996-06-25 | 1996-06-25 | 隠れマルコフモデルの計算方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2933537B2 (ja) |
-
1996
- 1996-06-25 JP JP8164227A patent/JP2933537B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1011086A (ja) | 1998-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119809B (zh) | 对神经网络中非对称量化数据执行mac运算的装置和方法 | |
| US10691996B2 (en) | Hardware accelerator for compressed LSTM | |
| US20180260710A1 (en) | Calculating device and method for a sparsely connected artificial neural network | |
| CN111695671B (zh) | 训练神经网络的方法及装置、电子设备 | |
| CN111338695B (zh) | 基于流水线技术的数据处理方法及相关产品 | |
| Varvarigou et al. | Scheduling in and out forests in the presence of communication delays | |
| CN110766128A (zh) | 卷积计算单元、计算方法及神经网络计算平台 | |
| CN110955734B (zh) | 逻辑节点的分布式签名决策***及其方法 | |
| US11775832B2 (en) | Device and method for artificial neural network operation | |
| US20190138922A1 (en) | Apparatus and methods for forward propagation in neural networks supporting discrete data | |
| US20200389182A1 (en) | Data conversion method and apparatus | |
| CN112784974A (zh) | 动态多组态cnn加速器架构与操作方法 | |
| JP3345894B2 (ja) | 浮動小数点乗算器 | |
| CN111047045A (zh) | 机器学习运算的分配***及方法 | |
| CN110716751B (zh) | 高并行度计算平台、***及计算实现方法 | |
| US6003058A (en) | Apparatus and methods for performing arithimetic operations on vectors and/or matrices | |
| JP2933537B2 (ja) | 隠れマルコフモデルの計算方式 | |
| CN110659014B (zh) | 乘法器及神经网络计算平台 | |
| CN111788567B (zh) | 一种数据处理设备以及一种数据处理方法 | |
| Lian et al. | Revisit batch normalization: New understanding from an optimization view and a refinement via composition optimization | |
| KR20200072666A (ko) | 합성곱 계층의 선택적 데이터 처리 방법 및 이를 이용한 뉴럴 프로세서 | |
| JP4083387B2 (ja) | 離散フーリエ変換の計算 | |
| US20190073584A1 (en) | Apparatus and methods for forward propagation in neural networks supporting discrete data | |
| Huang et al. | A parallel FFT algorithm for transputer networks | |
| CN111985628A (zh) | 计算装置及包括所述计算装置的神经网络处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |