JPH11122114A - コードブック作成装置およびコードブック作成方法、並びにベクトル量子化装置およびベクトル量子化方法 - Google Patents

コードブック作成装置およびコードブック作成方法、並びにベクトル量子化装置およびベクトル量子化方法

Info

Publication number
JPH11122114A
JPH11122114A JP9283309A JP28330997A JPH11122114A JP H11122114 A JPH11122114 A JP H11122114A JP 9283309 A JP9283309 A JP 9283309A JP 28330997 A JP28330997 A JP 28330997A JP H11122114 A JPH11122114 A JP H11122114A
Authority
JP
Japan
Prior art keywords
node
vector
distance
codebook
winner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP9283309A
Other languages
English (en)
Inventor
Takamasa Echizen
孝方 越膳
Hiroaki Ogawa
浩明 小川
Masao Watari
雅男 渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP9283309A priority Critical patent/JPH11122114A/ja
Publication of JPH11122114A publication Critical patent/JPH11122114A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 ベクトル量子化誤差を小さくするコードブッ
クを、短時間で、かつ少ないメモリで作成することがで
きるようにする。 【解決手段】 コホーネンの自己組織化特徴地図に配列
されたノードそれぞれと、学習サンプルＡとしての特徴
ベクトルとの距離が算出され、学習サンプルＡとの距離
を最も短くするノードである勝者ノードが検出される。
そして、勝者ノードから所定の距離の範囲としての位相
近傍に含まれるノードに割り当てられたベクトルが更新
され、これにより得られる自己組織化特徴地図が、ノー
ドに割り当てられたベクトルをコードベクトルとするコ
ードブックとされる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、コードブック作成
装置およびコードブック作成方法、並びにベクトル量子
化装置およびベクトル量子化方法に関し、例えば、音声
認識や画像認識などのパターン認識や、画像圧縮、自律
型学習ロボットなどの分野において行われるベクトル量
子化に用いるコードブックを作成するコードブック作成
装置およびコードブック作成方法、並びにベクトル量子
化装置およびベクトル量子化方法に関する。
【０００２】
【従来の技術】例えば、音声認識や画像認識に代表され
るパターン認識や、自律型学習ロボットの高感度センサ
による位置の獲得などにおいては、データ量の削減など
を目的として、入力ベクトルを、より低次元のベクト
ル、あるいはスカラ量に変換するベクトル量子化が行わ
れることが多い。
【０００３】即ち、例えば、音声認識装置において、離
散ＨＭＭ（Hidden Markov Models）などによって音声認
識を行う場合には、入力音声から抽出した特徴量として
の特徴ベクトル（特徴パラメータ）を、ベクトル量子化
装置によりラベル（コードブックのコードベクトル（co
de vector）に割り当てられた値）に変換し、そのラベ
ル系列が観測される確率が最も高いモデルに対応する単
語や音韻などが、音声認識結果として出力される。
【０００４】音声認識装置に利用されるベクトル量子化
装置のコードブックの作成アルゴリズムのうち、今日最
も広く用いられているものの１つとして、リンデ（Lind
e）、ブゾー（Buzo）、グレイ（Gray）によって提案さ
れたＬＢＧアルゴリズムがある。
【０００５】ＬＢＧアルゴリズムは、いわゆるバッチ型
学習アルゴリズムで、学習サンプルとしての特徴ベクト
ルとコードベクトル（最初は、適当な初期値が与えられ
る）との距離に対応して、特徴ベクトル空間を最適分割
するボロノイス分割と、ボロノイス分割により得られ
る、特徴ベクトル空間の各部分領域の重心への、コード
ベクトルの更新とを繰り返し行うことにより、コードブ
ックのコードベクトルを、局所的に最適な位置に収束さ
せるようになっている。
【０００６】ここで、学習サンプルの集合をｘj（ｊ＝
０，１，・・・，Ｊ−１）と、コードベクトルの集合を
Ｙ＝｛ｙ0，ｙ1，・・・，ｙN-1｝と、それぞれすると
き、ボロノイス分割では、学習サンプルの集合をｘ
jが、コードベクトルＹの集合によって、Ｎ個の部分集
合Ｓi（ｉ＝０，１，・・・，Ｎ−１）に分割される。
即ち、学習サンプルｘjとコードベクトルｙiとの間の距
離をｄ（ｘj，ｙi）と表した場合、ｉと等しくないｔ
（ｔ＝０，１，・・・，Ｎ−１）すべてについて、式 ｄ（ｘj，ｙi）＜ｄ（ｘj，ｙt）・・・（１） が成り立つとき、学習サンプルｘjは、部分集合Ｓiに属
する（ｘj∈Ｓi）とされる。
【０００７】また、ベクトルｖ0，ｖ1，・・・，ｖM-1
についてのセントロイド（ベクトル）Ｃ（ｖ0，ｖ1，・
・・，ｖM-1）を、式
【数１】 ・・・（２） で定義するとき、コードベクトルの更新では、コードベ
クトルｙiが、式 ｙi＝Ｃ（｛Ｓi｝）・・・（３） にしたがって更新される。
【０００８】なお、式（２）の右辺ａｒｇｍｉｎ｛｝
は、｛｝内の値を最小にするベクトルｖを意味する。
【０００９】また、式（３）による、いわゆるクラスタ
リング手法は、ｋ平均クラスタリング法（k-means法）
と呼ばれる。
【００１０】
【発明が解決しようとする課題】ところで、ＬＢＧアル
ゴリズムでは、特徴ベクトル空間を、有限個のコードベ
クトルで近似する（代表させる）際の誤差（量子化誤
差）（入力された特徴ベクトルを、それとの距離が最も
近いコードベクトルで近似したときの、その距離）が、
コードベクトルの初期値に大きく依存し、従って、初期
値によっては、量子化誤差が大きくなることがあった。
【００１１】また、ＬＢＧアルゴリズムでは、コードブ
ックのコードベクトルを、局所的に最適な位置に収束さ
せるのに、特徴ベクトル空間を最適分割するボロノイス
分割と、特徴ベクトル空間の各部分領域の重心への、コ
ードベクトルの更新とを、相当な回数繰り返す必要があ
り、多大な時間が必要であった。
【００１２】さらに、ＬＢＧアルゴリズムにおいては、
各学習サンプルについて、それぞれが属する部分集合を
記憶しておく必要があり、多大なメモリが必要であっ
た。
【００１３】本発明は、このような状況に鑑みてなされ
たものであり、量子化誤差を小さくするコードブック
を、短時間で、かつ少ないメモリで作成することができ
るようにするものである。
【００１４】
【課題を解決するための手段】請求項１に記載のコード
ブック作成装置は、コホーネンの自己組織化特徴地図に
配列されたノードそれぞれと、学習サンプルとの距離を
算出する距離算出手段と、学習サンプルとの距離を最も
短くするノードである勝者ノードを検出する勝者ノード
検出手段と、勝者ノードを含む所定のノードに割り当て
られたベクトルを更新する更新手段とを備え、更新手段
による更新の結果得られる自己組織化特徴地図を、ノー
ドに割り当てられたベクトルをコードベクトルとするコ
ードブックとすることを特徴とする。
【００１５】請求項１１に記載のコードブック作成方法
は、コホーネンの自己組織化特徴地図に配列されたノー
ドそれぞれと、学習サンプルとの距離を算出し、学習サ
ンプルとの距離を最も短くするノードである勝者ノード
を検出し、勝者ノードを含む所定のノードに割り当てら
れたベクトルを更新することを、所定の回数繰り返し、
その結果得られる自己組織化特徴地図を、ノードに割り
当てられたベクトルをコードベクトルとするコードブッ
クとすることを特徴とする。
【００１６】請求項１２に記載のベクトル量子化装置
は、コードブックが、コホーネンの自己組織化特徴地図
に配列されたノードそれぞれと、学習サンプルとの距離
を算出し、学習サンプルとの距離を最も短くするノード
である勝者ノードを検出し、勝者ノードを含む所定のノ
ードに割り当てられたベクトルを更新することを、所定
の回数繰り返し、その結果得られる自己組織化特徴地図
のノードに割り当てられたベクトルをコードベクトルと
するものであることを特徴とする。
【００１７】請求項１３に記載のベクトル量子化方法
は、コードブックが、コホーネンの自己組織化特徴地図
に配列されたノードそれぞれと、学習サンプルとの距離
を算出し、学習サンプルとの距離を最も短くするノード
である勝者ノードを検出し、勝者ノードを含む所定のノ
ードに割り当てられたベクトルを更新することを、所定
の回数繰り返し、その結果得られる自己組織化特徴地図
のノードに割り当てられたベクトルをコードベクトルと
するものであることを特徴とする。
【００１８】請求項１に記載のコードブック作成装置に
おいては、距離算出手段は、コホーネンの自己組織化特
徴地図に配列されたノードそれぞれと、学習サンプルと
の距離を算出し、勝者ノード検出手段は、学習サンプル
との距離を最も短くするノードである勝者ノードを検出
するようになされている。更新手段は、勝者ノードを含
む所定のノードに割り当てられたベクトルを更新し、更
新手段による更新の結果得られる自己組織化特徴地図
が、ノードに割り当てられたベクトルをコードベクトル
とするコードブックとされるようになされている。
【００１９】請求項１１に記載のコードブック作成方法
においては、コホーネンの自己組織化特徴地図に配列さ
れたノードそれぞれと、学習サンプルとの距離を算出
し、学習サンプルとの距離を最も短くするノードである
勝者ノードを検出し、勝者ノードを含む所定のノードに
割り当てられたベクトルを更新することを、所定の回数
繰り返し、その結果得られる自己組織化特徴地図を、ノ
ードに割り当てられたベクトルをコードベクトルとする
コードブックとするようになされている。
【００２０】請求項１２に記載のベクトル量子化装置に
おいては、コードブックが、コホーネンの自己組織化特
徴地図に配列されたノードそれぞれと、学習サンプルと
の距離を算出し、学習サンプルとの距離を最も短くする
ノードである勝者ノードを検出し、勝者ノードを含む所
定のノードに割り当てられたベクトルを更新すること
を、所定の回数繰り返し、その結果得られる自己組織化
特徴地図のノードに割り当てられたベクトルをコードベ
クトルとするものとされている。
【００２１】請求項１３に記載のベクトル量子化方法に
おいては、コードブックが、コホーネンの自己組織化特
徴地図に配列されたノードそれぞれと、学習サンプルと
の距離を算出し、学習サンプルとの距離を最も短くする
ノードである勝者ノードを検出し、勝者ノードを含む所
定のノードに割り当てられたベクトルを更新すること
を、所定の回数繰り返し、その結果得られる自己組織化
特徴地図のノードに割り当てられたベクトルをコードベ
クトルとするものとされている。
【００２２】
【発明の実施の形態】図１は、本発明を適用した音声認
識装置の一実施の形態の構成例を示している。
【００２３】マイク（マクロロフォン）１には、音声認
識すべき音声が入力され、そこでは、音声が電気信号と
しての音声信号に変換され、音響分析部２に供給され
る。音響分析部２では、マイク１からの音声信号がサン
プリングされて量子化されることにより、ディジタルの
音声信号とされ、さらに、所定の音響分析が施されるこ
とで、その特徴ベクトルが抽出される。
【００２４】即ち、音響分析部２では、音声信号が、例
えば、１６のフィルタで構成されるフィルタバンク（図
示せず）においてフィルタリングされ、１６の周波数帯
域の周波数成分が求められる。そして、その１６の周波
数成分、および各周波数成分の差分を要素とするベクト
ルが、音声の特徴ベクトルとして出力される。具体的に
は、ある時刻ｔにおける、あるフィルタの出力（周波数
成分）をｘ（ｔ）と表すとき、その差分として、例え
ば、ｘ（ｔ−２）−ｘ（ｔ＋２）が求められ、ｘ（ｔ）
とともに出力される。他のフィルタの出力についても同
様にして、差分が求められ、フィルタの出力そのものと
ともに出力される。
【００２５】従って、ここでは、音響分析部２が出力す
る特徴ベクトルは、１６のフィルタの出力と、その１６
のフィルタそれぞれの出力の差分とを要素とする３２次
元のベクトルとなっている。
【００２６】音響分析部２が出力する３２次元の特徴ベ
クトルは、ベクトル量子化部３に供給される。ベクトル
量子化部３では、音響分析部２からの特徴ベクトルが、
後述するようなコードブックを用いてベクトル量子化さ
れ、その結果得られるラベルが、認識部４に出力され
る。認識部４では、ベクトル量子化部３からのラベル系
列に基づき、マイク１に入力された音声が音声認識さ
れ、その音声認識結果が出力される。即ち、認識部４で
は、例えば、ＨＭＭ法などに基づき、ベクトル量子化部
３からのラベル系列が観測される確率が計算され、その
確率が最も高い単語や音素などが、音声認識結果として
出力される。
【００２７】次に、図２は、図１のベクトル量子化部３
で用いられるコードブックを示している。
【００２８】ここでは、後述するような学習により得ら
れるコホーネンの自己組織化特徴地図（以下、適宜、Ｋ
ＳＯＭ（Kohonen Self-Organizing feature Map）とい
う）が、そこに配置されたノードに割り当てられたベク
トルをコードベクトルとするコードブックとして用いら
れるようになされている。
【００２９】ここで、ＫＳＯＭについては、例えば、
「ニューラルネットワークアーキテクチャ入門」、Ｊ．
デイホフ 著、桂井浩 訳、森北出版などに、その詳細
が記載されている。
【００３０】図２においては、ノードが２次元に配列さ
れている。即ち、横方向（ｘ方向）または縦方向（ｙ方
向）に、それぞれ所定数のノードが、正方格子状に配列
されている。なお、ここでは、全部で、Ｍ個のノードが
配列されており、最も左上のノードを、ノード＃１と
し、その左隣のノードを、ノード＃２とし、以下、同様
にして、左方向、下方向に行くほど、大きな数字（以
下、適宜、ノード番号という）を付して、ノードを表
す。従って、最も右下のノードは、ノード＃Ｍとなる
（最も右下のノードのノード番号はＭとなる）。
【００３１】各ノードには、コードベクトルとしての、
音響分析部２が出力する特徴ベクトルと同一次元のベク
トル、即ち、３２次のベクトルが割り当てられている。
そして、ベクトル量子化部３では、そこに入力される特
徴ベクトルと、ＫＳＯＭ上に配列されたノードそれぞれ
に割り当てられているコードベクトルとの距離が算出さ
れ、その距離を最も短くするコードベクトルが割り当て
られているノード＃ｍの、例えばノード番号ｍが、ラベ
ル（ベクトル量子化結果）として出力される。
【００３２】次に、図１の認識部４における音声認識の
アルゴリズムとして用いるＨＭＭ法について簡単に説明
する。
【００３３】ＨＭＭは、音声単位（例えば、音韻や単語
など）を統計的にモデル化したものであり、これを用い
た音声認識とは、入力された音声のシンボル系列が最も
観測され易いモデル（ＨＭＭ）を見つけ出すことを意味
する。
【００３４】即ち、いま、入力された音声パターン（入
力パターン）Ｘを、Ｉフレームの時系列として、Ｘ＝
（ｘ1，ｘ2，・・・，ｘI）と表すと、ＨＭＭ法は、こ
の入力パターンＸと最も良くマッチングする単語列Ｗ＝
（ｗ1，ｗ2，・・・，ｗJ）を見つけ出すものである。
但し、ｗiは、例えば、単語に相当し（ｉ＝１，２，・
・・，Ｊ）、Ｊは、単語列Ｗを構成する単語数を表す。
【００３５】従って、式 Ｐ（Ｗ｜Ｘ）＝Ｐ（Ｘ｜Ｗ）Ｐ（Ｗ）／Ｐ（Ｘ） ・・・（４） を最大にする単語列Ｗを、音声認識結果として求めれば
良いことになる。なお、Ｐ（）は確率を表す。
【００３６】式（４）において、Ｐ（Ｘ）は、入力パタ
ーンＸの生起確率であり、Ｗと無関係であるから無視す
ることができる。よって、式（４）を最大にするＷを求
めることは、Ｐ（Ｘ｜Ｗ）Ｐ（Ｗ）を最大にするＷを求
めることと等価である。
【００３７】Ｐ（Ｗ）は、単語列Ｗの事前確率であり、
入力パターンＸとは無関係で、次式で表される。
【００３８】
【数２】 ・・・（５）
【００３９】なお、Ｐ（Ｗ）は、言語モデルに基づき、
言語データベースなどを用いて求められる。
【００４０】一方、Ｐ（Ｘ｜Ｗ）は、次式で表される。
【００４１】
【数３】 ・・・（６） 但し、Ｉ1＜Ｉ2＜・・・＜ＩJである。
【００４２】従って、いま、１≦ｉ＜ｊ≦Ｉとすると、
単語ｗkの音響モデルを用いて、入力パターンＸの部分
系列ｘiｘi+1・・・ｘjが観測される確率Ｐ（ｘiｘi+1
・・・ｘj｜ｗk）を計算すれば良いことになる。
【００４３】なお、ここでは、ｗ1，ｗ2，・・・，ｗJ
として単語を想定したが、これらは、単語を構成してい
る音韻や音節などであっても良い（単語モデルの他、音
韻モデルや音節モデルであっても良い）。
【００４４】音声波形は、全体としては非定常信号であ
るが、局所的には定常信号であるとみなすことができ、
ＨＭＭは、定常信号を連結して非定常な音声波形を表す
統計的信号モデルである。ここで、ＨＭＭの例を、図３
に示す。
【００４５】ＨＭＭは、遷移する状態の集合で表現さ
れ、状態が遷移する確率（遷移確率）と、その遷移の際
にシンボルが出力される確率（出力確率）とで規定され
る。なお、出力確率は、状態遷移に伴って出力されるゆ
らぎの確率でもある。
【００４６】ここで、図３においては、ＨＭＭは、４つ
の状態からなり、最も右の状態は最終状態（状態遷移を
しない状態）とされている。また、ここでは、状態遷移
は、自己への遷移、右隣への遷移、そのさらに右隣への
遷移のみ許されており、また、同一の状態からの状態遷
移に伴い、各シンボルが出力される出力確率は、遷移先
の状態に無関係に同一の値としてある。
【００４７】ＨＭＭは、出力確率の違いによって２つに
大別される。即ち、状態遷移に伴って出力されるシンボ
ルが有限集合の場合、出力確率は、図４（Ａ）に示すよ
うに、いわばヒストグラムのように、離散的に表され、
この場合のＨＭＭは、離散型ＨＭＭと呼ばれる。また、
シンボルが無限集合の場合、出力確率は、図４（Ｂ）に
示すように、連続的な確率密度で表され、この場合のＨ
ＭＭは、連続ＨＭＭと呼ばれる。なお、同図（Ｂ）にお
いては、横軸のシンボルを示すｘは、例えば、音響分析
部２が出力する特徴ベクトルなどを表し、従って、多次
元のベクトルであるが、ここでは、簡単のために、１次
元で表している。
【００４８】シンボルを有限集合にするというのは、音
響分析部２が出力する特徴ベクトルをベクトル量子化し
て、特徴ベクトルを、コードブックのコードベクトルの
いずれかに対応させる（変換する）ことに相当し、認識
部４では、そのコードベクトルに割り当てられたラベル
の系列が、各ＨＭＭから観測される確率が求められる。
従って、認識部４においては、離散型ＨＭＭを用いて音
声認識が行われる。
【００４９】即ち、図５に示すように、学習（ＨＭＭの
学習）により、遷移確率（図５（Ａ））と、２次元のＫ
ＳＯＭをコードブックとして行われるベクトル量子化の
結果得られるラベルの出力確率（図５（Ｂ））とが、あ
らかじめ求められ、認識部４では、これらの遷移確率お
よび出力確率を用いて、ベクトル量子化部３が出力する
ラベル系列が観測される確率が計算され、その確率を最
も高くするＨＭＭに対応する単語や、音韻、音素など
が、音声認識結果として出力される。
【００５０】なお、上述の場合においては、ベクトル量
子化部３において、ノードが２次元に配列されたＫＳＯ
Ｍ、即ち、２次元のＫＳＯＭをコードブックとして用い
たベクトル量子化が行われるものとしたが、コードブッ
クとして用いるＫＳＯＭは、その他、１次元や、３次元
以上であっても良い。例えば、１次元のＫＳＯＭをコー
ドブックとして用いる場合には、図５（Ｃ）に示すよう
に、そのようなコードブックから出力され得るラベルの
出力確率を、２次元のＫＳＯＭをコードブックとして行
われるベクトル量子化の結果得られるラベルの出力確率
（図５（Ｂ））に代えて求めれば良い。ここで、図５
（Ｂ）および図５（Ｃ）では、ベクトル量子化により、
６４のラベルのうちのいずれかが出力されるものとして
図示してある。
【００５１】次に、図１のベクトル量子化部３において
用いられるコードブックの作成方法について説明する。
【００５２】ＫＳＯＭは、ランダムな出発点から位相地
図を組織化することができる２層のネットワークであ
り、ネットワークに与えられたパターン間の自然な関係
を表す。ネットワークは、処理ユニットの入力層と競合
層との組合せであり、教師なし学習により訓練される。
従って、ＫＳＯＭについては、ラベルを与えられていな
いデータ（ベクトル）を分類する教師なしクラスタ分類
のための学習を行うことができ、その学習されたＫＳＯ
Ｍは、ベクトル量子化に用いるコードブックとして用い
ることができる。
【００５３】図６は、コードブックとして用いられるＫ
ＳＯＭの学習を行う学習装置の一実施の形態の構成例を
示している。
【００５４】距離計算部１１（距離算出手段）には、Ｋ
ＳＯＭの学習用の音声を、音響分析部２における場合と
同様に処理して得られる特徴ベクトルが、学習サンプル
として入力されるようになされている。そして、距離計
算部１１は、ＫＳＯＭ記憶部１４に記憶されているＫＳ
ＯＭに配列されたノードそれぞれと、学習サンプルとの
距離を算出し、勝者ノード決定部１２（勝者ノード検出
手段）に供給するようになされている。勝者ノード決定
部１２は、各学習サンプルについて、距離計算部１１か
ら供給される距離を最も短くするノード（以下、適宜、
勝者ノードという）を検出し、更新部１３（更新手段）
に出力するようになされている。更新部１３は、勝者ノ
ード決定部１２からの勝者ノードを含む所定のノードに
割り当てられたベクトル（学習サンプルと同一次元のベ
クトル）であって、ＫＳＯＭ記憶部１４に記憶されたも
のを更新するようになされている。ＫＳＯＭ記憶部１４
は、例えば、２次元のＫＳＯＭ（に配列されたノードに
割り当てられているベクトル）を記憶している。
【００５５】次に、図７のフローチャートを参照して、
その動作について説明する。
【００５６】まず最初に、ステップＳ１において、ＫＳ
ＯＭに配列されたノードに割り当てるベクトル（以下、
適宜、代表ベクトルという）に適当な初期値が設定さ
れ、ＫＳＯＭ記憶部１４に記憶される。さらに、ステッ
プＳ１では、位相近傍Ｎεにも、初期値が設定される。
ここで、位相近傍Ｎεとは、勝者ノードとともに更新す
るノードの範囲を表すもので、例えば、図８（Ａ）乃至
図８（Ｃ）に示すように、時刻の経過（学習の繰り返し
回数）とともに、その範囲が減少していくように更新さ
れるようになされている。なお、図８において、○印が
ＫＳＯＭに配列されたノードを表し、斜線を付した○印
が勝者ノードを表している。
【００５７】その後、ステップＳ２に進み、時刻、即
ち、学習の繰り返し回数を表す変数ｔに、初期値として
の、例えば１がセットされ、ステップＳ３に進む。ステ
ップＳ３では、距離計算部１１において、ＫＳＯＭ記憶
部１４に記憶されているＫＳＯＭに配列されたノード
（に割り当てられた代表ベクトル）それぞれと、学習サ
ンプルとの距離が算出され、勝者ノード決定部１２に出
力される。
【００５８】勝者ノード決定部１２では、ステップＳ４
において、距離計算部１１からの出力に基づいて、学習
サンプルについて、それとの距離を最も短くする勝者ノ
ードが検出される。即ち、時刻ｔに入力される学習サン
プルをＡで表すとすると、その学習サンプルＡと、ＫＳ
ＯＭに配列されたノード＃ｍに割り当てられた代表ベク
トルＢmとの距離ｄ（Ａ，Ｂm）に基づき、次式を満たす
ｍ*をノード番号とするノード＃ｍ*が、学習サンプルＡ
についての勝者ノードとして検出される（ｍ，ｍ*＝
１，２，・・・，Ｍ、Ｍはノードの数）。
【００５９】
【数４】 ・・・（７） 但し、ａｒｇｍｉｎ｛｝は、括弧｛｝内の最小値を与え
るｍを意味する。
【００６０】勝者ノード決定部１２で求められた勝者ノ
ードは、更新部１３に供給され、更新部１３は、勝者ノ
ードを受信すると、ステップＳ５において、その勝者ノ
ードと、その位相近傍Ｎεにあるノード（勝者ノードを
中心とする、位相近傍Ｎεの値に対応する範囲にあるノ
ード）を、次式にしたがって更新する。
【００６１】即ち、時刻ｔにおいて、更新の対象となっ
ているノードの代表ベクトルをＢ（ｔ）とすると、代表
ベクトルをＢ（ｔ）は、次式にしたがって、Ｂ（ｔ＋
１）に更新される。
【００６２】 Ｂ（ｔ＋１）＝Ｂ（ｔ）＋η（ｔ）（Ａ−Ｂ（ｔ）） ・・・（８）
【００６３】ここで、η（ｔ）は、繰り返し回数（時
刻）ｔの増加にしたがって０に減少する、１未満の非負
の関数（以下、適宜、学習レートという）で、次式で表
される。 η（ｔ）＝ｅdη0（１−ｔ／Ｔ）・・・（９）
【００６４】但し、η0は学習レートη（ｔ）の初期値
を、Ｔは学習サンプルの総数を、それぞれ表す。また、
ｅdは、次式で与えられる。
【００６５】ｅd＝１−ｄ／Ｎε・・・（１０） なお、ｄは、学習サンプルＡと代表ベクトルＢ（ｔ）と
の距離を表す。
【００６６】ここで、図９に、時刻ｔに対する学習レー
トη（ｔ）の変化の様子を示す。なお、図９は、η0＝
０．３とし、８０４４１６の学習サンプルを用いた場合
の学習レートη（ｔ）の変化の様子を示している。ま
た、図９において、η（ｔ）が０．３，０．０５，０．
０２，０となるときの時刻ｔを、表１に示す。
【００６７】
【表１】
【００６８】図７に戻り、勝者ノードと、その位相近傍
Ｎεにあるノードとの更新後は、その更新結果が、ＫＳ
ＯＭ記憶部１４に記憶される（書き込まれる）。そし
て、更新部１３では、位相近傍Ｎεが、図８で説明した
ように更新され、さらに、それに伴い、式（９）または
（１０）でそれぞれ示されるη（ｔ）またはｅdも更新
される。
【００６９】その後、ステップＳ６に進み、更新部１３
において、学習レートη（ｔ）が０に等しいかどうかが
判定される。ステップＳ６において、学習レートη
（ｔ）が０に等しくないと判定された場合、ステップＳ
７に進み、変数ｔが１だけインクリメントされ、ステッ
プＳ３に戻る。そして、ＫＳＯＭ記憶部１４に記憶され
た、更新されたＫＳＯＭを用いて、同様の処理が繰り返
される。
【００７０】一方、ステップＳ６において、学習レート
η（ｔ）が０に等しいと判定された場合、処理を終了す
る。
【００７１】以上の処理の終了後に、ＫＳＯＭ記憶部１
４に記憶されているＫＳＯＭが、そのノードの代表ベク
トルをコードベクトルとするコードブックとして、図１
のベクトル量子化部３で用いられる。
【００７２】従って、ＬＢＧアルゴリズムでは、すべて
の学習ベクトルを同時に用いて、コードベクトルが、い
わば一括して更新されるのに対して、ＫＳＯＭをコード
ブックとする場合では、ある時刻に入力された学習サン
プルのみを用いて、勝者ノードと、その位相近傍に対応
する範囲にあるノードのみが更新される、いわば逐次的
な学習が行われるので、その学習に要する演算量を、Ｌ
ＢＧアルゴリズムによる場合に比較して、大幅に制限す
ることができる。
【００７３】さらに、ＫＳＯＭでは、逐次的に学習が行
われる結果、各学習サンプルについて、その勝者ノード
となったノードを、それ以降の学習サンプルを処理する
のに記憶しておく必要がなく、従って、各学習サンプル
につき、それぞれが属する部分集合を記憶しておくＬＢ
Ｇアルゴリズムと比較して、少ないメモリで、学習を行
うことができる。
【００７４】また、ＫＳＯＭの学習では、勝者ノードの
みならず、その位相近傍に対応する範囲のノードも更新
されるので、特徴ベクトル空間の部分領域に属する学習
サンプルを用いて、その部分領域に対応するコードベク
トルだけが更新されるＬＢＧアルゴリズムよりも、初期
値の影響を、比較的受けにくい。
【００７５】さらに、本件発明者が行った実験によれ
ば、ＬＢＧアルゴリズムにより得られたコードブックに
比較して、上述のような学習により得られたＫＳＯＭを
コードブックとして用いた方が、音声の認識率が向上
し、また、ベクトル量子化の際に生じる量子化誤差が低
減された。
【００７６】ここで、表２は、ＫＳＯＭの学習に要した
時間の実験結果を、表３は、その学習により得られたＫ
ＳＯＭをコードブックとして用いたときの、図１の音声
認識装置における認識率、およびベクトル量子化による
量子化誤差の実験結果を、それぞれ示している。
【００７７】
【表２】 但し、ＬＢＧアルゴリズムにおける学習時間（学習経過
時間）のＮＡとは、NonApplecableの略で、ＫＳＯＭの
学習時間と比較して、非常に長いことを意味する。ま
た、ＫＳＯＭの学習時間の単位は、分である。
【００７８】
【表３】
【００７９】ここで、実験において、コードブックの作
成、ＨＭＭの学習、並びに認識率および量子化誤差を求
めるための入力データには、ＡＴＲ２１６単語を用い
た。また、音声認識の際には、ＡＴＲ２１６単語とＡＴ
Ｒ５２１６単語とを合わせた中から、重複しているもの
を除いた４８７６単語を、音声認識の対象語彙とした。
なお、単語の発話者は、男女合わせて４０名で、そのう
ちの２０名が発話したものを、コードブックの作成とＨ
ＭＭの学習に用いており、この２０名の発話したもの
が、表３における学習済みデータに対応する。また、残
りの２０名が発話したものは、コードブックの作成とＨ
ＭＭの学習には用いておらず、これが、表３における未
学習データに対応する。
【００８０】さらに、コードブックとするＫＳＯＭとし
ては、最も一般的な、ノードが横および縦とも同一の数
だけ配列された正方形状の２次元のもの（２次元の幾何
学的マップ）を用いた。
【００８１】以上のことは、後述する表４乃至表６につ
いても同様である。
【００８２】なお、ＫＳＯＭの学習では、図７で説明し
た学習処理を数回繰り返すことで、代表ベクトルが収束
する実験結果が得られている。これに対して、ＬＢＧア
ルゴリズムでは、ボロノイス分割と、コードベクトルの
更新とを数百回程度繰り返さないと、コードベクトルは
収束しない（但し、この回数は、学習サンプル数などに
よる）。
【００８３】次に、上述の場合においては、式（８）に
したがって更新されたノード（代表ベクトル）が配列さ
れたＫＳＯＭを、そのままコードブックとして用いるよ
うにしたが、さらに、そのコードブックに、ＬＢＧアル
ゴリズムにしたがった処理を施して得られるものを用い
るようにすることもできる。
【００８４】この場合、図６の学習装置においては、図
１０に示すように、まず最初に、ステップＳ１１におい
て、図７における処理（以下、適宜、ＫＳＯＭ学習処理
という）を行い、その後、ステップＳ１２において、ス
テップＳ１１で得られたＫＳＯＭに配置されたノードの
代表ベクトルをコードベクトルの初期値として、前述し
たボロノイス分割と、ｋ平均クラスタリング法によるク
ラスタリングとを行うようにすれば良い。
【００８５】以上のようにして得られたコードブックを
用いたときの音声認識率と量子化誤差との実験結果を、
表４に示す。
【００８６】
【表４】
【００８７】表３と表４とを比較して分かるように、Ｋ
ＳＯＭ学習処理で得られたＫＳＯＭに配列されたノード
の代表ベクトルをコードベクトルの初期値として、ＬＢ
Ｇアルゴリズムにしたがった処理を行って得られたコー
ドブックを用いた方が、ＫＳＯＭ学習処理のみを行って
得られたコードブックを用いる場合に比較して、音声認
識率が向上し、量子化誤差が小さくなっている。これ
は、ステップＳ１２において、ボロノイス分割により得
られた特徴ベクトル空間の各部分領域に属する学習サン
プルの集合それぞれのセントロイドベクトル、即ち、Ｋ
ＳＯＭ学習処理により得られたＫＳＯＭに配列されたノ
ードそれぞれについて、そのノードとの距離が、他のノ
ードよりも短い学習サンプルの集合の重心を表すベクト
ルが、コードベクトルとされるためであると考えられ
る。
【００８８】なお、ＫＳＯＭ学習処理は、上述したよう
に、初期値の影響を、比較的受けにくく、従って、それ
により得られるＫＳＯＭにおける各ノードは、本来収束
すべき値の近傍にあると考えられるので、ＫＳＯＭ学習
処理の結果をコードベクトルの初期値として与え、ＬＢ
Ｇアルゴリズムにしたがった処理を行う場合には、適当
に初期値を与える場合に比較して、コードベクトルは早
く収束する。
【００８９】次に、図７においては、ＫＳＯＭに実際に
配列されたノードのみを用いて、ＫＳＯＭ学習処理を行
うようにしたが、実際のノードの周辺に仮想的なノード
（以下、適宜、仮想ノードという）を想定し、そのよう
な仮想ノードも含めた中から、勝者ノードを検出するよ
うにすることも可能である。
【００９０】即ち、ここでは、例えば、図１１に示すよ
うに、あるノードに注目した場合に、その注目ノード
（同図において斜線を付した○印で示す）と、その周辺
の８のノード（同図において○印で示す）それぞれとの
間を、ｐ：１−ｐに内分する位置に、仮想ノード（同図
において点線の○印で示す）を想定する。このような仮
想ノードを、他のノードについても想定し、実際のノー
ドと仮想ノードとを合わせた中から、勝者ノードを検出
する（ｐは１未満の正の実数）。
【００９１】なお、ＫＳＯＭに配列された実際のノード
の数がＭ個であれば、仮想ノードを含めたノードの総数
は９Ｍ個となる。従って、上述のように仮想ノードを想
定した学習を行って得られるＫＳＯＭをコードブックと
してベクトル量子化を行う場合には、９Ｍのノードと入
力との距離を計算し、その距離が最も短いノードのラベ
ルが、ベクトル量子化結果として出力されることにな
る。但し、学習時においては、１の学習サンプルとの距
離の計算は、実際のノードについて行い、さらに、その
うちの、学習サンプルとの距離を最小にするノード（勝
者ノード）を注目ノードとして想定される８の仮想ノー
ドについて行えば充分であるから、結局は、Ｍ＋８のノ
ードとについて行えば済む。
【００９２】次に、図１２のフローチャートを参照し
て、以上のように仮想ノードを想定してＫＳＯＭの学習
を行う場合の、図６の学習装置の処理について説明す
る。
【００９３】この場合、ステップＳ２１乃至Ｓ２４にお
いて、図７のステップＳ１乃至Ｓ４における場合とそれ
ぞれ同様の処理が行われる。但し、ステップＳ２４で
は、学習サンプルとの距離を最も短くする、ＫＳＯＭ上
のノードが、勝者ノードとして確定されるのではなく、
そのようなノードが、勝者ノードとして仮に決定される
（このように仮に決定された勝者ノードを、以下、適
宜、仮勝者ノードという）。
【００９４】仮勝者ノードの決定後は、ステップＳ２５
に進み、距離算出部１１において、その仮勝者ノード
と、その左上、左、左下、上、下、右上、右、右下の方
向に隣接する８のノードそれぞれとの間に想定された仮
想ノード＃ｍ’それぞれと（ｍ’＝１，２，・・・，
８）、学習サンプルＡとの間の距離が算出される。な
お、仮勝者ノードの代表ベクトルをＶaと、その仮勝者
ノードに隣接するノードの代表ベクトルをＶbと、それ
ぞれするとき、仮想ノードの代表ベクトルの初期値は、
ｐＶa＋（１−ｐ）Ｖbとされる。
【００９５】そして、ステップＳ２６において、仮勝者
ノードおよび８つの仮想ノードの９のノードのうち、学
習サンプルＡとの距離が最も近いものが、勝者ノード決
定部１２で検出され、そのノードが勝者ノードｍ*とし
て確定される。
【００９６】その後は、ステップＳ２７乃至Ｓ２９にお
いて、図７のステップＳ５乃至Ｓ７における場合とそれ
ぞれ同様の処理が行われる。なお、ステップＳ２７で
は、ＫＳＯＭ上の実際のノードの他、位相近傍に対応す
る範囲内にある仮想ノードについても、式（８）にした
がった更新が行われる。
【００９７】なお、この場合、仮想ノードの代表ベクト
ルも記憶する必要があるので、ＫＳＯＭ記憶部１４の記
憶容量は、図７の処理を行う場合に比較して約９倍とな
る。
【００９８】以上の処理により得られたＫＳＯＭをコー
ドブックとして用いたときの音声認識率と量子化誤差と
の実験結果を、表５に示す。
【００９９】
【表５】
【０１００】表３と表５とを比較して分かるように、図
１２の処理により得られたＫＳＯＭをコードブックとし
て用いた方が、ＫＳＯＭ学習処理（図６の処理）により
得られたＫＳＯＭをコードブックとして用いる場合よ
り、量子化誤差が小さくなっている。これは、上述した
ように、コードブックから得られるラベルの数、即ち、
コードベクトルの数が９倍になっていることに起因す
る。また、学習済みデータについては、図１２の処理に
より得られたＫＳＯＭをコードブックとして用いた方
が、ＫＳＯＭ学習処理により得られたＫＳＯＭをコード
ブックとして用いる場合より、音声認識率が向上してい
る。なお、未学習データについては、音声認識率が若干
低下しているが、これは、コードベクトルの数が９倍に
なったために、そのように増加したコードベクトルに対
応するラベルに対して、ＨＭＭの学習量が相対的に減少
し、充分な学習が行われなかったためであると考えられ
る。
【０１０１】ここで、例えば、上述したように、あるノ
ードについて、そのノードと、周辺のノードとの間に、
仮想ノードを想定する場合においては、ＫＳＯＭに配列
されたノードのうち、その境界上のノード（端にあるノ
ード）の外側方向については、実際のノードがないた
め、仮想ノードの初期値を設定することができない。そ
こで、境界のノードの周辺に想定される、境界の外側方
向の仮想ノードについては、例えば、次のようにして初
期値を設定する。
【０１０２】即ち、図１３は、ＫＳＯＭの左下の境界部
分を示している。
【０１０３】同図において、○印で示す部分が、ＫＳＯ
Ｍに配列されている実際のノード（実在するノード）を
示しており、また、斜線を付した○印で示す部分は、実
際のノードのうちの、ＫＳＯＭの境界上のノードを示し
ている。
【０１０４】ＫＳＯＭの境界上のノードについては、同
図に×印で示すように、その外側方向にも、境界上のノ
ードに隣接するように、ノードが連続して仮に存在する
ものとし、そのような仮のノードと、境界上のノードと
の間に、上述した場合と同様にして、仮想ノードを想定
する。そして、この場合、その仮想ノードの初期値は、
次のように設定する。
【０１０５】即ち、仮のノードの代表ベクトルを、ＫＳ
ＯＭの境界に対して線対称の位置にあるＫＳＯＭ上のノ
ードの代表ベクトルに設定する。具体的には、図１３に
おいて、仮のノードａ’，ｂ’，ｃ’，ｄ’，ｅ’，
ｆ’，ｇ’，ｃ’’，ｃ’’’の代表ベクトルを、ＫＳ
ＯＭ上のノードａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｃ，ｃの
代表ベクトルにそれぞれ設定する。そして、仮のノード
と、境界上のノードとの間に想定した仮想ノードの初期
値を、図１２で説明した場合と同様にして求める。
【０１０６】なお、上述の場合においては、ＫＳＯＭ上
のノードどうしの間に、１つの仮想ノードを想定するよ
うにしたが、２以上の仮想ノードを想定することも可能
である。
【０１０７】次に、上述の場合においては、ＫＳＯＭ上
のノードの周辺に８の仮想ノードを想定し、最終的な勝
者ノードを決定するようにしたが、その他、例えば、Ｋ
ＳＯＭ上の仮勝者ノードの周辺に、１の仮想ノードを動
的に想定し、その仮想ノードを、学習サンプルとの距離
が最も短くなるような位置に移動させ、その位置におけ
る仮想ノードを、仮勝者ノードに代えて、最終的な勝者
ノードとすることも可能である。
【０１０８】即ち、例えば、図１４に示すように、仮勝
者ノード（同図において、斜線を付した○印で示す）の
決定後、その仮勝者ノードと、その左上、左、左下、
上、下、右上、右、右下の方向に隣接する８のノードそ
れぞれとの間を、微小幅Δ単位で移動する仮想ノードを
想定し、各位置において、その仮想ノードと、学習サン
プルとの間の距離を計算する。そして、その距離を最も
短くする位置に想定された仮想ノードを、仮勝者ノード
（ＫＳＯＭ上に実在するノード）に代えて、ＫＳＯＭ上
に配列し、最終的な勝者ノードとする。
【０１０９】なお、仮勝者ノードの代表ベクトルをＶa
と、その仮勝者ノードに隣接するノードの代表ベクトル
をＶbと、それぞれする場合において、仮想ノードが、
仮勝者ノードとそれに隣接するノードとの間を、ｒ：１
−ｒに内分する位置に想定されているとき（ｒは、微小
幅△に対応する単位で変化する、１未満の正の実数）、
その仮想ノードの代表ベクトルは、例えば、ｒＶa＋
（１−ｒ）Ｖbとして、学習サンプルとの距離が計算さ
れる。
【０１１０】また、ＫＳＯＭ上の境界のノードが仮勝者
ノードとされた場合における仮想ノードの設定は、例え
ば、図１３で説明したようにして行われる。
【０１１１】このようにして最終的に決定される勝者ノ
ードは、学習サンプルをベクトル量子化したときの量子
化誤差を最小にするものであり、従って、上述の手法
は、一種の最適化探索法であると言うことができる。
【０１１２】ここで、以上のようにして勝者ノードを決
定して学習を行うことにより得られたＫＳＯＭをコード
ブックとして用いた場合の音声認識率と量子化誤差との
実験結果を、表６に示す。
【０１１３】
【表６】
【０１１４】以上のように、ＫＳＯＭを、多次元のベク
トルを、より低次元のベクトルに非線形写像するクラス
タリングとしてのベクトル量子化のコードブックに用い
る場合（上述した実施の形態では、多次元のベクトル
が、スカラー量であるラベルに写像されるが、本発明
は、多次元のベクトルを、スカラー量（スカラー量は１
次元のベクトルと考えることができる）を含めた、より
次数の少ないベクトルに写像することも可能である）、
位相近傍を利用することで、高速学習が可能となる。
【０１１５】さらに、ＫＳＯＭの構造から、学習性能を
改善し、また、演算量も低減することができる。
【０１１６】以上、本発明を、音声認識装置に適用した
場合について説明したが、本発明は、その他、例えば、
画像認識などを行うパターン認識装置や、画像圧縮装
置、自律型学習ロボットなどでベクトル量子化を行う場
合に適用可能である。
【０１１７】なお、本実施の形態では、ＨＭＭ法により
音声認識を行うようにしたが、用いる音声認識アルゴリ
ズムは、ＨＭＭ法に限定されるものではない。
【０１１８】また、本実施の形態では、音声の特徴ベク
トルとして、フィルタバンクの出力およびその差分値を
用いるようにしたが、音声から抽出する特徴量は、これ
に限定されるものではない。
【０１１９】
【発明の効果】請求項１に記載のコードブック作成装置
および請求項１１に記載のコードブック作成方法によれ
ば、コホーネンの自己組織化特徴地図に配列されたノー
ドそれぞれと、学習サンプルとの距離が算出され、学習
サンプルとの距離を最も短くするノードである勝者ノー
ドが検出される。そして、勝者ノードを含む所定のノー
ドに割り当てられたベクトルが更新され、その結果得ら
れる自己組織化特徴地図が、ノードに割り当てられたベ
クトルをコードベクトルとするコードブックとされる。
従って、コードブックを高速で作成することが可能とな
る。
【０１２０】請求項１２に記載のベクトル量子化装置お
よび請求項１３に記載のベクトル量子化方法によれば、
コードブックが、コホーネンの自己組織化特徴地図に配
列されたノードそれぞれと、学習サンプルとの距離を算
出し、学習サンプルとの距離を最も短くするノードであ
る勝者ノードを検出し、勝者ノードを含む所定のノード
に割り当てられたベクトルを更新することにより得られ
る自己組織化特徴地図のノードに割り当てられたベクト
ルをコードベクトルとするものとされている。従って、
誤差の少ないベクトル量子化を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した音声認識装置の一実施の形態
の構成例を示すブロック図である。
【図２】２次元のＫＳＯＭを示す図である。
【図３】ＨＭＭを説明するための図である。
【図４】ＨＭＭの出力確率を示す図である。
【図５】ＨＭＭ法による音声認識を説明するための図で
ある。
【図６】ＫＳＯＭをコードブックとするための学習装置
の一実施の形態の構成例を示すブロック図である。
【図７】図６の学習装置の処理を説明するためのフロー
チャートである。
【図８】位相近傍を説明するための図である。
【図９】学習レートを示す図である。
【図１０】図６の学習装置の処理を説明するためのフロ
ーチャートである。
【図１１】仮想ノードの設定方法を説明するための図で
ある。
【図１２】図６の学習装置の処理を説明するためのフロ
ーチャートである。
【図１３】ＫＳＯＭの境界上のノードについての仮想ノ
ードの設定方法を説明するための図である。
【図１４】仮想ノードの設定方法を説明するための図で
ある。
【符号の説明】
１ マイク， ２ 音響分析部， ３ ベクトル量子化
部， ４ 認識部，１１ 距離算出部（距離算出手
段）， １２ 勝者ノード決定部（勝者ノード検出手
段）， １３ 更新部（更新手段）， １４ ＫＳＯＭ
記憶部

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 ベクトル量子化に用いるコードブックを
    作成するコードブック作成装置であって、 コホーネンの自己組織化特徴地図に配列されたノードそ
    れぞれと、学習サンプルとの距離を算出する距離算出手
    段と、 前記学習サンプルとの距離を最も短くする前記ノードで
    ある勝者ノードを検出する勝者ノード検出手段と、 前記勝者ノードを含む所定の前記ノードに割り当てられ
    たベクトルを更新する更新手段とを備え、 前記更新手段による更新の結果得られる前記自己組織化
    特徴地図を、前記ノードに割り当てられたベクトルをコ
    ードベクトルとする前記コードブックとすることを特徴
    とするコードブック作成装置。
  2. 【請求項２】 前記更新手段は、前記勝者ノードから所
    定の距離の範囲である位相近傍内に位置する前記ノード
    に割り当てられたベクトルを更新することを特徴とする
    請求項１に記載のコードブック作成装置。
  3. 【請求項３】 前記位相近傍は、前記更新手段による更
    新の繰り返し回数の増加とともに狭くされることを特徴
    とする請求項２に記載のコードブック作成装置。
  4. 【請求項４】 前記学習サンプルを表すベクトルをＡ
    と、前記更新手段による更新の繰り返し回数をｔと、前
    記ノードに割り当てられたベクトルであって、前記更新
    手段によるｔ回目の更新の対象となっているものをＢ
    （ｔ）と、前記繰り返し回数ｔの増加にしたがって減少
    する、１未満の非負の関数をη（ｔ）と、それぞれする
    とき、 前記更新手段は、前記ノードに割り当てられたベクトル
    Ｂ（ｔ）を、式 Ｂ（ｔ＋１）＝Ｂ（ｔ）＋η（ｔ）（Ａ−Ｂ（ｔ）） にしたがって、ベクトルＢ（ｔ＋１）に更新することを
    特徴とする請求項１に記載のコードブック作成装置。
  5. 【請求項５】 前記更新手段は、関数η（ｔ）が０とな
    るまで更新を繰り返すことを特徴とする請求項４に記載
    のコードブック作成装置。
  6. 【請求項６】 前記自己組織化特徴地図に配列された前
    記ノードそれぞれについて、そのノードとの距離が他の
    ノードよりも短い前記学習サンプルのセントロイドベク
    トルを、コードブックのコードベクトルとすることを特
    徴とする請求項１に記載のコードブック作成装置。
  7. 【請求項７】 前記距離算出手段は、前記自己組織化特
    徴地図に配列されたノードどうしの間に仮想的なノード
    を想定し、その仮想的なノードについても、前記学習サ
    ンプルとの距離を算出することを特徴とする請求項１に
    記載のコードブック作成装置。
  8. 【請求項８】 前記距離算出手段は、前記自己組織化特
    徴地図に配列されたノードそれぞれと、学習サンプルと
    の距離を算出した後、前記勝者ノード検出手段により前
    記勝者ノードが検出されてから、その勝者ノードについ
    てのみ前記仮想的なノードを想定して、前記学習サンプ
    ルとの距離を算出し、 前記勝者ノード検出手段は、前記自己組織化特徴地図に
    配列されたノードから検出した前記勝者ノードと、前記
    距離算出手段により前記学習サンプルとの距離が算出さ
    れた前記仮想的なノードとの中から、最終的な前記勝者
    ノードを検出することを特徴とする請求項７に記載のコ
    ードブック作成装置。
  9. 【請求項９】 前記距離算出手段は、前記自己組織化特
    徴地図に配列されたノードどうしの間を、所定の比で内
    分する位置に、前記仮想的なノードを想定することを特
    徴とする請求項７に記載のコードブック作成装置。
  10. 【請求項１０】 前記距離算出手段は、前記自己組織化
    特徴地図に配列されたノードどうしの間に、前記仮想的
    なノードを動的に想定することを特徴とする請求項７に
    記載のコードブック作成装置。
  11. 【請求項１１】 ベクトル量子化に用いるコードブック
    を作成するコードブック作成方法であって、 コホーネンの自己組織化特徴地図に配列されたノードそ
    れぞれと、学習サンプルとの距離を算出し、 前記学習サンプルとの距離を最も短くする前記ノードで
    ある勝者ノードを検出し、 前記勝者ノードを含む所定の前記ノードに割り当てられ
    たベクトルを更新することを、所定の回数繰り返し、 その結果得られる前記自己組織化特徴地図を、前記ノー
    ドに割り当てられたベクトルをコードベクトルとする前
    記コードブックとすることを特徴とするコードブック作
    成方法。
  12. 【請求項１２】 ベクトルを、所定のコードブックを用
    いてベクトル量子化するベクトル量子化装置であって、 前記コードブックは、 コホーネンの自己組織化特徴地図に配列されたノードそ
    れぞれと、学習サンプルとの距離を算出し、 前記学習サンプルとの距離を最も短くする前記ノードで
    ある勝者ノードを検出し、 前記勝者ノードを含む所定の前記ノードに割り当てられ
    たベクトルを更新することを、所定の回数繰り返し、 その結果得られる前記自己組織化特徴地図の前記ノード
    に割り当てられたベクトルをコードベクトルとするもの
    であることを特徴とするベクトル量子化装置。
  13. 【請求項１３】 ベクトルを、所定のコードブックを用
    いてベクトル量子化するベクトル量子化方法であって、 前記コードブックは、 コホーネンの自己組織化特徴地図に配列されたノードそ
    れぞれと、学習サンプルとの距離を算出し、 前記学習サンプルとの距離を最も短くする前記ノードで
    ある勝者ノードを検出し、 前記勝者ノードを含む所定の前記ノードに割り当てられ
    たベクトルを更新することを、所定の回数繰り返し、 その結果得られる前記自己組織化特徴地図の前記ノード
    に割り当てられたベクトルをコードベクトルとするもの
    であることを特徴とするベクトル量子化方法。
JP9283309A 1997-10-16 1997-10-16 コードブック作成装置およびコードブック作成方法、並びにベクトル量子化装置およびベクトル量子化方法 Withdrawn JPH11122114A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9283309A JPH11122114A (ja) 1997-10-16 1997-10-16 コードブック作成装置およびコードブック作成方法、並びにベクトル量子化装置およびベクトル量子化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9283309A JPH11122114A (ja) 1997-10-16 1997-10-16 コードブック作成装置およびコードブック作成方法、並びにベクトル量子化装置およびベクトル量子化方法

Publications (1)

Publication Number Publication Date
JPH11122114A true JPH11122114A (ja) 1999-04-30

Family

ID=17663797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9283309A Withdrawn JPH11122114A (ja) 1997-10-16 1997-10-16 コードブック作成装置およびコードブック作成方法、並びにベクトル量子化装置およびベクトル量子化方法

Country Status (1)

Country Link
JP (1) JPH11122114A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006500654A (ja) * 2002-09-20 2006-01-05 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ・システムにおける適応型問題判別及びリカバリー
JP2006162898A (ja) * 2004-12-06 2006-06-22 Sony Corp 学習装置および学習方法、認識装置および認識方法、生成装置および生成方法、並びにプログラム
JP2009073465A (ja) * 2007-08-28 2009-04-09 Fuji Heavy Ind Ltd 安全運転支援システム
JP2009296278A (ja) * 2008-06-04 2009-12-17 Nippon Telegr & Teleph Corp <Ntt> 代表ベクトル生成方法及び装置及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006500654A (ja) * 2002-09-20 2006-01-05 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ・システムにおける適応型問題判別及びリカバリー
JP2006162898A (ja) * 2004-12-06 2006-06-22 Sony Corp 学習装置および学習方法、認識装置および認識方法、生成装置および生成方法、並びにプログラム
JP4639784B2 (ja) * 2004-12-06 2011-02-23 ソニー株式会社 学習装置および学習方法、並びにプログラム
JP2009073465A (ja) * 2007-08-28 2009-04-09 Fuji Heavy Ind Ltd 安全運転支援システム
JP2009296278A (ja) * 2008-06-04 2009-12-17 Nippon Telegr & Teleph Corp <Ntt> 代表ベクトル生成方法及び装置及びプログラム

Similar Documents

Publication Publication Date Title
US5956679A (en) Speech processing apparatus and method using a noise-adaptive PMC model
JP2795058B2 (ja) 時系列信号処理装置
JP3529049B2 (ja) 学習装置及び学習方法並びにロボット装置
US5165007A (en) Feneme-based Markov models for words
Rigoll Maximum mutual information neural networks for hybrid connectionist-HMM speech recognition systems
JP4141495B2 (ja) 最適化された部分的確率混合共通化を用いる音声認識のための方法および装置
JPH0535299A (ja) 音声符号化方法及び装置
JPH0934486A (ja) 音声認識方法、情報形成方法、音声認識装置および記録媒体
CN117043857A (zh) 用于英语发音评估的方法、设备和计算机程序产品
KR100832556B1 (ko) 강인한 원거리 음성 인식 시스템을 위한 음성 인식 방법
JP3919475B2 (ja) 話者特徴抽出装置および話者特徴抽出方法、音声認識装置、並びに、プログラム記録媒体
Rigoll et al. A new hybrid system based on MMI-neural networks for the RM speech recognition task
JPH11122114A (ja) コードブック作成装置およびコードブック作成方法、並びにベクトル量子化装置およびベクトル量子化方法
US6718299B1 (en) Information processing apparatus for integrating a plurality of feature parameters
Abraham et al. Articulatory Feature Extraction Using CTC to Build Articulatory Classifiers Without Forced Frame Alignments for Speech Recognition.
JP3589044B2 (ja) 話者適応化装置
Debyeche et al. A new vector quantization approach for discrete HMM speech recognition system
Mohanty et al. Application of deep learning approach for recognition of voiced Odia digits
EP0238693B1 (en) Speech recognition system and method using statistical models for words
Eng et al. Malay speech recognition using self-organizing map and multilayer perceptron
Debyeche et al. Improved Vector Quantization Approach for Discrete HMM Speech Recognition System.
JP2000181486A (ja) 学習装置および学習方法、認識装置および認識方法、並びに記録媒体
JP2002169586A (ja) 音声及び画像の合成モデル生成装置、音声及び画像の合成モデルのための環境適応化装置、並びに音声認識装置
Su et al. Efficient use of DNN bottleneck features in generalized variable parameter HMMs for noise robust speech recognition.
Rigoll et al. Large vocabulary speaker-independent continuous speech recognition with a new hybrid system based on MMI-neural networks.

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20050104