JP4194433B2 - 尤度算出装置および方法 - Google Patents

尤度算出装置および方法 Download PDF

Info

Publication number
JP4194433B2
JP4194433B2 JP2003193113A JP2003193113A JP4194433B2 JP 4194433 B2 JP4194433 B2 JP 4194433B2 JP 2003193113 A JP2003193113 A JP 2003193113A JP 2003193113 A JP2003193113 A JP 2003193113A JP 4194433 B2 JP4194433 B2 JP 4194433B2
Authority
JP
Japan
Prior art keywords
likelihood
coefficient
standard pattern
standard
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003193113A
Other languages
English (en)
Other versions
JP2005031151A5 (ja
JP2005031151A (ja
Inventor
賢一郎 中川
雅章 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003193113A priority Critical patent/JP4194433B2/ja
Priority to US10/873,905 priority patent/US20050010408A1/en
Publication of JP2005031151A publication Critical patent/JP2005031151A/ja
Publication of JP2005031151A5 publication Critical patent/JP2005031151A5/ja
Application granted granted Critical
Publication of JP4194433B2 publication Critical patent/JP4194433B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、音声認識装置などの各種認識装置における尤度算出処理技術に関するものである。
【0002】
【従来の技術】
一般的な認識アルゴリズムとは、標準パターン(認識対象)における観測された特徴パラメータのスコアを計算し、もっともスコアの高い標準パターンを認識結果として出力する処理である。
【0003】
標準パターンを表現する手法として、確率密度関数を用いたものがある。この確率密度関数に確率変数として観測特徴パラメータを入力し、算出された尤度を用いて先のスコアを求めることができる。例えば、観測特徴パラメータを互いに独立なn次元のパラメータ(x1,x2,…,xn)とおく。m番目の標準パターンをωmとおき、標準パターンωmを構成するn次元の確率密度関数が互いに独立なN(μm,i,σ2 m,i) の正規分布からなるとき(μは平均、σ2は分散、1≦i≦n)、標準パターンωmにおける観測特徴パラメータxの尤度P(x|ωm) は次式で与えられる。
【0004】
【数1】
【0005】
計算を単純化するために(1)式の対数をとり、次式のように対数尤度を算出することも可能である。
【0006】
【数2】
【0007】
これらの尤度計算を用いた認識は、音声認識をはじめとして、画像認識や文字認識等にも用いられている。
【0008】
尤度計算を用いた認識のアルゴリズムは例えば、特許文献1に開示されている。
【0009】
【特許文献1】
特公平7−072838号公報
【0010】
【発明が解決しようとする課題】
上記した式による尤度計算を用いた認識アルゴリズムでは次のような問題があり、とりわけ、リソースの限られた小型機器などへの適用を困難にしている。
【0011】
(i)認識対象となる標準パターン数や次元数が増加すると、μm,i,σ2 m,iのような分布を表現するためのデータ記憶領域が大きくなる。
【0012】
(ii)認識対象となる標準パターン数や次元数が増加すると、計算量増大のため、計算リソースの限られた機器では認識速度が低下する。
【0013】
(iii)一般の民生用機器には浮動小数点型の信号処理プロセッサではなく、安価な固定小数点型の信号処理プロセッサを用いることが多い。固定小数点型の信号処理プロセッサを用いる場合には、尤度計算を固定小数点演算で行わなければならない。その際、固定小数点化による量子化誤差が生じるため、認識性能が低下する。特に式(2)をそのまま計算すると、加減算で桁落ちした後に掛け算が入っており、桁落ちによる誤差が大きくなることが予想される。
【0014】
特許文献1は、特に固定小数点化による劣化を防ぐために、特徴パラメータ(ケプストラム係数)の量子化幅を次元毎に変えて量子化する音声認識技術を開示している。この技術は固定小数点化による劣化の回避に有効であると考えられる。また、効率的な量子化を行っているため、データ領域の削減においても有効であろう。
【0015】
しかしながら、この手法では登録型の音声認識には応用可能であるが、確率密度関数を用いた認識アルゴリズムには対応することができない。
【0016】
そこで、本発明は、確率密度関数を用いた認識処理のための尤度計算を、計算リソースの限られた機器においても高精度かつ高速に算出できるようにすることを目的とする。
【0017】
【課題を解決するための手段】
本発明の一側面によれば、標準パターンの確率密度関数を用いて、特徴パラメータの標準パターンに対する尤度を算出する尤度算出装置であって、各標準パターンに対する、特徴パラメータのべき級数に展開された尤度の算出式における各係数を記憶する記憶手段と、入力された特徴パラメータのべき乗を計算する計算手段と、各標準パターンに対して、前記特徴パラメータおよびそのべき乗と、対応する各係数とを前記算出式に適用することにより尤度を算出する算出手段とを有することを特徴とする尤度算出装置が提供される。
【0018】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。
【0019】
(実施形態1)
ここでは一例として、正規分布を確率密度分布とした場合の尤度算出例を示す。まず、本発明で用いる計算方法を説明し、その後に機能構成および具体的な処理内容について説明する。
【0020】
m番目の標準パターン(ωm)を構成するn次元確率密度関数が、それぞれN(μm,i,σ2 m,i) の正規分布に従うものとし(μは平均、σ2は分散、1≦i≦n)、観測された互いに独立なn次元特徴パラメータをx1,x2,…,xnとおくと、対数尤度の算出式は先に示した式(2)のようになる。
【0021】
式(2)は、加減算で桁落ちした後に掛け算が入っており、固定小数点演算で計算すると、桁落ちによる誤差が大きくなることが予想される。そこで、これを次式のようなxのべき級数に展開する。
【0022】
【数3】
【0023】
ここで、xのべき乗ごとの係数を次式のように置く。
【0024】
【数4】
【0025】
これを用いると、式(3)は次式のように置き換えることができる。
【0026】
【数5】
【0027】
m,Bm,i,Cm,iはそれぞれ観測特徴パラメータxを含んでいないため、事前(分布の学習時)に計算しておくことが可能である。以後、Am,Bm,i,Cm,iを係数データと呼ぶ。
【0028】
式(5)を用いた尤度計算には次の長所がある。
【0029】
(i)尤度計算時(認識処理時)には単純な積和演算だけで行うことが可能である。近年の組み込み用CPUでは、積和演算専用の命令セットを持ったものが多く、それを活用することにより式(5)を高速に計算することが可能である。
【0030】
(ii)Am,Bm,i,Cm,iの算出は学習時に(浮動小数点演算をサポートした)機器上で前もって行うことができる。そのため、認識処理を行う機器が浮動小数点演算をサポートしていない場合でも、固定小数点化に伴う誤差が生じるのは、式(5)の積和演算部分だけである。しかも、この部分は掛け算の後に加減算が入るため、桁落ち誤差は起きにくい。
【0031】
式(5)の形式で尤度計算を行うためには、次に示す2つの処理を行う必要がある。
【0032】
(i)認識処理を行う前に、係数データを作成しておく。上記のような正規分布を用いた場合は、式(4)のようなAm,Bm,i,Cm,iの係数データを作成しておく。
【0033】
(ii)認識時に尤度計算時に必要となる観測特徴パラメータのべき乗を計算しておく。正規分布を用いた例では、xとx2を計算しておく。
【0034】
(i)の作業は分布の学習時(μm,i,σ2 m,iの推定時)に行うことができる。分布の学習が可能な機器であれば、(i)の作業における計算量はあまり問題にならないことが考えられる。(ii)は認識処理を行う機器上で行う必要があるが、観測特徴パラメータが入力される毎に一度だけ行えばよいため、それ程負荷にならないことが多い。
【0035】
本発明の尤度算出装置は、上記の尤度計算アルゴリズムを用いた装置であり、図1は実施形態における尤度算出装置の機能構成を示す図である。
【0036】
本実施形態における尤度算出装置101は、標準パターン前処理部109によって標準パターン104を構成する確率密度分布のμm,i,σ2 m,i等を前処理し、係数データに変換したあと、これを係数データベース103に格納する。上記の例では、ここでの処理はAm,Bm,i,Cm,iを算出し格納することに相当する。もっとも、上記したように、尤度算出装置101がこの標準パターン前処理部109を備えるのではなく、浮動小数点演算をサポートした別の機器がこの標準パターン前処理部109実現し、得られた係数データベース103を尤度算出装置101に供給する、という構成にしてもよい。
【0037】
認識処理時には、観測された特徴パラメータ102が尤度算出装置101に入力される。この観測特徴パラメータは、ユーザの音声、筆跡、顔画像などの特徴量を表したものである。これらのデータは観測特徴パラメータ取り込み部105によって、装置内部に取り込まれる。
【0038】
取り込まれた観測特徴パラメータは観測特徴パラメータ前処理部106で、尤度算出時に必要な観測特徴パラメータのべき乗が計算される。正規分布を用いた上記の例では、観測特徴パラメータの他にその2乗の値も必要であるため、ここで計算される。
【0039】
尤度算出部107では係数データベース103、観測特徴パラメータ、およびそのべき乗を用いて、式(5)のような積和演算を経て、確率密度関数毎の対数尤度を算出する。
【0040】
算出された対数尤度は、尤度出力部108から本装置外に出力される。このときに、算出した対数尤度を全て出力してもよいし、最大となった対数尤度だけを出力してもよい。
【0041】
図2は、本実施形態における係数データベース作成処理を示すフローチャートである。この処理は標準パターン前処理部109によって実行される。
【0042】
まず、処理する標準パターンのカウンタ変数mを1に初期化し(ステップS201)、その後、m番目の標準パターンを構成する確率密度関数を表すμm,i,σ2 m,i等の値を取得する(ステップS202)。
【0043】
次に、取得したμm,i,σ2 m,i等のデータから係数データを算出する(ステップS203)。例えば、上記した式(4)のAm,Bm,i,Cm,iなどがこれにあたる。算出された係数データは係数データベース103に格納される(ステップS204)。
【0044】
ステップS205では、カウンタmの値が全標準パターン数Mを超えたかどうかを判断し、超えた場合には処理を終了するが、まだ超えていないときはステップS206に進みmの値を1増分してステップS202に戻って処理を繰り返す。このようにして、ステップS202〜S204の処理が全標準パターンに対して行われる。
【0045】
図3は、本実施形態における尤度算出処理を示すフローチャートである。
【0046】
まず、観測特徴パラメータ取り込み部105によって観測特徴パラメータxを取り込む(ステップS301)。この観測特徴パラメータはn次元のパラメータでもよい。
【0047】
次に、観測特徴パラメータ前処理部106で、尤度計算に必要なxのべき乗を計算する(ステップS302)。式(5)を用いた尤度算出の例では、ここでx2を算出する。
【0048】
続くステップS304〜S307の処理は尤度算出部107により実行される。まず、処理する標準パターンのカウンタ変数mを1に初期化し(ステップS303)、その後、m番目の係数データを係数データベース103から取得する(ステップS304)。この係数データベース103における係数データは上記した標準パターン前処理部109による係数データベース作成処理で作成されたものである。そして、この係数データとステップS302で計算されたxのべき乗とを用い、式(5)に従う積和演算を行うことによって対数尤度を算出する(ステップS305)。
【0049】
ステップS306では、カウンタmの値が全標準パターン数Mを超えたかどうかを判断し、超えた場合にはステップS308に進むが、まだ超えていないときはステップS307に進みmの値を1増分してステップS304に戻って処理を繰り返す。このようにして、ステップS304,S305の処理が全標準パターンに対して行われる。
【0050】
そして、ステップS308では、尤度出力部108により、以上の処理によって計算された対数尤度を出力する。
【0051】
(実施形態2)
ここでは係数データを量子化した場合の尤度算出手法を示す。
【0052】
式(5)による対数尤度計算には、Am,Bm,i,Cm,iといった係数データが必要となる。これらのデータは、比較すべき標準パターン数や特徴パラメータの次元数によってデータ数が大きくなるため、情報圧縮することが望ましい。特に、認識を固定小数点演算だけで行う場合、Am,Bm,i,Cm,iをfloat型などの浮動小数点数で持つことは無意味である。そのため、ここではAm,Bm,i,Cm,iをnビット整数値で量子化する手法を示す。
【0053】
係数データは次元毎にダイナミックレンジが大きく異なるため、次元毎に量子化幅を変えることが望ましい。
【0054】
まず、次式のように、Am,Bm,i,Cm,iの全標準パターン内の平均を次元毎に算出する。ただし、Mは全標準パターン数である。
【0055】
【数6】
【0056】
さらに、次式によりAm,Bm,i,Cm,iの全標準パターン内の標準偏差を算出する。
【0057】
【数7】
【0058】
標準偏差は、次元(i)毎に適切な量子化幅を設定するために用いられる。例えばpビットに圧縮したい場合、次式を満たす最大のa,bi,ci(スケーリングパラメータと呼ぶ)を求める。なお、Oは量子化の精度を決定する定数であり、3程度の正の値であることが望ましい。ちなみにAm,Bm,i,Cm,iの分布が正規分布であるならば、O=3で99.98%のデータがpビットに量子化される。
【0059】
【数8】
【0060】
次に、算出されたスケーリングパラメータa,bi,ciを用いて、次式に従いAm,Bm,i,Cm,iの量子化を行う。ここで量子化後の値はA'm,B'm,i,C'm,iであり、この値は±2p-1でクリッピングされた整数値とする。
【0061】
【数9】
【0062】
式(9)を式(5)に代入すると、次式が得られる。
【0063】
【数10】
【0064】
式(10)の変数mを含まない項は、共通のバイアス成分となる。認識処理時には、対数尤度の大小関係だけがわかればよいため、この項は計算する必要がない。従って、式(10)からmを含まない項を取り除いた次式を用いても、尤度の比較を行うことは可能である。
【0065】
【数11】
【0066】
式(11)の計算量は式(5)のそれに比べ、2nの積算分だけ増加しているが、この演算はn桁のビットシフトで済むため、それ程大きな処理量の増加にはならない。
【0067】
量子化に伴い、係数データベースにはスケーリングパラメータ分のa,bi,ciを追加する必要があるが、32ビット(もともとfloat型で構築していた場合)からpビットへの量子化により、全体的にはデータサイズの大きな削減となる。例えば、25次元の特徴パラメータを用いた認識処理で、全確率密度関数の数が100のものを想定する。このとき、量子化を行わずに係数データベースを構築すると、
(1+25+25)×100×sizeof(float)=20,400 byte,
のサイズになる。ここで8ビットへの量子化を行うと、
(1+25+25)×100×sizeof(char)+(1+25+25)=5,151 byte,
となり、スケーリングパラメータを加えても約1/4の大きさになる。
【0068】
図4は、本実施形態における係数データベース作成処理を示すフローチャートである。
【0069】
まず、処理する標準パターンのカウンタ変数mを1に初期化し(ステップS401)、その後、m番目の標準パターンを構成する確率密度関数を表すμm,i,σ2 m,i等の値を取得する(ステップS402)。
【0070】
次に、取得したμm,i,σ2 m,i等のデータから係数データ(Am,Bm,i,Cm,iなど)を算出する(ステップS403)。続いて、式(6)〜(9)を用いて算出した係数データを量子化する(ステップS404)。式(9)のA'm,B'm,i,C'm,iが量子化された係数データである。この量子化された係数データは係数データベース103に格納される(ステップS405)。
【0071】
ステップS406では、カウンタmの値が全標準パターン数Mを超えたかどうかを判断し、超えた場合にはステップS408に進むが、まだ超えていないときはステップS407に進みmの値を1増分してステップS402に戻って処理を繰り返す。このようにして、ステップS402〜S405の処理が全標準パターンに対して行われる。
【0072】
そして、ステップS408では、スケーリングパラメータを係数データベース103に格納する。上の例ではa,bi,ciがスケーリングパラメータとして格納される。
【0073】
図5は、本実施形態における尤度算出処理を示すフローチャートである。
【0074】
まず、観測特徴パラメータ取り込み部105によって観測特徴パラメータxを取り込み(ステップS501)、観測特徴パラメータ前処理部106で、尤度計算に必要なxのべき乗を計算する(ステップS502)。式(5)を用いた尤度算出の例では、ここでx2を算出する。
【0075】
次に、係数データベース103からスケーリングパラメータを取得する(ステップS503)。
【0076】
続くステップS504〜S508の処理は尤度算出部107により実行される。まず、処理する標準パターンのカウンタ変数mを1に初期化し(ステップS504)、その後、量子化されたm番目の係数データを係数データベース103から取得する(ステップS505)。この係数データベース103における量子化された係数データは上記した標準パターン前処理部109による係数データベース作成処理で作成されたものである。そして、この量子化された係数データ、ステップS502で計算されたxのべき乗、およびステップS503で取得したスケーリングパラメータを用い、例えば式(11)に従う積和演算を行うことによって対数尤度を算出する(ステップS506)。
【0077】
ステップS507では、カウンタmの値が全標準パターン数Mを超えたかどうかを判断し、超えた場合にはステップS509に進むが、まだ超えていないときはステップS508に進みmの値を1増分してステップS505に戻って処理を繰り返す。このようにして、ステップS505,S506の処理が全標準パターンに対して行われる。
【0078】
そして、ステップS509では、尤度出力部108により、以上の処理によって計算された対数尤度を出力する。
【0079】
上述の例では、一つの標準パターンを構成するn次元確率密度関数は単一であることを想定したが、複数のn次元確率密度関数が単一の標準パターンを構成してもよい。また、これらのn次元確率密度関数が標準パターン間で共有されていてもよい。
【0080】
ところで、本発明の尤度算出処理は例えば、HMM法(Hidden Markov Model)を用いた音声認識処理にも適用することが可能である。HMM法を用いた音声認識処理は公知の技術であるので説明は省略するが、本発明の尤度算出処理はHMMの出力確率の算出に用いることができる。
【0081】
以上説明した実施形態によれば、確率密度分布を用いた尤度計算を積和演算だけで算出することが可能となる。これにより、積和演算命令を積んだ機器上で、高速に尤度計算を行うことができるようになる。また、複雑な演算を前処理で行うため、固定小数点化による量子化誤差が抑えられる利点もある。さらに、積和演算時に用いる係数データを量子化することにより、それを格納するデータ記憶領域を削減することも可能になる。
【0082】
(他の実施形態)
以上、本発明の実施形態を詳述したが、本発明は、例えばシステム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。また、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【0083】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。その場合、プログラムの機能を有していれば、その形態はプログラムである必要はない。
【0084】
従って、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の特許請求の範囲には、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0085】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
【0086】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などがある。
【0087】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、そのホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明のクレームに含まれるものである。
【0088】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0089】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【0090】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【0091】
【発明の効果】
本発明によれば、確率密度関数を用いた認識処理のための尤度計算を、計算リソースの限られた機器においても高精度かつ高速に算出できる。
【図面の簡単な説明】
【図1】実施形態における尤度算出装置の機能構成を示す図である。
【図2】実施形態1における係数データベース作成処理を示すフローチャートである。
【図3】実施形態1における尤度算出処理を示すフローチャートである。
【図4】実施形態2における係数データベース作成処理を示すフローチャートである。
【図5】実施形態2における尤度算出処理を示すフローチャートである。

Claims (4)

  1. 標準パターンの確率密度関数を用いて、特徴パラメータの標準パターンに対する尤度を算出する尤度算出装置であって、
    各標準パターンに対する、特徴パラメータ及びそのべき乗と、対応する各係数との積和演算で表される、特徴パラメータのべき級数に展開された尤度の算出式における各係数を、各標準パターンの確率密度関数に基づいて計算する係数計算手段と、
    前記係数計算手段により計算された各係数を、全標準パターンの当該係数の標準偏差に基づいて設定される量子化幅で量子化する量子化手段と、
    前記量子化手段により量子化された各係数を記憶する記憶手段と、
    入力された特徴パラメータのべき乗を計算する計算手段と、
    各標準パターンに対して、前記特徴パラメータおよびそのべき乗と、対応する量子化された各係数とを前記算出式に適用することにより尤度を算出する算出手段と、
    を有し、
    前記算出式は、
    入力パラメータの次元数をn、
    次元をi、
    各係数A,B,Cの全標準パターンにおける平均をそれぞれ、
    入力された特徴パラメータを
    としたときに、
    で表される第1のべき級数項と、
    m番目の標準パターンの量子化された各係数を
    前記量子化幅を
    としたときに、
    で表される第2のべき級数項と、
    との和で表される
    ことを特徴とする尤度算出装置。
  2. 前記第1のべき級数項を除いた式を前記算出式とすることを特徴とする請求項に記載の尤度算出装置。
  3. 標準パターンの確率密度関数を用いて、特徴パラメータの標準パターンに対する尤度を算出する尤度算出装置によって実行される尤度算出方法であって、
    係数計算手段が、各標準パターンに対する、特徴パラメータ及びそのべき乗と、対応する各係数との積和演算で表される、特徴パラメータのべき級数に展開された尤度の算出式における各係数を、各標準パターンの確率密度関数に基づいて計算するステップと
    量子化手段が、前記計算された各係数を、全標準パターンの当該係数の標準偏差に基づいて設定される量子化幅で量子化するステップと、
    記憶手段が、前記量子化された各係数を記憶する記憶ステップと、
    計算手段が、入力された特徴パラメータのべき乗を計算するステップと
    算出手段が、各標準パターンに対して、前記特徴パラメータおよびそのべき乗と、対応する量子化された各係数とを前記算出式に適用することにより尤度を算出するステップと、
    を有し、
    前記算出式は、
    入力パラメータの次元数をn、
    次元をi、
    各係数A,B,Cの全標準パターンにおける平均をそれぞれ、
    入力された特徴パラメータを
    としたときに、
    で表される第1のべき級数項と、
    m番目の標準パターンの量子化された各係数を
    前記量子化幅を
    としたときに、
    で表される第2のべき級数項と、
    との和で表される
    ことを特徴とする尤度算出方法。
  4. 標準パターンの確率密度関数を用いて、特徴パラメータの標準パターンに対する尤度を算出するために、コンピュータに、
    各標準パターンに対する、特徴パラメータ及びそのべき乗と、対応する各係数との積和演算で表される、特徴パラメータのべき級数に展開された尤度の算出式における各係数を、各標準パターンの確率密度関数に基づいて計算するステップ、
    前記計算された各係数を、全標準パターンの当該係数の標準偏差に基づいて設定される量子化幅で量子化する量子化ステップ、
    前記量子化された各係数をメモリに記憶するステップ、
    入力された特徴パラメータのべき乗を計算するステップ、
    各標準パターンに対して、前記特徴パラメータおよびそのべき乗と、対応する量子化された各係数とを前記算出式に適用することにより、尤度を算出するステップ、
    を実行させるためのプログラムであって、
    前記算出式は、
    入力パラメータの次元数をn、
    次元をi、
    各係数A,B,Cの全標準パターンにおける平均をそれぞれ、
    入力された特徴パラメータを
    としたときに、
    で表される第1のべき級数項と、
    m番目の標準パターンの量子化された各係数を
    前記量子化幅を
    としたときに、
    で表される第2のべき級数項と、
    との和で表される
    ことを特徴とするプログラム
JP2003193113A 2003-07-07 2003-07-07 尤度算出装置および方法 Expired - Fee Related JP4194433B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003193113A JP4194433B2 (ja) 2003-07-07 2003-07-07 尤度算出装置および方法
US10/873,905 US20050010408A1 (en) 2003-07-07 2004-06-22 Likelihood calculation device and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003193113A JP4194433B2 (ja) 2003-07-07 2003-07-07 尤度算出装置および方法

Publications (3)

Publication Number Publication Date
JP2005031151A JP2005031151A (ja) 2005-02-03
JP2005031151A5 JP2005031151A5 (ja) 2006-01-19
JP4194433B2 true JP4194433B2 (ja) 2008-12-10

Family

ID=33562442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003193113A Expired - Fee Related JP4194433B2 (ja) 2003-07-07 2003-07-07 尤度算出装置および方法

Country Status (2)

Country Link
US (1) US20050010408A1 (ja)
JP (1) JP4194433B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970613B2 (en) * 2005-11-12 2011-06-28 Sony Computer Entertainment Inc. Method and system for Gaussian probability data bit reduction and computation
JP2007193813A (ja) * 2006-01-20 2007-08-02 Mitsubishi Electric Research Laboratories Inc データサンプルを複数のクラスのうちの1つに分類する方法及びデータサンプルを2つのクラスのうちの1つに分類する方法
US8442829B2 (en) * 2009-02-17 2013-05-14 Sony Computer Entertainment Inc. Automatic computation streaming partition for voice recognition on multiple processors with limited memory
US8788256B2 (en) * 2009-02-17 2014-07-22 Sony Computer Entertainment Inc. Multiple language voice recognition
US8442833B2 (en) * 2009-02-17 2013-05-14 Sony Computer Entertainment Inc. Speech processing with source location estimation using signals from two or more microphones
US9153235B2 (en) 2012-04-09 2015-10-06 Sony Computer Entertainment Inc. Text dependent speaker recognition with long-term feature based on functional data analysis

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0296800A (ja) * 1988-10-03 1990-04-09 Nec Corp 連続音声認識装置
JPH02195400A (ja) * 1989-01-24 1990-08-01 Canon Inc 音声認識装置
DE69325497T2 (de) * 1992-12-22 2000-01-05 Konica Corp., Tokio/Tokyo Farbbildverarbeitungsgerät zur Glättung eines Bildes
JP3092491B2 (ja) * 1995-08-30 2000-09-25 日本電気株式会社 記述長最小基準を用いたパターン適応化方式
JP3536471B2 (ja) * 1995-09-26 2004-06-07 ソニー株式会社 識別装置および識別方法、並びに音声認識装置および音声認識方法
US5960391A (en) * 1995-12-13 1999-09-28 Denso Corporation Signal extraction system, system and method for speech restoration, learning method for neural network model, constructing method of neural network model, and signal processing system
JPH09258771A (ja) * 1996-03-25 1997-10-03 Canon Inc 音声処理方法及び装置
JP3632529B2 (ja) * 1999-10-26 2005-03-23 日本電気株式会社 音声認識装置及び方法ならびに記録媒体
JP4336865B2 (ja) * 2001-03-13 2009-09-30 日本電気株式会社 音声認識装置

Also Published As

Publication number Publication date
US20050010408A1 (en) 2005-01-13
JP2005031151A (ja) 2005-02-03

Similar Documents

Publication Publication Date Title
JP7349835B2 (ja) ニューラルネットワークにおいてパラメータを処理する方法及び装置
US20200302276A1 (en) Artificial intelligence semiconductor chip having weights of variable compression ratio
US7970613B2 (en) Method and system for Gaussian probability data bit reduction and computation
CN110929865B (zh) 网络量化方法、业务处理方法及相关产品
US20100138010A1 (en) Automatic gathering strategy for unsupervised source separation algorithms
CN109800865B (zh) 神经网络生成及图像处理方法和装置、平台、电子设备
CN111783974A (zh) 模型构建及图像处理方法、装置、硬件平台及存储介质
WO2017149722A1 (ja) 演算装置および演算方法
US7272557B2 (en) Method and apparatus for quantizing model parameters
WO2013180164A1 (ja) 符号化方法、符号化装置、プログラム、および記録媒体
CN115238893B (zh) 面向自然语言处理的神经网络模型量化方法和装置
JP4194433B2 (ja) 尤度算出装置および方法
CN112233675A (zh) 一种基于分离卷积神经网络的语音唤醒方法及***
CN116580702A (zh) 基于人工智能的语音识别方法、装置、计算机设备及介质
CN108847251B (zh) 一种语音去重方法、装置、服务器及存储介质
CN112308226B (zh) 神经网络模型的量化、用于输出信息的方法和装置
CN112613604A (zh) 神经网络的量化方法及装置
US20230161555A1 (en) System and method performing floating-point operations
JP2022042467A (ja) 人工ニューラルネットワークモデル学習方法およびシステム
US20220405561A1 (en) Electronic device and controlling method of electronic device
JP5961532B2 (ja) 辞書・言語モデル圧縮方法とその装置とプログラム
CN114512111A (zh) 模型训练方法、装置、终端设备及计算机可读存储介质
JP7028203B2 (ja) 音声認識装置、音声認識方法、プログラム
JP4856526B2 (ja) 音響モデルパラメータ更新処理方法、音響モデルパラメータ更新処理装置、プログラム、記録媒体
JP7160170B2 (ja) 音声認識装置、音声認識学習装置、音声認識方法、音声認識学習方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080922

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees