JP2001042894A - 音声認識装置及び方法 - Google Patents

音声認識装置及び方法

Info

Publication number
JP2001042894A
JP2001042894A JP11221423A JP22142399A JP2001042894A JP 2001042894 A JP2001042894 A JP 2001042894A JP 11221423 A JP11221423 A JP 11221423A JP 22142399 A JP22142399 A JP 22142399A JP 2001042894 A JP2001042894 A JP 2001042894A
Authority
JP
Japan
Prior art keywords
mode
voice
recognition
hands
push
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11221423A
Other languages
English (en)
Other versions
JP3764302B2 (ja
JP2001042894A5 (ja
Inventor
Hideki Shiina
秀樹 椎名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP22142399A priority Critical patent/JP3764302B2/ja
Publication of JP2001042894A publication Critical patent/JP2001042894A/ja
Publication of JP2001042894A5 publication Critical patent/JP2001042894A5/ja
Application granted granted Critical
Publication of JP3764302B2 publication Critical patent/JP3764302B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】話者の状況または周囲の状況を自動的に反映し
た音声認識処理を可能とする。 【解決手段】音声認識部14は、認識モード切り替え部
141によりプッシュトークモードが設定されている場
合には、ボタンスイッチ12が押されることで音声入力
部11からの入力音声に対する音声認識動作を行うと共
に、その際の照合処理にプッシュトーク用辞書131を
用いる。また音声認識部14は、ハンズフリーモードが
設定されている場合には、ボタンスイッチ12とは無関
係に、音声入力部11からの入力音声に対する音声認識
動作を行うと共に、その際の照合処理に、プッシュトー
ク用辞書131より認識語彙数が少ないハンズフリー用
辞書132を使用する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、事前に特定の操作
をした後に発声した言葉を認識するプッシュトークモー
ドと、事前の特定の操作無しに発声した言葉を認識する
ハンズフリーモードとの両認識モードを有する音声認識
装置及び方法に関する。
【0002】
【従来の技術】この種のプッシュトークモードとハンズ
フリーモードの両認識モードを備えた音声認識装置は従
来から知られている。しかし従来の音声認識装置では、
ユーザの使用時にはモードが固定されていたり、ユーザ
がモードを指定しなければならなかった。このため、例
えばユーザ(話者)の手が空いていない状況において事
前の特定操作が不要なハンズフリーモードを使用したく
ても、プッシュトークモードに設定されている場合に
は、当該プッシュトークモードからハンズフリーモード
に切り替えるための操作(例えばボタン操作)が必要と
なり、現実にはモード切り替えができないという問題が
あった。
【0003】また従来の音声認識装置では、ハンズフリ
ーモード自体は話者にとって事前の特定操作が不要なた
め便利であるものの、話者の発声した音声の区間の検出
が困難であるため、プッシュトークモードに比べて認識
率が悪いという問題があった。特に、ノイズが大きいと
いった、周囲の状況(環境)が悪い状態でハンズフリー
モードを使用した場合には、この問題は一層顕著とな
る。
【0004】
【発明が解決しようとする課題】上記したように、プッ
シュトークモードとハンズフリーモードの両認識モード
を備えた従来の音声認識装置では、話者の手が空いてい
るためにボタン押下等の操作が行える状況にあったり、
逆に手が塞がっていてボタン押下等の操作が行えない状
況にあるといった、話者の状況や、ノイズが少ない静か
な環境、或いはノイズが大きいうるさい環境といった、
周囲の状況を考慮した設定は何もなされていなかった。
このため従来の音声認識装置では、話者の状況や周囲の
状況に適さないモードでの使用、或いは認識率を犠牲に
した使用等を防止することは困難であった。
【0005】本発明は上記事情を考慮してなされたもの
でその目的は、話者の状況または周囲の状況を自動的に
反映した音声認識処理が可能な音声認識装置及び方法を
提供することにある。
【0006】
【課題を解決するための手段】本発明は、事前に特定の
操作をした後に発声した音声を認識するプッシュトーク
モードと、事前の特定の操作なしに発声した音声を認識
するハンズフリーモードとが切り替え設定可能な音声認
識装置において、プッシュトークモードとハンズフリー
モードとで、少なくとも一部の認識語彙を異にして音声
認識処理を行う音声認識手段を備えたことを特徴とす
る。ここで、少なくとも一部の認識語彙を異にして音声
認識処理を行うのに、プッシュトークモードでの音声認
識に用いられるプッシュトーク用辞書と、ハンズフリー
モードでの音声認識に用いられ、プッシュトーク用辞書
とは少なくとも一部の認識語彙を異にするハンズフリー
用辞書とを設け、プッシュトークモードではプッシュト
ーク用辞書を用いて音声認識処理を行い、ハンズフリー
モードではハンズフリー用辞書を用いて音声認識処理を
行うとよい。
【0007】このような構成においては、設定されてい
る認識モード(プッシュトークモード/ハンズフリーモ
ード)に応じて、(少なくとも一部が)異なる認識語彙
を対象とする認識処理が行われるため、認識モードに固
有の認識語彙に制限した認識処理が可能となり、認識率
が向上する。特に、ハンズフリーモードではプッシュト
ークモードに比べて音声区間を誤検出する可能性が高い
ため、プッシュトークモードの場合より認識語彙を少な
く設定することで、認識率の低下を防止することが可能
となる。
【0008】また本発明は、音声認識装置の利用者の状
況、または音声認識装置が使用される環境を検出する検
出手段と、この検出手段の検出結果に応じてプッシュト
ークモードまたはハンズフリーモードを自動設定する認
識モード切り替え手段とを備えたことをも特徴とする。
【0009】このような構成においては、音声認識装置
の利用者(話者)の状況、または音声認識装置が使用さ
れる環境に合わせて認識モードが自動的に切り替え設定
できる。このため、利用者が事前に特定の操作をしにく
い状況では、音声区間の検出精度は犠牲となるものの、
事前に特定の操作を必要としないハンズフリーモードを
自動設定することで利用者の負担を減らし、利用者が事
前に特定の操作をしやすい状況では、音声区間が高精度
に検出できるプッシュトークモードを自動設定すること
で、認識率の向上を図るといったことが可能となる。
【0010】ここで利用者の状況としては、利用者が現
在どのような場所(例えば、事前に特定の操作がしやす
い居間、手が塞がりがちなため事前に特定の操作をしに
くい台所など)にいるかや、利用者が現在どのような姿
勢(事前に特定の操作がしやすい「立っている」姿勢、
事前に特定の操作をしにくい「横になっている」姿勢な
ど)をとっているかがある。そこで、上記検出手段とし
て、音声認識装置の利用者の位置を検出する位置検出手
段(位置センサ、或いは姿勢測定センサ等の位置検出手
段)を用いるならば、利用者の状況を検出することが可
能となる。
【0011】一方、音声認識装置が使用される環境とし
ては、音声認識装置が現在存在する位置(音声認識装置
が搭載されたカーナビゲーションシステムであれば、走
行中の車両の位置、或いは目的地に近いか否かといった
相対位置)がある。そこで、音声認識装置が使用される
環境の検出手段として、GPS(Global PositioningSy
stem)を用いるならば、音声認識装置が現在存在する位
置を検出できる。ここで、音声認識装置が搭載されたカ
ーナビゲーションシステムの例では、目的地に近付いて
から目的地に到着するまでの期間が、ユーザにとって位
置の確認等のコマンドを多く発声する可能性が高い。そ
こで、音声認識装置が事前に設定された位置に近付いて
から目的地に到着するまではハンズフリーモードに自動
設定し、それ以外はプッシュトークモードに自動設定す
るならば、ユーザの負担が少ないカーナビゲーションシ
ステムを実現できる。ここでは、目的地に近付いてから
目的地に到着するまでの期間に発声されるコマンドの数
は比較的少ないため、ハンズフリーモードでの認識語彙
を少なく設定することも可能である。このようにする
と、ハンズフリーモードのために音声区間が誤検出しや
すいとしても、認識率の低下を防止することが可能とな
る。
【0012】この他に、音声認識装置が使用される環境
としては、周囲のノイズがある。そこで、音声認識装置
が使用される環境の検出手段として、音声認識装置の周
囲のノイズを計測するノイズ測定手段を用いることが可
能である。
【0013】ここで、ノイズ測定手段による周囲ノイズ
計測結果に応じて認識モードを自動設定するのに、周囲
ノイズの大小により自動設定する手法、或いは周囲ノイ
ズの性質、例えば周囲ノイズが定常的であるか非定常的
であるかにより自動設定する手法が適用可能である。
【0014】周囲ノイズの大小により認識モードを設定
する手法では、ノイズが大きい場合には、ハンズフリー
モードでは音声区間を検出するのが難しいため、プッシ
ュトークモードに自動設定し、周囲ノイズが小さいか存
在しない場合には、ハンズフリーモードでも音声区間の
検出が可能なため、利用者の負担の少ないハンズフリー
モードに自動設定するとよい。また、周囲ノイズの性質
により認識モードを設定する手法では、周囲ノイズが定
常的な場合には、ノイズ除去が可能なため、ノイズ除去
手段を設けることにより、利用者の負担の少ないハンズ
フリーモードに自動設定し、非定常的な場合には、ノイ
ズ除去が難しいため、音声区間の検出が容易なプッシュ
トークモードに自動設定するとよい。
【0015】また、上記認識モードの切り替え時に、モ
ードの切り替えを利用者に提示するモード提示手段を備
えた構成を適用するならば、利用者の思い込みによる誤
使用を防止することが可能となる。ここで、モードの切
り替えの提示手法としては、音声によって認識モードが
切り替わったこと(更には切り替え後の認識モード)を
利用者に提示する手法、文字列の表示により認識モード
が切り替わったこと(更には切り替え後の認識モード)
を利用者に提示する手法、光る(点灯する)色の違いに
よって認識モードが切り替わったこと(更には切り替え
後の認識モード)を利用者に提示する手法、そして光る
(点灯する)箇所の違いによって認識モードが切り替わ
ったこと(更には切り替え後の認識モード)を利用者に
提示する手法などが適用可能である。
【0016】
【発明の実施の形態】以下、本発明の実施の形態につき
図面を参照して説明する。
【0017】[第1の実施形態]図1は本発明の第1の
実施形態に係る音声認識装置の全体構成を示すブロック
図である。
【0018】図1の音声認識装置は事前に特定の操作を
した後に発声した音声(言葉)を認識するプッシュトー
クモードと、事前の特定の操作無しに発声した音声(言
葉)を認識するハンズフリーモードとの両認識モードを
有しており、マイクロホン111を含む音声入力部11
と、(プッシュトークモードにおける)音声の入力開始
など、音声認識に関する処理の開始を、話者が当該装置
に指示するための例えばスイッチ(ボタンスイッチ)1
2と、音声認識(での照合)処理に用いられる認識辞書
13と、音声認識部14とから構成される。
【0019】認識辞書13は、プッシュトークモード時
の音声認識処理に用いられるプッシュトーク用辞書13
1と、ハンズフリーモード時の音声認識処理に用いられ
るハンズフリー用辞書132とから構成される。プッシ
ュトーク用辞書13、ハンズフリー用辞書14には、そ
れぞれプッシュトークモード、ハンズフリーモードに固
有の認識語彙毎の音声モデルが登録されている。ここで
は、ハンズフリー用辞書14に登録される認識語彙の数
は、プッシュトーク用辞書13に登録される認識語彙の
数より少なく設定されている。
【0020】音声認識部14は、音声入力部11により
入力された音声データを音響分析して特徴パラメータ系
列を求め、その特徴パラメータ系列を、その際の認識モ
ード(プッシュトークモードまたはハンズフリーモー
ド)で決まる辞書131または132に登録されている
各認識語彙毎の音声モデルと照合することで認識結果を
取得する。この音声認識部14には、図1の音声認識装
置の周囲の状況(装置環境)を予め定められた項目につ
いて表す情報(ステータス)に基づいてプッシュトーク
モードまたはハンズフリーモードを自動的に切り替え設
定する認識モード切り替え部141が付加されている。
【0021】次に、図1の構成の音声認識装置の動作
を、当該音声認識装置が車両に搭載されたカーナビゲー
ションシステム(音声認識装置付きカーナビゲーション
システム)に適用された場合を例に説明する。
【0022】まず、認識モード切り替え部141には、
音声認識装置の周囲の状況(環境)を表す情報として、
当該音声認識装置を持つカーナビゲーションシステムが
搭載されている車両の状態、例えば走行中か停止中かを
表す情報が与えられる。
【0023】認識モード切り替え部141は、車両の走
行中は(話者となる運転者がスイッチ操作を行わなくて
済むように)スイッチ12の操作が不要なハンズフリー
モードに設定し、車両の停止中は(スイッチ操作を行う
ことに何ら問題はないことから)スイッチ12の操作を
必要とするものの、音声区間が高精度に検出できるプッ
シュトークモードに設定する。
【0024】音声認識部14は、認識モード切り替え部
141によりプッシュトークモードが設定されている場
合、プッシュトーク用辞書131を読み込んで、認識す
る語彙を設定する。そして音声認識部14は、スイッチ
12が押された直後に、マイクロホン111を介して音
声入力部11から入力された音声信号、即ちマイクロホ
ン111から入力されて音声入力部11内の図示せぬA
/D変換器によりアナログ/デジタル変換された音声デ
ータを音響分析して特徴パラメータ系列を求め、その特
徴パラメータ系列を音声区間の特徴パラメータ系列であ
るとして、先に読み込んだプッシュトーク用辞書131
に登録されている各認識語彙毎の音声モデルと照合する
ことで認識結果を取得する。
【0025】一方、認識モード切り替え部141により
ハンズフリーモードが設定されている場合、音声認識部
14はハンズフリー用辞書132を読み込んで、認識す
る語彙を設定する。次に音声認識部14は、スイッチ1
2の操作とは無関係に、マイクロホン111を介して音
声入力部11から入力された音声信号を音響分析して特
徴パラメータ系列を求め、その特徴パラメータ系列から
算出されるパワーの分布から音声区間を検出する。そし
て音声認識部14は、検出した音声区間の特徴パラメー
タ系列を、先に読み込んだハンズフリー用辞書132に
登録されている各認識語彙毎の音声モデルと照合するこ
とで認識結果を取得する。
【0026】このように本実施形態においては、音声認
識装置が置かれている周囲の環境(音声認識装置付きカ
ーナビゲーションシステムの例では、車両が停止中であ
るか、或いは走行中であるか)に応じて、ユーザ(話
者)にとって負担の少ないハンズフリーモードで認識し
たり、確実に音声区間を検出できる(つまり精度よく照
合処理が行える)プッシュトークモードで認識したりす
ることができる。
【0027】しかも本実施形態においては、プッシュト
ークモードとハンズフリーモードとで、認識(照合)処
理に用いる辞書が異なるため、それぞれ音声認識装置が
置かれている周囲の環境に適合した認識語彙を対象とす
る認識処理が行える。この効果について、上記の音声認
識装置付きカーナビゲーションシステムを例に具体的に
説明する。
【0028】まず、音声認識装置付きカーナビゲーショ
ンシステムにおいては、話者(ユーザ)は車両の走行中
はコマンドを発声し、停止中は目的地などを発声する場
合が多く、走行中と停止中とで、発声する内容、つまり
認識すべき語彙が、(少なくとも)一部異なるのが一般
的である。したがって、走行中に対応して自動設定され
るハンズフリーモードと、停止中に対応して自動設定さ
れるプッシュトークモードの各認識モードにおいて、本
実施形態のようにプッシュトーク用辞書131とハンズ
フリー用辞書132とを使い分けて、それぞれ固有の認
識語彙を設定するならば、不要な認識語彙(の音声モデ
ル)を対象とする照合処理を行わずに済み、認識率の向
上と認識時間の短縮を図ることができる。
【0029】特に、走行中(ハンズフリーモード)の発
声は、位置の確認等のコマンドの入力など、停止中(プ
ッシュトークモード)の場合に比べて限られているた
め、ハンズフリー用辞書132に登録される認識語彙の
数を少なく設定できる。このように、ハンズフリーモー
ドにおいて認識語彙数を少なく設定した場合、プッシュ
トークモードに比べて音声区間を誤検出する可能性が高
いにも拘わらず、少ない認識語彙の範囲内で認識処理が
行われることにより、認識率が低下するのを防止でき
る。一方、プッシュトークモードでは、音声区間を確実
に検出して高精度に照合処理が行えるため、認識語彙数
が多くても、高い認識率を確保することができる。
【0030】以上は、認識モードが音声認識装置の周囲
の状況に応じて自動設定される場合について説明した
が、ユーザ操作により設定されるものであっても構わな
い。要は、プッシュトーク用辞書131とハンズフリー
用辞書132の両方の辞書を用意し、ハンズフリー用辞
書132に含まれる認識語彙の数が、プッシュトーク用
辞書131に含まれる認識語彙の数より少なくなるよう
に、辞書設定がなされていればよい。
【0031】[第2の実施形態]図2は本発明の第2の
実施形態に係る音声認識装置の全体構成を示すブロック
図であり、図1と同一部分には同一符号を付してある。
【0032】図2の音声認識装置は、音声入力部11
と、スイッチ(ボタンスイッチ)12と、認識辞書23
と、音声認識部24と、音声認識装置自体の位置、また
はユーザ(話者)の位置を検出する位置検出装置25と
から構成される。
【0033】音声認識部24は、位置検出装置25の位
置検出結果に応じて認識モード、つまりプッシュトーク
モードまたはハンズフリーモードを自動設定する認識モ
ード切り替え部241を有する。
【0034】次に、図2の構成の音声認識装置の動作を
説明する。まず、位置検出装置25は、音声認識装置の
位置、または当該音声認識装置のユーザ(話者)の位置
を検出し、その位置情報を音声認識部24内の認識モー
ド切り替え部241に通知する。
【0035】認識モード切り替え部241は、事前に例
えばユーザにより設定された、位置(音声認識装置位置
またはユーザ位置)と認識モード(プッシュトークモー
ド/ハンズフリーモード)との対応表を有している。認
識モード切り替え部241は、位置検出装置25から通
知された位置情報により上記対応表を参照することで、
その位置情報に対応した認識モードを決定し、その決定
した認識モードを自動設定する。
【0036】音声認識部24は、認識モード切り替え部
241によりプッシュトークモードが設定されている場
合、スイッチ12が押された直後にマイクロホン111
を介して音声入力部11から入力された音声データにつ
いて、認識辞書23を用いて認識処理を行う。一方、認
識モード切り替え部241によりハンズフリーモードが
設定されている場合、スイッチ12の操作に無関係に、
マイクロホン111を介して音声入力部11から入力さ
れた音声データについて、認識辞書23を用いて認識処
理を行う。
【0037】このように本実施形態においては、位置検
出装置25により検出される位置に応じて認識モードが
自動設定される。これにより、位置によって発声スタイ
ルが限定される場合には、最適な認識モードの自動設定
が実現できる。
【0038】なお、上記認識辞書23には、前記第1の
実施形態と異なって、必ずしもプッシュトーク用辞書1
31とハンズフリー用辞書132の2種を用意する必要
はなく、プッシュトークモードとハンズフリーモードと
で同一の辞書を共用するものであっても構わない。但
し、認識辞書23を、前記第1の実施形態と同様に、プ
ッシュトーク用辞書と当該辞書より認識語彙数が少ない
ハンズフリー用辞書とで構成し、認識モードに応じて使
い分けるならば、ハンズフリーモードでの認識率の低下
を防止することができる。
【0039】次に、位置検出装置25の具体例について
図3を参照して説明する。まず、図3(a)はGPS2
51を用いた位置検出装置25の実現例を示す。
【0040】図3(a)の位置検出装置25を、図2の
音声認識装置に適用した場合、この音声認識装置の位置
が位置検出装置25(を構成するGPS251)により
検出される。ここでは、認識モード切り替え部241
は、位置検出装置25(GPS251)の位置検出結果
により、音声認識装置が事前設定された位置に(ある誤
差の範囲内で)近付いたと判断すると、予め設定されて
いる認識モードに切り替える。このモード切り替えの効
果について、前記第1の実施形態と同様に、音声認識装
置付きカーナビゲーションシステムを例に説明する。
【0041】まず、音声認識装置付きカーナビゲーショ
ンシステムにおいては、同じ走行中でも、目的地に近付
いてから目的地に到着するまでの期間が、ユーザにとっ
て位置の確認等のコマンドを多く発声する可能性が高
い。このような状況では、発声されるコマンドは比較的
小語彙である。そこで、音声認識装置が事前設定された
位置に近付いてから目的地に到着するまではハンズフリ
ーモードに自動設定し、それ以外はプッシュトークモー
ドに自動設定するならば、ユーザの負担が少ないカーナ
ビゲーションシステムを実現できる。
【0042】次に、図3(b)にユーザ位置を検出する
ための複数の位置センサ252を用いた位置検出装置2
5の実現例を示す。
【0043】図3(b)の位置検出装置25を、図2の
音声認識装置に適用した場合、各位置センサ252が配
置(設置)されている位置(場所)のいずれにユーザが
存在するかが、位置検出装置25(を構成する複数の位
置センサ252のうちの対応する位置センサ252)に
より検出される。ここでは、認識モード切り替え部24
1は、位置検出装置25(位置センサ252)の位置検
出結果により、事前設定されたユーザ位置と認識モード
(プッシュトークモード/ハンズフリーモード)との対
応表を参照することで、ユーザ位置に対応した認識モー
ドを自動設定する。この認識モードの自動設定の効果に
ついて、上記位置センサ252が家の各部屋に設置さ
れ、当該位置センサ252によりユーザのいる部屋が検
出されるシステムを例に説明する。
【0044】なお、図3(b)の位置検出装置25を図
2の音声認識装置に適用する場合、図2中のマイクロホ
ン111内蔵の音声入力部11及びスイッチ12は位置
センサ252と組をなして各部屋に設置される。但し、
後述するように、ハンズフリーモードが設定される部屋
には、スイッチ12を必ずしも設ける必要がない。ここ
では、音声入力部11、スイッチ12及び位置センサ2
52は、いずれもlEEE1394に準拠したバス型の
ネットワーク(lEEE1394バスネットワーク)な
どの信号線により音声認識部24と結合されているもの
とする。この他に、無線信号により音声認識部24と結
合することも可能である。
【0045】今、位置センサ252が設置されている複
数の部屋のいずれかに、ユーザが入室したものとする。
この場合、ユーザが入室した部屋に設置されている位置
センサ252は、ユーザの存在を検出し、その検出結果
を音声認識部24の認識モード切り替え部241に有線
または無線により通知する。
【0046】認識モード切り替え部241は、複数の位
置センサ252のいずれかからユーザの存在を検出した
ことが通知されると、その位置センサ252(の設置箇
所)から決まる部屋、つまりユーザが存在する部屋(ユ
ーザ位置)に対応した認識モードを自動設定する。ここ
で、各部屋(ユーザ位置)と認識モード(プッシュトー
クモード/ハンズフリーモード)との対応表を、各部屋
の特徴を考慮して設定することで、ユーザが、例えば書
斎などのようなノイズの影響の少ない静かな部屋にいる
場合や、台所など手が塞がりやすい部屋(環境)にいる
場合には、スイッチ12を操作する必要のないハンズフ
リーモードに自動設定し、居間のようにノイズの多い部
屋にいる場合には、音声区間を確実に検出できるプッシ
ュトークモードに自動設定して、この設定した認識モー
ドで認識することにより、ユーザにとって使用環境に適
合した使いやすい音声認識装置が実現できる。ここで
は、各部屋にユーザが同時に存在し、それぞれのユーザ
が発声しても、各部屋毎に設けられた音声入力部11か
ら入力される音声に対し、各部屋毎に設定される認識モ
ードで並列に認識処理を行うことが可能である。なお、
音声入力部11のマイクロホン111以外の要素(ここ
ではA/D変換器など)は、音声認識部24側に持たせ
ても構わない。
【0047】[第3の実施形態]図4は本発明の第3の
実施形態に係る音声認識装置の全体構成を示すブロック
図であり、図2と同一部分には同一符号を付してある。
【0048】図4の音声認識装置は、音声入力部11
と、スイッチ(ボタンスイッチ)12と、認識辞書23
と、音声認識部44とから構成される。音声認識部44
は、音声認識装置の周囲のノイズ環境に応じて、認識モ
ード、つまりプッシュトークモードまたはハンズフリー
モードを自動設定する認識モード切り替え部441と、
音声入力部11から入力される音声データ(音響デー
タ)を音響分析して特徴パラメータ系列を求める音響分
析部442と、音響分析部442により求められた特徴
パラメータ系列を認識辞書23に登録されている各認識
語彙毎の音声モデルと照合することで認識結果を取得す
る照合部443とから構成される。
【0049】音響分析部442は、音声入力部11によ
り入力される音響データ(音声データ)の特徴パラメー
タ系列からパワー(例えば平均パワー)を一定時間毎に
算出するパワー計算部442aを有する。
【0050】認識モード切り替え部441は、パワー計
算部442aにより算出された一定時間毎の入力音響デ
ータのパワーの変化と値とから周囲ノイズを、ノイズの
有無と大きさについて検出し、その検出結果から一定レ
ベル以上のノイズの有無を判定するノイズ判定部441
aを有する。認識モード切り替え部441は、このノイ
ズ判定部414aの判定結果に応じて認識モードを自動
設定する。
【0051】次に、図4の構成の音声認識装置の動作を
説明する。まず、音声認識装置の周囲のノイズはマイク
ロホン111により音声入力部11内に入力され、デジ
タルの音響データに変換されて音響分析部442に送ら
れる。音響分析部442は入力音響データを音響分析し
て特徴パラメータ系列を求める。音響分析部442内の
パワー計算部442aは、この特徴パラメータ系列から
入力音響データの例えば平均パワーを一定時間毎に算出
し、その算出結果を認識モード切り替え部441内のノ
イズ判定部441aに渡す。ノイズ判定部414aは、
入力音響データのパワーの時間変化から、そのパワーが
基準レベル以上変化しているか否かにより音声のパワー
の変化と区別して、一定レベル以上の周囲ノイズの有無
を判定する。
【0052】認識モード切り替え部441は、ノイズ判
定部441aにより一定レベル以上のノイズの存在が検
出された場合には、ハンズフリーモードでは音声区間を
検出するのが極めて難しいことから、プッシュトークモ
ードに自動設定する。これに対し、ノイズ判定部441
aにより(一定レベル以上の)ノイズが存在しないこと
が検出された場合には、認識モード切り替え部441
は、ハンズフリーモードでも音声区間の検出が可能であ
ることから、ユーザの負担の少ないハンズフリーモード
に自動設定する。これにより、ユーザにとって使いやす
い、使用環境に適合した使いやすい音声認識装置が実現
できる。
【0053】なお、以上の実施形態では、認識モード切
り替え部441内のノイズ判定部441aによりノイズ
の大きさが判定される場合について説明したが、これに
限るものではない。
【0054】例えば、図5の変形例に示すように、認識
モード切り替え部441に代えて、ノイズの大きさでは
なくて、ノイズの性質(ここでは、ノイズ除去が可能な
定常的なノイズであるか否か)を判定(検出)するノイ
ズ性質判定部541aを持つ認識モード切り替え部54
1を用い、この認識モード切り替え部541を内蔵した
音声認識部54を音声認識部44に代えて用いるように
してもよい。ここでは、音声入力部11と音声認識部5
4内の音響分析部442との間に、ノイズ除去用のノイ
ズ除去部544を設け、ノイズ性質判定部541aによ
りノイズ除去が可能な性質のノイズ(ここでは定常的な
ノイズ)であると判定された場合に、その判定結果に応
じてノイズ除去部544によるノイズ除去動作が行われ
る構成を適用している。
【0055】次に、図5の構成の音声認識装置の動作を
説明する。まず、ノイズ性質判定部541aは、音響分
析部442内のパワー計算部442aから送られる入力
音響データの一定時間毎の平均パワーから、一定レベル
以上の周囲ノイズの有無と、ノイズがある場合には、そ
のノイズが定常的なノイズであるか、或いは非定常的な
ノイズであるかを判定する。
【0056】認識モード切り替え部541は、ノイズ性
質判定部541aにより、一定レベル以上の周囲ノイズ
が存在し、且つ当該ノイズが定常的なノイズであると判
定された場合には、ノイズを除去することが容易であ
り、したがってノイズが存在しないことを前提とするハ
ンズフリーモードで音声区間を検出することが可能であ
るとして、周囲ノイズが存在しない場合と同様に、ハン
ズフリーモードに自動設定する。これに対し、ノイズ性
質判定部541aにより、一定レベル以上の周囲ノイズ
が存在し、且つ当該ノイズが非定常的なノイズであると
判定された場合には、ノイズを除去することが難しいこ
とから、認識モード切り替え部541は、音声区間が確
実に検出できるプッシュトークモードを自動設定する。
【0057】ノイズ性質判定部541aは、一定レベル
以上の周囲ノイズが存在し、且つ当該ノイズが定常的な
ノイズであると判定した場合、その旨をノイズ除去部5
44に通知して、当該ノイズ除去部544によるノイズ
除去機能を働かせる。これによりノイズ除去部544
は、音声入力部11から送られる入力音声データ(音響
データ)からスペクトルサブトラクション等の周知の手
法によりノイズを除去し、音響分析部442に送る。
【0058】音響分析部442は、ハンズフリーモード
では、ノイズ除去部544により定常的ノイズが除去さ
れた音声データを、スイッチ12の操作とは無関係に音
響分析して特徴パラメータ系列を求める。音響分析部4
42は、この特徴パラメータ系列に基づいて、パワー計
算部442aにより入力音声のパワーを計算し、そのパ
ワーの分布から音声区間を検出する。そして音響分析部
442は、検出した音声区間の特徴パラメータ系列を照
合部443に送る。
【0059】一方、プッシュトークモードでは、音響分
析部442はスイッチ12が押されることで動作を開始
し、それ以降音声入力部11から(ノイズ除去部544
を介して)入力される音声データを音響分析して特徴パ
ラメータ系列を求める。そして音響分析部442は、こ
の特徴パラメータ系列を(音声区間の特徴パラメータ系
列として)照合部443に送る。なお、プッシュトーク
モードにおいても、音響分析部442にて定常的に音響
分析動作を行って特徴パラメータ系列を求め、その中か
ら、スイッチ12が押された時点以降の特徴パラメータ
系列を選択して照合部443に送るようにしても構わな
い。
【0060】照合部443は、音響分析部442から送
られた音声区間の特徴パラメータ系列を認識辞書23に
登録されている各認識語彙毎の音声モデルと照合するこ
とで認識結果を取得する。
【0061】このように、図5の構成の音声認識装置に
おいては、ノイズ除去部544を設け、定常的なノイズ
のときは、当該ノイズ除去部544によるノイズ除去が
可能であることを考慮して、ノイズのない場合と同様に
ハンズフリーモードに自動設定することにより、ユーザ
の負担を減らすことができ、ユーザにとって使いやすい
音声認識装置が実現できる。
【0062】[第4の実施形態]図6は本発明の第4の
実施形態に係る音声認識装置の全体構成を示すブロック
図であり、図2と同一部分には同一符号を付してある。
【0063】図6の音声認識装置は、複数の音声入力部
11と、複数のスイッチ(ボタンスイッチ)12と、認
識辞書23と、音声認識部64と、複数の姿勢測定セン
サ65とから構成される。ここで、音声入力部11、ス
イッチ12及び姿勢測定センサ65は、それぞれ組をな
して、例えば各部屋に設置されており、それぞれlEE
E1394バスネットワークなどの信号線により音声認
識部64と結合されているものとする。
【0064】各姿勢測定センサ65は、(ユーザの対応
する部屋における存在と)ユーザの「横になっている」
「立っている」「座っている」といった姿勢を検出す
る。
【0065】音声認識部64は、各姿勢測定センサ65
のユーザ姿勢検出結果に応じて、部屋毎にユーザ姿勢に
適合した認識モード、つまりプッシュトークモードまた
はハンズフリーモードを自動設定する。
【0066】次に、図6の構成の音声認識装置の動作を
説明する。まず、各姿勢測定センサ65は、ユーザが存
在する場合、そのユーザの「横になっている」「立って
いる」「座っている」といった姿勢を検出する。この姿
勢測定センサ65の姿勢検出結果は、上記信号線を介し
て音声認識部64に通知される。なお、無線信号により
音声認識部64に通知することも可能である。
【0067】認識モード切り替え部641は、事前に例
えばユーザにより設定された、各ユーザ姿勢と認識モー
ド(プッシュトークモード/ハンズフリーモード)との
対応表を有している。認識モード切り替え部641は、
姿勢測定センサ65により検出されたユーザ姿勢により
上記対応表を参照することで、そのユーザ姿勢に対応し
た認識モードを決定し、その決定した認識モードを当該
姿勢測定センサ65が設置されている部屋に対応して自
動設定する。ここでは、ユーザがスイッチ12を操作し
にくい姿勢をとっている場合、例えば「横になってい
る」場合には、スイッチ12の操作が不要なハンズフリ
ーモードに自動設定する。これに対しユーザがスイッチ
12を操作しやすい姿勢をとっている場合、例えば「立
っている」或いは「座っている」場合には、スイッチ1
2の操作が必要であるものの音声区間が確実に検出でき
るプッシュトークモードに自動設定する。これにより、
各部屋のユーザにとって使いやすい音声認識装置が実現
できる。
【0068】[第5の実施形態]図7は本発明の第5の
実施形態に係る音声認識装置の全体構成を示すブロック
図であり、図2と同一部分には同一符号を付してある。
【0069】図7の音声認識装置は、音声入力部11
と、スイッチ(ボタンスイッチ)12と、認識辞書23
と、音声認識部74と、モード提示部75とから構成さ
れる。音声認識部74は、前記第1乃至第4の実施形態
のいずれかで適用された手法で認識モードを切り替え設
定する認識モード切り替え部741を有している。この
認識モード切り替え部741は、認識モードが切り替わ
った際に、その旨をモード提示部75によりユーザに提
示する。また認識モード切り替え部741は、現在の有
効な認識モードを認識モード切り替え部741によりユ
ーザに提示する。
【0070】次に、図7の構成の音声認識装置の動作を
説明する。認識モード切り替え部741は、現在設定さ
れている認識モードを認識モード切り替え部741によ
りユーザに提示している。このような状態で、前記第1
乃至第4の実施形態のいずれかで適用された手法によ
り、現在の認識モードとは異なるモード(プッシュトー
クモード→ハンズフリーモード、またはハンズフリーモ
ード→プッシュトークモード)に切り替え設定する条件
が成立した場合、認識モード切り替え部741は、認識
モードを該当するモードに切り替え設定する。同時に認
識モード切り替え部741は、認識モードが切り替わっ
たことをモード提示部75によりユーザに提示する。ま
た、認識モード切り替え部741は、切り替え設定後の
モードを現在の有効なモードとしてモード提示部75に
よりユーザに提示する。
【0071】このように、モード提示部75を用いたユ
ーザへの提示を行うことで、ユーザの音声認識装置に対
する認識モードの思い込みによる誤使用をなくすことが
できる。
【0072】ここで、モード提示部75としては、音声
による提示機能、或いは表示パネルへの文字列表示によ
る提示機能、或いは両者を併用した提示機能を持つもの
が適用可能である。この他、設定される認識モード(プ
ッシュトークモード/ハンズフリーモード)に応じて異
なる点灯手法を適用するモード提示部75であっても構
わない。ここで、点灯手法としては、モードによって点
灯箇所を変更する手法(つまり、モードで決まる固有の
箇所を光らせる手法)、モードによって点灯色を切り替
える手法(つまり、モードで決まる固有の色で光らせる
手法)、モードによって点滅のパターンを切り替える手
法などが適用可能である。
【0073】
【発明の効果】以上詳述したように本発明によれば、利
用者(話者)の状況または周囲の状況を自動的に反映し
た音声認識処理を行うことができるため、利用者の状況
や周囲の状況に適さないモードでの使用、或いは認識率
を犠牲にした使用等を防止し、利用者の負担を少なく
し、且つ認識率の低下を防止することが可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る音声認識装置の
全体構成を示すブロック図。
【図2】本発明の第2の実施形態に係る音声認識装置の
全体構成を示すブロック図。
【図3】図2中の位置検出装置25の構成例を示す図。
【図4】本発明の第3の実施形態に係る音声認識装置の
全体構成を示すブロック図。
【図5】図4の音声認識装置の変形例を示すブロック
図。
【図6】本発明の第4の実施形態に係る音声認識装置の
全体構成を示すブロック図。
【図7】本発明の第5の実施形態に係る音声認識装置の
全体構成を示すブロック図。
【符号の説明】
11…音声入力部 12…スイッチ(ボタンスイッチ) 13,23…認識辞書 14,24,44,54,64,74…音声認識部 25…位置検出装置(検出手段、位置検出手段) 65…姿勢測定センサ(検出手段、姿勢検出手段) 75…モード提示部 131…プッシュトーク用辞書 132…ハンズフリー用辞書 141,241,441,541,641,741…認
識モード切り替え部 251…GPS(検出手段、位置検出手段) 252…位置センサ(検出手段、位置検出手段) 441a…ノイズ判定部(ノイズ測定手段) 442…音響分析部 442a…パワー計算部 443…照合部 541a…ノイズ性質判定部(ノイズ測定手段)

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 事前に特定の操作をした後に発声した音
    声を認識するプッシュトークモードと、事前の特定の操
    作なしに発声した音声を認識するハンズフリーモードと
    が切り替え設定可能な音声認識装置において、 前記プッシュトークモードと前記ハンズフリーモードと
    で、少なくとも一部の認識語彙を異にして音声認識処理
    を行う音声認識手段を具備することを特徴とする音声認
    識装置。
  2. 【請求項2】 事前に特定の操作をした後に発声した音
    声を認識するプッシュトークモードと、事前の特定の操
    作なしに発声した音声を認識するハンズフリーモードと
    が切り替え設定可能な音声認識装置において、 前記音声認識装置の利用者の状況、または前記音声認識
    装置が使用される環境を検出する検出手段と、 前記検出手段の検出結果に応じて前記プッシュトークモ
    ードまたは前記ハンズフリーモードを自動設定する認識
    モード切り替え手段とを具備することを特徴とする音声
    認識装置。
  3. 【請求項3】 事前に特定の操作をした後に発声した音
    声を認識するプッシュトークモードと、事前の特定の操
    作なしに発声した音声を認識するハンズフリーモードと
    が切り替え設定可能な音声認識装置において、 前記音声認識装置自体または前記音声認識装置の利用者
    の位置を検出する位置検出手段と、 前記位置検出手段の位置検出結果に応じて前記プッシュ
    トークモードまたは前記ハンズフリーモードを自動設定
    する認識モード切り替え手段とを具備することを特徴と
    する音声認識装置。
  4. 【請求項4】 事前に特定の操作をした後に発声した音
    声を認識するプッシュトークモードと、事前の特定の操
    作なしに発声した音声を認識するハンズフリーモードと
    が切り替え設定可能な音声認識装置において、 前記音声認識装置自体または前記音声認識装置の利用者
    の位置を検出する位置検出手段と、 前記位置検出手段の位置検出結果に応じて前記プッシュ
    トークモードまたは前記ハンズフリーモードを自動設定
    する認識モード切り替え手段と、 前記プッシュトークモードでの音声認識に用いられるプ
    ッシュトーク用辞書と、 前記ハンズフリーモードでの音声認識に用いられ、前記
    プッシュトーク用辞書とは少なくとも一部の認識語彙を
    異にするハンズフリー用辞書と、 前記プッシュトークモードでは前記プッシュトーク用辞
    書を用いて音声認識処理を行い、前記ハンズフリーモー
    ドでは前記ハンズフリー用辞書を用いて音声認識処理を
    行う音声認識手段とを具備することを特徴とする音声認
    識装置。
  5. 【請求項5】 事前に特定の操作をした後に発声した音
    声を認識するプッシュトークモードと、事前の特定の操
    作なしに発声した音声を認識するハンズフリーモードと
    が切り替え設定可能な音声認識装置において、 前記音声認識装置の周囲のノイズを計測するノイズ測定
    手段と、 前記ノイズ測定手段により計測された周囲ノイズに応じ
    て前記プッシュトークモードまたは前記ハンズフリーモ
    ードを自動設定する認識モード切り替え手段とを具備す
    ることを特徴とする音声認識装置。
  6. 【請求項6】 事前に特定の操作をした後に発声した音
    声を認識するプッシュトークモードと、事前の特定の操
    作なしに発声した音声を認識するハンズフリーモードと
    が切り替え設定可能な音声認識装置において、 前記音声認識装置の利用者の姿勢を検出する姿勢検出手
    段と、 前記姿勢検出手段により検出された利用者の姿勢に応じ
    て前記プッシュトークモードまたは前記ハンズフリーモ
    ードを自動設定する認識モード切り替え手段とを具備す
    ることを特徴とする音声認識装置。
  7. 【請求項7】 前記モードの切り替え時に、モードの切
    り替えを利用者に提示するモード提示手段を更に具備す
    ることを特徴とする請求項1乃至請求項6のいずれか1
    つに記載の音声認識装置。
  8. 【請求項8】 事前に特定の操作をした後に発声した音
    声を認識するプッシュトークモードと、事前の特定の操
    作なしに発声した音声を認識するハンズフリーモードと
    を切り替え設定し、この設定したモードに基づいて音声
    認識処理を行う音声認識方法において、 前記プッシュトークモードと前記ハンズフリーモードと
    で、少なくとも一部の認識語彙を異にするようにしたこ
    とを特徴とする音声認識方法。
  9. 【請求項9】 事前に特定の操作をした後に発声した音
    声を認識するプッシュトークモードと、事前の特定の操
    作なしに発声した音声を認識するハンズフリーモードと
    を切り替え設定し、この設定したモードに基づいて音声
    認識処理を行う音声認識方法において、 前記音声認識装置の利用者の状況、または前記音声認識
    装置が使用される環境を検出し、 この検出結果に応じて前記プッシュトークモードまたは
    前記ハンズフリーモードを自動設定することを特徴とす
    る音声認識方法。
JP22142399A 1999-08-04 1999-08-04 音声認識装置 Expired - Fee Related JP3764302B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22142399A JP3764302B2 (ja) 1999-08-04 1999-08-04 音声認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22142399A JP3764302B2 (ja) 1999-08-04 1999-08-04 音声認識装置

Publications (3)

Publication Number Publication Date
JP2001042894A true JP2001042894A (ja) 2001-02-16
JP2001042894A5 JP2001042894A5 (ja) 2004-12-16
JP3764302B2 JP3764302B2 (ja) 2006-04-05

Family

ID=16766520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22142399A Expired - Fee Related JP3764302B2 (ja) 1999-08-04 1999-08-04 音声認識装置

Country Status (1)

Country Link
JP (1) JP3764302B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215418A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 音声入力装置及び音声入力方法
JP2006251298A (ja) * 2005-03-10 2006-09-21 Nissan Motor Co Ltd 音声入力装置および音声入力方法
WO2007072722A1 (ja) 2005-12-20 2007-06-28 Nec Corporation 携帯端末装置及びその制御方法とプログラム
JP2010078986A (ja) * 2008-09-26 2010-04-08 Hitachi Ltd 音声認識による機器制御装置
JP2013080015A (ja) * 2011-09-30 2013-05-02 Toshiba Corp 音声認識装置および音声認識方法
CN104756185A (zh) * 2012-11-05 2015-07-01 三菱电机株式会社 语音识别装置
JP2020503568A (ja) * 2016-12-27 2020-01-30 グーグル エルエルシー 文脈ホットワード

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215418A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 音声入力装置及び音声入力方法
JP2006251298A (ja) * 2005-03-10 2006-09-21 Nissan Motor Co Ltd 音声入力装置および音声入力方法
WO2007072722A1 (ja) 2005-12-20 2007-06-28 Nec Corporation 携帯端末装置及びその制御方法とプログラム
US8385963B2 (en) 2005-12-20 2013-02-26 Nec Corporation Portable terminal apparatus, its control method, and program
JP2010078986A (ja) * 2008-09-26 2010-04-08 Hitachi Ltd 音声認識による機器制御装置
JP2013080015A (ja) * 2011-09-30 2013-05-02 Toshiba Corp 音声認識装置および音声認識方法
CN104756185A (zh) * 2012-11-05 2015-07-01 三菱电机株式会社 语音识别装置
US9378737B2 (en) 2012-11-05 2016-06-28 Mitsubishi Electric Corporation Voice recognition device
DE112012007103B4 (de) * 2012-11-05 2017-02-02 Mitsubishi Electric Corporation Spracherkennungsvorrichtung
JP2020503568A (ja) * 2016-12-27 2020-01-30 グーグル エルエルシー 文脈ホットワード
US10839803B2 (en) 2016-12-27 2020-11-17 Google Llc Contextual hotwords

Also Published As

Publication number Publication date
JP3764302B2 (ja) 2006-04-05

Similar Documents

Publication Publication Date Title
US5255341A (en) Command input device for voice controllable elevator system
EP3414759B1 (en) Techniques for spatially selective wake-up word recognition and related systems and methods
US7822613B2 (en) Vehicle-mounted control apparatus and program that causes computer to execute method of providing guidance on the operation of the vehicle-mounted control apparatus
US9230538B2 (en) Voice recognition device and navigation device
JP4859982B2 (ja) 音声認識装置
JP5137853B2 (ja) 車載用音声認識装置
WO2015029304A1 (ja) 音声認識方法及び音声認識装置
KR20100119250A (ko) 모션 정보를 이용하는 음성 검출 장치 및 방법
US10685664B1 (en) Analyzing noise levels to determine usability of microphones
JPH0373775A (ja) エレベータの情報入力装置
CN104692198A (zh) 电梯语音呼梯登记装置
JP6827536B2 (ja) 音声認識装置および音声認識方法
JP6459330B2 (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
JP2001042894A (ja) 音声認識装置及び方法
CN113228167B (zh) 一种语音控制方法及装置
JPH03284589A (ja) エレベータの音声登録装置
JP3082618B2 (ja) エレベータの音声入力装置
JP2001042894A5 (ja)
JP2000311077A (ja) 音声情報入力装置
KR101086602B1 (ko) 차량용 음성인식 시스템 및 그 방법
JP3846500B2 (ja) 音声認識対話装置および音声認識対話処理方法
JPS58181099A (ja) 音声識別装置
JPH0331175A (ja) エレベータの情報入力装置
JP2013160877A (ja) エレベータの音声認識装置および音声認識方法
JP2018091911A (ja) 音声対話システム及び音声対話方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100127

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110127

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120127

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130127

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130127

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140127

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees