JP3435357B2 - 収音方法、その装置及びプログラム記録媒体 - Google Patents
収音方法、その装置及びプログラム記録媒体Info
- Publication number
- JP3435357B2 JP3435357B2 JP25228298A JP25228298A JP3435357B2 JP 3435357 B2 JP3435357 B2 JP 3435357B2 JP 25228298 A JP25228298 A JP 25228298A JP 25228298 A JP25228298 A JP 25228298A JP 3435357 B2 JP3435357 B2 JP 3435357B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- band
- signal
- sound
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は複数のマイクロホ
ンを用いて、複数の音源から少なくとも一つの音源を分
離する収音方法、その装置及びプログラム記録媒体に関
する。
ンを用いて、複数の音源から少なくとも一つの音源を分
離する収音方法、その装置及びプログラム記録媒体に関
する。
【０００２】
【従来の技術】従来、例えば通話のために音声を収音し
たり、音声認識や話者認識などの認識過程を動作させる
ためには、その入力信号に雑音が混じらず、クリーンな
状態で収音されている必要があった。しかし、我々が実
際に収音したり、認識過程を用いる場合、目的音声のみ
をクリアに収音することは一般に困難である。そのた
め、収音信号のＳ／Ｎを改善させる方法や、認識過程に
雑音耐性を持たせる技術が開発されてきた。特に、周波
数特性が未知な非定常雑音や、周波数特性が目的音声と
類似した雑音（例えば、雑音もまた音声である場合な
ど）については、各音源の周波数特性を、各音源の位置
の違いを利用して算出し、各音源の信号を分離抽出する
ことで信号のＳ／Ｎを改善させる方法が開発されている
（音源分離方法、装置および記録媒体：特願平０９−２
５２３１２，平成８年９月日本音響学会講演論文集４８
９〜４９０頁 １−７−１３「チャネル間の情報に着目
した２音源分離手法の検討」）。さらに、この従来の方
法では、信号の周波数成分それぞれを、一つの音源の周
波数成分しか含まない程度に細かく帯域分割すること
で、周波数の選択のみで複数音源を分離抽出することが
可能である。
たり、音声認識や話者認識などの認識過程を動作させる
ためには、その入力信号に雑音が混じらず、クリーンな
状態で収音されている必要があった。しかし、我々が実
際に収音したり、認識過程を用いる場合、目的音声のみ
をクリアに収音することは一般に困難である。そのた
め、収音信号のＳ／Ｎを改善させる方法や、認識過程に
雑音耐性を持たせる技術が開発されてきた。特に、周波
数特性が未知な非定常雑音や、周波数特性が目的音声と
類似した雑音（例えば、雑音もまた音声である場合な
ど）については、各音源の周波数特性を、各音源の位置
の違いを利用して算出し、各音源の信号を分離抽出する
ことで信号のＳ／Ｎを改善させる方法が開発されている
（音源分離方法、装置および記録媒体：特願平０９−２
５２３１２，平成８年９月日本音響学会講演論文集４８
９〜４９０頁 １−７−１３「チャネル間の情報に着目
した２音源分離手法の検討」）。さらに、この従来の方
法では、信号の周波数成分それぞれを、一つの音源の周
波数成分しか含まない程度に細かく帯域分割すること
で、周波数の選択のみで複数音源を分離抽出することが
可能である。
【０００３】
【発明が解決しようとする課題】しかし、従来の方法で
は、音源の空間的配置の違いを利用するため、例えば部
屋全体に充満するような方向性のない雑音の抑圧は困難
であった。そこで、この発明では、従来の方法に、方向
性のない雑音抑圧を行う機能を加えることにより、方向
性のある雑音も方向性のない雑音も抑圧し、さらにＳ／
Ｎ改善効果を高めることを可能にする。
は、音源の空間的配置の違いを利用するため、例えば部
屋全体に充満するような方向性のない雑音の抑圧は困難
であった。そこで、この発明では、従来の方法に、方向
性のない雑音抑圧を行う機能を加えることにより、方向
性のある雑音も方向性のない雑音も抑圧し、さらにＳ／
Ｎ改善効果を高めることを可能にする。
【０００４】
【課題を解決するための手段】この発明によれば、互い
に離して設けられた複数のマイクロホンを用い、複数の
マイクロホンの位置に起因して変化するマイクロホンに
到達する各音響信号のパラメータ値の差をもとに、各音
響信号の周波数成分を選択して、各音源を分離抽出す
る。加えて、目的音声と雑音との周波数特性の違いを検
出し、方向性のない雑音を周波数軸上で抑圧する。さら
に、目的音と雑音の波形上の周期性の違いに着目して、
時間軸上でも不要な信号を抑圧する。
に離して設けられた複数のマイクロホンを用い、複数の
マイクロホンの位置に起因して変化するマイクロホンに
到達する各音響信号のパラメータ値の差をもとに、各音
響信号の周波数成分を選択して、各音源を分離抽出す
る。加えて、目的音声と雑音との周波数特性の違いを検
出し、方向性のない雑音を周波数軸上で抑圧する。さら
に、目的音と雑音の波形上の周期性の違いに着目して、
時間軸上でも不要な信号を抑圧する。
【０００５】この発明の従来技術との差は、従来は各音
源の空間的配置の違いのみを利用したものや、目的音と
雑音の周波数特性の違いのみを利用したものしかなかっ
たのに対し、この発明では両方の処理を組み合わせるこ
とにより、さらに信号のＳ／Ｎ改善が図れているところ
にある。
源の空間的配置の違いのみを利用したものや、目的音と
雑音の周波数特性の違いのみを利用したものしかなかっ
たのに対し、この発明では両方の処理を組み合わせるこ
とにより、さらに信号のＳ／Ｎ改善が図れているところ
にある。
【０００６】
【発明の実施の形態】まず請求項１の発明の実施例につ
いて説明する。図１にこの実施例の機能構成の一例を示
す。マイクロホン１，２が間隔、例えば２０ｃｍ程度を
空けて配され、これらマイクロホン１，２はそれぞれ音
源Ａ，Ｂからの音響信号を収集して電気信号に変換す
る。マイクロホン１の出力をＬチャネル信号と、マイク
ロホン２の出力をＲチャネル信号と称する。Ｌチャネル
信号とＲチャネル信号は、帯域別チャネル間パラメータ
値差検出部３中のチャネル間時間差／レベル差検出部３
０１と、帯域分割部４へ供給される。帯域分割部４では
Ｌチャネル信号とＲチャネル信号はそれぞれ複数の周波
数帯域信号に分割されて帯域別チャネル間時間差／レベ
ル差検出部３０２と音源判定信号選別部５へ供給され
る。
いて説明する。図１にこの実施例の機能構成の一例を示
す。マイクロホン１，２が間隔、例えば２０ｃｍ程度を
空けて配され、これらマイクロホン１，２はそれぞれ音
源Ａ，Ｂからの音響信号を収集して電気信号に変換す
る。マイクロホン１の出力をＬチャネル信号と、マイク
ロホン２の出力をＲチャネル信号と称する。Ｌチャネル
信号とＲチャネル信号は、帯域別チャネル間パラメータ
値差検出部３中のチャネル間時間差／レベル差検出部３
０１と、帯域分割部４へ供給される。帯域分割部４では
Ｌチャネル信号とＲチャネル信号はそれぞれ複数の周波
数帯域信号に分割されて帯域別チャネル間時間差／レベ
ル差検出部３０２と音源判定信号選別部５へ供給され
る。
【０００７】検出部３０１，３０２の各検出出力に応じ
て音源判定信号選別部５において各帯域毎にいずれかの
チャネル信号がＡ成分またはＢ成分として選別される。
これら選択された帯域毎のＡ成分信号、Ｂ成分信号につ
いて、不要成分識別部６で、目的音と雑音の周波数特性
の違いを検出し、雑音成分が識別される。識別された雑
音成分は、不要成分減衰部７で減衰される。最後に、選
択された帯域毎のＡ成分信号、Ｂ成分信号はそれぞれ音
源信号合成部８でそれぞれ合成されて、音源信号Ａと音
源信号Ｂとに分離出力される。
て音源判定信号選別部５において各帯域毎にいずれかの
チャネル信号がＡ成分またはＢ成分として選別される。
これら選択された帯域毎のＡ成分信号、Ｂ成分信号につ
いて、不要成分識別部６で、目的音と雑音の周波数特性
の違いを検出し、雑音成分が識別される。識別された雑
音成分は、不要成分減衰部７で減衰される。最後に、選
択された帯域毎のＡ成分信号、Ｂ成分信号はそれぞれ音
源信号合成部８でそれぞれ合成されて、音源信号Ａと音
源信号Ｂとに分離出力される。
【０００８】帯域別チャネル間時間差を求めるパラメー
タとしては、例えば信号を周波数分解した際の位相差を
用いる。また、帯域別チャネル間レベル差を求めるパラ
メータとしては、例えば、各チャネルのパワースペクト
ルの差を用いる。チャネル間時間差を求めるパラメータ
としては、例えば、チャネル間の相互相関を用いる。帯
域分割部４の帯域分割の方法は、たとえば離散的フーリ
エ変換して周波数領域信号に変換した後、各周波数帯域
に分割することにより行い、Ｌチャネル信号とＲチャネ
ル信号Ｒはそれぞれ帯域信号Ｌ（ｆ１）〜Ｌ（ｆｎ）と
Ｒ（ｆ１）〜Ｒ（ｆｎ）に分割される。
タとしては、例えば信号を周波数分解した際の位相差を
用いる。また、帯域別チャネル間レベル差を求めるパラ
メータとしては、例えば、各チャネルのパワースペクト
ルの差を用いる。チャネル間時間差を求めるパラメータ
としては、例えば、チャネル間の相互相関を用いる。帯
域分割部４の帯域分割の方法は、たとえば離散的フーリ
エ変換して周波数領域信号に変換した後、各周波数帯域
に分割することにより行い、Ｌチャネル信号とＲチャネ
ル信号Ｒはそれぞれ帯域信号Ｌ（ｆ１）〜Ｌ（ｆｎ）と
Ｒ（ｆ１）〜Ｒ（ｆｎ）に分割される。
【０００９】音源判定信号選別部５は、帯域別チャネル
間パラメータ値差検出部３で検出された値を用いて、各
帯域信号Ｌ（ｆ１）〜Ｌ（ｆｎ）とＲ（ｆ１）〜Ｒ（ｆ
ｎ）との各対応するものについていずれを選択するかの
判定を音源信号判定部５０１で行う。たとえば、Ｌ側の
マイクロホン１の近くに音源Ａが、Ｒ側のマイクロホン
２の近くに音源Ｂがある場合、ｉ番目の帯域において帯
域別チャネル間時間差および帯域別チャネル間レベル差
が正の値（ただし、帯域別チャネル間レベル差、時間差
はそれぞれＬ側の値からＲ側の値を引いた場合である）
となった場合、Ｒ（ｆｉ）を減衰させることを音源信号
選択部５０２で行う。
間パラメータ値差検出部３で検出された値を用いて、各
帯域信号Ｌ（ｆ１）〜Ｌ（ｆｎ）とＲ（ｆ１）〜Ｒ（ｆ
ｎ）との各対応するものについていずれを選択するかの
判定を音源信号判定部５０１で行う。たとえば、Ｌ側の
マイクロホン１の近くに音源Ａが、Ｒ側のマイクロホン
２の近くに音源Ｂがある場合、ｉ番目の帯域において帯
域別チャネル間時間差および帯域別チャネル間レベル差
が正の値（ただし、帯域別チャネル間レベル差、時間差
はそれぞれＬ側の値からＲ側の値を引いた場合である）
となった場合、Ｒ（ｆｉ）を減衰させることを音源信号
選択部５０２で行う。
【００１０】不要成分識別部６では、帯域分割部で周波
数分解した信号に対し、目的音の周波数成分と不要音周
波数成分との識別を、それぞれの周波数特性の違いを利
用して行う。次に、不要成分減衰部７では、不要と識別
された周波数成分を減衰させる。音源信号合成部８で
は、出力された周波数成分を音響信号に再合成し、例え
ば逆フーリエ変換されて時間波形に戻される。以上の処
理により、複数の音が同時に発声される環境でも、各信
号を分離抽出することにより信号のＳ／Ｎを改善するこ
とができる。不要成分識別部６と不要成分減衰部７の詳
細な動作例は、以下に示す。
数分解した信号に対し、目的音の周波数成分と不要音周
波数成分との識別を、それぞれの周波数特性の違いを利
用して行う。次に、不要成分減衰部７では、不要と識別
された周波数成分を減衰させる。音源信号合成部８で
は、出力された周波数成分を音響信号に再合成し、例え
ば逆フーリエ変換されて時間波形に戻される。以上の処
理により、複数の音が同時に発声される環境でも、各信
号を分離抽出することにより信号のＳ／Ｎを改善するこ
とができる。不要成分識別部６と不要成分減衰部７の詳
細な動作例は、以下に示す。
【００１１】上記不要成分識別部６と不要成分減衰部７
の設置箇所としては、できるだけ後段に入れる方が処理
量が軽くて望ましい。（例えば、図１に示したように、
音源信号選択部５と音源合成部８との間に入れるな
ど。）なぜなら、全周波数成分ではなく、各音源の周波
数成分として選択された成分に対してのみ、不要音識別
処理および不要音減衰処理を加えた方が処理する周波数
成分の個数が少なくてすみ、軽い処理で実現可能なため
である。しかし、他の設置箇所でも同様の機能を実現可
能なことから、不要成分識別部６と不要成分減衰部７
は、帯域分割部４と帯域別チャネル間パラメータ値差検
出部３との間、または、上記帯域別チャネル間パラメー
タ値差検出部３と上記音源信号判定部５との間、また
は、音源信号判定部５０１と音源信号選択部５０２との
間、または、音源信号選択部５０２と音源合成部８との
間にというように、どこに、いくつ置いても良い。
の設置箇所としては、できるだけ後段に入れる方が処理
量が軽くて望ましい。（例えば、図１に示したように、
音源信号選択部５と音源合成部８との間に入れるな
ど。）なぜなら、全周波数成分ではなく、各音源の周波
数成分として選択された成分に対してのみ、不要音識別
処理および不要音減衰処理を加えた方が処理する周波数
成分の個数が少なくてすみ、軽い処理で実現可能なため
である。しかし、他の設置箇所でも同様の機能を実現可
能なことから、不要成分識別部６と不要成分減衰部７
は、帯域分割部４と帯域別チャネル間パラメータ値差検
出部３との間、または、上記帯域別チャネル間パラメー
タ値差検出部３と上記音源信号判定部５との間、また
は、音源信号判定部５０１と音源信号選択部５０２との
間、または、音源信号選択部５０２と音源合成部８との
間にというように、どこに、いくつ置いても良い。
【００１２】この実施例では、Ｌチャネル信号とＲチャ
ネル信号のチャネル間時間差／レベル差は、チャネル間
時間差／レベル差検出部３０１により、推定される構成
になっているが、Ｌチャネル信号とＲチャネル信号のチ
ャネル間時間差／レベル差は既知として、その値をデー
タとして音源判定信号選別部５に与えてもよい。次に、
不要成分識別部６、不要成分減衰部７について説明す
る。
ネル信号のチャネル間時間差／レベル差は、チャネル間
時間差／レベル差検出部３０１により、推定される構成
になっているが、Ｌチャネル信号とＲチャネル信号のチ
ャネル間時間差／レベル差は既知として、その値をデー
タとして音源判定信号選別部５に与えてもよい。次に、
不要成分識別部６、不要成分減衰部７について説明す
る。
【００１３】ここでは例として、不要成分識別部６およ
び不要成分減衰部７を帯域分割部４と帯域別チャネル間
パラメータ値差検出部３との間に置いた場合の方法を述
べる。まず、図２にその処理の流れを示し、これに従い
説明を行う。この実施例では、目的音と雑音の統計的性
質の違いを利用して雑音抑圧を行う。そこで、例とし
て、抑圧対象の信号を広帯域信号として説明する。ここ
では、ある値以上のパワーを持つ周波数成分のなかから
広帯域成分を判定する必要がある。まず、帯域分割部４
から周波数成分を受け取る（２−０１）。その受け取っ
た各周波数成分について、各帯域のパワー（Ｐｏｗ（ｋ
ｋ））に関してヒストグラムをとる（２−０２）。ヒス
トグラムは、パワーがある範囲以内に入る帯域数をカウ
ントする。信号に広帯域ノイズが含まれない場合の周波
数特性の例を図３に、そのヒストグラムの例を図４Ａ
に、そのパワー区間のパワーを図４Ｂに示す。さらに、
広帯域ノイズが含まれた信号の周波数特性の例を図５
に、そのヒストグラムの例を図６に示す。
び不要成分減衰部７を帯域分割部４と帯域別チャネル間
パラメータ値差検出部３との間に置いた場合の方法を述
べる。まず、図２にその処理の流れを示し、これに従い
説明を行う。この実施例では、目的音と雑音の統計的性
質の違いを利用して雑音抑圧を行う。そこで、例とし
て、抑圧対象の信号を広帯域信号として説明する。ここ
では、ある値以上のパワーを持つ周波数成分のなかから
広帯域成分を判定する必要がある。まず、帯域分割部４
から周波数成分を受け取る（２−０１）。その受け取っ
た各周波数成分について、各帯域のパワー（Ｐｏｗ（ｋ
ｋ））に関してヒストグラムをとる（２−０２）。ヒス
トグラムは、パワーがある範囲以内に入る帯域数をカウ
ントする。信号に広帯域ノイズが含まれない場合の周波
数特性の例を図３に、そのヒストグラムの例を図４Ａ
に、そのパワー区間のパワーを図４Ｂに示す。さらに、
広帯域ノイズが含まれた信号の周波数特性の例を図５
に、そのヒストグラムの例を図６に示す。
【００１４】広帯域ノイズが含まれない場合には、図３
に示したように調波構造以外の成分は小さいパワーしか
持たず、したがって、図４のヒストグラムでも、調波構
造が持つパワー以下の部分で、度数が突出する区間は、
パワーが非常に小さな区間（図４Ａでは、区間１）に限
られる。しかし、広帯域ノイズが含まれる場合は、図５
に示したように、信号の調波成分以外のところに比較的
大きなパワーを持つ帯域が多数存在する。よって、図６
のヒストグラムでも、例えば斜線部（区間３）のよう
に、調波構造が持つパワーより小さい区間のうち、比較
的大きなパワーを持つ区間の度数が突出する。
に示したように調波構造以外の成分は小さいパワーしか
持たず、したがって、図４のヒストグラムでも、調波構
造が持つパワー以下の部分で、度数が突出する区間は、
パワーが非常に小さな区間（図４Ａでは、区間１）に限
られる。しかし、広帯域ノイズが含まれる場合は、図５
に示したように、信号の調波成分以外のところに比較的
大きなパワーを持つ帯域が多数存在する。よって、図６
のヒストグラムでも、例えば斜線部（区間３）のよう
に、調波構造が持つパワーより小さい区間のうち、比較
的大きなパワーを持つ区間の度数が突出する。
【００１５】そこで、あらかじめ決めておいた範囲（パ
ワー区間）（図６では区間３）に入る帯域数が、所定値
（しきい値）ｘを越えた場合（２−０３）、不要成分が
含まれていると判定し（２−０４）、不要成分減衰過程
に入る（２−０５）。不要成分減衰過程（２−０５）で
は、ヒストグラムが突出した区間（図６の場合は区間
３）のパワーを持つ帯域を減衰させる。減衰させる方法
としては、例えば、あらかじめ決めておいた値α（０＜
＝α＜１）を、減衰させる帯域の周波数成分に掛ける。
ここで、αの値は、全帯域同じ値でも、帯域ごとに変え
ても良い。また、減衰させる帯域を、ヒストグラムが突
出した区間に含まれる帯域だけでなく、例えば、ヒスト
グラムが突出する区間と同程度か、それ以下のパワーを
持つ帯域全てにしても良い。以上の方法により、不要成
分識別部６で広帯域雑音の有無を判定し、不要成分減衰
部７で広帯域雑音成分を減衰させることができる。
ワー区間）（図６では区間３）に入る帯域数が、所定値
（しきい値）ｘを越えた場合（２−０３）、不要成分が
含まれていると判定し（２−０４）、不要成分減衰過程
に入る（２−０５）。不要成分減衰過程（２−０５）で
は、ヒストグラムが突出した区間（図６の場合は区間
３）のパワーを持つ帯域を減衰させる。減衰させる方法
としては、例えば、あらかじめ決めておいた値α（０＜
＝α＜１）を、減衰させる帯域の周波数成分に掛ける。
ここで、αの値は、全帯域同じ値でも、帯域ごとに変え
ても良い。また、減衰させる帯域を、ヒストグラムが突
出した区間に含まれる帯域だけでなく、例えば、ヒスト
グラムが突出する区間と同程度か、それ以下のパワーを
持つ帯域全てにしても良い。以上の方法により、不要成
分識別部６で広帯域雑音の有無を判定し、不要成分減衰
部７で広帯域雑音成分を減衰させることができる。
【００１６】ここで、注意として、不要成分識別部６と
不要成分減衰部７は、帯域分割部４と帯域別チャネル間
パラメータ値差検出部３との間、または、帯域別チャネ
ル間パラメータ値差検出部３と音源信号判定部５０１と
の間、または、音源信号判定部５０１と音源信号選択部
５０２との間、または、上記音源信号選択部５０２と音
源合成部８との間のうち、どこに、いくつ置いても良
い。例えば、音源信号選択部５０２と音源合成部８との
間に置く場合と、帯域分割部４と上記帯域別チャネル間
パラメータ値差検出部３との間におく場合とで比較す
る。前者の利点として、既に各音源の周波数成分として
選択されているもののみに対して識別するため識別する
帯域数が少なくなり、処理が軽くなる利点がある。
不要成分減衰部７は、帯域分割部４と帯域別チャネル間
パラメータ値差検出部３との間、または、帯域別チャネ
ル間パラメータ値差検出部３と音源信号判定部５０１と
の間、または、音源信号判定部５０１と音源信号選択部
５０２との間、または、上記音源信号選択部５０２と音
源合成部８との間のうち、どこに、いくつ置いても良
い。例えば、音源信号選択部５０２と音源合成部８との
間に置く場合と、帯域分割部４と上記帯域別チャネル間
パラメータ値差検出部３との間におく場合とで比較す
る。前者の利点として、既に各音源の周波数成分として
選択されているもののみに対して識別するため識別する
帯域数が少なくなり、処理が軽くなる利点がある。
【００１７】次に他の実施例について説明する。この実
施例では、目的音の調波構造を利用して目的音と雑音を
識別し、雑音抑圧を行う。よって、例として、雑音の対
象を周期性ノイズや準周期性ノイズ（たとえば、音声や
動物の鳴き声等）とする。この場合、音源信号判定部５
０１で判定された成分（これが、各音源の周波数成分を
主として含む）から、音源信号の調波構造を推定し、そ
の構造以外の周波数成分において大きなパワーを持つも
のは、ノイズと判定する。図７に処理手順を示す。以
下、この手順にしたがって説明する。
施例では、目的音の調波構造を利用して目的音と雑音を
識別し、雑音抑圧を行う。よって、例として、雑音の対
象を周期性ノイズや準周期性ノイズ（たとえば、音声や
動物の鳴き声等）とする。この場合、音源信号判定部５
０１で判定された成分（これが、各音源の周波数成分を
主として含む）から、音源信号の調波構造を推定し、そ
の構造以外の周波数成分において大きなパワーを持つも
のは、ノイズと判定する。図７に処理手順を示す。以
下、この手順にしたがって説明する。
【００１８】ここでは、不要成分識別部６と不要成分減
衰部７を音源信号選択部５０２と音源信号合成部８との
間に置いた場合で説明する。まず、音源信号選択部５０
２から選択された周波数成分を受け取る（７−０１）。
その受け取った周波数成分に対し、パワーの大きい帯域
（ＬＬ（ｆ））を大きい順に、あらかじめ決めた本数分
取り出す（７−０２）。次に、これらの帯域から基本周
波数を選択する。すなわち、人間の音声の基本周波数は
およそ１００Ｈｚから２５０Ｈｚ以内に存在するので、
ステップ７−０２で選んだ帯域のうち、例えば１００Ｈ
ｚから２５０Ｈｚに入るもののみ選抜する（７−０
３）。次に、ステップ７−０３で選んだ帯域（ＬＬｓ
（ｆ））から、基本周波数を推定するため、以下の処理
を行う。すなわち、選んだ帯域（ＬＬｓ（ｆ））それぞ
れについて、その高調波のパワーを加算する。加算した
パワーを、ＳｕｍＬＬｓ（ｆ）とする（７−０４）。こ
の加算した値ＳｕｍＬＬｓ（ｆ）が最も大きくなるＬＬ
ｓ（ｆ）を基本周波数と判定する（７−０５）。
衰部７を音源信号選択部５０２と音源信号合成部８との
間に置いた場合で説明する。まず、音源信号選択部５０
２から選択された周波数成分を受け取る（７−０１）。
その受け取った周波数成分に対し、パワーの大きい帯域
（ＬＬ（ｆ））を大きい順に、あらかじめ決めた本数分
取り出す（７−０２）。次に、これらの帯域から基本周
波数を選択する。すなわち、人間の音声の基本周波数は
およそ１００Ｈｚから２５０Ｈｚ以内に存在するので、
ステップ７−０２で選んだ帯域のうち、例えば１００Ｈ
ｚから２５０Ｈｚに入るもののみ選抜する（７−０
３）。次に、ステップ７−０３で選んだ帯域（ＬＬｓ
（ｆ））から、基本周波数を推定するため、以下の処理
を行う。すなわち、選んだ帯域（ＬＬｓ（ｆ））それぞ
れについて、その高調波のパワーを加算する。加算した
パワーを、ＳｕｍＬＬｓ（ｆ）とする（７−０４）。こ
の加算した値ＳｕｍＬＬｓ（ｆ）が最も大きくなるＬＬ
ｓ（ｆ）を基本周波数と判定する（７−０５）。
【００１９】次に、判定した基本周波数とその高調波以
外の成分で、大きなパワーを持つ帯域ｍｍが存在するか
否かを判定する（７−０６）。この判定は、例えば、基
本周波数とその高調波成分以外の帯域で、所定の値ｘを
越えるパワーを持つ帯域があればその帯域が不要成分で
あると判定し、なければ不要成分は存在しない、と判定
する。不要成分が存在すると判定されたら、不要成分減
衰部７において、不要と判定された帯域ｍｍのパワーを
減衰させる（７−０７）。この減衰の方法は、例えば、
ある値α（０＜＝α＜１）を帯域ｍｍのパワーに掛け
る。ここで、図２に示した実施例の場合と同様の注意と
して、不要成分識別部６と不要成分減衰部７は、帯域分
割部４と帯域別チャネル間パラメータ値差検出部３との
間、または、帯域別チャネル間パラメータ値差検出部３
と上記音源信号判定部５０１との間、または、音源信号
判定部５０１と音源信号選択部５０２との間、または、
音源信号選択部５０２と音源合成部８との間のうち、ど
こに、いくつ置いても良い。ただし、帯域分割部４と帯
域別チャネル間パラメータ値差検出部３との間、また
は、帯域別チャネル間パラメータ値差検出部３と音源信
号判定部５０１との間にのみ置いた場合は、各音源の成
分が判定される前であるため、各音源の調波構造推定精
度が劣化する可能性もある。
外の成分で、大きなパワーを持つ帯域ｍｍが存在するか
否かを判定する（７−０６）。この判定は、例えば、基
本周波数とその高調波成分以外の帯域で、所定の値ｘを
越えるパワーを持つ帯域があればその帯域が不要成分で
あると判定し、なければ不要成分は存在しない、と判定
する。不要成分が存在すると判定されたら、不要成分減
衰部７において、不要と判定された帯域ｍｍのパワーを
減衰させる（７−０７）。この減衰の方法は、例えば、
ある値α（０＜＝α＜１）を帯域ｍｍのパワーに掛け
る。ここで、図２に示した実施例の場合と同様の注意と
して、不要成分識別部６と不要成分減衰部７は、帯域分
割部４と帯域別チャネル間パラメータ値差検出部３との
間、または、帯域別チャネル間パラメータ値差検出部３
と上記音源信号判定部５０１との間、または、音源信号
判定部５０１と音源信号選択部５０２との間、または、
音源信号選択部５０２と音源合成部８との間のうち、ど
こに、いくつ置いても良い。ただし、帯域分割部４と帯
域別チャネル間パラメータ値差検出部３との間、また
は、帯域別チャネル間パラメータ値差検出部３と音源信
号判定部５０１との間にのみ置いた場合は、各音源の成
分が判定される前であるため、各音源の調波構造推定精
度が劣化する可能性もある。
【００２０】最後に、もう一つの実施例について説明す
る。ここでは、時間波形の領域で不要音を識別し、識別
した信号を抑圧する。図８にその処理手順を示す。ここ
では、不要音識別部と不要音減衰部を、複数のマイクロ
ホン１，２と帯域分割部４との間に置いた場合で説明す
る。まず、信号を一定区間長読み込む（８−０１）。図
８では、例として、フーリエ変換する際のフレーム長分
読み込む場合で説明する。次に、読み込んだ信号が音声
区間か否かを判定する。その判定の仕方は、例えば信号
の自己相関関数を算出し、そのピーク値を求める（８−
０２）。ピークが存在するか否かの判定は、例えば、自
己相関関数の最大値と２番目に大きな値との差が、あら
かじめ定めたしきい値を越えた場合はピークが存在し、
越えない場合はピークが存在しない、という方法で行う
（８−０３）。ピークが存在する場合、その信号区間は
音声区間と判定し、次の帯域分割部４へと送られる（８
−０４）。ピークが検出されない場合はその信号区間は
不要音区間と判定され、不要音減衰部に送られ、信号の
振幅があらかじめ定めた大きさだけ減衰される（８−０
５）。減衰された後、次の処理である帯域分割部４へと
送られる。また、不要音識別部と不要音減衰部は、音源
合成部８の後段に置いても、両方に置いても良い。
る。ここでは、時間波形の領域で不要音を識別し、識別
した信号を抑圧する。図８にその処理手順を示す。ここ
では、不要音識別部と不要音減衰部を、複数のマイクロ
ホン１，２と帯域分割部４との間に置いた場合で説明す
る。まず、信号を一定区間長読み込む（８−０１）。図
８では、例として、フーリエ変換する際のフレーム長分
読み込む場合で説明する。次に、読み込んだ信号が音声
区間か否かを判定する。その判定の仕方は、例えば信号
の自己相関関数を算出し、そのピーク値を求める（８−
０２）。ピークが存在するか否かの判定は、例えば、自
己相関関数の最大値と２番目に大きな値との差が、あら
かじめ定めたしきい値を越えた場合はピークが存在し、
越えない場合はピークが存在しない、という方法で行う
（８−０３）。ピークが存在する場合、その信号区間は
音声区間と判定し、次の帯域分割部４へと送られる（８
−０４）。ピークが検出されない場合はその信号区間は
不要音区間と判定され、不要音減衰部に送られ、信号の
振幅があらかじめ定めた大きさだけ減衰される（８−０
５）。減衰された後、次の処理である帯域分割部４へと
送られる。また、不要音識別部と不要音減衰部は、音源
合成部８の後段に置いても、両方に置いても良い。
【００２１】以上述べた方法で雑音を抑圧された信号
は、通話用など、人間が直接聞く用途に限らず、例えば
音声認識装置や話者認識装置の入力用信号としても用い
ることが可能である。この発明により、信号のＳ／Ｎを
向上させ、クリアな信号を得ることができる。上述の各
部をハードウェアで構成する場合に限らず、コンピュー
タによりプログラムを読出し解読実行させることによ
り、その各機能を実行させることもできる。また図２又
は図７に示した手法と、図８に示した手法とを併用する
こともできる。
は、通話用など、人間が直接聞く用途に限らず、例えば
音声認識装置や話者認識装置の入力用信号としても用い
ることが可能である。この発明により、信号のＳ／Ｎを
向上させ、クリアな信号を得ることができる。上述の各
部をハードウェアで構成する場合に限らず、コンピュー
タによりプログラムを読出し解読実行させることによ
り、その各機能を実行させることもできる。また図２又
は図７に示した手法と、図８に示した手法とを併用する
こともできる。
【００２２】
【発明の効果】以上述べたようにこの発明によれば、不
要音識別部により、目的信号に対して不要な音声、雑音
などの成分を識別し、その不要音成分を不要音減衰部で
減衰させることにより、部屋全体に充満するような方向
性のない雑音をも抑圧することができ、信号のＳ／Ｎを
向上させ、クリアな信号を得ることができる。
要音識別部により、目的信号に対して不要な音声、雑音
などの成分を識別し、その不要音成分を不要音減衰部で
減衰させることにより、部屋全体に充満するような方向
性のない雑音をも抑圧することができ、信号のＳ／Ｎを
向上させ、クリアな信号を得ることができる。
【図１】この発明の実施例の機能的構成を示すブロック
図。
図。
【図２】図１中の不要成分識別部６、不要成分減衰部７
の処理手順の例を示す流れ図。
の処理手順の例を示す流れ図。
【図３】広帯域ノイズがない場合の周波数特性例を示す
図。
図。
【図４】Ａは広帯域ノイズがない場合のヒストグラム例
を示す図、Ｂはその各パワー区間の値の例を示す図であ
る。
を示す図、Ｂはその各パワー区間の値の例を示す図であ
る。
【図５】広帯域ノイズがある場合の周波数特性例を示す
図。
図。
【図６】広帯域ノイズがある場合のヒストグラム例を示
す図。
す図。
【図７】不要成分識別部６、不要成分減衰部７の処理手
順の他の例を示す流れ図。
順の他の例を示す流れ図。
【図８】不要音識別部６、不要音減衰部７の処理手順の
更に他の例を示す流れ図。
更に他の例を示す流れ図。
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平４−245300（ＪＰ，Ａ)
特開 平９−153769（ＪＰ，Ａ)
特開 平７−295590（ＪＰ，Ａ)
特開 昭60−35797（ＪＰ，Ａ)
欧州特許出願公開831458（ＥＰ，Ａ
１)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10L 21/02
Claims (5)
- 【請求項１】 互いに離して設けられた複数のマイクロ
ホンを用いて、複数の音源から少なくとも一つの音源を
分離する収音方法であって、 上記各マイクロホンの各出力チャネル信号を、複数の周
波数帯域に分割する帯域分割過程と、 上記帯域分割過程で分割された各出力チャネル信号の各
同一帯域ごとに、上記複数のマイクロホンの位置に起因
して変化するマイクロホンに到達する音響信号のパラメ
ータの値の差を、帯域別チャネル間パラメータ値差とし
て検出する帯域別チャネル間パラメータ値差検出過程
と、 上記各帯域の帯域別チャネル間パラメータ値差に基づ
き、上記帯域分割された各出力チャネル信号のいずれを
選択するかの判定をする音源信号判定過程と、 その判定結果に基づき上記帯域分割された各出力チャネ
ル信号から、同一音源から入力された信号を少なくとも
一つ選択する音源信号選択過程と、 上記音源信号選択過程で同一音源からの信号として選択
された複数の帯域信号を音源信号として合成する音源合
成過程とを持つ方法において、 上記帯域分割過程と上記帯域別チャネル間パラメータ値
差検出過程との間、上記帯域別チャネル間パラメータ値
差検出過程と上記音源信号判定過程との間、上記音源信
号判定過程と上記音源信号選択過程との間、上記音源信
号選択過程と上記音源合成過程との間の少くとも何れか
１つの間に、 上記帯域分割過程で分割された各出力チャネル信号の各
周波数成分のうち、選択すべき音源からの信号以外の不
要な周波数成分を識別する不要成分識別過程と、 上記不要成分識別過程で識別された周波数成分を減衰さ
せる不要成分減衰過程とを持ち、 上記不要成分識別過程は、選択すべき音源からの信号と
不要な信号の統計的性質に着目することにより、不要な
周波数成分を識別することを特徴とする収音方法。 - 【請求項２】 互いに離して設けられた複数のマイクロ
ホンを用いて、複数の音源から少なくとも一つの音源を
分離する収音方法であって、 上記各マイクロホンの各出力チャネル信号を、複数の周
波数帯域に分割する帯域分割過程と、 上記帯域分割過程で分割された各出力チャネル信号の各
同一帯域ごとに、上記複数のマイクロホンの位置に起因
して変化するマイクロホンに到達する音響信号のパラメ
ータの値の差を、帯域別チャネル間パラメータ値差とし
て検出する帯域別チャネル間パラメータ値差検出過程
と、 上記各帯域の帯域別チャネル間パラメータ値差に基づ
き、上記帯域分割された各出力チャネル信号のいずれを
選択するかの判定をする音源信号判定過程と、 その判定結果に基づき上記帯域分割された各出力チャネ
ル信号から、同一音源から入力された信号を少なくとも
一つ選択する音源信号選択過程と、 上記音源信号選択過程で同一音源からの信号として選択
された複数の帯域信号を音源信号として合成する音源合
成過程とを持つ方法において、 上記帯域分割過程と上記帯域別チャネル間パラメータ値
差検出過程との間、上記帯域別チャネル間パラメータ値
差検出過程と上記音源信号判定過程との間、上記音源信
号判定過程と上記音源信号選択過程との間、上記音源信
号選択過程と上記音源合成過程との間の少くとも何れか
１つの間に、 上記不要成分識別過程は 上記音源信号選択過程により選択された周波数成分か
ら、所定の周波数帯域内のパワーの大きい成分ＬＬｓ
（ｆ）を選択する過程と、 その選択された成分ＬＬｓ（ｆ）の各高調波成分のパワ
ーをそれぞれ加算する過程と、 それら加算パワーが最大となる成分ＬＬｓ（ｆ）を基本
周波数と判定する過程と、 上記基本周波数とその高調波の各成分以外の成分を不要
な信号の周波数成分と識別する過程とを持つことを特徴
とする収音方法。 - 【請求項３】 互いに離して設けられた複数のマイクロ
ホンを用いて、複数の音源から少なくとも一つの音源を
分離する収音装置であって、 上記各マイクロホンの各出力チャネル信号を、複数の周
波数帯域に分割する帯域分割手段と、 上記帯域分割手段で分割された各出力チャネル信号の各
同一帯域ごとに、上記複数のマイクロホンの位置に起因
して変化するマイクロホンに到達する音響信号のパラメ
ータの値の差を、帯域別チャネル間パラメータ値差とし
て検出する帯域別チャネル間パラメータ値差検出手段
と、 上記各帯域の帯域別チャネル間パラメータ値差に基づ
き、上記帯域分割された各出力チャネル信号のいずれを
選択するかの判定をする音源信号判定手段と、 その判定結果に基づき上記帯域分割された各出力チャネ
ル信号から同一音源から入力された信号を少なくとも一
つ選択する音源信号選択手段と、 上記音源信号選択手段で同一音源からの信号として選択
された複数の帯域信号を音源信号として合成する音源合
成手段とを具備する装置において、 上記帯域分割手段と上記帯域別チャネル間パラメータ値
差検出手段との間、上記帯域別チャネル間パラメータ値
差検出手段と上記音源信号判定手段との間、上記音源信
号判定手段と上記音源信号選択手段との間、上記音源信
号選択手段と上記音源合成手段との間の少くとも一つの
間に、 上記帯域分割手段で分割された各出力チャネル信号の各
周波数成分のうち、選択すべき音源からの信号以外の不
要な周波数成分を識別する不要成分識別手段と、 上記不要成分識別手段で識別された周波数成分を減衰さ
せる不要成分減衰手段とを備え、 上記不要成分識別手段は、上記帯域分割された各信号に
ついて、各帯域のパワーに関しヒストグラムを作成する
手段と、所定のパワー区間の頻度が所定値以上か否かに
より不要な成分を識別する手段とよりなることを特徴と
する収音装置。 - 【請求項４】 互いに離して設けられた複数のマイクロ
ホンを用いて、複数の音源から少なくとも一つの音源を
分離する収音装置であって、 上記各マイクロホンの各出力チャネル信号を、複数の周
波数帯域に分割する帯域分割手段と、 上記帯域分割手段で分割された各出力チャネル信号の各
同一帯域ごとに、上記複数のマイクロホンの位置に起因
して変化するマイクロホンに到達する音響信号のパラメ
ータの値の差を、帯域別チャネル間パラメータ値差とし
て検出する帯域 別チャネル間パラメータ値差検出手段
と、 上記各帯域の帯域別チャネル間パラメータ値差に基づ
き、上記帯域分割された各出力チャネル信号のいずれを
選択するかの判定をする音源信号判定手段と、 その判定結果に基づき上記帯域分割された各出力チャネ
ル信号から同一音源から入力された信号を少なくとも一
つ選択する音源信号選択手段と、 上記音源信号選択手段で同一音源からの信号として選択
された複数の帯域信号を音源信号として合成する音源合
成手段とを具備する装置において、 上記帯域分割手段と上記帯域別チャネル間パラメータ値
差検出手段との間、上記帯域別チャネル間パラメータ値
差検出手段と上記音源信号判定手段との間、上記音源信
号判定手段と上記音源信号選択手段との間、上記音源信
号選択手段と上記音源合成手段との間の少くとも一つの
間に、 上記帯域分割手段で分割された各出力チャネル信号の各
周波数成分のうち、選択すべき音源からの信号以外の不
要な周波数成分を識別する不要成分識別手段と、 上記不要成分識別手段で識別された周波数成分を減衰さ
せる不要成分減衰手段とを備え、 上記不要成分識別手段は、上記音源信号選択手段より選
択された周波数成分から、所定の周波数帯域内のパワー
の大きい成分ＬＬｓ（ｆ）を選択する手段と、その選択
された成分ＬＬｓ（ｆ）の各高調波成分のパワーをそれ
ぞれ加算する手段と、その加算パワーが最大となる基本
波成分ＬＬｓ（ｆ）以外の成分ＬＬｓ（ｆ）及びその調
波成分を不要な信号の周波数成分と識別する手段とより
なることを特徴とする収音装置。 - 【請求項５】 請求項１又は２に記載した収音方法の各
過程をコンピュータに実行させるためのプログラムを記
録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25228298A JP3435357B2 (ja) | 1998-09-07 | 1998-09-07 | 収音方法、その装置及びプログラム記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25228298A JP3435357B2 (ja) | 1998-09-07 | 1998-09-07 | 収音方法、その装置及びプログラム記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000081900A JP2000081900A (ja) | 2000-03-21 |
| JP3435357B2 true JP3435357B2 (ja) | 2003-08-11 |
Family
ID=17235091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25228298A Expired - Fee Related JP3435357B2 (ja) | 1998-09-07 | 1998-09-07 | 収音方法、その装置及びプログラム記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3435357B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010079526A1 (ja) | 2009-01-06 | 2010-07-15 | 三菱電機株式会社 | 雑音除去装置及び雑音除去プログラム |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7567900B2 (en) | 2003-06-11 | 2009-07-28 | Panasonic Corporation | Harmonic structure based acoustic speech interval detection method and device |
| JP5130895B2 (ja) * | 2007-12-13 | 2013-01-30 | ソニー株式会社 | 音声処理装置、音声処理システム、音声処理プログラム及び音声処理方法 |
| JP5111088B2 (ja) | 2007-12-14 | 2012-12-26 | 三洋電機株式会社 | 撮像装置及び画像再生装置 |
| WO2009145192A1 (ja) | 2008-05-28 | 2009-12-03 | 日本電気株式会社 | 音声検出装置、音声検出方法、音声検出プログラム及び記録媒体 |
| JP5063489B2 (ja) * | 2008-06-04 | 2012-10-31 | 三洋電機株式会社 | 判定装置及びそれを備えた電子機器並びに判定方法 |
| WO2011013605A1 (ja) | 2009-07-27 | 2011-02-03 | 三洋電機株式会社 | プレゼンテーションシステム |
| JP2011250311A (ja) * | 2010-05-28 | 2011-12-08 | Panasonic Corp | 聴覚ディスプレイ装置及び方法 |
| JP5750932B2 (ja) * | 2011-02-18 | 2015-07-22 | 株式会社ニコン | 撮像装置及び撮像装置のノイズ低減方法 |
| WO2012102130A1 (ja) | 2011-01-27 | 2012-08-02 | 株式会社ニコン | 撮像装置、プログラム、記録媒体およびノイズ低減方法 |
| WO2012109385A1 (en) * | 2011-02-10 | 2012-08-16 | Dolby Laboratories Licensing Corporation | Post-processing including median filtering of noise suppression gains |
| CN107948869B (zh) * | 2017-12-12 | 2021-03-12 | 深圳Tcl新技术有限公司 | 音频处理方法、装置、音响***及存储介质 |
-
1998
- 1998-09-07 JP JP25228298A patent/JP3435357B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010079526A1 (ja) | 2009-01-06 | 2010-07-15 | 三菱電機株式会社 | 雑音除去装置及び雑音除去プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000081900A (ja) | 2000-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9916841B2 (en) | Method and apparatus for suppressing wind noise | |
| EP0459362B1 (en) | Voice signal processor | |
| EP1393300B1 (en) | Segmenting audio signals into auditory events | |
| CN112424863B (zh) | 语音感知音频***及方法 | |
| JP3435357B2 (ja) | 収音方法、その装置及びプログラム記録媒体 | |
| EP2978242A1 (en) | System and method for mitigating audio feedback | |
| JP2003507764A (ja) | 雑音を含む音響信号を高品質化するための方法 | |
| US10381025B2 (en) | Multiple pitch extraction by strength calculation from extrema | |
| JP6174856B2 (ja) | 雑音抑制装置、その制御方法、及びプログラム | |
| JP2023159381A (ja) | 音声認識オーディオシステムおよび方法 | |
| JP3033061B2 (ja) | 音声雑音分離装置 | |
| CN115348507A (zh) | 脉冲噪声抑制方法、***、可读存储介质及计算机设备 | |
| CN111801951B (zh) | 啸叫抑制装置、其方法以及计算机可读取记录介质 | |
| JP5034735B2 (ja) | 音処理装置およびプログラム | |
| JP4175376B2 (ja) | オーディオ信号処理装置、オーディオ信号処理方法、及びオーディオ信号処理プログラム | |
| JP4533126B2 (ja) | 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体 | |
| JPH0675595A (ja) | 音声加工装置と補聴器 | |
| JP2979714B2 (ja) | 音声信号処理装置 | |
| JP3106543B2 (ja) | 音声信号処理装置 | |
| Tiwari et al. | Speech enhancement using noise estimation with dynamic quantile tracking | |
| JP3787103B2 (ja) | 音声処理装置、音声処理方法、音声処理プログラム | |
| Kazama et al. | Estimation of speech components by ACF analysis in a noisy environment | |
| JP2905112B2 (ja) | 環境音分析装置 | |
| JP4495704B2 (ja) | 音像定位強調再生方法、及びその装置とそのプログラムと、その記憶媒体 | |
| JP2020053920A (ja) | 収音装置、収音プログラム及び収音方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090530 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090530 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100530 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100530 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110530 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120530 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130530 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |