JP4098647B2 - 音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体 - Google Patents
音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4098647B2 JP4098647B2 JP2003060025A JP2003060025A JP4098647B2 JP 4098647 B2 JP4098647 B2 JP 4098647B2 JP 2003060025 A JP2003060025 A JP 2003060025A JP 2003060025 A JP2003060025 A JP 2003060025A JP 4098647 B2 JP4098647 B2 JP 4098647B2
- Authority
- JP
- Japan
- Prior art keywords
- acoustic signal
- reverberation
- dereverberation
- fundamental frequency
- transfer function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephonic Communication Services (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は残響を伴った音響信号から、残響を取り除いた音響信号を抽出する残響除去の方法、装置、及び残響除去プログラム、そのプログラムを記録した記録媒体に関する。
音声信号は、残響のある環境で収音されると、本来の音声信号に残響が重畳された信号として観測される。このため、本来の音声信号の性質を抽出することが困難になるとともに、音声自体の明瞭度が低下する。これに対し、残響除去処理は、重畳した残響を取り除くことで、音声本来の性質を抽出しやすくするとともに、音声の明瞭度を回復することができる。これは他のさまざまな音響信号処理システムの要素技術として用いることで、そのシステム全体の性質向上につながる技術である。残響除去処理が要素技術として性能向上に寄与できるような音響信号処理システムには、例えば、以下のようなものが列挙できる。
１．残響除去を前処理として用いる音声認識システム
２．残響除去により音声の明瞭度を向上させるＴＶ会議システムなどの通信システム
３．講演の録音に含まれる残響を除去することで、録音された音声の明瞭度を向上させる再生システム
４．残響を除去することで聞き取りやすさを向上させる補聴器
５．人が歌ったり、楽器で演奏したり、またはスピーカで再生した演奏された音楽の残響を除去して、楽曲を検索したり、採譜したりする音楽情報処理システム６．人が発した声に反応して機械にコマンドをわたす機械制御インターフェース、および機械と人間との対話装置
【０００２】
【従来の技術】
従来例１の残響除去方法（非特許文献１）を図８を参照して説明する。
従来例１では、目的音源位置推定部と残響反射位置推定部と死角型指向性形成部とを備え、複数のセンサで測定された観測信号1〜nを入力として用いるディジタル信号処理により、目的音源位置と残響反射位置を推定し、本来の音源の方向から来る音は通過させつつ、本来の音源から出た音が壁などに反射する方向から来る音には死角を向けるような指向特性を形成することで残響の除去を行う。
従来例２の残響除去方法（非特許文献２）を図９を参照して説明する。
従来例２では、あらかじめ音源からセンサまでの伝達関数を測定しておいて逆伝達関数データを保持し、観測信号に対して、その逆関数を乗算することで残響除去を行う。
【０００３】
【非特許文献１】
Schmidt,R.O.,“Multiple emitter location and signal parameter estimation,”IEEE Trans.AP,34(3),pp.276-280,1986
【非特許文献２】
Miyoshi,M., and Kaneda, Y.,“Inverse filtering of room acoustics,”IEEE Trans.ASSP,36(2),pp145-152,1988
【０００４】
【発明が解決しようとする課題】
上述した従来例１の残響除去方法では、ディジタル信号処理により形成する死角の数をｎとすると、原理的にｎ個以上のセンサが必要となる。したがって、観測信号のセンサが１つしかない場合は適用できない方法である。また、残響が周囲のいたるところから到来するような環境においては、非常に多数のセンサによる観測信号が必要になる。さらに、目的音と同じ方向から来る残響についてはこの方法では除去できない。
上述した従来例２の残響除去法では、少数のセンサによる観測音でいたるところから到来する残響を除去することができるが、あらかじめ伝達関数を測定しておく必要がある。また、あらかじめ想定していなかった伝達関数を近似的に求める方法も提案されているが、その場合は複数のセンサからの観測音が必要であった。
このように、従来用いられてきた残響除去法では、観測信号のセンサが一つで、かつ音源からセンサへの伝達関数が既知でない場合には、残響を除去することはできなかった。
【０００５】
【課題を解決するための手段】
上記従来法の解決するために、本発明では、音声信号が持つ性質の一つである調波構造を利用する。この方法では、単一のセンサで測定された残響を含む観測信号から、調波構造フィルタを用いて調波成分の直接音を近似し、この近似音と観測信号から、逆伝達関数を推定する方法を与える。以下では、まず、音声の性質について説明した後、この残響除去の原理を説明する。
【０００６】
音声のモデル
実環境では、音源信号X(ω)は残響を伴ってマイクに収音される。この残響を含む観測信号Yは、Xと伝達関数Hの積で表現することができ（式（１））、Hはさらに直接音成分Dと残響成分Rの二つの関数に分けることができる（式（２）)。前者はXから直接音DXへ、後者は残響音RXへの伝達関数である。
以下、本明細書の記述では、周波数領域信号Y(ω)やX(ω)などの周波数を表す表現(ω)をしばしば略記して、YやXなどと表記する。
本発明では直接音X'(＝DX)を残響除去の目的信号とする。直接音X'は、観測信号Yから残響音RXを削除するか、もしくは、伝達関数H'(＝H／D)を推定することができれば、観測信号Yに逆伝達関数１／H'を乗ずることで求めることができる（式（４））。
音声の場合、音源信号Xは調波成分Ｘhと雑音成分Ｘnとからなると仮定できる（式（５））。この信号は伝達関数Hを乗じた信号として観測される（式（６））。また、この観測信号Yは、調波成分の直接音DXhとその他の成分の和とも解釈できる（式（７））。
このうち、直接音DXhは、観測信号Yから、その基本周波数F0の整数倍に位置する各高調波の位相と強度を抽出することで近似的に求めることができる。基本周波数F0は時々刻々変動するのに対し、残響には変動以前のF0に起因する成分も多く含まれている。このためF0とともに変動する調波成分を抽出する操作（すなわち、調波構造フィルタ）により残響を低減することができる。調波構造フィルタによる直接音DXhの近似音X'^hには、各高調波と同じ周波数に重畳している調波成分の残響の一部R^Xhとその他の雑音成分の一部N^が残存するのみである。（単純化のためR^は一定の変数として表現している。厳密には、X'^hに含まれる残響成分はX'の時間構造に依存して変動する。）
これは以下のようにモデル化できる。
X'^h＝DXh＋(R^Xh＋N^) （８）
ここで、X'^hの近似誤差はすべてR^Xh＋N^に含まれているとみなしている。
【０００７】
（残響除去の原理１）
調波構造に基づく本残響除去では、O(R^)＝(D＋R^)／Hを“残響除去オペレータ”と定義する。観測信号YにO(R^)を乗ずることで得られる信号DX＋R^Xが、残響が抑制された信号となるからである。
O(R^)Y＝DX＋R^X （９）
すなわち、O(R^)Yは直接音DXと一部の残響R^Xから構成される信号となる。式（２）に含まれている残りの残響(R−R^)Xは、残響除去オペレータによって取り除かれることになる。
この残響除去オペレータ O(R^)を求めるために、調波構造フィルタによる直接音の近似信号X'^hを利用する。まず、複数の観測信号Yに対して個別にX'^hを求める。次に、X'^hとYの各組に対してH'の逆伝達関数の初期推定値１／H'^(＝X'^h／Y)を計算する。最後に、この初期推定値の平均E(１／H'^)を計算することで、O(R^)を近似的に求める。
E(１／H'^)がO(R^)の良い近似となることは、E(X'^h／Y)に式（６）、（８）を代入することで、以下のように示すことができる。
【数１】
ここで、複素関数f(z)＝１／(1＋z)は、zの偏角が一様分布で、zの偏角と|z|が独立であり、かつz≠−1と仮定すると、留数定理を用いてE(f(z))＝P(|z|＜１)を示すことができる（P(・)は確率、証明略）。また、式（１０）中のN^は調波構造フィルタが抽出する調波成分に重畳した雑音成分であるため、十分に長い分析フレームを用いれば、その大きさはY−N^と比べて小さな値になると考えられる。これらの性質を用いると上式は以下のように近似できる。
【数２】
つまり、逆伝達関数の平均値は、残響除去オペレータに対して、音声の調波成分が雑音成分よりも大きくなる確率（０〜１の間の実数）を乗じた値となる。
【０００８】
音声では、通常、高域ほど雑音成分の影響が強くなる。このため、P(|Xn(ω)|＜|Xh(ω)|)はωが大きくなるほど小さくなり、それに応じて逆伝達関数の平均値も減衰する。この減衰特性は、音声に関するP(|Xn(ω)|＜|Xh(ω)|)の平均的な特性を用いれば補正することは可能である。以下、本発明ではこうして求められる逆伝達関数の平均値を残響除去オペレータの推定値として扱う。
以上のようにして求められる残響除去オペレータO(R^)を、観測信号Yに適用することで、残響を抑制した信号X'を得ることができる（式（１２））。
X'^＝O(R^(ω))Y （１２）
なお、式（１０）は１／H'に関して平均をとることで逆伝達関数を近似しているが、この式の代わりに、H'^の平均E(H'^)を計算した後、この逆数１／E(H'^)で逆伝達関数を近似するという方法を用いることもできる。この逆伝達関数の近似を用いても同様に残響除去を行うことができる。
【０００９】
（残響除去の原理２）
残響除去の原理１では、逆伝達関数の初期推定値X'^h／Yの平均値を求めることで、逆伝達関数を求めたのに対し、残響除去の原理２では、観測信号Yと直接音の近似信号X'^hから伝達関数H'^を２乗誤差最小の原理で推定する。つまり次の評価関数S(H)を最小にするHを求めることで、伝達関数を推定する。
S(H)＝E(|Y−HX'^h|2) （１３）
【数３】
上式を満たすH'^は、以下の値になることは解析的に示すことができる（証明略）。
【数４】
ここで、[ * ]は共役複素数を意味している。この式を展開するために、調波構造フィルタが抽出する直接音の近似音X'^hは、式（８）を書き換えて以下のように表現することもできる。（ここでは、残響成分R^に加えて雑音成分伝達関数H^nも一定の変換として表現している。厳密には、R^と同様にX'^hに含まれる雑音成分はX'の時間構造に依存して変動する。）
X'^h＝DXh＋(R^Xh＋H^nXn) （１６）
これと式（８）を式（１５）に代入して１／H'^について整理すると以下の関係式が得られる。
【数５】
ただし、E(XhN^*)＝E(XhX^n *)＝０を仮定し、
【数６】
とした。複素関数f(z)＝１／(１＋z),g(z)＝z／(１＋z)は|z|＜１で正則関数であることと、H^n *E(|Xn|2)は(D＋R^)*E(|Xh|2)に比べて小さな値をとると期待されることから、式（１７）は正則関数となると考えられる。したがって、Zに関してテイラー展開して、Zの２次以上の項を無視すると、以下が得られる。
【数７】
このうち、第２項に含まれているH^n *は調波構造抽出時に重畳して抽出される雑音成分への関数であるため、実際には、HやD＋R^と比べると十分に小さなゲインになると予想される。したがって、１／H'^は、近似的に残響除去オペレータに一致するといえる。以上の考察より、最小２乗原理に従って求められる逆伝達関数１／H'^も、原理１の場合と同様に、近似的に残響除去オペレータに一致すると期待される。
このようにして近似される残響除去オペレータを観測信号Yに乗ずることで、残響を除去して信号DX＋R^Xを得ることができる。
【００１０】
【発明の実施の形態】
残響除去フロー１
残響の原理１に基づく残響除去法の実施例１を図１を用いて説明する。
（基本周波数推定部）
残響を含む信号y(t)が入力されると、まず、基本周波数推定処理は、入力信号を分析窓と呼ばれる短時間の信号区間（フレーム）に分割するとともに、各フレームの基本周波数、および調波構造が含まれたフレーム（調波構造区間）を推定する。基本周波数の推定、および調波構造区間の推定にはケプストラム法や特願２００２−６２５１３「占有度抽出装置および基本周波数抽出装置、それらの方法、それらのプログラム並びにそれらのプログラムを記録した記録媒体」、特願２００２−２７４５２５「調波構造区間推定方法及び装置、調波構造区間推定プログラム及びそのプログラムを記録した記録媒体、長波構造区間推定の閾値決定方法及び装置、調波構造区間推定の閾値決定プログラム及びそのプログラムを記録した記録媒体」に示されている方法などをはじめ多くの方法を用いることができる。
【００１１】
一例として、図３に示す入力信号のパワーを用いる基本周波数推定、並びに調波構造区間推定法を説明する。この方法は、雑音下でも頑健に推定が行えることが特長である。
・パワー抽出部
まず、入力信号に短時間分析窓をかけて各フレームごと（mで示す）の信号xm(t)に分割した後、各周波数ごとのパワーSm(ωk)を計算する。これには、例えば、短時間離散フーリエ変換DFT(・)を用いて以下のように計算できる。
Xm(ωk)＝DFT(xm(t)) （２０）
Sm(ωk)＝|Xm(ωk)|2 （２１）
・包絡成分除去部
次に、この信号に対し高域通過フィルタを適用してスペクトルの包絡を削除した信号Rm(ωk)を計算する。例えば、Sm(ωk)にDFT(・)を適用した信号に対し低域周波数を０と置き換えた後、短時間離散フーリエ逆変換IDFT(・)を適用することで、Rm(ωk)を得ることができる。
Cm(tk)＝DFT(Sm(ωk)) tk ＞T （２２）
Cm(tk)＝０ othewise （２３）
Rm(ωk)＝IDFT(Cm(tk)) （２４）
・調波構造パワー抽出部、最大値抽出部
最後に、50〜500Hz相当の値をとりうるωを基本周波数と仮定した時の調波構造に関するRm(ωk)の値の総和Hm(ω)を求めた後、Hm(ω)の最大値を与えるωを基本周波数として抽出する。
【数８】
ここで、k'は基本周波数の整数倍を表し、ωMAXには、例えば、1500Hz相当の値などが適している。
なお、上記で説明した基本周波数推定法には、さらに、後述する残響に頑健な基本周波数推定法などを適用することで、より信頼性の高い推定を実現できる。
【００１２】
（調波構造抽出部）
次に、こうして求められたF0(m)を用いて調波構造区間の推定法の実施例について説明する。
・平均・分散抽出部
まず、上記で求めたHm(ω)の平均Amと分散σmを計算する。
・調波構造らしさ抽出部
次に、以下の式にしたがって調波構造区間らしさを表す尺度V(m)を計算する。
【数９】
V(m)＝median j(V0(m)) （２９）
ここで、median j(V0(m))は、フレームmを含んで前後jフレーム（合計2j＋１フレーム）のV0(・)の値の中央値を返すフィルタである。jには音声の場合、例えばフレーム周期が１msであれば、30フレーム（つまり2j＋１に対しては61フレーム）などが適した範囲である。
・閾値処理部
最後に、こうして求めた値を閾値処理することで調波構造区間か否かを判定することができる。つまり、V(m)＞θのときのみ、当該フレームを調波構造区間と判定する。
【００１３】
（逆伝達関数推定部）
このようにして求められた基本周波数と調波構造区間をもとに、次に、調波構造成分抽出処理が調波成分を抽出する（このため、複数の観測信号yi(t)が得られているとする。ここで、iは、複数の観測信号の中の各信号を示すためのインデックスを表す。）。まず、i番目の観測信号yi(t)に関して、短時間分析窓をかけて各フレームmごとに切り出した信号yi,m(t)に対して、短時間離散フーリエ変換を施して信号Yi,m(ω)を求める。次に、調波構造区間と判定されたすべてのフレームmに対する基本周波数ωi,0(m)の整数倍k'に位置する周波数信号Yi,m(k',ωi,0(m))の絶対値と位相から、該当する周波数成分の振幅ai,k'(m)と位相φi,k'(m)を抽出する。次に、この値をもとに以下の式に基づいて当該調波成分に相当する直接音の近似音x'^i,h(t)を合成する。
【数１０】
ここで、w(t−τm)は窓関数をあらわし、τmはフレームmに相当する時刻である。τmとτm+1の差はフレーム周期であり、隣り合う２フレーム間で時間区間が重複するような間隔で、式（３０）は連続した音声信号として合成される。
【００１４】
次に、逆伝達関数推定処理では、各yi(t)とx'^i,h(t)の各組から、逆伝達関数の初期推定値１／H^i(ω)を以下の式により計算する。
Yi(ω)＝DFT(yi(t)) （３１）
X'^i,h(ω)＝DFT(x'^i,h(t)) （３２）
【数１１】
ここで、DFT(・)は離散フーリエ変換を表す。次に、こうして求められた逆伝達関数の初期推定値の平均を求めることで、残響除去オペレータを計算する。
【数１２】
N'はH^のサンプル数を表す。
【００１５】
（逆伝達関数適用部）
こうして求めた残響除去オペレータを観測信号Yi(ω)に乗じ、離散フーリエ逆変換(IDFT(・))を施して、残響除去後の信号x'^i(t)を得る。
【数１３】
なお、式（３４）の計算において、単純に平均値を求めるかわりに、振幅スペクトル|X'^i,h(ω)|の重みを付けて計算することで、より精確な逆伝達関数の近似ができる。
【数１４】
雑音成分の影響を抑制しつつ占有的な調波成分の影響を強調することができるからである。振幅スペクトルのかわりにパワースペクトル|X'^i,h(ω)|2などを重みに使っても同様の効果を得ることができる。
【００１６】
さらに、残響除去方法は、図４に示すように、ほぼ同じ処理を２段（またはそれ以上）で構成することで、より精確に逆伝達関数を求めることができるようになる。
１．STEP１では、まず、観測信号YからF0を求めたのち、調波構造フィルタを用いてYに含まれる調波成分X'^h,1を抽出する。次に、複数の観測信号Yに対するX'^h,1／Yの平均から残響除去フィルタO(R^1)を推定する。最後に、YにO(R^1)を乗じて残響除去した信号を得る。
２．STEP２は、STEP１で残響除去した信号O(R^1)Yを入力として用いる以外はSTEP１と同じ処理を行う。O(R^1)Yを用いることで、式（８）に含まれる残響成分R^2Xh,2が抑制されると期待されるので、さらなる残響除去効果が達成される。
【００１７】
残響除去フロー２
残響除去の原理２に基づく残響除去法の実施例２を、実施例１と同じ図１を用いて説明する。
実施例２は、実施例１において、逆伝達関数の推定値を求める計算方法を除いて、全く実施例１と同じように構成することができる。すなわち、式（３３）,（３４）のかわりに以下を計算することになる。
【数１５】
この場合には式（３５）のE(１／H^i(ω))も１／H^i(ω)と読みかえることが必要である。
また、式（３６）のような重み付け平均の操作も同様に行うことができる。こうするためには、式（３７）のかわりに以下の計算式を用いればよい。
【数１６】
【００１８】
残響に頑健な F 0 推定法
提案法を用いて効果的な残響除去を行うためには正確なF0推定が重要である。しかし、残響の長い環境では、変動前の基本周波数F0に起因する残響成分が変動後のF0の推定精度を劣化させる。この影響を低減するために、図２に示すように継続音を抑制する単純なフィルタ（継続音抑制部）を設計し、STEP１のF0推定の前処理として用いることが効果的である。
【数１７】
なお、残響除去オペレータ自身も、基本周波数F0推定の前処理として有効に機能する。この処理はSTEP２でF0推定をO(R^1)Yに対して適用するという形で実施される。この結果、STEP２では、STEP１よりもさらに正確にF0推定ができるようになる。
【００１９】
本発明の音響信号の残響除去装置は、CPUやメモリ等を有するコンピュータと、利用者端末と、CD-ROM,磁気ディスク装置,半導体メモリ等の機械読み取り可能な記録媒体とから構成することができる。
記録媒体に記録された音響信号の残響除去プログラム、あるいは回線を介して伝送された音響信号の残響除去プログラムは、コンピュータに読み取られ、コンピュータ上に前述した各構成要素、各処理を実現する。
【００２０】
【発明の効果】
提案法の性能を残響曲線で評価した。ATR単語DBから男女一名（MAUとFKM、12kHz標本化）の各5240単語を音源信号Xとし、可変残響室で測定した４種類のインパルス応答（残響時間が0.1,0.2,0.5,1.0秒）を畳み込んで観測信号Yを合成した。
図５は、残響除去処理を行う前後の残響曲線を示している。女性話者の場合、残響時間(RT)が0.1秒より長い時には効果的に残響を抑制できている。しかし、RT＝0.1の時は残響の抑制効果は認められず、この実験で除去できる残響時間の最小限界を示していると思われる。一方、男性話者の場合もRT＞0.1の時はインパルス直後の残響は効果的に抑制できている。これは目的音の明瞭度が改善することを意味する。例えばRT＝0.2の時、Time＞0.1の残響は増えているが、よりパワーの強いTime＜0.1の残響が抑制されているので、全体として明瞭度は向上する。これらの効果は、実際に音を耳で聞けば明らかである。
図６、７は、本発明を適用した場合の残響時間が１秒の時に残響を含む音声と残響除去処理後の音声のスペクトルグラムを示している。図より残響が効果的に抑制されていることがわかる。さらに、音声のフォルマント構造が回復していることも見てとれる。
【図面の簡単な説明】
【図１】本発明の音響信号の残響除去装置の構成例を示す図。
【図２】本発明の基本周波数推定の前処理として継続音抑制部を有する音響信号の残響除去装置の構成例を示す図。
【図３】入力信号のパワーを用いる基本周波数推定、並びに調波構造区間推定法を説明する図。
【図４】本発明の２段構成とした音響信号の残響除去装置の構成例を示す図。
【図５】残響曲線：残響時間(RT)の異なるインパルス応答、および残響除去後の各インパルス応答を示す図。
【図６】男性話者の残響を含まない音声、残響を含む音声と残響除去後の音声のスペクトログラム。
【図７】女性話者の残響を含まない音声、残響を含む音声と残響除去後の音声のスペクトログラム。
【図８】従来例１の残響除去方法を説明する図。
【図９】従来例２の残響除去方法を説明する図。
【発明の属する技術分野】
この発明は残響を伴った音響信号から、残響を取り除いた音響信号を抽出する残響除去の方法、装置、及び残響除去プログラム、そのプログラムを記録した記録媒体に関する。
音声信号は、残響のある環境で収音されると、本来の音声信号に残響が重畳された信号として観測される。このため、本来の音声信号の性質を抽出することが困難になるとともに、音声自体の明瞭度が低下する。これに対し、残響除去処理は、重畳した残響を取り除くことで、音声本来の性質を抽出しやすくするとともに、音声の明瞭度を回復することができる。これは他のさまざまな音響信号処理システムの要素技術として用いることで、そのシステム全体の性質向上につながる技術である。残響除去処理が要素技術として性能向上に寄与できるような音響信号処理システムには、例えば、以下のようなものが列挙できる。
１．残響除去を前処理として用いる音声認識システム
２．残響除去により音声の明瞭度を向上させるＴＶ会議システムなどの通信システム
３．講演の録音に含まれる残響を除去することで、録音された音声の明瞭度を向上させる再生システム
４．残響を除去することで聞き取りやすさを向上させる補聴器
５．人が歌ったり、楽器で演奏したり、またはスピーカで再生した演奏された音楽の残響を除去して、楽曲を検索したり、採譜したりする音楽情報処理システム６．人が発した声に反応して機械にコマンドをわたす機械制御インターフェース、および機械と人間との対話装置
【０００２】
【従来の技術】
従来例１の残響除去方法（非特許文献１）を図８を参照して説明する。
従来例１では、目的音源位置推定部と残響反射位置推定部と死角型指向性形成部とを備え、複数のセンサで測定された観測信号1〜nを入力として用いるディジタル信号処理により、目的音源位置と残響反射位置を推定し、本来の音源の方向から来る音は通過させつつ、本来の音源から出た音が壁などに反射する方向から来る音には死角を向けるような指向特性を形成することで残響の除去を行う。
従来例２の残響除去方法（非特許文献２）を図９を参照して説明する。
従来例２では、あらかじめ音源からセンサまでの伝達関数を測定しておいて逆伝達関数データを保持し、観測信号に対して、その逆関数を乗算することで残響除去を行う。
【０００３】
【非特許文献１】
Schmidt,R.O.,“Multiple emitter location and signal parameter estimation,”IEEE Trans.AP,34(3),pp.276-280,1986
【非特許文献２】
Miyoshi,M., and Kaneda, Y.,“Inverse filtering of room acoustics,”IEEE Trans.ASSP,36(2),pp145-152,1988
【０００４】
【発明が解決しようとする課題】
上述した従来例１の残響除去方法では、ディジタル信号処理により形成する死角の数をｎとすると、原理的にｎ個以上のセンサが必要となる。したがって、観測信号のセンサが１つしかない場合は適用できない方法である。また、残響が周囲のいたるところから到来するような環境においては、非常に多数のセンサによる観測信号が必要になる。さらに、目的音と同じ方向から来る残響についてはこの方法では除去できない。
上述した従来例２の残響除去法では、少数のセンサによる観測音でいたるところから到来する残響を除去することができるが、あらかじめ伝達関数を測定しておく必要がある。また、あらかじめ想定していなかった伝達関数を近似的に求める方法も提案されているが、その場合は複数のセンサからの観測音が必要であった。
このように、従来用いられてきた残響除去法では、観測信号のセンサが一つで、かつ音源からセンサへの伝達関数が既知でない場合には、残響を除去することはできなかった。
【０００５】
【課題を解決するための手段】
上記従来法の解決するために、本発明では、音声信号が持つ性質の一つである調波構造を利用する。この方法では、単一のセンサで測定された残響を含む観測信号から、調波構造フィルタを用いて調波成分の直接音を近似し、この近似音と観測信号から、逆伝達関数を推定する方法を与える。以下では、まず、音声の性質について説明した後、この残響除去の原理を説明する。
【０００６】
音声のモデル
実環境では、音源信号X(ω)は残響を伴ってマイクに収音される。この残響を含む観測信号Yは、Xと伝達関数Hの積で表現することができ（式（１））、Hはさらに直接音成分Dと残響成分Rの二つの関数に分けることができる（式（２）)。前者はXから直接音DXへ、後者は残響音RXへの伝達関数である。
本発明では直接音X'(＝DX)を残響除去の目的信号とする。直接音X'は、観測信号Yから残響音RXを削除するか、もしくは、伝達関数H'(＝H／D)を推定することができれば、観測信号Yに逆伝達関数１／H'を乗ずることで求めることができる（式（４））。
音声の場合、音源信号Xは調波成分Ｘhと雑音成分Ｘnとからなると仮定できる（式（５））。この信号は伝達関数Hを乗じた信号として観測される（式（６））。また、この観測信号Yは、調波成分の直接音DXhとその他の成分の和とも解釈できる（式（７））。
これは以下のようにモデル化できる。
X'^h＝DXh＋(R^Xh＋N^) （８）
ここで、X'^hの近似誤差はすべてR^Xh＋N^に含まれているとみなしている。
【０００７】
（残響除去の原理１）
調波構造に基づく本残響除去では、O(R^)＝(D＋R^)／Hを“残響除去オペレータ”と定義する。観測信号YにO(R^)を乗ずることで得られる信号DX＋R^Xが、残響が抑制された信号となるからである。
O(R^)Y＝DX＋R^X （９）
すなわち、O(R^)Yは直接音DXと一部の残響R^Xから構成される信号となる。式（２）に含まれている残りの残響(R−R^)Xは、残響除去オペレータによって取り除かれることになる。
この残響除去オペレータ O(R^)を求めるために、調波構造フィルタによる直接音の近似信号X'^hを利用する。まず、複数の観測信号Yに対して個別にX'^hを求める。次に、X'^hとYの各組に対してH'の逆伝達関数の初期推定値１／H'^(＝X'^h／Y)を計算する。最後に、この初期推定値の平均E(１／H'^)を計算することで、O(R^)を近似的に求める。
E(１／H'^)がO(R^)の良い近似となることは、E(X'^h／Y)に式（６）、（８）を代入することで、以下のように示すことができる。
【数１】
【数２】
【０００８】
音声では、通常、高域ほど雑音成分の影響が強くなる。このため、P(|Xn(ω)|＜|Xh(ω)|)はωが大きくなるほど小さくなり、それに応じて逆伝達関数の平均値も減衰する。この減衰特性は、音声に関するP(|Xn(ω)|＜|Xh(ω)|)の平均的な特性を用いれば補正することは可能である。以下、本発明ではこうして求められる逆伝達関数の平均値を残響除去オペレータの推定値として扱う。
以上のようにして求められる残響除去オペレータO(R^)を、観測信号Yに適用することで、残響を抑制した信号X'を得ることができる（式（１２））。
X'^＝O(R^(ω))Y （１２）
なお、式（１０）は１／H'に関して平均をとることで逆伝達関数を近似しているが、この式の代わりに、H'^の平均E(H'^)を計算した後、この逆数１／E(H'^)で逆伝達関数を近似するという方法を用いることもできる。この逆伝達関数の近似を用いても同様に残響除去を行うことができる。
【０００９】
（残響除去の原理２）
残響除去の原理１では、逆伝達関数の初期推定値X'^h／Yの平均値を求めることで、逆伝達関数を求めたのに対し、残響除去の原理２では、観測信号Yと直接音の近似信号X'^hから伝達関数H'^を２乗誤差最小の原理で推定する。つまり次の評価関数S(H)を最小にするHを求めることで、伝達関数を推定する。
S(H)＝E(|Y−HX'^h|2) （１３）
【数３】
【数４】
X'^h＝DXh＋(R^Xh＋H^nXn) （１６）
これと式（８）を式（１５）に代入して１／H'^について整理すると以下の関係式が得られる。
【数５】
【数６】
【数７】
このようにして近似される残響除去オペレータを観測信号Yに乗ずることで、残響を除去して信号DX＋R^Xを得ることができる。
【００１０】
【発明の実施の形態】
残響除去フロー１
残響の原理１に基づく残響除去法の実施例１を図１を用いて説明する。
（基本周波数推定部）
残響を含む信号y(t)が入力されると、まず、基本周波数推定処理は、入力信号を分析窓と呼ばれる短時間の信号区間（フレーム）に分割するとともに、各フレームの基本周波数、および調波構造が含まれたフレーム（調波構造区間）を推定する。基本周波数の推定、および調波構造区間の推定にはケプストラム法や特願２００２−６２５１３「占有度抽出装置および基本周波数抽出装置、それらの方法、それらのプログラム並びにそれらのプログラムを記録した記録媒体」、特願２００２−２７４５２５「調波構造区間推定方法及び装置、調波構造区間推定プログラム及びそのプログラムを記録した記録媒体、長波構造区間推定の閾値決定方法及び装置、調波構造区間推定の閾値決定プログラム及びそのプログラムを記録した記録媒体」に示されている方法などをはじめ多くの方法を用いることができる。
【００１１】
一例として、図３に示す入力信号のパワーを用いる基本周波数推定、並びに調波構造区間推定法を説明する。この方法は、雑音下でも頑健に推定が行えることが特長である。
・パワー抽出部
まず、入力信号に短時間分析窓をかけて各フレームごと（mで示す）の信号xm(t)に分割した後、各周波数ごとのパワーSm(ωk)を計算する。これには、例えば、短時間離散フーリエ変換DFT(・)を用いて以下のように計算できる。
Xm(ωk)＝DFT(xm(t)) （２０）
Sm(ωk)＝|Xm(ωk)|2 （２１）
・包絡成分除去部
次に、この信号に対し高域通過フィルタを適用してスペクトルの包絡を削除した信号Rm(ωk)を計算する。例えば、Sm(ωk)にDFT(・)を適用した信号に対し低域周波数を０と置き換えた後、短時間離散フーリエ逆変換IDFT(・)を適用することで、Rm(ωk)を得ることができる。
Cm(tk)＝DFT(Sm(ωk)) tk ＞T （２２）
Cm(tk)＝０ othewise （２３）
Rm(ωk)＝IDFT(Cm(tk)) （２４）
・調波構造パワー抽出部、最大値抽出部
最後に、50〜500Hz相当の値をとりうるωを基本周波数と仮定した時の調波構造に関するRm(ωk)の値の総和Hm(ω)を求めた後、Hm(ω)の最大値を与えるωを基本周波数として抽出する。
【数８】
なお、上記で説明した基本周波数推定法には、さらに、後述する残響に頑健な基本周波数推定法などを適用することで、より信頼性の高い推定を実現できる。
【００１２】
（調波構造抽出部）
次に、こうして求められたF0(m)を用いて調波構造区間の推定法の実施例について説明する。
・平均・分散抽出部
まず、上記で求めたHm(ω)の平均Amと分散σmを計算する。
・調波構造らしさ抽出部
次に、以下の式にしたがって調波構造区間らしさを表す尺度V(m)を計算する。
【数９】
ここで、median j(V0(m))は、フレームmを含んで前後jフレーム（合計2j＋１フレーム）のV0(・)の値の中央値を返すフィルタである。jには音声の場合、例えばフレーム周期が１msであれば、30フレーム（つまり2j＋１に対しては61フレーム）などが適した範囲である。
・閾値処理部
最後に、こうして求めた値を閾値処理することで調波構造区間か否かを判定することができる。つまり、V(m)＞θのときのみ、当該フレームを調波構造区間と判定する。
【００１３】
（逆伝達関数推定部）
このようにして求められた基本周波数と調波構造区間をもとに、次に、調波構造成分抽出処理が調波成分を抽出する（このため、複数の観測信号yi(t)が得られているとする。ここで、iは、複数の観測信号の中の各信号を示すためのインデックスを表す。）。まず、i番目の観測信号yi(t)に関して、短時間分析窓をかけて各フレームmごとに切り出した信号yi,m(t)に対して、短時間離散フーリエ変換を施して信号Yi,m(ω)を求める。次に、調波構造区間と判定されたすべてのフレームmに対する基本周波数ωi,0(m)の整数倍k'に位置する周波数信号Yi,m(k',ωi,0(m))の絶対値と位相から、該当する周波数成分の振幅ai,k'(m)と位相φi,k'(m)を抽出する。次に、この値をもとに以下の式に基づいて当該調波成分に相当する直接音の近似音x'^i,h(t)を合成する。
【数１０】
【００１４】
次に、逆伝達関数推定処理では、各yi(t)とx'^i,h(t)の各組から、逆伝達関数の初期推定値１／H^i(ω)を以下の式により計算する。
Yi(ω)＝DFT(yi(t)) （３１）
X'^i,h(ω)＝DFT(x'^i,h(t)) （３２）
【数１１】
【数１２】
【００１５】
（逆伝達関数適用部）
こうして求めた残響除去オペレータを観測信号Yi(ω)に乗じ、離散フーリエ逆変換(IDFT(・))を施して、残響除去後の信号x'^i(t)を得る。
【数１３】
【数１４】
【００１６】
さらに、残響除去方法は、図４に示すように、ほぼ同じ処理を２段（またはそれ以上）で構成することで、より精確に逆伝達関数を求めることができるようになる。
１．STEP１では、まず、観測信号YからF0を求めたのち、調波構造フィルタを用いてYに含まれる調波成分X'^h,1を抽出する。次に、複数の観測信号Yに対するX'^h,1／Yの平均から残響除去フィルタO(R^1)を推定する。最後に、YにO(R^1)を乗じて残響除去した信号を得る。
２．STEP２は、STEP１で残響除去した信号O(R^1)Yを入力として用いる以外はSTEP１と同じ処理を行う。O(R^1)Yを用いることで、式（８）に含まれる残響成分R^2Xh,2が抑制されると期待されるので、さらなる残響除去効果が達成される。
【００１７】
残響除去フロー２
残響除去の原理２に基づく残響除去法の実施例２を、実施例１と同じ図１を用いて説明する。
実施例２は、実施例１において、逆伝達関数の推定値を求める計算方法を除いて、全く実施例１と同じように構成することができる。すなわち、式（３３）,（３４）のかわりに以下を計算することになる。
【数１５】
また、式（３６）のような重み付け平均の操作も同様に行うことができる。こうするためには、式（３７）のかわりに以下の計算式を用いればよい。
【数１６】
残響に頑健な F 0 推定法
提案法を用いて効果的な残響除去を行うためには正確なF0推定が重要である。しかし、残響の長い環境では、変動前の基本周波数F0に起因する残響成分が変動後のF0の推定精度を劣化させる。この影響を低減するために、図２に示すように継続音を抑制する単純なフィルタ（継続音抑制部）を設計し、STEP１のF0推定の前処理として用いることが効果的である。
【数１７】
【００１９】
本発明の音響信号の残響除去装置は、CPUやメモリ等を有するコンピュータと、利用者端末と、CD-ROM,磁気ディスク装置,半導体メモリ等の機械読み取り可能な記録媒体とから構成することができる。
記録媒体に記録された音響信号の残響除去プログラム、あるいは回線を介して伝送された音響信号の残響除去プログラムは、コンピュータに読み取られ、コンピュータ上に前述した各構成要素、各処理を実現する。
【００２０】
【発明の効果】
提案法の性能を残響曲線で評価した。ATR単語DBから男女一名（MAUとFKM、12kHz標本化）の各5240単語を音源信号Xとし、可変残響室で測定した４種類のインパルス応答（残響時間が0.1,0.2,0.5,1.0秒）を畳み込んで観測信号Yを合成した。
図５は、残響除去処理を行う前後の残響曲線を示している。女性話者の場合、残響時間(RT)が0.1秒より長い時には効果的に残響を抑制できている。しかし、RT＝0.1の時は残響の抑制効果は認められず、この実験で除去できる残響時間の最小限界を示していると思われる。一方、男性話者の場合もRT＞0.1の時はインパルス直後の残響は効果的に抑制できている。これは目的音の明瞭度が改善することを意味する。例えばRT＝0.2の時、Time＞0.1の残響は増えているが、よりパワーの強いTime＜0.1の残響が抑制されているので、全体として明瞭度は向上する。これらの効果は、実際に音を耳で聞けば明らかである。
図６、７は、本発明を適用した場合の残響時間が１秒の時に残響を含む音声と残響除去処理後の音声のスペクトルグラムを示している。図より残響が効果的に抑制されていることがわかる。さらに、音声のフォルマント構造が回復していることも見てとれる。
【図面の簡単な説明】
【図１】本発明の音響信号の残響除去装置の構成例を示す図。
【図２】本発明の基本周波数推定の前処理として継続音抑制部を有する音響信号の残響除去装置の構成例を示す図。
【図３】入力信号のパワーを用いる基本周波数推定、並びに調波構造区間推定法を説明する図。
【図４】本発明の２段構成とした音響信号の残響除去装置の構成例を示す図。
【図５】残響曲線：残響時間(RT)の異なるインパルス応答、および残響除去後の各インパルス応答を示す図。
【図６】男性話者の残響を含まない音声、残響を含む音声と残響除去後の音声のスペクトログラム。
【図７】女性話者の残響を含まない音声、残響を含む音声と残響除去後の音声のスペクトログラム。
【図８】従来例１の残響除去方法を説明する図。
【図９】従来例２の残響除去方法を説明する図。
Claims (8)
- 入力された残響を含んだ音響信号に対し、短時間毎のフレームの基本周波数を推定する処理と調波成分を抽出する処理と、
前記音響信号と推定した基本周波数と抽出した調波成分と前記フレームの時刻とをもとに、前記残響を含まない前記音響信号の近似値を求める処理と、
前記入力された残響を含んだ音響信号と前記近似値とをもとに音源から前記音響信号の入力に至る逆伝達関数を推定する処理と、
前記音響信号に対し前記逆伝達関数を適用する処理と、から構成される音響信号の残響除去方法。 - 請求項１に記載の音響信号の残響除去方法において、
前記音響信号に対し、周波数ごとに継続音を抑制する継続音抑制処理と、基本周波数を推定する処理からなる基本周波数推定法を用いることを特徴とする音響信号の残響除去方法。 - 入力された残響を含んだ音響信号に対し、短時間毎のフレームの基本周波数を推定する基本周波数推定部と調波成分の抽出を行う調波構造抽出部と、
前記音響信号と推定した基本周波数と抽出した調波成分と前記フレームの時刻とをもとに、前記残響を含まない前記音響信号の近似値を求めて、前記入力された残響を含んだ音響信号と前記近似値とをもとに音源から前記音響信号の入力に至る逆伝達関数を推定する逆伝達関数推定部と、
前記音響信号に対し前記逆伝達関数を適用する逆伝達関数適用部と、から構成される音響信号の残響除去装置。 - 請求項３に記載の音響信号の残響除去装置において、
基本周波数推定部は、前記音響信号に対し、周波数ごとに継続音を抑制する継続音抑制部を有することを特徴とする残響除去装置。 - 入力された残響を含んだ音響信号に対し、短時間毎のフレームの基本周波数を推定する処理と調波成分を抽出する処理と、
前記音響信号と推定した基本周波数と抽出した調波成分と前記フレームの時刻とをもとに、前記残響を含まない前記音響信号の近似値を求める処理と、
前記入力された残響を含んだ音響信号と前記近似値とをもとに音源から前記音響信号の入力に至る逆伝達関数を推定する処理と、
前記音響信号に対し前記逆伝達関数を適用する処理と、をコンピュータに実行させる音響信号の残響除去プログラム。 - 請求項５に記載の音響信号の残響除去プログラムにおいて、
基本周波数を推定する処理は、前記音響信号入力に対し、周波数ごとに継続音を抑制する継続音抑制処理を含む音響信号の残響除去プログラム。 - 入力された残響を含んだ音響信号に対し、短時間毎のフレームの基本周波数を推定する処理と調波成分を抽出する処理と、
前記音響信号と推定した基本周波数と抽出した調波成分と前記フレームの時刻とをもとに、前記残響を含まない前記音響信号の近似値を求める処理と、
前記入力された残響を含んだ音響信号と前記近似値とをもとに音源から前記音響信号の入力に至る逆伝達関数を推定する処理と、
前記音響信号入力に対し前記逆伝達関数を適用する処理と、をコンピュータに実行させる音響信号の残響除去プログラムを記録した記録媒体。 - 請求項７に記載の音響信号の残響除去プログラムを記録した記録媒体において、
基本周波数を推定する処理は、前記音響信号に対し、周波数ごとに継続音を抑制する継続音抑制処理を含む音響信号の残響除去プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003060025A JP4098647B2 (ja) | 2003-03-06 | 2003-03-06 | 音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003060025A JP4098647B2 (ja) | 2003-03-06 | 2003-03-06 | 音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004274234A JP2004274234A (ja) | 2004-09-30 |
| JP4098647B2 true JP4098647B2 (ja) | 2008-06-11 |
Family
ID=33122693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003060025A Expired - Fee Related JP4098647B2 (ja) | 2003-03-06 | 2003-03-06 | 音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4098647B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8284947B2 (en) | 2004-12-01 | 2012-10-09 | Qnx Software Systems Limited | Reverberation estimation and suppression system |
| US8467538B2 (en) | 2008-03-03 | 2013-06-18 | Nippon Telegraph And Telephone Corporation | Dereverberation apparatus, dereverberation method, dereverberation program, and recording medium |
| WO2007130026A1 (en) | 2006-05-01 | 2007-11-15 | Nippon Telegraph And Telephone Corporation | Method and apparatus for speech dereverberation based on probabilistic models of source and room acoustics |
| US8036767B2 (en) * | 2006-09-20 | 2011-10-11 | Harman International Industries, Incorporated | System for extracting and changing the reverberant content of an audio input signal |
| JP4729534B2 (ja) * | 2007-05-25 | 2011-07-20 | 日本電信電話株式会社 | 残響除去装置、残響除去方法、残響除去プログラム、および、その記録媒体 |
| JP2009244703A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | 楽曲編集システムおよびプログラム |
| JP5923994B2 (ja) * | 2012-01-23 | 2016-05-25 | 富士通株式会社 | 音声処理装置及び音声処理方法 |
| JP6036141B2 (ja) * | 2012-10-11 | 2016-11-30 | ヤマハ株式会社 | 音響処理装置 |
| JP6630605B2 (ja) * | 2016-03-22 | 2020-01-15 | 日本放送協会 | インパルス応答推定装置及びプログラム |
-
2003
- 2003-03-06 JP JP2003060025A patent/JP4098647B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004274234A (ja) | 2004-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1993320B1 (en) | Reverberation removal device, reverberation removal method, reverberation removal program, and recording medium | |
| JP5519689B2 (ja) | 音響処理装置、音響処理方法及び補聴器 | |
| JP5666444B2 (ja) | 特徴抽出を使用してスピーチ強調のためにオーディオ信号を処理する装置及び方法 | |
| JP4532576B2 (ja) | 処理装置、音声認識装置、音声認識システム、音声認識方法、及び音声認識プログラム | |
| CN111833896A (zh) | 融合反馈信号的语音增强方法、***、装置和存储介质 | |
| WO2004077407A1 (en) | Estimation of noise in a speech signal | |
| JPWO2009110574A1 (ja) | 信号強調装置、その方法、プログラム及び記録媒体 | |
| JP4682154B2 (ja) | 自動音声認識チャンネルの正規化 | |
| JP2011033717A (ja) | 雑音抑圧装置 | |
| Al-Karawi et al. | Early reflection detection using autocorrelation to improve robustness of speaker verification in reverberant conditions | |
| JP4098647B2 (ja) | 音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体 | |
| JP6748304B2 (ja) | ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム | |
| JP4705414B2 (ja) | 音声認識装置、音声認識方法、音声認識プログラムおよび記録媒体 | |
| KR20220022286A (ko) | 잔향 제거 오토 인코더를 이용한 잔향 환경 임베딩 추출 방법 및 장치 | |
| US7890319B2 (en) | Signal processing apparatus and method thereof | |
| CN103929704B (zh) | 一种基于变换域的自适应声反馈消除的方法和*** | |
| JP4891805B2 (ja) | 残響除去装置、残響除去方法、残響除去プログラム、記録媒体 | |
| JP2006234888A (ja) | 残響除去装置、残響除去方法、残響除去プログラムおよび記録媒体 | |
| JP3916834B2 (ja) | 雑音が付加された周期波形の基本周期あるいは基本周波数の抽出方法 | |
| US9875755B2 (en) | Voice enhancement device and voice enhancement method | |
| Lee et al. | Deep neural network-based speech separation combining with MVDR beamformer for automatic speech recognition system | |
| JP4240878B2 (ja) | 音声認識方法及び音声認識装置 | |
| JP6106618B2 (ja) | 音声区間検出装置、音声認識装置、その方法、及びプログラム | |
| JP4464797B2 (ja) | 音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
| WO2021059497A1 (ja) | 音信号処理装置、音信号処理方法および記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041220 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080313 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |