JP3986457B2 - 入力信号推定方法、及び装置、入力信号推定プログラムならびにその記録媒体 - Google Patents
入力信号推定方法、及び装置、入力信号推定プログラムならびにその記録媒体 Download PDFInfo
- Publication number
- JP3986457B2 JP3986457B2 JP2003090922A JP2003090922A JP3986457B2 JP 3986457 B2 JP3986457 B2 JP 3986457B2 JP 2003090922 A JP2003090922 A JP 2003090922A JP 2003090922 A JP2003090922 A JP 2003090922A JP 3986457 B2 JP3986457 B2 JP 3986457B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- matrix
- output
- signal
- transfer function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
【発明の属する技術分野】
この発明は例えば室内での音声収録等の際に、収録音声品質劣化の主要因である残響歪みを低減し明瞭性低下を防ぐ収音技術や移動無線受信時、ビル・高速道路等に起因するマルチパス歪みを低減し、良好な音声品質を維持する受話技術等に用いられ、1入力多出力線形系において、出力信号が系の伝達関数に起因する歪みを伴う場合に、伝達関数固有の事前情報を用いず、入力信号を高精度にブラインド(Blind)推定する方法、及び装置、入力信号推定プログラム、ならびにその記録媒体に関する。
【0002】
【従来の技術】
この種の従来技術として特許文献1に示すものが知られている。これを図5を参照して簡単に説明する。1入力2出力線形系11の入力端12に、時刻nの入力信号u(n)が入力され、この入力信号は1入力2出力線形系11の出力端に設けられた2個のセンサ131 ,132 で電気信号として検出される。センサ131 ,132 の各出力信号は遅延器141 ,142 でそれぞれ1サンプル遅延され、フィルタ151 ,152 へ供給される。フィルタ151 ,152 でフィルタ処理された出力信号は加算器16で互いに加算され、この加算出力が減算器17でセンサ131 の出力信号より差し引かれる。この減算器17の出力信号y(n)と遅延器141 ,142 よりの各遅延出力信号とがフィルタ計算部18へ供給され、フィルタ計算部18で出力信号y(n)の二乗平均値を最小化するようにフィルタ151 ,152 の伝達関数が計算され、これら伝達関数がフィルタ151 ,152 に設定される。
【0003】
入力端12の入力信号u(n)が次の関係を満足する場合、減算器17の出力信号y(n)は入力信号u(n)に一致し、入力信号は精度良く推定される。つまり次式が成立して残響音の影響を受けない入力信号u(n)を出力信号y(n)として得られる。
E{u(n)u(n−j)}=1(j=0) (1a)
E{u(n)u(n−j)}=0(j≠0) (1b)
但し、E{ }:平均
【0004】
【特許文献1】
特許第3341811号公報(平成14年11月5日発行)
【非特許文献1】
児玉,須田,システム制御のためのマトリクス理論,コロナ社,1978年
【0005】
【発明が解決しようとする課題】
この従来の技術は入力信号がランダムな信号の場合は良好な結果が得られる。
しかし、入力信号u(n)の生成過程が自己回帰(AR:autoregressive)過程である場合、減算器17の出力信号y(n)は入力信号u(n)に一致せず、入力信号u(n)は正確には推定されない。この理由は以下の様に説明される。入力信号u(n)のAR生成過程の係数をa1 ,…,ap とすれば、入力信号u(n)は次の関係を満足する。
但し、a(z)=a1 z-1+a2 z-2+…+ap z-p
または、
【数1】
C=E{u n T u n-1 }(E{u n-1 T u n-1 })-1 (2c)
但し、e(n):線形予測誤差, T:転置
【0006】
入力端12とセンサ131 ,132 との間の各伝達関数h1(z),h2(z)(z:複素変数)及びフィルタ151 ,152 の各伝達関数w1(z),w2(z)をそれぞれ次の様に表す。
但し、hj(z)(j=1,2)は共通零点を持たない。
【0007】
この時、減算器17の出力信号y(n)は次の様に表される。
【数2】
フィルタ15j の次数Lと系11の伝達関数の次数mとの関係をL≧m−1と定め、減算器17の出力信号y(n)の二乗平均値E{|y(n+1)|2 }を最小化すると、式(2c)より、フィルタ151 ,152 の伝達関数を表すベクトルwは次の様に求められる。
但し、s2 :小さな正数、I:単位行列
【0008】
ここで(HE{u n-1 T u n-1 }H T +s2 I)-1:行列HE{u n-1 T u n-1 }H T の擬似逆行列
s2 を十分小さな正数とする事より、式(5)の関係は次の様に整理される(非特許文献1、339頁)。
【数3】
但し、A + :行列AのMoore-Penrose一般逆行列,U n-1 T U n-1 =E
{u n-1 T u n-1 }
式(5)を式(4)へ代入し式(2b)の関係を用いれば、出力信号y(n)は次の様に求められる。
【0009】
このようにy(n)はu(n)とならない、つまりAR過程より生成される入力信号u(n)は特許文献1に示す技術では推定されない。
この発明の目的は、室内音声収音等の1入力多出力線形系において、系の伝達関数に関わる事前情報を用いず、各センサの出力信号のみから、AR過程より生成される入力信号でも高精度にブラインド(Blind)推定する方法、及び装置、そのプログラム及び記録媒体を提供することである。
【0010】
【課題を解決するための手段】
この発明によれば、1入力多出力線形系の出力端に備える第1,第2,…,第Nのセンサの出力信号各々に1サンプルの遅延を付与し、上記N個の出力信号と上記N個の遅延信号を用いてN個の前段フィルタ伝達関数と1個の後段フィルタ伝達関数を計算し、上記N個の遅延信号をそれぞれ上記N個の前段フィルタ伝達関数をフィルタ処理し、これらフィルタ処理した信号を加算し、この加算信号を前記第1センサの出力信号から減算し、この減算信号を上記後段フィルタ伝達関数でフィルタ処理する。
【0011】
フィルタ伝達関数の計算は例えば次のように求めることができる。N個の遅延信号の自己相関行列を求め、更にこの自己相関行列の擬似逆行列を求め、また上記N個の遅延信号と上記N個のセンサの各出力信号との相互相関行列を求め、上記自己相関行列の擬似逆行列と上記相互相関行列との積行列を求める。この積行列の第1行のN個の成分を上記N個の前段フィルタ伝達関数とする。また、上記積行列の特性方程式を求め、これより上記AR生成過程の分母多項式と同等な多項式±{1−a(z)}を求め、この多項式の逆元±1/(1−a(z))を求めて後段フィルタ伝達関数とする。この後段フィルタ22で前記減算信号h1:0 e(n)が処理され、その処理結果としてe(n)は式(2a)の関係から、次式(8)に示す様に入力信号u(n)に比例する信号h1:0 u(n)が得られる。
±1/(1−a(z))h1:0 e(n)=±h1:0 u(n) (8)
即ち、系への入力信号は高精度に推定される。
【0012】
【発明の実施の形態】
以下、図面を用いてこの発明の実施の形態を説明する。この発明の入力信号推定装置の実施形態の機能構成を図1に示す。1入力2出力線形系11の入力端12に入力された、時刻nの入力信号u(n)が出力端の2個のセンサ131 ,132 で電気信号として検出され、これら各センサ出力信号は遅延器141 ,142 で1サンプル遅延され、これら遅延信号は前段フィルタ211 ,212 でフィルタ処理され、これらフィルタ出力信号は加算器16で加算されこの加算信号が第1センサ131 の出力信号より減算器17で差し引かれ、この減算信号が後段フィルタ22でフィルタ処理される。フィルタ計算部23でセンサ131 ,132 の各出力信号と遅延器141 ,142 の各遅延信号に基づき、前段フィルタ伝達関数w 1 ,w 2 、後段フィルタ伝達関数を計算し、これら伝達関数が前段フィルタ211 ,212 、後段フィルタ22にそれぞれセットされる。
【0013】
フィルタ計算
フィルタ計算部23の機能構成例を図2に示す。
遅延器141 ,142 の各出力信号より自己相関計算部24で自己相関行列R A が計算され、この擬似逆行列(R A +s2 I)-1が擬似逆行列計算部25で計算される。遅延器141 ,142 の各出力信号とセンサ131 ,132 の各出力信号との相互相関行列R c が相互相関計算部26で計算される。
【0014】
上記擬似逆行列R A -と相互相関行列R c との積行列W=R c(R A +s2 I)-1が乗算部27で計算される。この積行列Wの第1行の2個の成分が前段フィルタ伝達関数w 1 ,w 2 として前段フィルタ211 ,212 にセットされる。更に積行列Wの特性多項式が多項式計算部28で計算され、その特性多項式中の、AR生成過程の分母多項式と同等な多項式の逆元が逆元計算部29で計算され、後段フィルタ伝達関数wF として後段フィルタ22にセットされる。
【0015】
次にフィルタ計算部23での処理を詳細に説明する。系11への入力信号u(n)、及びu(n)を生成するAR過程、系11の伝達関数hj(z)、前段フィルタ21 j(j=1,2)の伝達関数wj(z)、及びhj(z)の次数mとwj(z)の次数Lとの関係は、それぞれ前記の式(2)〜(5)の場合と同じとする。遅延器141 ,142 の出力信号より得られる自己相関行列RA は、次式(9)の計算により自己相関計算部24の計算で求められる。
RA =HE{un-1 T un-1 }HT (9)
擬似逆行列RA -を逆行列計算部25で求めるとRAは(RA +s2I)-1となり、この擬似逆行列に、式(9)を代入すると、次式(10)に示すように式(5)中の逆行列の部と同一になる。
RA -=(RA+s2I)-1=(HE{un-1 Tun-1}HT+s2 I)-1 (10)
【0016】
相互相関行列R C は、遅延器141 ,142 、及びセンサ131 ,132 の各出力より、次式(11)の計算により相互相関計算部26で求められる。
R C =HE{u n-1 T u n }H T (11)
よって、乗算部27で計算される積行列Wは次式(12)の様になる。
式(12)に式(2c)の関係を代入し、s2 を十分小さな正数とする事より、式(6)と同様に、式(12)の関係は次の様に整理される。
【数4】
【0017】
この積行列Wの第1行W 1rの各成分が先に前段フィルタ211 ,212 にそれぞれ伝達関数としてセットされるが、この積行列Wの第1行は従来技術の項で述べたサンプル遅延信号をフィルタ処理するフィルタ151 ,152 の伝達関数ベクトルw、つまり式(6)に等しい。
従って、遅延器141 ,142 の出力遅延信号を前段フィルタ211 ,212 でそれぞれフィルタ処理し、これら前段フィルタ211 ,212 の出力信号の加算信号を第1センサ131 の出力信号より減算して得られる減算器17の出力信号y(n)は系11への入力信号u(n)の生成過程がAR過程である場合、式(7)に示したように式(2a)で示されるその入力信号u(n)を生成するAR過程1/(1−a(z))を駆動する線形予測誤差e(n)に比例した信号h1:0 e(n)になる。
【0018】
ところで積行列Wの零でない固有値λi{W}は次の関係を満足する(非特許文献1、166〜167頁)。
行列Cの特性多項式cc(z)は、式(2b)より、次の様に求まる。
式(15)の関係があるから、積行列Wは行列Uに対し1行の要素が2(L+1)−pだけ多いから、Wの特性多項式cw(z)は次の様に表される。
【0019】
上記特性多項式cw(z)にz-2(L+1)を乗ずる事より、式(2a)に示すAR生成過程の分母多項式に同等な多項式±{1−a(z)}を得ることができる。実際には多項式計算部28で積行列Wの特性多項式cw(z)を計算し、その中のAR生成過程の分母多項式と同等な多項式±{1−a(z)}を取り出し、この多項式の逆元±1/(1−a(z))を逆元計算部29で計算する。
この逆元±1/(1−a(z))=wF を後段フィルタに伝達関数wF としてセットする。減算器17の出力信号h1:0e(n)は後段フィルタ22でフィルタ処理される。この処理により式(8)が演算され、系11の入力信号u(n)に比例する信号±h1:0u(n)が得られる。即ち、系11への入力信号が高精度に推定される。
【0020】
次にこの発明の方法を図1に示した1入力2出力線形系11に適用した実施形態を図3を参照して簡単に説明する。この方法の各手順を、図4に簡略に示すコンピュータにより実行させることを想定する。
センサ131 ,132 の出力信号を図に示してないが通常はそれぞれ一定周期で標本化してディジタル信号系列としてインタフェース31を通して記憶部32に一旦取り込む(S1)。これらセンサ出力信号に対し、それぞれ1サンプルの遅延を付与し(S2)、これら遅延信号と、センサ出力信号とに基づき前段フィルタ伝達関数w 1 ,w 2 及び後段フィルタ伝達関数wF を計算する(S3)。
【0021】
つまり例えば図2に示した処理と同様に両遅延信号の自己相関行列R A =HE{u n-1 T u n-1}H T を計算し(S3−1)、更にその擬似逆行列R A -=(R A +s2 I)-1を計算して一時記憶する(S3−2)。また両センサ出力信号と両遅延信号との相互相関行列R C =HE{u n-1 T u n }H T を計算し(S3−3)、相互相関行列R Cと擬似逆行列R A -との積行列Wを計算する(S3−4)。この積行列Wの第1行の各成分をそれぞれ前段フィルタ伝達関数w 1 ,w 2 として記憶する(S3−5)。
【0022】
また積行列Wの特性多項式cw(z)を計算し(S3−6)、その特性多項式中のAR生成過程の分母多項式に同等な多項式の逆元±1/(1−a(z))を計算し、これを後段フィルタ伝達関数wF として記憶する(S3−7)。
このようにして前段フィルタ伝達関数と後段フィルタ伝達関数を求めた後、各遅延信号を対応する前段フィルタ伝達関数w 1 ,w 2 を用いてフィルタ処理し(S4)、これら前段フィルタ処理された信号を加算し(S5)、この加算信号を第1センサ出力信号から差し引き(S6)、その差し引かれた信号に対し後段フィルタ伝達関数wF でフィルタ処理し(S7)、その結果を出力部33を通じて出力する(S8)。
【0023】
この図3に示す各過程をコンピュータに実行させるための入力信号推定プログラムをCD−ROM、磁気ディスクなどの記録媒体から、あるいは通信回線を介してプログラムメモリ34にダウンロードして、中央演算処理部(CPU)により、プログラムメモリ34に格納されているプログラムを実行させればよい。
入力信号u(n)の生成方法が決れば、後段フィルタ伝達関数wF は一定であるから、最初に1回計算して、図1では後段フィルタ22にセットし、図3では記憶しておけばよい。前段フィルタ伝達関数w 1 ,w 2 は信号源、センサの配置の変更、その系11内の空間の変更があれば、その都度、計算する必要がある。従って、前段フィルタ伝達関数は適当な間隔で計算して、適応的に変化させるとよい。
【0024】
上述では1入力2出力線形系を対象としているが、1入力N出力線形系(Nは2以上の整数)を対象とする際には、センサ数、遅延器数、及び遅延器の出力を処理するフィルタ数をそれぞれNへ変更し、これらフィルタの伝達関数の次数Lと系の伝達関数の次数mとの関係をL>(m−1)/Nとすれば良く、上記フィルタ演算部23の計算原理や、減算器17の出力を処理する後段フィルタ22の処理、及び効果は変わらない。また入力信号u(n)としてはAR生成過程に基づき生成されたものに限らない。またこの発明は室内の音声収録に限らず、移動無線におけるマルチパスによる影響の除去にも適用でき、その場合はセンサとしてアンテナが用いられ、そのアンテナ出力信号はベースバンド信号に変換されて、前述した場合と同様に処理される。その他同様の問題に対しこの発明を適用することができる。
【0025】
【発明の効果】
以上説明した様に、この発明によれば、AR過程より生成される信号が1入力多出力線形系へ入力される際にも、系の出力端に備える複数センサの各出力を遅延させ、これら遅延信号それぞれをフィルタ処理した後加算し、第1センサの出力より減算して得られる信号(上記AR過程を駆動する線形予測誤差)を、AR過程の分母多項式に同等な多項式の逆元に相当する伝達関数によりフィルタで処理する事より、系への入力信号を高精度に推定する事が出来る。
【図面の簡単な説明】
【図1】この発明の一実施形態に係る入力信号推定装置の機能構成を示すブロック図。
【図2】図1中のフィルタ計算部23の具体的機能構成を示すブロック図。
【図3】この発明の方法の実施形態を示す流れ図。
【図4】コンピュータの機能構成を簡略に示すブロック図。
【図5】従来の入力信号推定装置の機能構成を示すブロック図。
Claims (4)
- 1入力多出力線形系の2以上の整数N個の出力端に設けられた第1,第2,…,第Nのセンサよりの出力信号をそれぞれ1サンプル遅延する過程と、
上記N個の出力信号と上記遅延されたN個の信号に基づきN個の前段フィルタ伝達関数と、1個の後段フィルタ伝達関数を計算して記憶するフィルタ計算過程と、
これら遅延された第1,第2,…,第N信号を上記第1,第2,…,第Nフィルタ伝達関数でそれぞれフィルタ処理する前段フィルタ処理過程と、
各フィルタ処理されたN個の信号を加算する過程と、
上記第1のセンサよりの出力信号から上記加算された信号を減算する過程と、
上記減算された信号を上記後段フィルタ伝達関数でフィルタ処理する後段フィルタ処理過程とを有し、
上記フィルタ計算過程は、
上記遅延された第1,第2,…,第N信号の自己相関行列を計算する過程と、
上記自己相関行列の擬似逆行列を計算する過程と、
上記第1,第2,…,第Nセンサの出力信号と、上記遅延された第1,第2,…,第N信号との相互相関行列をそれぞれ計算する過程と、
上記自己相関行列の擬似逆行列と上記相互相関行列の積行列を計算してその第1行のN個の成分をそれぞれ上記第1,第2,…,第Nフィルタ伝達関数として求める過程と、
上記積行列の特性多項式を計算する過程と、
上記特性多項式にz −N(L+1) (Lは上記前段フィルタの伝達関数の次数)を乗算して上記後段フィルタ処理における伝達関数を求める過程と
を有することを特徴とする入力信号推定方法。 - 1入力多出力線形系の出力端に備える第1,第2,…,第Nのセンサと(Nは2以上の整数)、
これらセンサの出力信号各々に1サンプルの遅延を付与する第1,第2,…,第Nの遅延器と、
これら遅延器の出力信号各々を処理する第1,第2,…,第Nの前段フィルタと、
これらフィルタの出力信号を加算する加算器と、
この加算器の出力信号を上記第1センサの出力信号から減算する減算器と、
この減算器の出力信号を処理する後段フィルタと、
上記各センサの各出力信号及び上記各遅延器の各遅延出力信号が入力され、上記第1,第2,…,第Nフィルタと上記後段フィルタの伝達関数をそれぞれ計算して、これらフィルタ伝達関数を上記フィルタの対応するものにそれぞれセットするフィルタ計算器とを具備し、
上記フィルタ係数計算器は、
上記第1,第2,…,第N遅延器の遅延出力信号の自己相関行列を計算する自己相関計算部と、
上記自己相関行列の擬似逆行列を計算する逆行列計算部と、
上記第1,第2,…,第Nセンサの出力信号と上記第1,第2,…,第N遅延器の遅延出力信号との相互相関行列を計算する相互相関計算部と、
上記擬似逆行列と上記相互相関行列との積行列を計算してこの積行列の第1行のN個の成分を、上記第1,第2,…,第Nの前段フィルタへフィルタ伝達関数としてセットする乗算部と、
上記積行列の特性多項式を計算する多項式計算部と、
上記特性多項式にz −N(L+1) (Lは上記前段フィルタの伝達関数の次数)を乗算して、上記後段フィルタへフィルタ伝達関数としてセットする逆元計算部とを有することを特徴とする入力信号推定装置。 - 請求項1に記載した入力信号推定方法の各過程をコンピュータに実行させるための入力信号推定プログラム。
- 請求項3に記載した入力信号推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003090922A JP3986457B2 (ja) | 2003-03-28 | 2003-03-28 | 入力信号推定方法、及び装置、入力信号推定プログラムならびにその記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003090922A JP3986457B2 (ja) | 2003-03-28 | 2003-03-28 | 入力信号推定方法、及び装置、入力信号推定プログラムならびにその記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004295039A JP2004295039A (ja) | 2004-10-21 |
JP3986457B2 true JP3986457B2 (ja) | 2007-10-03 |
Family
ID=33404420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003090922A Expired - Fee Related JP3986457B2 (ja) | 2003-03-28 | 2003-03-28 | 入力信号推定方法、及び装置、入力信号推定プログラムならびにその記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3986457B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8271277B2 (en) | 2006-03-03 | 2012-09-18 | Nippon Telegraph And Telephone Corporation | Dereverberation apparatus, dereverberation method, dereverberation program, and recording medium |
JP4834146B2 (ja) | 2007-03-09 | 2011-12-14 | パイオニア株式会社 | 音場再生装置及び音場再生方法 |
JP4933975B2 (ja) * | 2007-08-02 | 2012-05-16 | 日本電信電話株式会社 | 信号抽出装置、その方法、およびそのプログラム |
EP3460795A1 (en) * | 2017-09-21 | 2019-03-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal processor and method for providing a processed audio signal reducing noise and reverberation |
-
2003
- 2003-03-28 JP JP2003090922A patent/JP3986457B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004295039A (ja) | 2004-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4282227B2 (ja) | ノイズ除去の方法及び装置 | |
JP3008763B2 (ja) | 適応フィルタによるシステム同定の方法および装置 | |
EP1376541A2 (en) | Extraction of external noise components | |
WO2007029536A1 (ja) | 雑音抑圧の方法及び装置並びにコンピュータプログラム | |
EP1774517A1 (en) | Audio signal dereverberation | |
JP2002189476A (ja) | 独立成分分析を用いた能動騒音除去方法 | |
JP2957183B2 (ja) | 巡回型ディジタルフィルタ | |
JPH07176991A (ja) | 適応フィルタ装置及びその制御方法 | |
JP3986457B2 (ja) | 入力信号推定方法、及び装置、入力信号推定プログラムならびにその記録媒体 | |
JP4473709B2 (ja) | 信号推定方法、信号推定装置、信号推定プログラム及びその記録媒体 | |
JP2541044B2 (ja) | 適応フィルタ装置 | |
EP2809086B1 (en) | Method and device for controlling directionality | |
EP1628397A1 (en) | Audio quality adjustment device | |
JPH10322168A (ja) | 適応有限インパルス応答フィルタ集積回路 | |
JP3831220B2 (ja) | 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体 | |
Bharitkar et al. | Perceptual multiple location equalization with clustering | |
JP2679464B2 (ja) | 適応ノイズ除去フィルタ | |
JP4057497B2 (ja) | 伝達特性等化方法、その装置、伝達特性等化プログラム、その記録媒体 | |
JP7270869B2 (ja) | 情報処理装置、出力方法、及び出力プログラム | |
JP2000097758A (ja) | 音源信号推定装置 | |
CN112584274B (zh) | 等化处理的调整***及其调整方法 | |
US7290022B2 (en) | Method and filter arrangement for digital recursive filtering in the time domain | |
JPH05199071A (ja) | フィルタ設計方法および音声フィルタ | |
JP4214391B2 (ja) | デジタル・フィルタの設計方法 | |
JP2883494B2 (ja) | デジタルフィルター |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050128 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070710 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |