JP5229053B2 - 信号処理装置、および信号処理方法、並びにプログラム - Google Patents
信号処理装置、および信号処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP5229053B2 JP5229053B2 JP2009081379A JP2009081379A JP5229053B2 JP 5229053 B2 JP5229053 B2 JP 5229053B2 JP 2009081379 A JP2009081379 A JP 2009081379A JP 2009081379 A JP2009081379 A JP 2009081379A JP 5229053 B2 JP5229053 B2 JP 5229053B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound source
- projection
- microphone
- separation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 240
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000000926 separation method Methods 0.000 claims description 512
- 238000000034 method Methods 0.000 claims description 134
- 238000012880 independent component analysis Methods 0.000 claims description 127
- 230000008569 process Effects 0.000 claims description 94
- 238000004364 calculation method Methods 0.000 claims description 42
- 230000003111 delayed effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 118
- 239000000872 buffer Substances 0.000 description 40
- 238000006243 chemical reaction Methods 0.000 description 32
- 230000014509 gene expression Effects 0.000 description 26
- 239000013598 vector Substances 0.000 description 20
- 230000006870 function Effects 0.000 description 14
- 239000013001 matrix buffer Substances 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 11
- 238000007796 conventional method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 101100412093 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rec16 gene Proteins 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 229910009447 Y1-Yn Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000013599 spices Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
(2)音源分離に適した配置のマイクで収録した音からICAを行ない、その分離結果である分離信号を、音源方向推定または音源位置推定に適した配置のマイクへ射影する。
また、全てのマイクについての観測信号を一つの式で表わすと、以下に示す式[1.2]のように表わせる。
上記の式[1.2]の両辺を短時間フーリエ変換すると、以下に示す式[2.1]が得られる。
ωは周波数ビンの番号(ω=1〜M。Mは周波数ビンの総数)、
tはフレームの番号(t=1〜T。Tはフレームの総数)、
である。
ICAの分離結果をマイクに射影(projection back)するとは、ある位置に設定したマイクの集音信号を解析し、その集音信号から各原信号に由来する成分を求めることである。ある原信号に由来する成分とは、仮に音源が一つだけしか鳴っていないときにマイクで観測される信号に等しい。
非特許文献3[Noboru Murata and Shiro Ikeda, "An on−line algorithm for blind source separation on speech signals." In Proceedings of 1998 International Symposium on Nonlinear Theory and its Applications (NOLTA’98), pp.923−926, Crans−Montana, Switzerland, September 1998
(http://www.ism.ac.jp/〜shiro/papers/conferences/nolta1998.pdf)]
非特許文献4[Murata他: "An approach to blind source separation based on temporal structure of speech signals", Neurocomputing, pp.1.24, 2001. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.43.8460&rep=rep1&type=pdf]
分離結果Yk(ω,t)をマイクiへ射影した結果をYk[i](ω,t)と書く。分離結果Yk(ω,t)をn個のマイク1〜nへ射影した結果であるYk[1](ω,t)〜Yk[n](ω,t)からなるベクトルは、以下に示す式[4.1]で求めることができる。ただし、この式の右辺の第2項は、前記の式[2.6]のY(ω,t)に対してk番目以外の要素を0とすることで生成されるベクトルであり、「Yk(ω,t)に対応する音源だけが鳴っている状態」を表わしている。分離行列の逆行列は空間の伝達関数を表わすため、結果として式[4.1]は「Yk(ω,t)に対応する音源だけが鳴っている状態で、各マイクが観測する信号」を求める式になっている。
また、
diag(・)
は、カッコ内の要素を対角要素とする対角行列を表わす。
しかしながら、上記の式[4.1]へ式[4.4]に従った射影処理は、ICAで使用しているマイクへの射影であり、ICAで使用していないマイクへは射影できない。そのため、ICAで使用しているマイクやその配置がその他の処理にとって最適ではない場合に、問題が発生する可能性がある。以下では、その例として次の2点について言及する。
(1)指向性マイクの使用
(2)音源方向推定や音源位置推定との併用
ICAで複数のマイクを使用する理由は、複数音源の混合の度合いの異なる観測信号を複数、得るためである。その際、混合の度合いが各マイク間で大きく異なる方が、分離にも学習にも都合が良い。すなわち、分離結果における目的信号と消し残りの妨害音との比率(Signal−to−Interference Ratio:SIR)を高くすることができる上に、分離行列を求める学習処理も、少ない回数で収束する。
音源方向推定とは、マイクに対して音がどの方向から到来するか(Direction of Arrival:DOA)を推定することである。また、方向だけでなく音源の位置も特定することを、音源位置推定と呼ぶ。方向推定や位置推定は、複数のマイクを用いるという点ではICAと共通点があるが、それらに最適なマイク配置は、ICAに最適なマイク配置と必ずしも一致しない。そのため、音源分離と方向推定(または位置推定)との両方を行なうシステムにおいては、マイクの配置にジレンマが発生する場合がある。
angle()は複素数の位相を表わし、
acos()はcos()の逆関数を表わす。
a) マイクの本数
b) マイクの間隔
c) 位置の変化するマイク
音源方向推定や位置推定の計算量と、ICAの計算量とを比較すると、ICAの計算量の方がずっと大きい。また、ICAの計算量はマイク数nの2乗に比例するため、計算量の上限からマイクの本数が制限される場合もある。その結果、特に音源位置推定に必要な本数のマイクを確保できないこともありうる。たとえば、マイク数=2の場合、2音源までの分離は可能であり、さらに各音源が特定の円錐の表面に存在しているということまでは推定可能だが、音源の位置は特定できない。
音源位置推定において、位置を高い精度で推定するためには、マイクペア同士をある程度、例えば音源とマイク間の距離と同程度のオーダーで離すことが望ましい。また、逆に、マイクペアを構成する2つのマイクについては、平面波仮定が成立する程度に接近している方が望ましい。
音源方向推定や位置推定では、少なくともマイク同士の相対的な位置関係の情報が既知である必要がある。さらに、位置推定において、マイクから音源への相対的な位置だけでなく、固定された原点(例えば、部屋の隅を原点とする)からの絶対座標も推定する場合は、マイク自体の絶対座標も必要となる。
また、ICAに最適なマイク配置は、音源分離には最適な配置であっても、音源方向推定や音源位置推定に不適切な配置となる場合もある。従って、複数のマイクを複数の位置に設定してICAと音源方向推定や音源位置推定処理を併せて行った場合、音源分離処理、または音源方向や位置推定処理のいずれかの処理の処理精度が低下してしまうという問題がある。
音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析(ICA:Independent Component Analysis)を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成する音源分離部と、
射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成する信号射影部を有し、
前記信号射影部は、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成する信号処理装置にある。
信号処理装置において実行する信号処理方法であり、
音源分離部が、音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析(ICA:Independent Component Analysis)を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成する音源分離ステップと、
信号射影部が、射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成する信号射影ステップを有し、
前記信号射影ステップは、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成する信号処理方法にある。
信号処理装置において信号処理を実行させるプログラムであり、
音源分離部に、音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析(ICA:Independent Component Analysis)を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成させる音源分離ステップと、
信号射影部に、射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成させる信号射影ステップを有し、
前記信号射影ステップは、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成させるステップであるプログラムにある。
1.本発明の処理の概要
2.ICAの適用マイクとは異なるマイクへの射影処理とその原理について
3.ICAの適用マイクとは異なるマイクへの射影処理の処理例(実施例1)
4.無指向性マイクを複数用いて仮想的な指向性マイクを構成した実施例(実施例2)
5.音源分離処理の分離結果の射影処理と、音源方向推定または位置推定とを併せて行う処理例(実施例3)
6.本発明の信号処理装置を構成するモジュールの構成例について
7.信号処理装置の実行する処理シーケンスについて
8.本発明の信号処理装置のその他の実施例
8.1.信号射影部の射影係数行列P(ω)算出処理における逆行列演算を省略した実施例
8.2.音源分離処理による分離結果を、特定の配置のマイクへ射影する処理を行う実施例(実施例4)
8.3.複数の音源分離システムを適用した実施例(実施例5)
9.本発明の信号処理装置の特徴および効果についてのまとめ
前述したように、従来の音源分離処理として独立成分分析(ICA:Independent Component Analysis)を行う場合、ICAに最適なマイク配置の下で、複数の指向性マイクを利用した設定で行うことが好ましい。
しかし、
(1)指向性マイクを利用した処理結果として得られる分離結果である分離信号を指向性マイクへ射影すると、図4を参照して説明したように指向性マイクの指向性が周波数によって異なるため、分離結果の音が歪むという問題が発生する。また、
(2)ICAに最適なマイク配置は、音源分離には最適な配置であっても、音源方向推定や音源位置推定には不適切な配置となる場合も多い。
このように、ICAに最適なマイクと位置に設定したICA処理と、他の処理をいずれも構成度に行うことは困難となるという問題がある。
すなわち、(1)の指向性マイクの問題については、指向性マイクに由来する分離結果を、無指向性マイクへ射影すればよい。また、(2)のICAと音源方向・位置推定とのマイク配置の矛盾も、ICAに適したマイク配置で分離結果を生成し、それを音源方向・位置推定に適した配置のマイク(または、位置の分かっているマイク)へ射影すれば解決する。
このように、本発明は、ICAの適用マイクとは異なるマイクへ射影することを可能とする構成を持つ。
まず、ICAの適用マイクとは異なるマイクへ射影する処理とその原理について説明する。
観測信号の時間周波数領域変換データ:X(ω,t)、
分離結果:Y(ω,t)
分離行列:W(ω)
とした場合、
Y(ω,t)=W(ω)X(ω,t)
の関係がある。なお、分離結果Y(ω,t)は、リスケーリング前のものでもリスケーリング後のものでも構わない。
ICAによる分離結果(分離信号)Yk(ω,t)のマイクiへの射影結果(射影信号)Yk[i](ω,t)は以下の手順で計算することができる。
式[7.8]は、分離結果の1チャンネル分を各マイクへ射影する式、
式[7.9]は、各分離結果を特定のマイクへ射影する式である。
さらに式[7.9]は、射影の係数を反映させた新たな分離行列W[k](ω)を用意することで(式[7.11])、式[7.10]のようにも表せる。すなわち、射影前の分離結果Y(ω,t)を生成することなく、射影後の分離結果Y'(ω,t)を観測信号X(ω,t)から直接生成することも可能である。
X'(ω,t)=X(ω,t)
とすると、すなわち、ICAで使用しているマイクのみへ射影すると、P(ω)はW(ω)−1と同一となる。つまり、従来法の射影SIMO(Projection−back SIMO)は、本発明で用いている方法の特別な場合に相当する。
512/16000=0.032秒
である。
音速を音速C=340[m/s]とすると、この時間[0.032秒]で音は約10m移動する。従って、本発明の方法を用いれば、ICAに適用したマイクから約10m程度離れたマイクへの射影が可能となる。
次に、図7〜図10を参照して本発明の実施例1について説明する。
実施例1は、ICAの適用マイクとは異なるマイクへの射影処理を行う実施例である。
図7に示す信号処理装置700の構成では、音源分離で使用する指向性マイク701と射影先である無指向性マイク702とを、それぞれ個別に設定した構成であるが、無指向性マイクを複数用いて仮想的な指向性マイクを構成するようにすれば、両マイクを共用することができる。そのような構成を図9および図10を参照して説明する。なお、以降の説明では、無指向性マイクを「集音素子」、複数の集音素子で形成される指向性を「(仮想的な)指向性マイク」と表現する。例えば、先に図3を参照して説明した指向性マイクは、2つの集音素子を用いて1つの仮想的な指向性マイクを形成している。
集音素子のペアから指向性を形成するには、図3と同じ方法を用いればよい。時間周波数領域で遅延を表わすには、式[9.3]で表わされるD(ω,dki)を観測信号の一方に乗じる。その結果、4つの仮想的な指向性マイクで観測される信号であるX(ω,t)は、式[9.2]で表すことができる。
次に、図11〜図13を参照して本発明の実施例3について説明する。
実施例3は、音源分離処理の分離結果の射影処理と、音源方向推定または位置推定とを併せて行う処理例である。
次に、各構成で共通している音源分離部と信号射影部の構成および処理の詳細について、図14〜図16を参照して説明する。
分離行列バッファー1403と分離結果バッファー1404は、それぞれ学習途中の分離行列と分離結果とを格納する領域であり、式[3.1]のW(ω)とY(ω,t)に対応するデータを格納する。
同様に、スコア関数バッファー1405と分離行列修正値バッファー1406は、式[3.2]のφω(Y(t))とΔW(ω)にそれぞれ対応するデータを格納する。
図15は、射影係数行列P(ω)(式[7.5]参照)を算出する処理に際して、先に説明した式[7.6]を用いる構成、
図16は、射影係数行列P(ω)(式[7.5]参照)を算出する処理に式[7.7]を用いる構成である。
射影先観測信号バッファー1503は、射影先マイクで観測された信号を格納するバッファーである。
これら2つのバッファーを用いて、式[7.6]の2種類の共分散行列を計算する。
一方、相互共分散行列バッファー1505は射影先観測信号X'(ω,t)と射影前分離結果Y(ω,t)との共分散行列であり、式[7.6]の〈X'(ω,t)Y(ω,t)H〉tに相当するデータを格納する。なお、異なる変数間での共分散行列を「相互(cross−)共分散行列」と呼び、同一変数同士のものは単に「共分散行列」と呼ぶことにする。
射影結果バッファー1507は、式[7.8]または式[7.9]で計算される射影結果Yk[i](ω,t)を格納する。
射影先観測信号バッファー1604は、図15を参照して説明した射影先観測信号バッファー1503と同様、射影先マイクで観測された信号を格納するバッファーである。
これら2つのバッファーを用いて、式[7.7]の2種類の共分散行列を計算する。
一方、相互共分散行列バッファー1606は射影先観測信号X'(ω,t)と音源分離用観測信号X(ω,t)との共分散行列であり、式[7.7]の〈X'(ω,t)X(ω,t)H〉tに相当するデータを格納する。
射影結果バッファー1608は、図15を参照して説明した、射影結果バッファー1507と同様、式[7.8]または式[7.9]で計算される射影結果Yk[i](ω,t)を格納する。
次に、本発明の信号処理装置の実行する処理シーケンスについて、図17〜20に示すフローチャートを参照して説明する。
ステップS105は、ステップS104で得られた分離結果に対して、所定のマイクへの射影を行なう処理である。詳細は後述する。
ステップS204の射影処理は、分離結果を射影対象とするマイクに射影する処理である。図17のフローのステップS105の射影処理と同様の処理であり、ステップS203で得られた分離結果に対して、所定のマイクへの射影を行なう処理である。
ただし、射影処理を行ってもよいが、射影係数(先に説明した式[7.6]、または式[7.7]、あるいは式[8.1]、式[8.2]に示す射影係数行列P(ω))を計算するだけにとどめ、分離結果の射影自体は省略してもよい。
ステップS205の処理の後、必要に応じて後段処理(S206)を行なう。
Y(ω,t)=W(ω)X(ω,t)
まず、最初のステップS301において、一定時間の観測信号を蓄積する。ここでいう観測信号とは、音源分離用マイクで集音した信号に対して短時間フーリエ変換処理を施した信号である。また、一定時間の観測信号とは、一定数の連続するフレーム(例えば200フレーム)分からなるスペクトログラムと等価である。以降における「全フレームに対する処理」は、ここで蓄積した観測信号の全フレームに対しての処理である。
Z(ω,t)=S(ω)X(ω,t)
を計算する。
無相関化の場合は、
Z(ω,t)=S(ω)X(ω,t)、かつ、
<Z(ω,t)Z(ω,t)H>t=I(Iは単位行列)を満たすZ(ω,t),S(ω)を求める。
なお、tはフレーム番号であり、<・>tは全フレーム、あるいはサンプルフレームについての平均を表わす。
なお、以下の説明および式に示すX(t)やX(ω,t)は、上記の前処理によって算出されるZ(t)やZ(ω,t)に置き換え可能なものとする。
ステップS306〜ステップS309は、周波数ビンωについてのループである。
ステップS307において式[3.2]によって分離行列の修正値であるΔW(ω)を計算し、ステップS308において式[3.3]によって分離行列W(ω)を更新する。この2つの処理を、全周波数ビンに対して行なう。
W←SW
上記の補正を行なうことで、分離行列Wを、前処理以前の観測信号X(t)に対応させる。射影処理で使用される分離行列Wは、この補正後の分離行列である。
射影係数行列P(ω)は、先に説明したように、前述の式[7.6]で計算できる。または、先に説明した式[3.1]の関係を用いて変形した式[7.7]を用いて計算することもできる。
<X'(ω,t)Y(ω,t)>tと、
<Y(ω,t)Y(ω,t)>t
これらの共分散行列を計算する。
<X'(ω,t)X(ω,t)>tと、
<X(ω,t)X(ω,t)>t
これらの共分散行列を計算する。
(8.1.信号射影部の射影係数行列P(ω)算出処理における逆行列演算を省略した実施例)
まず、信号射影部の射影係数行列P(ω)算出処理における逆行列演算を省略した実施例について説明する。
先に説明したように、図15、図16に示す信号射影部の処理は、図20のフローチャートに従った処理となる。図20に示すフローチャートのステップS401では、射影の係数からなる行列をP(ω)(式[7.5]参照)の計算に適用する2種類の共分散行列を計算する。
<X'(ω,t)Y(ω,t)>tと、
<Y(ω,t)Y(ω,t)>t
一方、信号射影部が図16に示す構成である場合は、式[7.7]の適用によって射影係数行列P(ω)(式[7.5]参照)を算出することになり、以下の2種類の共分散行列を計算する。
<X'(ω,t)X(ω,t)>tと、
<X(ω,t)X(ω,t)>t
これらの共分散行列を計算する。
先に簡単に説明したが、以下に示す式[8.1]は、式[7.6]の代わりに使用可能な式である。
共分散行列<Y(ω,t)Y(ω,t)H>t
は、対角行列に近い行列となる。従って、対角要素のみを抽出してもほぼ同じ行列となる。対角行列の逆行列は、単に対角要素を逆数に置き換えるだけで得られるため、フル行列の逆行列演算と比べて計算量は少ない。
次に、音源分離処理による分離結果を、特定の配置のマイクへ射影する処理を行う実施例について説明する。
[3.ICAの適用マイクとは異なるマイクへの射影処理の処理例(実施例1)]
[4.無指向性マイクを複数用いて仮想的な指向性マイクを構成した実施例(実施例2)]
[5.音源分離処理の分離結果の射影処理と、音源方向推定または位置推定とを併せて行う処理例(実施例3)]
これらの3つの実施例について説明した。
実施例1と実施例2は、指向性マイク由来の音源分離結果を無指向性マイクへ射影する処理、
実施例3は、音源分離に適した配置のマイクで集音し、その分離結果を、音源方向(位置)推定に適した配置のマイクへ射影する処理、
これらの処理例である。
本実施例4の信号処理装置は、実施例1において説明した図7に示す信号処理装置700を適用可能である。マイクロホンは、音源分離の入力として用いる複数のマイクロホン701と、射影先として用いる1以上の無指向性マイクロホン702を備える。
図21は、本実施例4におけるマイクおよび出力デバイスの第1の配置例を示している。この図21に示すマイクおよび出力デバイス配置例は、音源分離処理および射影処理により、ユーザーの両耳の位置に対応したバイノーラル信号を生成するためのマイクおよび出力デバイスの配置例である。
ステップS105では、ステップS104で得られた分離結果に対して、所定のマイクへの射影を行なう。本例では、図21に示す射影先マイク2108,2109への射影を行う。射影処理の具体的シーケンスは、図20に示すフローチャートに従った処理となる。
(1)図21に示す環境では音源が3つ(音源1,2105〜音源3,2107)あるため、マイクを2個しか使わないと、音源を完全には分離できない。
(2)図21に示す射影先マイク2108,2109はヘッドホン2101のスピーカー2110,2111と接近しているため、スピーカー2110,2111から出た音をマイク2108,2109が拾ってしまう可能性がある。その場合、音源の数が増え、しかも独立性の仮定が成立しないため、分離精度が低下する。
(4/6)2=2.25倍となる。
このように計算コストが大きくなり、処理効率が低下するという問題がある。これに対して、本発明のように、射影先マイクと音源分離用マイクを別のマイクとして、音源分利用マイクで取得した信号に基づいて生成した分離結果を射影先マイクに射影するといった処理によって、上記の問題はすべて解決する。
ここまで説明してきた複数の実施例は、いずれも音源分離システムが1つの場合であったが、複数の音源分離システムが共通の射影先マイクを備えるという例も可能である。以下では、そのような方法の使い道として、異なるマイク配置を持つ複数の音源分離システムを持つ構成とした実施例について説明する。
すなわち、音源分離用のマイクは2種類あり、狭い間隔で配置された音源分離用マイク(狭間隔)2301は音源分離システム1(高域用)2305に接続され、もう一方の広い間隔で設置された音源分離用マイク(広間隔)2302は音源分離システム2(低域用)2306に接続されている。
複数の音源分離システムを有し、それぞれ異なるマイク配置を持つという構成は、従来技術が存在する。例えば特開2003−263189号公報には、低域は広い間隔に設定したマイクアレイとした複数のマイクが取得した音信号を利用して音源分離処理を行い、高域は狭いマイクアレイとした複数のマイクが取得した音信号を利用して音源分離処理を行い、最終的に両者の分離結果を結合するという方式を開示している。また、本願と同じ出願人の先の特許出願である特開2008−92363号公報は、そのような複数の分離システムを同時に動かす場合に、出力チャンネルの対応付けをとる(例えば、それぞれの分離システムの出力Y1に、同一の音源に由来する信号を出力させる)構成を開示している。
以上、説明したように、本発明の信号処理装置は、音源分離用マイクと、射影先マイクを独立に設定している。すなわち、射影先マイクを音源分離用マイクと異なるマイクとして設定可能な構成としている。
1.指向性マイク(または複数の無指向性マイクから形成される仮想的な指向性マイク)で観測された信号に対して音源分離を行ない、その結果を無指向性マイクへ射影することで、指向性マイクの持つ周波数依存性の問題を解決する。
2.音源分離に適した配置のマイクで観測した信号に対して音源分離を行ない、その結果を音源方向推定(または音源位置推定)に適した配置のマイクへ射影することで、音源分離と方向(位置)推定の間で発生するマイク配置のジレンマを解消する。
3.射影先マイクを再生用スピーカーと同様に配置し、分離結果をそのマイクへ射影することで、定位感のある分離結果が得られるとともに、射影先マイクを音源分離用マイクとして使用する場合の問題を解消する。
4.複数の分離システムの間で共通の射影先マイクを備え、分離結果をそのマイクへ射影することで、音源分離用マイクへ射影する際に発生していた位相差ギャップやゲインの個体差の問題を解消する。
301,302 集音素子
303 遅延処理部
304 混合ゲイン制御部
305 加算部
401,402 集音素子
501 音源
502,503 マイク
601 音源
602,603 マイク
604 マイクペア
700 信号処理装置
701 音源分利用マイク
702 射影先マイク
703 AD変換・STFT部
704 クロック供給部
705 音源分離部
706 信号射影部
707 後段処理部
708 逆FT・DA変換部
709 出力デバイス
710 制御部
801 指向性マイク
803 無指向性マイク
900 信号処理装置
901 集音素子
902 集音素子
903 AD変換・STFT部
904 クロック供給部
905 指向性形成部
906 音源分離部
907 信号射影部
908 後段処理部
909 逆FT・DA変換部
910 出力デバイス
1001〜1005 集音素子
1006〜1009 仮想指向性マイク
1100 信号処理装置
1101 音源分利用マイク
1102 射影先専用マイク
1103 AD変換・STFT部
1104 クロック供給部
1105 音源分離部
1106 信号射影部
1108 音源方向(または位置)推定部
1110 信号統合部
1201〜1208 マイク
1212〜1214 マイクペア
1301 テレビ
1302 射影先マイク
1303 リモコン
1304 音源分離用マイク
1401 学習演算部
1402 観測信号バッファー
1403 分離行列バッファー
1404 分離結果バッファー
1405 スコア関数バッファー
1406 分離行列修正値バッファー
1501 演算部
1502 射影前分離結果バッファー
1503 射影先観測信号バッファー
1504 共分散行列バッファー
1505 相互共分散行列バッファー
1506 射影係数バッファー
1507 射影結果バッファー
1601 演算部
1602 音源分離用観測信号バッファー
1603 分離行列バッファー
1604 射影先観測信号バッファー
1605 共分散行列バッファー
1606 相互共分散行列バッファー
1607 射影係数バッファー
1608 射影結果バッファー
2101 ヘッドホン
2104 音源分離用マイク
2105〜2107 音源
2108,2109 射影先マイク
2110,2111 スピーカー
2201 音源分離用マイク
2202〜2204 音源
2205〜2209 マイク
2210〜2214 スピーカー
2215 試聴者
2301 音源分離用マイク(狭間隔)
2302 音源分離用マイク(広間隔)
2303,2304 射影先マイク
2305 音源分離システム1(高域用)
2306 音源分離システム2(低域用)
2401 音源分離システム1(高域用)
2402,2406 分離結果スペクトログラム
2403 高域データ
2404 高域射影結果
2405 音源分離システム2(低域用)
2407 低域データ
2408 低域射影結果
2409 射影結合結果
Claims (12)
- 音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析(ICA:Independent Component Analysis)を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成する音源分離部と、
射影先マイクの観測信号と、前記音源分離部の生成した分離信号とを入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成する信号射影部を有し、
前記信号射影部は、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成する信号処理装置。 - 前記音源分離部は、
前記音源分離用マイクの取得信号を時間周波数領域に変換した観測信号に対して独立成分分析(ICA)を実行して時間周波数領域の各音源対応の分離信号を生成し、
前記信号射影部は、
時間周波数領域の分離信号に射影係数を乗じて算出する各音源対応の射影信号の総和と、前記射影先マイクの観測信号との誤差を最小にする射影係数を算出し、算出した射影係数を前記分離信号に乗じて射影信号を算出する請求項1に記載の信号処理装置。 - 前記信号射影部は、
前記誤差を最小にする射影係数の算出処理に最小二乗近似を適用する請求項2に記載の信号処理装置。 - 前記音源分離部は、
複数の指向性マイクによって構成された音源分離用マイクの取得信号を入力して、各音源対応の分離信号を生成する処理を実行し、
前記信号射影部は、
無指向性マイクである射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、無指向性マイクである射影先マイクに対する射影信号を生成する請求項1に記載の信号処理装置。 - 前記信号処理装置は、さらに、
複数の無指向性マイクによって構成された音源分離用マイクの取得信号を入力し、2つの無指向性マイクによって構成されるマイクペアの一方のマイクの位相を、前記マイクペアのマイク間距離に応じて遅らせて仮想的な指向性マイクの出力信号を生成する指向性形成部を有し、
前記音源分離部は、前記指向性形成部の生成した出力信号を入力して前記分離信号を生成する請求項1に記載の信号処理装置。 - 前記信号処理装置は、さらに、
前記信号射影部において生成された射影信号を入力し、複数の異なる位置の射影先マイクの射影信号の位相差に基づいて音源方向の算出処理を行う音源方向推定部を有する請求項1に記載の信号処理装置。 - 前記信号処理装置は、さらに、
前記信号射影部において生成された射影信号を入力し、複数の異なる位置の射影先マイクの射影信号の位相差に基づいて音源方向の算出処理を行い、さらに、複数の異なる位置の射影先マイクの射影信号によって算出された音源方向の組み合わせデータに基づいて音源位置を算出する音源位置推定部を有する請求項1に記載の信号処理装置。 - 前記信号処理装置は、さらに、
前記信号射影部において生成された射影係数を入力して、該射影係数を適用した演算を実行して音源方向または音源位置の算出処理を行う音源方向推定部を有する請求項2に記載の信号処理装置。 - 前記信号処理装置は、さらに、
前記射影先マイクに対応する位置に設定された出力デバイスと、
前記出力デバイスの位置に対応する射影先マイクの射影信号を出力する制御を行う制御部を有する請求項1に記載の信号処理装置。 - 前記音源分離部は、少なくとも一部が異なる音源分離用マイクによって取得された信号を入力して分離信号を生成する複数の音源分離部によって構成され、
前記信号射影部は、前記複数の音源分離部の生成した個別の分離信号と、射影先マイクの観測信号を入力して音源分離部対応の複数の射影信号を生成し、生成した複数の射影信号を合成して前記射影先マイクに対応する最終的な射影信号を生成する請求項1に記載の信号処理装置。 - 信号処理装置において実行する信号処理方法であり、
音源分離部が、音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析(ICA:Independent Component Analysis)を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成する音源分離ステップと、
信号射影部が、射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成する信号射影ステップを有し、
前記信号射影ステップは、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成する信号処理方法。 - 信号処理装置において信号処理を実行させるプログラムであり、
音源分離部に、音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析(ICA:Independent Component Analysis)を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成させる音源分離ステップと、
信号射影部に、射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成させる信号射影ステップを有し、
前記信号射影ステップは、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成させるステップであるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009081379A JP5229053B2 (ja) | 2009-03-30 | 2009-03-30 | 信号処理装置、および信号処理方法、並びにプログラム |
US12/661,635 US8577054B2 (en) | 2009-03-30 | 2010-03-22 | Signal processing apparatus, signal processing method, and program |
CN2010101514521A CN101852846B (zh) | 2009-03-30 | 2010-03-23 | 信号处理设备、信号处理方法和程序 |
EP10157330.1A EP2237272B1 (en) | 2009-03-30 | 2010-03-23 | Signal processing apparatus, signal processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009081379A JP5229053B2 (ja) | 2009-03-30 | 2009-03-30 | 信号処理装置、および信号処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010233173A JP2010233173A (ja) | 2010-10-14 |
JP5229053B2 true JP5229053B2 (ja) | 2013-07-03 |
Family
ID=42267373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009081379A Expired - Fee Related JP5229053B2 (ja) | 2009-03-30 | 2009-03-30 | 信号処理装置、および信号処理方法、並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8577054B2 (ja) |
EP (1) | EP2237272B1 (ja) |
JP (1) | JP5229053B2 (ja) |
CN (1) | CN101852846B (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5702160B2 (ja) * | 2011-01-20 | 2015-04-15 | 中部電力株式会社 | 音源推定方法及び音源推定装置 |
JP2012255852A (ja) * | 2011-06-08 | 2012-12-27 | Panasonic Corp | テレビジョン装置 |
US9246543B2 (en) * | 2011-12-12 | 2016-01-26 | Futurewei Technologies, Inc. | Smart audio and video capture systems for data processing systems |
CN102522093A (zh) * | 2012-01-09 | 2012-06-27 | 武汉大学 | 一种基于三维空间音频感知的音源分离方法 |
US8880395B2 (en) * | 2012-05-04 | 2014-11-04 | Sony Computer Entertainment Inc. | Source separation by independent component analysis in conjunction with source direction information |
US20130294611A1 (en) * | 2012-05-04 | 2013-11-07 | Sony Computer Entertainment Inc. | Source separation by independent component analysis in conjuction with optimization of acoustic echo cancellation |
US10149048B1 (en) | 2012-09-26 | 2018-12-04 | Foundation for Research and Technology—Hellas (F.O.R.T.H.) Institute of Computer Science (I.C.S.) | Direction of arrival estimation and sound source enhancement in the presence of a reflective surface apparatuses, methods, and systems |
US9549253B2 (en) * | 2012-09-26 | 2017-01-17 | Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) | Sound source localization and isolation apparatuses, methods and systems |
US10136239B1 (en) | 2012-09-26 | 2018-11-20 | Foundation For Research And Technology—Hellas (F.O.R.T.H.) | Capturing and reproducing spatial sound apparatuses, methods, and systems |
US10175335B1 (en) | 2012-09-26 | 2019-01-08 | Foundation For Research And Technology-Hellas (Forth) | Direction of arrival (DOA) estimation apparatuses, methods, and systems |
US20160210957A1 (en) | 2015-01-16 | 2016-07-21 | Foundation For Research And Technology - Hellas (Forth) | Foreground Signal Suppression Apparatuses, Methods, and Systems |
US9554203B1 (en) | 2012-09-26 | 2017-01-24 | Foundation for Research and Technolgy—Hellas (FORTH) Institute of Computer Science (ICS) | Sound source characterization apparatuses, methods and systems |
US9955277B1 (en) | 2012-09-26 | 2018-04-24 | Foundation For Research And Technology-Hellas (F.O.R.T.H.) Institute Of Computer Science (I.C.S.) | Spatial sound characterization apparatuses, methods and systems |
KR102091236B1 (ko) * | 2012-09-28 | 2020-03-18 | 삼성전자 주식회사 | 전자기기 및 그 제어방법 |
US9460732B2 (en) * | 2013-02-13 | 2016-10-04 | Analog Devices, Inc. | Signal source separation |
WO2015048070A1 (en) * | 2013-09-24 | 2015-04-02 | Analog Devices, Inc. | Time-frequency directional processing of audio signals |
US9420368B2 (en) | 2013-09-24 | 2016-08-16 | Analog Devices, Inc. | Time-frequency directional processing of audio signals |
JP2015155975A (ja) * | 2014-02-20 | 2015-08-27 | ソニー株式会社 | 音信号処理装置、および音信号処理方法、並びにプログラム |
JP6508539B2 (ja) * | 2014-03-12 | 2019-05-08 | ソニー株式会社 | 音場収音装置および方法、音場再生装置および方法、並びにプログラム |
US10477309B2 (en) * | 2014-04-16 | 2019-11-12 | Sony Corporation | Sound field reproduction device, sound field reproduction method, and program |
CN107534725B (zh) * | 2015-05-19 | 2020-06-16 | 华为技术有限公司 | 一种语音信号处理方法及装置 |
WO2017147325A1 (en) | 2016-02-25 | 2017-08-31 | Dolby Laboratories Licensing Corporation | Multitalker optimised beamforming system and method |
CN117612539A (zh) | 2016-05-30 | 2024-02-27 | 索尼公司 | 视频音频处理设备、视频音频处理方法和存储介质 |
JP6763721B2 (ja) | 2016-08-05 | 2020-09-30 | 大学共同利用機関法人情報・システム研究機構 | 音源分離装置 |
WO2018042791A1 (ja) * | 2016-09-01 | 2018-03-08 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
JP7072765B2 (ja) * | 2017-01-31 | 2022-05-23 | 株式会社アイシン | 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム |
US10089998B1 (en) * | 2018-01-15 | 2018-10-02 | Advanced Micro Devices, Inc. | Method and apparatus for processing audio signals in a multi-microphone system |
CN108376548B (zh) * | 2018-01-16 | 2020-12-08 | 厦门亿联网络技术股份有限公司 | 一种基于麦克风阵列的回声消除方法与*** |
US10587979B2 (en) * | 2018-02-06 | 2020-03-10 | Sony Interactive Entertainment Inc. | Localization of sound in a speaker system |
WO2019178802A1 (en) * | 2018-03-22 | 2019-09-26 | Goertek Inc. | Method and device for estimating direction of arrival and electronics apparatus |
US11159879B2 (en) | 2018-07-16 | 2021-10-26 | Northwestern Polytechnical University | Flexible geographically-distributed differential microphone array and associated beamformer |
WO2020166634A1 (ja) * | 2019-02-14 | 2020-08-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | マイクロホン装置 |
US20220139368A1 (en) * | 2019-02-28 | 2022-05-05 | Beijing Didi Infinity Technology And Development Co., Ltd. | Concurrent multi-path processing of audio signals for automatic speech recognition systems |
CN113284504A (zh) * | 2020-02-20 | 2021-08-20 | 北京三星通信技术研究有限公司 | 姿态检测方法、装置、电子设备及计算机可读存储介质 |
JP2021135462A (ja) * | 2020-02-28 | 2021-09-13 | 日本電信電話株式会社 | ソースイメージ推定装置、ソースイメージ推定方法及びソースイメージ推定プログラム |
CN111883166B (zh) * | 2020-07-17 | 2024-05-10 | 北京百度网讯科技有限公司 | 一种语音信号处理方法、装置、设备以及存储介质 |
CN112697270B (zh) * | 2020-12-07 | 2023-07-18 | 广州极飞科技股份有限公司 | 故障检测方法、装置、无人设备及存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6002776A (en) * | 1995-09-18 | 1999-12-14 | Interval Research Corporation | Directional acoustic signal processor and method therefor |
JP3887247B2 (ja) | 2002-03-11 | 2007-02-28 | 日本電信電話株式会社 | 信号分離装置およびその方法、信号分離プログラム並びにそのプログラムを記録した記録媒体 |
JP3881367B2 (ja) | 2003-03-04 | 2007-02-14 | 日本電信電話株式会社 | 位置情報推定装置、その方法、及びプログラム |
JP2005049153A (ja) | 2003-07-31 | 2005-02-24 | Toshiba Corp | 音声方向推定装置及びその方法 |
JP4462617B2 (ja) | 2004-11-29 | 2010-05-12 | 株式会社神戸製鋼所 | 音源分離装置,音源分離プログラム及び音源分離方法 |
JP4449871B2 (ja) | 2005-01-26 | 2010-04-14 | ソニー株式会社 | 音声信号分離装置及び方法 |
US7415372B2 (en) * | 2005-08-26 | 2008-08-19 | Step Communications Corporation | Method and apparatus for improving noise discrimination in multiple sensor pairs |
JP4496186B2 (ja) * | 2006-01-23 | 2010-07-07 | 株式会社神戸製鋼所 | 音源分離装置、音源分離プログラム及び音源分離方法 |
JP2007235646A (ja) * | 2006-03-02 | 2007-09-13 | Hitachi Ltd | 音源分離装置、方法及びプログラム |
JP2007295085A (ja) | 2006-04-21 | 2007-11-08 | Kobe Steel Ltd | 音源分離装置及び音源分離方法 |
JP4946330B2 (ja) | 2006-10-03 | 2012-06-06 | ソニー株式会社 | 信号分離装置及び方法 |
JP5034469B2 (ja) | 2006-12-08 | 2012-09-26 | ソニー株式会社 | 情報処理装置および情報処理方法、並びに、プログラム |
JP2008153483A (ja) | 2006-12-19 | 2008-07-03 | Sumitomo Bakelite Co Ltd | 回路基板 |
JP4403436B2 (ja) * | 2007-02-21 | 2010-01-27 | ソニー株式会社 | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム |
JP4897519B2 (ja) * | 2007-03-05 | 2012-03-14 | 株式会社神戸製鋼所 | 音源分離装置,音源分離プログラム及び音源分離方法 |
JP4336378B2 (ja) * | 2007-04-26 | 2009-09-30 | 株式会社神戸製鋼所 | 目的音抽出装置,目的音抽出プログラム,目的音抽出方法 |
US20080267423A1 (en) * | 2007-04-26 | 2008-10-30 | Kabushiki Kaisha Kobe Seiko Sho | Object sound extraction apparatus and object sound extraction method |
JP2009081379A (ja) | 2007-09-27 | 2009-04-16 | Showa Denko Kk | Iii族窒化物半導体発光素子 |
-
2009
- 2009-03-30 JP JP2009081379A patent/JP5229053B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-22 US US12/661,635 patent/US8577054B2/en not_active Expired - Fee Related
- 2010-03-23 CN CN2010101514521A patent/CN101852846B/zh not_active Expired - Fee Related
- 2010-03-23 EP EP10157330.1A patent/EP2237272B1/en not_active Not-in-force
Also Published As
Publication number | Publication date |
---|---|
EP2237272A2 (en) | 2010-10-06 |
US20100278357A1 (en) | 2010-11-04 |
US8577054B2 (en) | 2013-11-05 |
CN101852846A (zh) | 2010-10-06 |
CN101852846B (zh) | 2013-05-29 |
EP2237272A3 (en) | 2013-12-04 |
EP2237272B1 (en) | 2014-09-10 |
JP2010233173A (ja) | 2010-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5229053B2 (ja) | 信号処理装置、および信号処理方法、並びにプログラム | |
EP3320692B1 (en) | Spatial audio processing apparatus | |
EP2647222B1 (en) | Sound acquisition via the extraction of geometrical information from direction of arrival estimates | |
US10334357B2 (en) | Machine learning based sound field analysis | |
US10839309B2 (en) | Data training in multi-sensor setups | |
US9788119B2 (en) | Spatial audio apparatus | |
JP6086923B2 (ja) | 幾何学配置に基づく空間オーディオ符号化ストリームを統合する装置および方法 | |
CN103339961B (zh) | 用于通过声波三角测量进行空间性选择声音获取的装置及方法 | |
US20180295463A1 (en) | Distributed Audio Capture and Mixing | |
CN110537221A (zh) | 用于空间音频处理的两阶段音频聚焦 | |
JP2015502716A (ja) | 空間パワー密度に基づくマイクロフォン位置決め装置および方法 | |
EP3542546A1 (en) | Analysis of spatial metadata from multi-microphones having asymmetric geometry in devices | |
JP2023517720A (ja) | 残響のレンダリング | |
WO2018193162A2 (en) | Audio signal generation for spatial audio mixing | |
EP3613043A1 (en) | Ambience generation for spatial audio mixing featuring use of original and extended signal | |
Frey et al. | Acoustical impulse response functions of music performance halls | |
Salvador et al. | Evaluation of white noise gain in a binaural system for microphone arrays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130304 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |