JPWO2007123047A1 - 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム - Google Patents
適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム Download PDFInfo
- Publication number
- JPWO2007123047A1 JPWO2007123047A1 JP2008512084A JP2008512084A JPWO2007123047A1 JP WO2007123047 A1 JPWO2007123047 A1 JP WO2007123047A1 JP 2008512084 A JP2008512084 A JP 2008512084A JP 2008512084 A JP2008512084 A JP 2008512084A JP WO2007123047 A1 JPWO2007123047 A1 JP WO2007123047A1
- Authority
- JP
- Japan
- Prior art keywords
- signal
- array processing
- array
- processing signal
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 389
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012937 correction Methods 0.000 claims abstract description 63
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 54
- 238000004364 calculation method Methods 0.000 claims description 29
- 230000001276 controlling effect Effects 0.000 claims description 21
- 230000000875 corresponding effect Effects 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000002238 attenuated effect Effects 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 abstract description 114
- 239000011159 matrix material Substances 0.000 description 112
- 230000006870 function Effects 0.000 description 46
- 238000001228 spectrum Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 230000005405 multipole Effects 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
- H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
- H04B7/08—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
- H04B7/0837—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station using pre-detection combining
- H04B7/0842—Weighted combining
- H04B7/0848—Joint weighting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Otolaryngology (AREA)
- Acoustics & Sound (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Radio Transmission System (AREA)
Abstract
Description
これらの装置は、複数の信号源の中から特定の信号だけを強調して受信することが可能であり、適応アレイ技術の応用である。センサとしては、マイクロフォン、超音波センサ、ソーナー受音器、電波アンテナなどを用いることができる。ここでは、センサとしてマイクロフォンを用いた場合について説明する。
マイクロフォンアレイは、複数のマイクロフォンに入力された信号をフィルタリングした後、加算することによって空間フィルタを形成する。この空間フィルタにより、事前に規定した方向から到来した信号、スイッチ目標信号だけを強調し、目標以外の信号を減衰させる。
適応マイクロフォンアレイの構成として、非特許文献1に開示されている「一般化サイドローブキャンセラ」、非特許文献2に開示されている構成、非特許文献3に開示されている構成、非特許文献4に開示されている「フロスト・ビームフォーマ」、非特許文献5に開示されている構成などが知られている。
ブロッキング行列には、適応フィルタを含む適応ブロッキング行列も使用される。固定ビームフォーマは、複数のセンサ信号を処理して目標信号を強調する。このブロッキング行列は、前記複数のセンサ信号に含まれる目標信号を抑圧し、妨害信号を相対的に強調する。
多入力キャンセラは、ブロッキング行列の出力を参照信号として、適応フィルタによって生成した擬似妨害信号を、前記固定ビームフォーマ出力から差し引く。この減算処理によって得られた信号においては、目標信号が強調され、妨害信号が抑圧されており、これをアレイ装置出力とする。この減算処理により、出力信号の妨害信号に対する相関が除去される。
多入力キャンセラの適応フィルタ係数は、ブロッキング行列出力と多入力キャンセラ出力を用いて、多入力キャンセラ出力が最小化されるように更新される。
各信号の遅延時間は、各センサ信号を遅延した後に、それに含まれる目標信号の位相が同じになるように設定する。その結果、ディレイアンドサムビームフォーマの出力に含まれる目標信号が強調される。
一方、目標信号とは異なる方向から到来する妨害信号は、前記の各遅延信号において、位相が互いに異なるため、加算によって互いに打ち消し合って減衰する。従って、ディレイアンドサムビームフォーマの出力では、目標信号が強調され、妨害信号が減衰する。
この問題を解決するために、適応モード制御装置が非特許文献8および非特許文献9に開示されている。
この方法では、ヒアリングエイドを応用として開発されているためにマイク間隔が広く、空間折返しを避けるために信号帯域が600〔Hz〕から1200〔Hz〕程度に制限されている。
通常の音声信号を利用する応用では、時として音声パワーがこの周波数範囲外にも存在するために、妨害信号の存在を正確に検出することができない。また、固定ブロッキング行列を想定して多入力キャンセラだけの係数更新を制御する構成となっており、適応ブロッキング行列にそのまま適用することはできない。
閾値よりSIRが小さいときは、適応ブロッキング行列で係数更新を停止し、多入力キャンセラで係数更新を実行する。
この非特許文献10に開示された方法では、妨害信号のパワー推定を、専用の固定ブロッキング行列を用いて行う。このため、適応ブロッキング行列に含まれる適応フィルタ係数の収束とは無関係に所望の性能が得られ、正確な妨害信号パワー推定が可能となる。
この図11に示す他の従来例(適応モード処理装置)は、前述した非特許文献9に開示されている適応アレイ処理装置に、非特許文献10に開示された適応モード制御手段を組み合わせて構成されたものである。
この内、非特許文献9に開示されている適応アレイ処理装置は、固定ビームフォーマ200、適応ブロッキング行列回路300、遅延素子400、及び多入力キャンセラ500を備えた構成となっている。又、適応モード制御手段は、ブロッキング行列310、SIR推定部700、及び比較部800等を備えた構成となっている。
適応ブロッキング行列回路300は、前記複数のセンサ信号に含まれる目標信号を抑圧し、妨害信号を相対的に強調する。これは、前述した固定ビームフォーマ200の出力を参照信号として、複数の適応フィルタによって擬似目標信号を生成し、これらをM個のセンサ1000〜100M−1から得られた信号から減算することによって達成される。この場合、前述した適応フィルタの係数は、固定ビームフォーマ200の出力と適応ブロッキング行列回路300の出力を用いて、適応ブロッキング行列300の出力が最小化されるように更新される。
多入力キャンセラ500の適応フィルタ係数は、適応ブロッキング行列300の出力と出力端子600に伝達される出力信号を用いて、該出力信号が最小化されるように更新される。
これを防ぐために、前記複数のセンサ信号を用いてSIRを推定し、この推定値を用いて適応ブロッキング行列回路300の係数更新を制御する。
目標信号のパワー推定は、固定ビームフォーマ200の出力を用いて行われる。妨害信号のパワー推定は、固定ブロッキング行列回路310の出力を用いて行われる。これら二つの推定パワー情報は前述したSIR推定部700に供給され、その比が算定されてSIR推定値となる。
そして、閾値よりSIR推定値が大きいときは、入力信号において目標信号が支配的であり、妨害信号の影響が少ないので適応ブロッキング行列で係数更新を行う制御信号を発生し、適応ブロッキング行列回路300に供給する。反対に、多入力キャンセラ500の係数更新に際しては、目標信号が妨害を与えるので、多入力キャンセラ500の係数更新を停止する制御信号を発生し、当該多入力キャンセラ500に供給する。
閾値よりSIR推定値が小さいときは、適応ブロッキング行列で係数更新を停止し、多入力キャンセラで係数更新を実行するような信号を発生し、それぞれ適応ブロッキング行列300と多入力キャンセラ500に供給する。
ここで、kは時刻を表す指標、iは0からM−2の範囲の整数である。ブロッキング行列310の出力信号Z(k)は、Xi(k)−Xi+1(k)となる。正面から到来する目標信号に対して、Xi(k)とXi+1(k)は等しいので、Z(k)=0となる。それ以外の方向から到来する妨害信号に対しては、Z(k)はゼロとならない。このため、ブロッキング行列310は、目標信号を抑圧する効果を有する。
同様に、妨害信号のパワー推定を行う固定ブロッキング行列の周波数特性が平坦ではなく、方向に基づく選択度も十分でない。
(発明の目的)
このため、これを適応アレイ処理装置に組み込むことにより、当該装置の係数更新制御を適切に行うことが可能となり、入力信号の周波数特性や目標信号と妨害信号の方向の影響を受けにくい高品質なアレイ処理を出力制御することができる。
このようにしても前述した適応アレイ制御装置と同等に機能する適応アレイ制御装置を得ることができる。
又、この第2のアレイ処理信号生成部については、前記各出力差分をそれぞれフィルタ処理する複数のフィルタとこのフィルタ出力を加算する加算器とを具備すると共に、前記加算器における加算結果を外部出力する加算結果出力機能を備えた構成としてもよい。
このようにしても、前述した適応アレイ制御方法と同等に機能する適応アレイ制御方法を得ることができる。
このようにしても、前述した適応アレイ制御装置の実行内容と同等に機能する適応アレイ制御プログラムを得ることができる。
又、この第2のアレイ処理信号生成部については、前述した各出力差分をそれぞれフィルタ処理する複数のフィルタと当該フィルタ出力を加算する加算器とを具備すると共に、前記加算器における加算結果を外部出力する加算結果出力機能を備えた構成としてもよい。
又、前述した第3のアレイ処理信号生成工程の実行内容を、前記各出力差分をフィルタ処理してそれぞれの差分に対応した複数のフィルタ処理結果を特定すると共に、この特定された複数のフィルタ処理結果の和を用いて前記第3のアレイ処理信号を生成するように構成してもよい。
このようにしても、前述した適応アレイ処理装置又は適応アレイ処理方法の各実行内容とほぼ同等に機能する適応アレイ処理プログラムを得ることができる。
図1乃至図9に、本発明にかかる適応アレイ処理装置の第1の実施形態を示す。
まず、図1において、この第1の実施形態における適応アレイ処理装置は、アレイ状のM個のセンサ群1000〜100M−1から送り込まれる複数の信号に含まれる目標信号を他の信号に対して強調するように処理すると共にこれによって第1のアレイ処理信号を生成する第1のアレイ処理信号生成部としての固定ビームフォーマ200と、前記目標信号を他の信号に対して減衰させて第2のアレイ処理信号を生成する第2のアレイ処理信号生成部としての適応ブロッキング行列回路300とを備えている。
なお、このSIRの推定については、第1の補正アレイ処理信号に代えて第1のアレイ処理信号を使用するように構成してもよい。
又、上記SIR推定部700については、前記ブロッキング行列(第2のアレイ処理信号生成部)320で生成された第2のアレイ処理信号と前記第1の補正アレイ処理信号とに基づいて前記目標信号対妨害信号の比(SIR) を推定し特定する構成としてもよい。
ここで、上記SIR推定部700については、前述した第1の補正アレイ処理信号と第2のアレイ処理信号との相対的な大小関係を求める計算部(図示せず)で置き換えてもよい。
この正確に推定された目標信号パワーは、SIR推定部700に伝達され、SIR計算に用いられる。このようにして得られた高精度のSIR推定値に基づいて、係数更新ステップサイズや忘却係数などの適応フィルタの追従性と演算精度を決定するパラメータを制御することで、適応アレイ処理装置の係数更新を適切に制御することが可能となる。
その結果、入力信号の周波数特性や目標信号と妨害信号の方向の影響を受けにくい、高品質なアレイ処理出力を得ることができる。
ここで、前述した利得制御部900を、更に詳細に説明する。
図2において、利得制御部900は、記憶部901、フーリエ変換部902、分析部903、利得計算部904、スペクトル修正部905、逆フーリエ変換部906、および記憶部907により構成されている。そして、図1において、前述した固定ビームフォーマ200の出力は、利得制御部900の記憶部901に供給されフレーム化される。フレーム化された信号はフーリエ変換部902に伝達されフーリエ変換される。フーリエ変換結果は、分析部903とスペクトル修正部905に供給される。
これらの事実を用いれば、高域におけるパワーの値とスペクトルの平坦度に応じて、適切な補正利得を求めることができる。具体的には、高域パワーとスペクトル平坦度を基準値と比較して、その大小関係に応じた値を補正利得とすることができる。さらに単純な例では、高域パワーとスペクトル平坦度が予め定めた閾値よりも大きい場合に、補正利得を1でない値に設定し、それ以外の場合は1に設定することもできる。補正利得の値は、各周波数成分に対して共通でもよいし、異なっていてもよい。
上述した利得制御部900の他の構成例を図3に示す。この図3に示す利得制御部900は、帯域分割フィルタバンク911、分析部912、利得計算部913、スペクトル修正部914、および帯域合成フィルタバンク915により構成されている。
尚、帯域分割フィルタバンク及び帯域合成フィルタバンクの詳細、更にはそれらの設計法については、下記文献に開示されている。
「1993年、「マルチレートシステムズ・アンド・フィルタバンクス」、プレンティス・ホール (MULTIRATE SYSTEMS AND FILTER BANKS, PRENTICE-HALL, 1993.)」
まず、図4に、この多重ブロッキング行列回路320を装備した場合を示す。又、この多重ブロッキング行列回路320の一構成例を図5に示す。
この図5に示すように、多重ブロッキング行列回路320は、減算器3210〜321M−1と加算器322とから構成されている。減算器iは、1番目のセンサ信号X0(k)とi番目のセンサ信号Xi(k)の差分Zi(k)=X0(k)−Xi(k)を求めて、加算器322に伝達する。ここに、記号iは0からM−2の範囲の整数である。加算器322は、これらM−1個の入力信号をすべて加算して、加算結果をZ(k)として出力する。
「2001年、(マイクロフォン・アレイズ)、第1章、図1.1 、スプリンガー―バーラグ、ベルリン (CH.1, MICROPHONE ARRAYS,
SPRINGER-VERLAG, BERLIN, 2001.)」
これを上記の減算器3210〜321M−1の場合にあてはめてみると、低い周波数において、正面方向から到来する目標信号に対して感度が低く、正面からはずれた方向に対してより感度が高い。しかしながら、感度が低い方向から感度が高い方向への遷移はゆるやかであり、十分な空間選択性を得ることができない。一方、センサ間隔が広くなれば、相対遅延が大きくなり、高い空間選択性を実現できる。即ち、急峻な空間選択性を得ることができる。
このように構成することにより、低域信号に対しては間隔が広いセンサから得られた信号ペアの差分が、高域信号に対しては間隔が狭いセンサから得られた信号ペアの差分が有効に作用し、広帯域信号に対して優れた空間選択性を実現することができる。このため、この多重ブロッキング行列回路320は、優れた周波数特性と空間選択性で、目標信号を抑圧することができる。
ブロッキング行列回路320の他の構成例を図6に示す。
この図6に示すブロッキング行列回路320は、減算器3210〜321M−1、フィルタ3230〜323M−1、及び加算器322とから構成されている。減算器iは、1番目のセンサ信号X0(k)とi番目のセンサ信号Xi(k)の差分Zi(k)=X0(k)−Xi(k)を求めて、フィルタ323iに伝達する。符号iは0からM−2の範囲の整数である。
ブロッキング行列回路320は、更に別の構成とすることができる(図7参照)。M個のセンサからなる直列アレイにおいて、2つのセンサの間隔は短いものから順に、D、2D、3D、・・・、(M−1)Dとする。センサ間隔がDとなるセンサの組はM−1あり、2Dとなる組はM−2、同様に考えて、(M−1)Dとなる組は1となる。従って、これらそれぞれのセンサ間隔に対応した一組のセンサを選択し、それらから得られる信号の差分を求め、これらを加算器322で加算する構成である限り、ブロッキング行列回路320は上記の効果を有する。このような構成例を図7に示す。
前述した図6では、これらの減算器はセンサ間隔Dと(M−1)Dに対応した差分信号を出力するが、この図7では、(M−1)DとDのセンサ間隔に対応した差分信号を出力する。この他にも、様々な類似構成が可能となる。
更に、これらの内、特定のセンサ間隔に対応した信号を用いない構成であっても、従来のブロッキング行列回路310よりは、目標信号のブロック効果が高い。このようなブロッキング行列回路320の構成例(第4の例)を、図8に示す。図8を図6と比較すると、減算器3212が存在しない。このため、センサ間隔が2Dに対応した差分信号は存在せず、センサ間隔2Dによる効果は期待できない。しかし、それ以外のセンサ間隔に対応した信号によって、図6の例には及ばないものの、総合的に優れた空間選択性を有するブロッキング行列回路320を得ることができる。
その他の基本的な構成およびその作用効果は前述した図11における従来等例の場合とその基本構成は同一となっている。
次に、上記第1の実施形態における全体的な動作を、図9に基づいて説明する。
まず、アレイ状センサ群で捕捉された複数の信号が送り込まれると受信部100はこれを受信し一時的に保持する(ステップS101)。この受信部100では、アレイ状センサ群からの複数の信号を常時受信し得る機能を備えている。この受信部100で受信されたアレイ状センサ信号は、固定ビームフォーマ(第1のアレイ処理信号生成部)200とブロッキング行列回路(第2のアレイ処理信号生成部)310(320)と適応ブロッキング行列回路(妨害信号抽出部)300へ同時に送り込まれる。
又、同時にブロッキング行列回路(第2のアレイ処理信号生成部)310(320)では、送り込まれた複数の信号に含まれる前記目標信号を他の信号に対して減衰させ、これによって妨害信号が強調するように処理され、第2のアレイ処理信号が生成される(ステップS103:第2のアレイ処理信号生成工程)。この生成された第2のアレイ処理信号は、ブロッキング行列回路310(320)で一時的に記憶される。
これら固定ビームフォーマ200、ブロッキング行列回路310、および適応ブロッキング行列300における各処理動作は本実施形態では同時に作動し並行して同時に実行される。
ここで、演算制御部800により、前述した制御信号を固定ビームフォーマ200およびブロッキング行列回路320にも送り込み、これらの出力又はこれらの内の少なくとも一つを強調出力するように制御する構成としてもよい。
本発明の第2の実施形態を図10に基づいて説明する。
ここで、前述した第1の実施形態における構成部材と同等に機能する構成部材については同一の符号を用いるものとする。
この図10に示す第2の実施形態は、プログラム制御により動作するコンピュータ(中央処理装置;プロセッサ;処理装置本体)1000と、入力端子1010〜101M−1、及び出力端子600とから構成されている。
この想定されるアレイ処理装置1100は、前述した固定ビームフォーマ200、適応ブロッキング行列回路300、遅延素子400、多入力キャンセラ500と同等の実行内容を、構成要素として備えている。又、本実施形態では、適応ブロッキング行列回路300および多入力キャンセラ500には、当該適応ブロッキング行列回路300および多入力キャンセラ500の各動作を制御する適応モード制御手段(適応アレイ制御装置)1200が併設されている。
そして、この適応モード制御手段1200により、前述したアレイ処理装置における適応ブロッキング行列回路300と多入力キャンセラ500に含まれる適応フィルタの係数更新速度及び精度を制御される。ここで、適応モード制御手段1200は、更に、前述した利得制御部900と同等に機能する処理プログラムを含んでもよい。
又、目標信号の特性に応じて適応的に目標信号パワーの推定値を補正するので、特定の周波数成分を適応的に強調して平坦度の高い周波数及び空間選択特性を実現することができ、目標信号パワーを正確に推定することができる。
以上、センサとしてマイクロフォンを用いて説明してきたが、マイクロフォン以外に、超音波センサや、ソーナー受音器、アンテナなどのセンサを用いることができる。
1000〜100M−1 アレイセンサとしての複数のマイクロフォン
200 固定ビームフォーマ(第1のアレイ処理信号生成部)
300 適応ブロッキング行列(第2のアレイ処理信号生成部)
310,320 ブロッキング行列(第1のアレイ処理信号生成部)
311,3210〜321M−1 減算器
322 加算器
3230〜323M−1 フィルタ
400 遅延素子
500 多入力キャンセラ(適用アレイ処理部)
600 出力端子
700 目標信号対妨害信号比の計算部(SIR計算部,SIR推定部)
800 演算制御部
900 利得制御部
901,907 記憶部
903.912 分析部
904,913 利得計算部
905,914 スペクトル修正部(補正部)
1000 コンピュータ
1200 適応モード制御手段(適応アレイ制御装置)
Claims (18)
- アレイ状の複数のセンサから送り込まれる複数の信号に含まれる目標信号が他の信号に対して強調処理されて成る第1のアレイ処理信号を分析して信号特性を求める分析部と、
前記得られた信号特性に応じて前記第1のアレイ処理信号を補正し第1の補正アレイ処理信号として出力する補正部と、
前記第1の補正アレイ処理信号に基づいて目標信号に対する妨害信号の比(SIR)を推定するSIR推定部と、
前記SIR推定値を用いて所定の適応アレイ処理部におけるパラメータ調整の速度と精度を制御するための制御信号を発生する演算制御部とを有することを特徴とする適応アレイ制御装置。 - 前記請求項1に記載の適応アレイ制御装置において、
前記目標信号を他の信号に対して減衰させて第2のアレイ処理信号を生成する第2のアレイ処理信号生成部を装備すると共に、
前記SIR推定部を、前記第2のアレイ処理信号生成部で生成された第2のアレイ処理信号と前記第1の補正アレイ処理信号とに基づいて前記目標信号対妨害信号の比(SIR)を推定し特定する構成とし、
前記演算制御部が、前記所定の適応アレイ処理部における適応アレイ処理に際して必要とするパラメータ調整の速度と精度とを前記SIR推定値を用いて制御する適応アレイ処理制御機能を備えていることを特徴とした適応アレイ制御装置。 - アレイ状の複数のセンサから送り込まれる複数の信号に含まれる目標信号が他の信号に対して強調処理されて成る第1のアレイ処理信号を分析して信号特性を求める分析部と、この得られた信号特性に応じて前記第1のアレイ処理信号を補正し第1の補正アレイ処理信号として出力する補正部と、
前記目標信号を他の信号に対して減衰させて第2のアレイ処理信号を生成する第2のアレイ処理信号生成部と、
前記第1の補正アレイ処理信号と前記第2のアレイ処理信号の相対的な大小関係を求める計算部と、
この計算部で得られる大小関係を用いて所定の適応アレイ処理部におけるパラメータ調整の速度と精度を制御するための制御信号を発生する演算制御部を具備したことを特徴とする適応アレイ制御装置。 - 前記請求項3に記載の適応アレイ制御装置において、
前記第2のアレイ処理信号生成部は、前記入力される複数のアレイセンサ情報から異なったセンサ間隔を有する複数のセンサ対を設定すると共にそのセンサ対の出力差分を算定してこれを出力するセンサ対差分情報出力機能を備えていることを特徴とした適応アレイ制御装置。 - 前記請求項4に記載の適応アレイ制御装置において、
前記第2のアレイ処理信号生成部は、前記各出力差分をそれぞれフィルタ処理する複数のフィルタとこのフィルタ出力を加算する加算器とを具備すると共に、前記加算器における加算結果を外部出力する加算結果出力機能を備えていることを特徴とする適応アレイ制御装置。 - アレイ状の複数のセンサから送り込まれる複数の信号に含まれる目標信号が他の信号に対して強調処理されて成る第1のアレイ処理信号を分析してその信号特性を求める信号特性分析工程と、
この得られた信号特性に応じて前記第1のアレイ処理信号を補正し第1の補正アレイ処理信号として出力する第1のアレイ処理信号補正工程と、
この前記第1の補正アレイ処理信号に基づいて目標信号対妨害信号の比(SIR)を推定するSIR推定工程と、
このSIR推定工程で推定されたSIR推定値を用いて所定の適応アレイ処理におけるパラメータ調整の速度と精度とを最適な状態に設定制御する適応アレイ処理制御工程と、
を備えたことを特徴とする適応アレイ制御方法。 - 前記請求項6に記載の適応アレイ制御方法において、
前記第1のアレイ処理信号補正工程とSIR推定工程との間に、前記目標信号を他の信号に対して減衰させて第2のアレイ処理信号を求める第2のアレイ処理信号生成工程を設定し、
前記SIR推定工程を、前記第2のアレイ処理信号と前記第1の補正アレイ処理信号とに基づいて前記目標信号対妨害信号の比(SIR) を推定するSIR推定工程、としたことを特徴とする適応アレイ制御方法。 - アレイ状の複数のセンサから送り込まれる複数の信号に含まれる目標信号が他の信号に対して強調処理されて成る第1のアレイ処理信号を分析しその信号特性を求める信号特性分析工程と、
この得られた信号特性に応じて前記第1のアレイ処理信号を補正し第1の補正アレイ処理信号として出力する第1のアレイ処理信号補正工程と、
前記目標信号を他の信号に対して減衰させて第2のアレイ処理信号を求める第2のアレイ処理信号生成工程と、
前記補正された第1の補正アレイ処理信号と前記生成された第2のアレイ処理信号の相対的な大小関係を求める大小関係特定工程と、
この特定された相対的な大小関係に基づいて、適応アレイ処理におけるパラメータ調整の速度と精度とを最適な状態に設定制御する適応アレイ処理制御工程と、
を備えたことを特徴とする適応アレイ制御方法。 - 前記請求項7又は8に記載の適応アレイ制御方法において、
前記第2のアレイ処理信号生成工程の実行内容を、入力される複数のアレイセンサ情報から異なったセンサ間隔を有する複数のセンサ対を設定し、そのセンサ対の出力差分を用いて第2のアレイ処理信号を生成するように構成したことを特徴とする適応アレイ制御方法。 - 前記請求項11に記載の適応アレイ制御方法において、
前記第2のアレイ処理信号生成工程の実行内容を、前記各出力差分をフィルタ処理してそれぞれの差分に対応した複数のフィルタ処理結果を特定すると共に、この特定された複数のフィルタ処理結果の和を用いて前記第2のアレイ処理信号を生成するように特定したことを特徴とする適応アレイ制御方法。 - アレイ状の複数のセンサから送り込まれる複数の信号に含まれる目標信号が他の信号に対して強調処理されて成る第1のアレイ処理信号を分析しその信号特性を求める信号特性分析機能、
この生成された信号特性に応じて前記第1のアレイ処理信号を補正して第1の補正アレイ処理信号を求める第1のアレイ処理信号補正機能、
異なったセンサ間隔を有する複数のセンサ対の出力差分を求める出力差分算定機能、
この算定された出力差分を用いて前記目標信号が他の信号に対して減衰した第2のアレイ処理信号を求める第2のアレイ処理信号生成機能、
前記補正された第1の補正アレイ処理信号と前記生成された第2のアレイ処理信号の相対的な大小関係を求める大小関係特定機能、
この特定された相対的な大小関係に基づいて、適応アレイ処理におけるパラメータ調整の速度と精度とを最適な状態に設定制御する適応アレイ処理制御機能、
をコンピュータに実行させるように構成したことを特徴とする適応アレイ制御プログラム。 - アレイ状センサ群から送り込まれる複数の信号に含まれる目標信号を他の信号に対して強調するように処理し、これによって第1のアレイ処理信号を生成する第1のアレイ処理信号生成部と、前記目標信号を他の信号に対して減衰させて第2のアレイ処理信号を生成する第2のアレイ処理信号生成部と、この第2のアレイ処理信号と相関のある信号成分を前記第1のアレイ処理信号から適応的に消去する相関除去部と、前記第1のアレイ処理信号を分析して信号特性を求める分析部と、この分析部で得られた信号特性に応じて前記第1のアレイ処理信号を補正し第1の補正アレイ処理信号として出力する補正部と、この第1の補正アレイ処理信号と前記第2のアレイ処理信号の相対的な大小関係を求める計算部とを備え、
この計算部から出力される大小関係を用いて前記適応処理におけるパラメータ調整の速度と精度を制御するための制御信号を発生する演算制御部を装備し、
この演算制御部から出力される制御信号を用いて少なくとも前記第1のアレイ処理信号生成部と前記第2のアレイ処理信号生成部と前記相関除去部の少なくとも何れか一つの動作を制御することを特徴とした適応アレイ処理装置。 - 前記請求項12に記載の適応アレイ処理装置において、
前記第2のアレイ処理信号生成部は、前記入力される複数のアレイセンサ情報から異なったセンサ間隔を有する複数のセンサ対を設定すると共に、そのセンサ対の出力差分を算定してこれを出力するセンサ対差分出力機能を備えていることを特徴とした適応アレイ処理装置。 - 前記請求項12に記載の適応アレイ処理装置において、
前記第2のアレイ処理信号生成部は、前記各出力差分をそれぞれフィルタ処理する複数のフィルタと当該フィルタ出力を加算する加算器とを具備すると共に、前記加算器における加算結果を外部出力する加算結果出力機能を備えていることを特徴とする適応アレイ処理装置。 - アレイ状センサ群から送り込まれる複数の信号に含まれる目標信号を他の信号に対して強調するように処理し、これによって第1のアレイ処理信号を生成する第1のアレイ処理信号生成工程と、
前記目標信号を他の信号に対して減衰させて第2のアレイ処理信号を求める第2のアレイ処理信号生成工程と、
生成された前記第2のアレイ処理信号と相関のある信号成分を前記第1のアレイ処理信号から消去して出力する際に当該第1のアレイ処理信号を分析して信号特性を求める信号特性生成工程と、
この生成された信号特性に応じて前記第1のアレイ処理信号を補正して第1の補正アレイ処理信号を求める第1のアレイ処理信号補正工程と、
前記目標信号を他の信号に減衰させて第3のアレイ処理信号を生成する第3のアレイ処理信号生成工程と、
前記補正された第1の補正アレイ処理信号と前記生成された第3のアレイ処理信号の相対的な大小関係を求める大小関係特定工程と、
この特定された相対的な大小関係に基づいて、前記適応処理におけるパラメータ調整の速度と精度とを制御する適応アレイ処理制御工程と、を備えたことを特徴とする適応アレイ処理方法。 - 前記請求項15に記載の適応アレイ処理方法において、
前記第3のアレイ処理信号生成工程の実行内容を、入力される複数のアレイセンサ情報から異なったセンサ間隔を有する複数のセンサ対を設定し、そのセンサ対の出力差分を用いて第3のアレイ処理信号を生成するように構成したことを特徴とする適応アレイ処理方法。 - 前記請求項16に記載の適応アレイ処理方法において、
前記第3のアレイ処理信号生成工程の実行内容を、前記各出力差分をフィルタ処理してそれぞれの差分に対応した複数のフィルタ処理結果を特定すると共に、この特定された複数のフィルタ処理結果の和を用いて前記第3のアレイ処理信号を生成するように構成したことを特徴とする適応アレイ処理方法。 - アレイ状センサ群から送り込まれる複数の信号に含まれる目標信号を他の信号に対して強調するように処理し、これによって第1のアレイ処理信号を生成する第1のアレイ処理信号生成機能、
前記目標信号を他の信号に対して減衰させて第2のアレイ処理信号を生成する第2のアレイ処理信号生成機能、
この第2のアレイ処理信号と相関のある信号成分を前記第1のアレイ処理信号から消去して出力する相関成分消去機能、
目標信号が他の信号に対して強調された前記前記第1のアレイ処理信号を分析して信号特性を求める信号特性を求める信号特性生成機能、
この生成された信号特性に応じて元の前記第1のアレイ処理信号を補正して第1の補正アレイ処理信号を求める第1のアレイ処理信号補正機能、
前記入力される複数のアレイセンサ情報から異なったセンサ間隔を有する複数のセンサ対を設定し、そのセンサ対の出力差分を算定する出力差分算定機能、
この出力差分を用いて目標信号が他の信号に対して減衰した第2のアレイ処理信号を生成する第2のアレイ処理信号生成機能、
前記補正された第1の補正アレイ処理信号と前記生成された第2のアレイ処理信号の相対的な大小関係を求める大小関係特定機能、
この特定された相対的な大小関係を用いて、前記適応処理におけるパラメータ調整の速度と精度とを最適な状態に設定制御する適応アレイ処理制御機能、
をコンピュータに実行させるように構成したことを特徴とする適応アレイ処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008512084A JP4973655B2 (ja) | 2006-04-20 | 2007-04-12 | 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006117286 | 2006-04-20 | ||
JP2006117286 | 2006-04-20 | ||
JP2008512084A JP4973655B2 (ja) | 2006-04-20 | 2007-04-12 | 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム |
PCT/JP2007/058089 WO2007123047A1 (ja) | 2006-04-20 | 2007-04-12 | 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007123047A1 true JPWO2007123047A1 (ja) | 2009-09-03 |
JP4973655B2 JP4973655B2 (ja) | 2012-07-11 |
Family
ID=38624951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008512084A Expired - Fee Related JP4973655B2 (ja) | 2006-04-20 | 2007-04-12 | 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8014230B2 (ja) |
JP (1) | JP4973655B2 (ja) |
WO (1) | WO2007123047A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4973655B2 (ja) * | 2006-04-20 | 2012-07-11 | 日本電気株式会社 | 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム |
JP5315991B2 (ja) * | 2006-04-20 | 2013-10-16 | 日本電気株式会社 | アレイ制御装置、アレイ制御方法及びアレイ制御プログラム、アレイ処理装置、アレイ処理方法及びアレイ処理プログラム |
WO2007123052A1 (ja) * | 2006-04-20 | 2007-11-01 | Nec Corporation | 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム |
KR20100003530A (ko) * | 2008-07-01 | 2010-01-11 | 삼성전자주식회사 | 전자기기에서 음성 신호의 잡음 제거 장치 및 방법 |
US9502022B2 (en) * | 2010-09-02 | 2016-11-22 | Spatial Digital Systems, Inc. | Apparatus and method of generating quiet zone by cancellation-through-injection techniques |
US20130163781A1 (en) * | 2011-12-22 | 2013-06-27 | Broadcom Corporation | Breathing noise suppression for audio signals |
US9048942B2 (en) * | 2012-11-30 | 2015-06-02 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for reducing interference and noise in speech signals |
US9689960B1 (en) | 2013-04-04 | 2017-06-27 | Amazon Technologies, Inc. | Beam rejection in multi-beam microphone systems |
DE102017206788B3 (de) * | 2017-04-21 | 2018-08-02 | Sivantos Pte. Ltd. | Verfahren zum Betrieb eines Hörgerätes |
DE102018117557B4 (de) * | 2017-07-27 | 2024-03-21 | Harman Becker Automotive Systems Gmbh | Adaptives nachfiltern |
CN110111807B (zh) * | 2019-04-27 | 2022-01-11 | 南京理工大学 | 一种基于麦克风阵列的室内声源跟随与增强方法 |
CN114550734A (zh) * | 2022-03-02 | 2022-05-27 | 上海又为智能科技有限公司 | 音频增强方法和装置、计算机存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2720845B2 (ja) | 1994-09-01 | 1998-03-04 | 日本電気株式会社 | 適応アレイ装置 |
JP3795610B2 (ja) | 1997-01-22 | 2006-07-12 | 株式会社東芝 | 信号処理装置 |
JP3216704B2 (ja) * | 1997-08-01 | 2001-10-09 | 日本電気株式会社 | 適応アレイ装置 |
JP2000181498A (ja) * | 1998-12-15 | 2000-06-30 | Toshiba Corp | ビームフォーマを用いた信号入力装置及び信号入力用プログラムを記録した記録媒体 |
JP3858668B2 (ja) * | 2001-11-05 | 2006-12-20 | 日本電気株式会社 | ノイズ除去方法及び装置 |
JP2003271191A (ja) * | 2002-03-15 | 2003-09-25 | Toshiba Corp | 音声認識用雑音抑圧装置及び方法、音声認識装置及び方法並びにプログラム |
JP4247037B2 (ja) | 2003-01-29 | 2009-04-02 | 株式会社東芝 | 音声信号処理方法と装置及びプログラム |
JP4457221B2 (ja) | 2003-08-29 | 2010-04-28 | 学校法人早稲田大学 | 音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム |
JP2005249816A (ja) | 2004-03-01 | 2005-09-15 | Internatl Business Mach Corp <Ibm> | 信号強調装置、方法及びプログラム、並びに音声認識装置、方法及びプログラム |
WO2007123051A1 (ja) * | 2006-04-20 | 2007-11-01 | Nec Corporation | 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム |
JP5315991B2 (ja) * | 2006-04-20 | 2013-10-16 | 日本電気株式会社 | アレイ制御装置、アレイ制御方法及びアレイ制御プログラム、アレイ処理装置、アレイ処理方法及びアレイ処理プログラム |
JP4973655B2 (ja) * | 2006-04-20 | 2012-07-11 | 日本電気株式会社 | 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム |
WO2007123052A1 (ja) * | 2006-04-20 | 2007-11-01 | Nec Corporation | 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム |
-
2007
- 2007-04-12 JP JP2008512084A patent/JP4973655B2/ja not_active Expired - Fee Related
- 2007-04-12 WO PCT/JP2007/058089 patent/WO2007123047A1/ja active Search and Examination
- 2007-04-12 US US12/297,871 patent/US8014230B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2007123047A1 (ja) | 2007-11-01 |
US20100171662A1 (en) | 2010-07-08 |
US8014230B2 (en) | 2011-09-06 |
JP4973655B2 (ja) | 2012-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4973655B2 (ja) | 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム | |
JP4973657B2 (ja) | 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム | |
US9280965B2 (en) | Method for determining a noise reference signal for noise compensation and/or noise reduction | |
JP5805365B2 (ja) | ノイズ推定装置及び方法とそれを利用したノイズ減少装置 | |
US8942387B2 (en) | Noise-reducing directional microphone array | |
JP2002530922A (ja) | 信号を処理する装置と方法 | |
JP5331201B2 (ja) | オーディオ処理 | |
US20070273585A1 (en) | Adaptive beamformer, sidelobe canceller, handsfree speech communication device | |
CN110140359B (zh) | 使用波束形成的音频捕获 | |
CN110140360B (zh) | 使用波束形成的音频捕获的方法和装置 | |
US20120322511A1 (en) | De-noising method for multi-microphone audio equipment, in particular for a "hands-free" telephony system | |
JP5315991B2 (ja) | アレイ制御装置、アレイ制御方法及びアレイ制御プログラム、アレイ処理装置、アレイ処理方法及びアレイ処理プログラム | |
JP4973656B2 (ja) | 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム | |
KR101601197B1 (ko) | 마이크로폰 어레이의 이득 조정 장치 및 방법 | |
KR20090056598A (ko) | 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치 | |
KR20030076640A (ko) | 지오메트릭 소스 분리 신호 처리 기술 | |
WO2014024248A1 (ja) | ビームフォーミング装置 | |
Yang et al. | Dereverberation with differential microphone arrays and the weighted-prediction-error method | |
Spriet et al. | Stochastic gradient-based implementation of spatially preprocessed speech distortion weighted multichannel Wiener filtering for noise reduction in hearing aids | |
JP5787126B2 (ja) | 信号処理方法、情報処理装置、及び信号処理プログラム | |
US20190027159A1 (en) | Signal processing apparatus, gain adjustment method, and gain adjustment program | |
Kim et al. | Extension of two-channel transfer function based generalized sidelobe canceller for dealing with both background and point-source noise | |
JP3001092B2 (ja) | 適応アレイの制御方法および適応アレイ装置 | |
CN117099361A (zh) | 用于经滤波参考声学回声消除的装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120313 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120326 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4973655 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |