JP2016192781A - マルチマイクロホンアレイ雑音除去方法、装置及びシステム - Google Patents

マルチマイクロホンアレイ雑音除去方法、装置及びシステム Download PDF

Info

Publication number
JP2016192781A
JP2016192781A JP2016115637A JP2016115637A JP2016192781A JP 2016192781 A JP2016192781 A JP 2016192781A JP 2016115637 A JP2016115637 A JP 2016115637A JP 2016115637 A JP2016115637 A JP 2016115637A JP 2016192781 A JP2016192781 A JP 2016192781A
Authority
JP
Japan
Prior art keywords
signal
subband
noise removal
adaptive filter
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016115637A
Other languages
English (en)
Other versions
JP6142044B2 (ja
Inventor
リュー,ソング
Song Liu
リー,ボー
Bo Li
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Publication of JP2016192781A publication Critical patent/JP2016192781A/ja
Application granted granted Critical
Publication of JP6142044B2 publication Critical patent/JP6142044B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/002Devices for damping, suppressing, obstructing or conducting sound in acoustic devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403Linear arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

【課題】マルチマイクロホンアレイが広帯域雑音を良好に抑圧する。
【解決手段】マルチマイクロホンアレイの各マイクロホンペアによって構成され、異なる間隔で配置された各マイクロホンペアの間隔の数に応じて、全周波数帯域を同じ数のサブバンドに分割すけるステップと、間隔が広ければ広いほど、この広い間隔で配置されたマイクロホンペアの信号が分割されるサブバンドの周波数が低くなるように、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割するステップと、上記の異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける分割信号に適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得るステップと、上記の各サブバンドにおける雑音除去後の信号を合成することによって、上記のマルチマイクロホンアレイの全周波数帯域における雑音除去後の信号を得るステップとを含む。
【選択図】図1

Description

本発明は、音声強調技術分野に関し、特に、マルチマイクロホンアレイ技術を用いて雑音を除去する方法、装置及びシステムに関する。
現在、最も一般的に使用されているマルチマイクロホンアレイ技術は、固定ビームフォーミング(fixed beamforming)技術である。つまり、複数のマイクロホンの信号に対して重み付け加算を行って、音の方向特性を利用して特定の方向からの音信号を収音し、他の方向からの雑音信号を抑圧する技術である。しかし、この技術は、帯域雑音のみに対して著しい雑音除去効果を発揮し、しかも、マイクロホン配置間隔の違いによって、雑音を効果的に低減できる周波数帯域が異なる。具体的には、マイクロホン間隔が狭い場合は、低周波よりも、高周波の狭帯域に対する雑音除去効果が大きく、マイクロホン間隔が広い場合は、高周波よりも、低周波の狭帯域に対する雑音除去効果が大きい。しかしながら、現在のネットワーク通信では、通信帯域幅が比較的広いため、狭帯域雑音のみに対して有効な技術は、既に要求を満たすことができなくなっている。
そこで、広帯域雑音抑圧の問題を解決するために、一定ビーム幅ビームフォーミング(constant beamwidth beamforming)技術がさらに提案されている。この技術は、多くのマイクロホンを異なる間隔で配置してマイクロホンアレイを構成し、マイクロホン間隔のそれぞれが特定の狭帯域成分に対して高い雑音除去効果を示し、これらの各狭帯域成分における雑音除去効果を集約することで、高い広帯域雑音除去効果が得られる。しかし、この技術は、多くのマイクロホンを必要とし、しかも、低周波数帯域で高い雑音除去効果を得るために、マイクロホン間隔を広くする必要があるので、マイクロホンアレイ全体のサイズが大きくなってしまう。従って、現在のネットワークとTVカメラのコンパクト化の要求をほとんど満たしていない。
マルチマイクロホンアレイが広帯域雑音を良好に抑圧できず、普及が拡大している広帯域通信に適用できないという従来技術の課題に鑑み、本発明の実施形態は、広帯域通信で全周波数帯域の雑音を効果的に抑圧できるマルチマイクロホンアレイ雑音除去方法、装置及びシステムを提供する。
上記の目的を達成するために、本発明の実施形態は、以下の技術的な解決策を採用している。
一態様において、マルチマイクロホンアレイ雑音除去方法は、
上記のマルチマイクロホンアレイの各マイクロホンペアによって構成され、異なる間隔の数に応じて、全周波数帯域を同じ数のサブバンドに分割するステップと、
間隔が広ければ広いほど、この広い間隔で配置されたマイクロホンペアの信号が分割されるサブバンドの周波数が低くなるように、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割するステップと、
上記の異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける分割信号に適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得るステップと、
上記の各サブバンドにおける雑音除去後の信号を合成することによって、上記のマルチマイクロホンアレイの全周波数帯域における雑音除去後の信号を得るステップとを含む。
そして、好ましくは、本発明の実施形態に係る方法は、さらに、
保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタにこの制御パラメータを入力するステップを含んでもよい。
別の態様において、マルチマイクロホンアレイ雑音除去装置は、
上記のマルチマイクロホンアレイの各マイクロホンペアによって構成され、異なる間隔の数に応じて全周波数帯域を同じ数のサブバンドに分割して、間隔が広ければ広いほど、この間隔で配置されたマイクロホンペアの信号が分割されるサブバンドの周波数が低くなるように、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割するためのサブバンド分割ユニットと、
上記の異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける分割信号に適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得るための適応型フィルタと、
上記の各サブバンドにおける雑音除去後の信号を合成することによって、上記のマルチマイクロホンアレイの全周波数帯域における雑音除去後の信号を得るためのサブバンド合成ユニットとを備える。
そして、好ましくは、本発明の実施形態に係る装置は、さらに、
保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタに制御パラメータを入力するための雑音除去制御ユニットを備えてもよい。
また、さらなる他の態様において、マルチマイクロホンアレイ雑音除去システムは、
等間隔又は不等間隔で配置された3つ以上のマイクロホンによって構成されるマルチマイクロホンアレイと、
上記のマルチマイクロホンアレイによって収集された信号に雑音除去を行うための前述のマルチマイクロホンアレイ雑音除去装置とを備える。
こうして、本発明の実施形態に係る上記の技術的な解決策は、マルチマイクロホンアレイによって構成された異なるマイクロホン間隔を用いて、全周波数帯域を異なるマイクロホン間隔の数と同じ数のサブバンドに分割して、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割した後に、異なる間隔で配置された各マイクロホンペアの信号に対応するサブバンドで適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得て、最後に、各サブバンドにおける雑音除去後の信号を合成することによって、全周波数帯域における雑音除去後の信号を得る。このように、広帯域通信で全周波数帯域の雑音を効果的に抑圧したため、マルチマイクロホンアレイが広帯域雑音を良好に抑圧できず、普及が拡大している広帯域通信に適用できないという従来技術の課題を解決し、これによって。より少ないマイクロホン及びサイズのより小さいマイクロホンアレイによって広帯域における雑音が効果的に抑圧するという目的を達成した。
さらに、保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタにその更新速度を制御するための制御パラメータを入力することによって、広帯域における雑音を効果的に抑圧するとともに、良好な音声品質を確保し、全周波数帯域のSN比を向上させることができる。
本発明の実施形態又は従来技術に係る技術的な解決策をより明確にするために、以下に、本発明の実施形態又は従来技術を必要な図面を用いて簡単に説明する。勿論、以下の説明における図面は、あくまでも本発明の一実施形態であり、当業者は、創造的な努力をすることなく、これらの図面に基づいて他の実施形態をさらに想到することができる。
図1は、本発明の実施形態に係るマルチマイクロホンアレイ雑音除去方法のフローチャートである。 図2は、本発明の実施形態に係る等間隔4マイクロホンアレイの構造を示す模式図である。 図3は、本発明の実施形態に係る等間隔4マイクロホンアレイの応用例を示す模式図である。 図4は、本発明の実施形態に係る不等間隔3マイクロホンアレイの構造を示す模式図である。 図5は、本発明の実施形態に係る不等間隔4マイクロホンアレイの構造を示す模式図である。 図6は、本発明の実施形態に係る等間隔4マイクロホンアレイの雑音除去の原理の説明図である。 図7は、本発明の実施形態に係る保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得する方法のフローチャートである。 図8は、本発明の実施形態に係る等間隔4マイクロホンアレイによる、適応型フィルタの制御パラメータを取得する実施例の原理を示す模式図である。 図9は、本発明の実施形態に係る等間隔4マイクロホンアレイによる、適応型フィルタの制御パラメータを取得する別の実施例の原理を示す模式図である。 図10は、本発明の実施形態に係るマルチマイクロホンアレイ雑音除去装置の機能ユニットを示す模式図である。 図11は、本発明の実施形態に係る雑音除去制御ユニットの構造を示す模式図である。 図12は、本発明の実施形態に係るマルチマイクロホンアレイ雑音除去システムの構成を示す模式図である。
本発明の目的、技術的な解決策及び利点をより明確にするために、以下に、図面及び具体的な実施形態を参照しながら、本発明を詳しく説明する。勿論、以下に説明されている実施形態は、あくまでも本発明の一実施形態にすぎず、本発明の全ての実施形態ではない。本発明の実施形態に基づいて、当業者が創造的な努力をすることなく想到し得た他の全ての実施形態は、本発明の保護範囲に含まれる。
図1に示すように、本発明の実施形態に係るマルチマイクロホンアレイ雑音除去方法は、以下のステップS11〜S14を含む。
S11は、上記のマルチマイクロホンアレイの各マイクロホンペアによって構成され、異なる間隔の数に応じて、全周波数帯域を同じ数のサブバンドに分割するステップである。
図2に示す等間隔4マイクロホンアレイを例として、その応用例を図3に示す。即ち、横方向からの雑音信号を抑圧し、正面からのユーザ音声を収音するために、4つのマイクロホンによって1つの等間隔マイクロホンアレイが構成されている。4つのマイクロホンMIC1、MIC2、MIC3及びMIC4は、MIC1とMIC4との間の間隔D14、MIC1とMIC3との間の間隔D13及びMIC1とMIC2との間の間隔D12の3つの異なる間隔で配置されている。これらの3つの異なる間隔を用いて、全周波数帯域を低周波サブバンド、中間周波サブバンド及び高周波サブバンドとの低周波から高周波にそれぞれ対応付けられている3つのサブバンドに分割することができる。
図4に示す不等間隔3マイクロホンアレイの一例として、3つのマイクロホンMIC1、MIC2及びMIC3も、MIC1とMIC3の間の間隔D13、MIC1とMIC2との間の間隔D12及びMIC2とMIC3との間の間隔D23の3つの異なる間隔で配置されている。これらの3つの異なる間隔を用いて、全周波数帯域を低周波サブバンド、中間周波サブバンド及び高周波サブバンドの低周波から高周波にそれぞれ対応付けられている3つのサブバンドに分割することができる。
さらに図5に示す不等間隔4マイクロホンアレイの例として、4つのマイクロホンMIC1、MIC2、MIC3及びMIC4は、最大で、MIC1とMIC4との間の間隔D14、MIC1とMIC3との間の間隔D13、MIC1とMIC2との間の間隔D12、MIC2とMIC4との間の間隔D24、MIC3とMIC4との間の間隔D34及びMIC2とMIC3との間の間隔D23の6つの異なる間隔で配置されている。これらの6つの異なる間隔を用いて、全周波数帯域を低周波サブバンド、中間周波サブバンド1、中間周波サブバンド2、中間周波サブバンド3、中間周波サブバンド4及び高周波サブバンドとの低周波から高周波にそれぞれ対応付けられている6つのサブバンドに分割することができる。
S12は、間隔が広ければ広いほど、この広い間隔で配置されたマイクロホンペアの信号が分割されるサブバンドの周波数が低くなるように、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割するステップである。
図2に示す等間隔4マイクロホンアレイのみを例とした、図6に示す雑音除去の原理を以下に説明する。即ち、4つのマイクロホンMIC1、MIC2、MIC3及びMIC4によって収集された信号は、それぞれs、s、s及びsである。最小間隔で配置されたMIC1及びMIC2の信号s及びsは、サブバンド分割ユニットを経て高周波サブバンドに分割され、高周波成分信号s11及びs21が得られる。中間間隔で配置されたMIC1及びMIC3の信号s及びsは、サブバンド分割ユニットを経て中間周波サブバンドに分割され、中間周波成分信号s12及びs32が得られる。最大間隔で配置されたMIC1及びMIC4のs及びs信号は、サブバンド分割ユニットを経て低周波サブバンドに分割され、低周波成分信号s13及びs43が得られる。
ここで、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割するために、1つの簡単なサブバンド分割方法としては、適切なローパスフィルタ、バンドパスフィルタ及びハイパスフィルタをそれぞれ選択してフィルタリングを行うことによって、低周波信号、中間周波信号及び高周波信号を得る方法がある。、もう1つのより複雑で正確なサブバンド分割方法としては、分析フィルタ群を用いて、信号を低、中間及び高の3つの周波数帯域に分割する方法がある。
S13は、上記の異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける分割信号に適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得るステップである。
再度、び図2に示す等間隔4マイクロホンアレイを例とした、図6に示す雑音除去の原理を以下に説明する。まず、いずれかのマイクロホンの信号を希望信号として選択する。等間隔マイクロホンアレイの場合、好ましくは、このマイクロホンアレイの最も外側におけるマイクロホンの信号が希望信号として選択される。例えば、この例では、MIC1の信号sが希望信号として選択され、他のマイクロホンの信号が参照信号として使用される。最小間隔で配置されたMIC1及びMIC2の信号s及びsの高周波サブバンドにおける分割信号s11及びs21は、適応型フィルタHを経て、信号s11における横方向からの高周波雑音信号が除去されるとともに、正面からの高周波ユーザ音声が収音され、高周波サブバンドの出力信号yが得られる。中間間隔で配置されたMIC1及びMIC3の信号s及びsの中間周波サブバンドにおける分割信号s12及びs32は、適応型フィルタHを経て、信号s12から横方向からの中間周波雑音信号が除去されるとともに、正面からの中間周波ユーザ音声が収音され、中間周波サブバンドの出力信号yが得られる。最大間隔で配置されたMIC1及びMIC4の信号s及びsの低周波サブバンドにおける分割信号s13及びs43は、適応型フィルタHを経て、信号s13から横方向からの低周波雑音信号が除去されるとともに、正面からの低周波ユーザ音声が収音され、低周波サブバンドの出力信号yが得られる。
具体的には、適応型フィルタHを例にとると、信号s21は、参照信号として、フィルタリングが行われる適応型フィルタHに入力される。信号yは、希望信号s11から適応型フィルタHの出力信号を減算することによって得られる。そして、適応型フィルタHの出力信号をs11付近で信号yのエネルギーを最小にするために、信号yが適応型フィルタHにフィードバックされて適応型フィルタHの重みが更新される。マイクロホンアレイが雑音信号を受信すると、適応型フィルタHが、信号yのエネルギーを最小にする(即ち、雑音のエネルギーを最小にする)ために、適応的に更新し続けることによって、高周波で雑音除去効果を発揮する。同様に、適応型フィルタH及びHは、それぞれ、中間周波及び低周波で雑音除去を行う。
S14は、各サブバンドにおける雑音除去後の信号を合成することによって、上記のマルチマイクロホンアレイの全周波数帯域における雑音除去後の信号を得るステップである。
採用するサブバンド分割方法に応じて、サブバンド合成方法を選択する。具体的には、適切なローパスフィルタ、バンドパスフィルタ及びハイパスフィルタを選択し、それぞれ信号をフィルタリングすることによって対応するサブバンドにおける分割信号を得るサブバンド分割方法の場合、全周波数帯域の雑音除去後の信号は、上記の各サブバンドにおける雑音除去後の信号を直接加算するサブバンド合成方法によって得られる。一方、分析フィルタ群を用いて対応するサブバンドにおける分割信号を得るサブバンド分割方法の場合、全周波数帯域の雑音除去後の信号は、対応する総合フィルタ群によって上記の各サブバンドにおける雑音除去後の信号を合成するサブバンド合成方法を用いることによって得られる。
例えば、図6に示す等間隔4マイクロホンアレイの雑音除去の原理の説明図において、サブバンド合成ユニットは、3つの周波数帯域で得られた雑音除去後の信号を加算して全周波数帯域の信号を得ることができる。つまり、y=y+y+yとなる。
こうして、本発明の実施形態に係るマルチマイクロホンアレイ雑音除去方法は、マルチマイクロホンアレイによって構成された異なるマイクロホン間隔を利用し、全周波数帯域を異なるマイクロホン間隔の数と同じ数のサブバンドに分割して、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割した後に、異なる間隔で配置された各マイクロホンペアの信号に対応するサブバンドで適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得て、最後に、各サブバンドにおける雑音除去後の信号を合成することによって、全周波数帯域における雑音除去後の信号を得る。このように、広帯域通信で全周波数帯域の雑音を効果的に抑圧したため、マルチマイクロホンアレイが広帯域雑音を良好に抑圧できず、普及が拡大している広帯域通信に適用できないという従来技術の課題を解決し、これによって、より少ないマイクロホン及びよりサイズの小さいマイクロホンアレイによって広帯域における雑音を効果的に抑圧するという目的を達成した。
好ましくは、本発明の実施形態に係るマルチマイクロホンアレイ雑音除去方法は、さらに、
保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタに該制御パラメータを入力するステップを含む。ここで、上記の目標信号成分は、主に各マイクロホンペアの信号の入射角が保護角内にある成分を指す。
上記の異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける分割信号に適応型雑音除去を行うステップS13において、マイクロホンアレイでユーザ音声を受信するため、もし適応型フィルタがその時でも自由に更新すると、音声も雑音として除去されてしまう。従って、適応型フィルタの更新は、制御しなければならない。具体的には、雑音だけが存在する場合、効果的に雑音を抑圧するために、自由に適応型フィルタの更新をする。一方、音声が存在する場合、音声が抑圧されないように、適応型フィルタの更新を停止する。ここで、適応型フィルタは、時間領域フィルタ、周波数領域フィルタ及びサブバンドフィルタから選択できる。周波数適応型フィルタ又はサブバンド適応型フィルタの場合、全周波数帯域の信号をそれぞれ周波数領域又はサブバンドに変換してから、適応型フィルタリングを行って、その後、フィルタリングされた信号を再び時間領域信号に変換する必要がある。
図7に示すように、本発明の実施形態は、保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得する方法は、
離散フーリエ変換を行って、マルチマイクロホンアレイの各マイクロホンの信号を周波数領域に変換するステップS71と、
周波数領域において、異なる間隔で配置された各マイクロホンペアの信号の相対的な遅延を計算するステップS72と、
上記の各マイクロホンペアの相対的な遅延及び異なる間隔に応じて各マイクロホンペアの信号の入射角を計算するステップS73と、
上記の各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をとって、その統計結果に応じて換算して適応型フィルタの制御パラメータを得るステップS74とを含む。
等間隔4マイクロホンアレイを例にとり説明する。まず、4つのマイクロホン信号s、s、s、sは、離散フーリエ変換(Discrete Fourier Transform,DFT)により周波数領域に変換される。続いて、3つのマイクロホンペア(即ち、MIC1とMIC2、MIC1とMIC3、及びMIC1とMIC4)の信号の位相差が算出され、各マイクロホンペアの信号の相対的な遅延は、これらの位相差に応じて算出される。次に、各マイクロホンペアの信号の入射角は、各マイクロホンペアの信号の相対的な遅延及びマイクロホン間隔に応じて計算され、3つのマイクロホンペアであるため、3つの信号の入射角が求められる。最後に、適応型フィルタの制御パラメータは、これらの3つの信号の入射角が保護角内にある成分の量の統計をとることによって得られる。
適応型フィルタの更新は、信号の入射角によって制御することができる。信号の入射角が保護角内にあると、正面からのユーザ音声と見なされ、適応型フィルタの更新は停止される。一方、信号の入射角が保護角外にあると、横方向からの雑音と見なされ、適応型フィルタは自由に更新することができる。異なるサブバンドで適応型雑音除去を行う適応型フィルタの制御パラメータは、同じであってもよいし、異なってもよい。
例えば、図8に示すように、全周波数帯域における各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をとって、その統計結果に応じて換算して全周波数帯域の統一された適応型フィルタの制御パラメータα(0≦α≦1)を求めてもよい。保護角内にある目標信号成分が多ければ多いほど、αが小さくなり、適応型フィルタの更新が遅くなって、全てが保護角内にある目標信号成分である場合、α=0となり、適応型フィルタは更新せず、目標音声信号が保護される。逆に、保護角外にある雑音成分が多ければ多いほど、αが大きくなり、適応型フィルタの更新が速くなって、全てが保護角外にある雑音成分である場合、α=1となり、適応型フィルタの更新が最も速くなり、雑音信号が抑圧される。
また、例えば、図9に示すように、各サブバンドにおける各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をそれぞれとって、その統計結果に応じて換算して各サブバンドのそれぞれの適応型フィルタの制御パラメータα(0≦α≦1、iはサブバンドを示す)を求めてもよい。保護角外にある目標信号成分が多ければ多いほど、αが大きくなり、サブバンドにおける更新速度が速くなる。i番目のサブバンドの信号成分が全て保護角内にある目標音声成分である場合、α=0となり、サブバンドの適応型フィルタは更新せず、サブバンドの目標音声成分が保護される。一方、i番目のサブバンドの信号成分が全て保護角外にある場合、α=1となり、サブバンドの適応型フィルタの更新が最も速くなり、サブバンドの雑音信号が抑圧される。上記の目標信号成分は、主に各マイクロホンペアの信号の入射角が保護角内にある成分を指す。
本発明の好適な実施形態は、保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタにその更新速度を制御するための制御パラメータを入力することによって、広帯域における雑音を効果的に抑圧するとともに、良好な音声品質を確保し、全周波数帯域のSN比を向上させることができる。
図10に示すように、本発明の実施形態に係るマルチマイクロホンアレイ雑音除去装置は、
上記のマルチマイクロホンアレイの各マイクロホンペアによって構成された異なる間隔の数に応じて全周波数帯域を同じ数のサブバンドに分割して、間隔が広ければ広いほど、この広い間隔で配置されたマイクロホンペアの信号が分割されるサブバンドの周波数が低くなるように、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割するためのサブバンド分割ユニット101と、
上記の異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける分割信号に適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得るための適応型フィルタ102と、
上記の各サブバンドにおける雑音除去後の信号を合成することによって、上記のマルチマイクロホンアレイの全周波数帯域における雑音除去後の信号を得るためのサブバンド合成ユニット103とを備える。
具体的には、サブバンド分割ユニット101は、適切なローパスフィルタ、バンドパスフィルタ及びハイパスフィルタを選択して異なる間隔で配置された各マイクロホンペアの信号にそれぞれフィルタリングを行うことによって対応するサブバンドにおける信号を得てもよく、或いは、分析フィルタ群を用いて、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割してもよい。
それに応じて、サブバンド分割ユニット101が適切なローパスフィルタ、バンドパスフィルタ及びハイパスフィルタを選択して信号にそれぞれフィルタリングを行うことによって対応するサブバンドにおける信号を得る場合、サブバンド合成ユニット103は、各サブバンドにおける雑音除去後の信号を直接加算するサブバンド合成方法を用いて、全周波数帯域の雑音除去後の信号を得る。一方、サブバンド分割ユニット101が分析フィルタ群を用いて対応するサブバンドにおける分割信号を得る場合、サブバンド合成ユニット103は、対応する総合フィルタ群によって各サブバンドにおける雑音除去後の信号を合成するサブバンド合成方法を用いて、全周波数帯域の雑音除去後の信号を得る。
また、好ましくは、図10に示すように、本発明の実施形態に係るマルチマイクロホンアレイ雑音除去装置は、さらに、
保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタ102に制御パラメータを入力するための雑音除去制御ユニット104を備える。ここで、上記の目標信号成分は、主に各マイクロホンペアの信号の入射角が保護角内にある成分を指す。
さらに、図11の本発明の実施形態に係る雑音除去制御ユニットの構造を示す模式図に示すように、雑音除去制御ユニット104は、
離散フーリエ変換を行って、上記のマルチマイクロホンアレイの各マイクロホンの信号を周波数領域に変換するためのDFTモジュール1041と、
周波数領域において、異なる間隔で配置された各マイクロホンペアの信号の相対的な遅延を計算するための遅延計算モジュール1042と、
上記の相対的な遅延及び異なる間隔に応じて各マイクロホンペアの信号の入射角を計算するための方向計算モジュール1043と、
上記の各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をとって、その統計結果に応じて換算して適応型フィルタの制御パラメータを得るための制御パラメータ取得モジュール1044を備えてもよい。
一実施例としては、上記の制御パラメータ取得モジュール1044は、全周波数帯域における各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をとって、その統計結果に応じて換算して全周波数帯域の統一された適応型フィルタの制御パラメータα(0≦α≦1)を得るための全周波数帯域制御パラメータ取得モジュールであってもよい。保護角内にある成分が多ければ多いほど、αが小さくなり、適応型フィルタの更新が遅くなって、全てが保護角内にある成分である場合、α=0となり、適応型フィルタは更新しない。逆に、保護角外にある成分が多ければ多いほど、αが大きくなり、適応型フィルタの更新が速くなって、全てが保護角外にある成分である場合、α=1となり、適応型フィルタの更新が最も速くなる。
別の実施例としては、上記の制御パラメータ取得モジュール1044は、各サブバンドにおける各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をとって、その統計結果に応じて換算して各サブバンドのそれぞれの適応型フィルタの制御パラメータα(0≦α≦1、iはサブバンドを表す)を得るためのサブバンド制御パラメータ取得モジュールであってもよい。信号の入射角が保護角内にある成分が多ければ多いほど、αが小さくなり、サブバンドにおける適応型フィルタの更新が遅くなって、信号の入射角が全て保護角内にある成分である場合、α=0となり、サブバンドの適応型フィルタは更新しない。逆に、信号の入射角が保護角外にある成分が多ければ多いほど、αが大きくなり、サブバンドにおける適応型フィルタの更新が速くなって、信号の入射角が全て保護角外にある成分である場合、α=1となり、サブバンドの適応型フィルタの更新が最も速くなる。
本発明の上記の装置の実施形態に係る各機能ユニット又はモジュールの詳しい動作は、前述した本発明の方法の実施形態を参照して知ることができる。理解できるように、本発明の実施形態に係るマルチマイクロホンアレイ雑音除去装置は、ハードウェアロジック又はソフトウェアによって実現してもよく、その装置の各機能ユニット又はモジュールは、一体化しても分離して配置してもよい。また、複数の機能ユニット又はモジュールは、1つのユニットに統合しても、さらに複数のサブユニットに分けてもよい。
こうして、本発明の実施形態に係るマルチマイクロホンアレイ雑音除去装置は、マルチマイクロホンアレイによって構成された異なるマイクロホン間隔を利用し、全周波数帯域を異なるマイクロホン間隔の数と同じ数のサブバンドに分割して、異なる間隔で配置された各マイクロホンペアの信号をサブバンド分割ユニット101で対応するサブバンドに分割した後に、適応型フィルタ102で異なる間隔で配置された各マイクロホンペアの信号に対応するサブバンドで適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得る。最後に、サブバンド合成ユニット103で上記の各サブバンドにおける雑音除去後の信号を合成することによって、全周波数帯域における雑音除去後の信号を得る。このように、広帯域通信で全周波数帯域の雑音を効果的に抑圧したため、マルチマイクロホンアレイが広帯域雑音を良好に抑圧できず、普及が拡大している広帯域通信に適用できないという従来技術の課題を解決し、これによって、より少ないマイクロホン及びよりサイズの小さいマイクロホンアレイによって広帯域における雑音を効果的に抑圧するという目的を達成した。
さらに、好ましくは、雑音除去制御ユニット104によって保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタにその更新速度を制御するための制御パラメータを入力することによって、広帯域における雑音を効果的に抑圧するとともに、良好な音声品質を確保し、全周波数帯域のSN比を向上させることができる。
図12に示すように、本発明の実施形態のマルチマイクロホンアレイ雑音除去システムは、さらに、
等間隔又は不等間隔で配置された3つ以上のマイクロホンによって構成されるマルチマイクロホンアレイと、
上記のマルチマイクロホンアレイによって収集された信号に雑音除去を行うための本発明の前述の実施形態に係るマルチマイクロホンアレイ雑音除去装置とを備える。
理解できるように、本発明の上記の実施形態に係る技術的な解決策は、3つ以上のマイクロホンによって構成される等間隔又は不等間隔に配置されたマルチマイクロホンアレイに適用される。ここで、マイクロホンの指向性は限定されず、単一指向性マイクロホンでも無指向性マイクロホンでもよい。また、マルチマイクロホンアレイによって構成される異なるマイクロホン間隔の数が多ければ多いほど、全周波数帯域から分けられるサブバンドが狭くなって、本発明に係る技術的な解決策によって得られる雑音除去効果がより高くなる。
以下に、具体的な一実施形態を参照しながら、本発明の上記の技術的な解決策をさらに説明する。
図2に示すように、4つのマイクロホンMIC1、MIC2、MIC3及びMIC4によって1つの等間隔マイクロホンアレイが構成され、隣接するマイクロホンの間の間隔DがD=2cmであり、ユーザが図3に示す応用例における−45度〜45度(即ち、θ=45度)の範囲で間隔を空ける。信号s、s、s、sは、それぞれ、サンプリング周波数がf=16kHzとなる4つのマイクロホンによって受信される。図6に示すように、本発明の処理手順を以下に示す。
ステップ1において、4つの信号は、まず雑音除去制御ユニットを経て、周波数領域においてそれぞれの信号の入射角が推定され、それに応じて適応型フィルタの更新を制御するための制御パラメータαが算出される。
以下に詳しく説明する。まず、離散フーリエ変換を行って、信号s、s、s及びsを変換する。具体的には、まず信号s(i=1〜4)にフレーミング処理を行う。各フレームは、N個のサンプリングポイント又は10ms〜32msのフレーム長を持ち、m番目のフレーム信号をd(m,n)とする。ここでは、0≦N<Nかつ0≦mである。隣接する2つのフレームは、M個のサンプリングポイントが重なる。つまり、現在のフレームの最初のM個のサンプリングポイントは、前のフレームの最後のM個のサンプリングポイントであり、各フレームは、(L=N−M)個のサンプリングポイントの新しいデータだけを含む。従って、m番目のフレームのデータは、d(m,n)=s(m*L+n)となる。本実施形態において、フレーム長をN=512(即ち、32ms)とし、重なるサンプリングポイントの数MをM=256(即ち、フレーム長の50%)とする。窓掛け処理は、フレーミング処理後に、窓関数win(n)を用いて各フレーム信号に行われ、窓が掛けられたデータは、g(m,n)=win(n)*d(m,n)となる。窓関数は、ハミング窓やハニング窓などから選択できる。本実施形態において、窓関数として、以下のハニング窓が選択される。
窓が掛けされたデータは、最後に、以下のDFTによって周波数領域に変換される。
続いて、相対的な遅延の計算が行われ、信号sとsの相対的な遅延は、以下のように計算される。
次に、信号の入射角の計算が行われ、信号の入射角は、信号sとsの相対的な遅延に応じて以下のように計算される。
最後に、制御パラメータが取得され、適応型フィルタの更新のための制御パラメータαは、全周波数帯域における各マイクロホンペアの信号の入射角θij(ij=12、13、14)に応じて保護角内(即ち、[−45度、45度])にある成分の統計をとることによって得られる。αは0〜1間の数値であり、周波数成分の保護角内にある量によって決定される。周波数成分の保護角内にある数が0である場合、α=1となり、周波数成分の保護角外にある数が0である場合、α=0となる。
ステップ2において、信号s、s、s及びsは、サブバンド分割ユニットを経て、高周波信号s11とs21、中間周波信号s12とs32、及び低周波信号s13とs43に分割される。
以下に詳しく説明する。s及びsは、3kHzのカットオフ周波数を持つハイパスフィルタを経て、高周波信号s11とs21が得られる。s及びsは、1kHz及び3kHzのカットオフ周波数を持つバンドパスフィルタを経て、中間周波信号s12とs32が得られる。s及びsは、1kHzのカットオフ周波数を持つローパスフィルタを経て、低周波信号s13とs43が得られる。
ステップ3において、s11とs21は、制御パラメータαによって更新を制御する時間領域適応型フィルタHを経て、雑音除去後の高周波成分yが得られる。s12とs32は、制御パラメータαによって更新を制御する時間領域適応型フィルタHを経て、雑音除去後の中間周波成分yが得られる。s13とs43は、制御パラメータαによって更新を制御する時間領域適応型フィルタHを経て、雑音除去後の低周波成分yが得られる。
以下に詳しく説明する。まず、適応型フィルタは、次数がP(P≧1)であるFIRフィルタであり、フィルタHの重みは、
であり、本実施形態において、P=64となる。Hによるフィルタリングの結果は、以下のようになる。
次に、信号y(n)は、適応型フィルタHにフィードバックされてフィルタHの重み
が以下のように更新される。
適応型フィルタHの更新速度μは、パラメータαによって制御され、本実施形態において、μ=0.3*αである。α=1である(即ち、信号の全ての成分が雑音成分である)場合、μ=0.3となり、信号y(n)のエネルギーが最小になるまで適応型フィルタHが急速に収束するため、雑音が除去される。一方、α=0である(即ち、信号の全ての成分が目標音声成分である)場合、μ=0となり、適応型フィルタHの更新が停止するため、音声成分が相殺されず、出力信号y(n)における音声成分が収音される。さらに、0<α<1である(即ち、マイクロホンによって収集された信号に音声成分及び雑音成分の両方がある)場合、音声成分が収音されるとともに雑音が除去されるように、適応型フィルタHの更新速度は、音声成分及び雑音成分の量によって制御される。
ステップ4において、高周波信号y、中間周波信号y及び低周波信号yは、サブバンド合成ユニットを経て、全周波数帯域の雑音除去後の信号yが得られる。本実施形態において、全周波数帯域の信号は、3つの周波数帯域で得られた雑音除去後の信号を加算することによって得られる。つまり、
となる。
なお、本実施形態で選択された保護角の保護範囲が−45°〜45°であると説明したが、実際には、ユーザの実際の位置や需要に応じて調整してもよい。マイクロホンの数も、4つに限定されるものではなく、3つ以上であればよい。また、隣接するマイクロホンの間の間隔は同じにする必要はないが、マイクロホンの数及びマイクロホン間隔の数が多ければ多いほど、信号をより多くかつより狭いサブバンドに分割してより精密な適応型雑音除去を行うことができる。これにより、より高い雑音除去効果を発揮することができる。
また、理解できるように、本発明の各実施形態に係る各サブバンドでの適応型雑音除去処理において、時間領域適応型フィルタを用いて雑音除去を行ってもよいが、時間領域適応型フィルタに限定されるものではなく、周波数領域又はサブバンド適応型フィルタを用いて雑音除去を行ってもよい。さらに、本発明は、サブバンド分割のためにローパスフィルタ、バンドパスフィルタ及びハイパスフィルタを用いて、サブバンド合成のために各サブバンド成分を加算してもよいが、より正確なサブバンド分割及び合成方法を用いてもよい。例えば、分析フィルタ群及び総合フィルタ群を用いて、サブバンド分割及び合成による信号の歪みを低減させる方法を用いてもよい。
最後に、本発明の実施形態に係るマルチマイクロホンアレイ雑音除去方法、装置及びシステムは、ハンズフリーなビデオ通話のシナリオに適用でき、ハンズフリーなビデオ通話における雑音、エコー及びリバーブを除去することによって、遠方の音声が強調されるため、全周波数帯域のSN比を向上させ、ハンズフリー通話をよりクリアかつスムーズにすることができる。
上記の説明は、あくまでも本発明の一実施形態にすぎず、本発明の保護範囲は、これに限定されるものではない。当分野に熟知している当業者なら誰でも本発明に開示された技術的範囲内で容易に想到できる全ての変更及び置換は、いずれも本発明の保護範囲に含まれる。従って、本発明の保護範囲は、請求の範囲によって確定すべきである。
上記の目的を達成するために、本発明の実施形態は、以下の技術的な解決策を採用している。
一態様において、広帯域通信で全周波数帯域の雑音を除去するためのマルチマイクロホンアレイ雑音除去方法は、
隣接する2つのマイクロホンの間隔が任意であるマルチマイクロホンアレイの任意のマイクロホンペアによって定まる異なる間隔の数に応じて、全周波数帯域を前記異なる間隔の数と同じ数のサブバンドに分割するステップと、
間隔が広ければ広いほど、この広い間隔で配置されたマイクロホンペアの信号が分割されるサブバンドの周波数が低くなるように、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割するステップと、
前記異なる間隔で配置された各マイクロホンペアの信号の入射角が保護角内にある成分の量に応じて各サブバンドの適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタに当該制御パラメータを入力するステップと、
前記異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける分割信号に対応する適応型フィルタによる適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得るステップと、
前記各サブバンドにおける雑音除去後の信号を合成することによって、前記マルチマイクロホンアレイの全周波数帯域における雑音除去後の信号を得るステップとを含む。
別の態様において、広帯域通信で全周波数帯域の雑音を除去するためのマルチマイクロホンアレイ雑音除去装置は、
隣接する2つのマイクロホンの間隔が任意であるマルチマイクロホンアレイの任意のマイクロホンペアによって定まる異なる間隔の数に応じて全周波数帯域を前記異なる間隔の数と同じ数のサブバンドに分割して、間隔が広ければ広いほど、この間隔で配置されたマイクロホンペアの信号が分割されるサブバンドの周波数が低くなるように、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割するためのサブバンド分割ユニットと、
前記異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける分割信号に適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得るための適応型フィルタと、
前記異なる間隔で配置された各マイクロホンペアの信号の入射角が保護角内にある成分の量に応じて各サブバンドの適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタに当該制御パラメータを入力するための雑音除去制御ユニットと、
前記各サブバンドにおける雑音除去後の信号を合成することによって、上記のマルチマイクロホンアレイの全周波数帯域における雑音除去後の信号を得るためのサブバンド合成ユニットとを備える。

Claims (11)

  1. マルチマイクロホンアレイ雑音除去方法であって、
    前記マルチマイクロホンアレイの任意のマイクロホンペアによって定まる異なる間隔の数に応じて、全周波数帯域を前記異なる間隔の数と同じ数のサブバンドに分割するステップと、
    間隔が広ければ広いほど、この広い間隔で配置されたマイクロホンペアの信号が分割されるサブバンドの周波数が低くなるように、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割するステップと、
    前記異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける分割信号に適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得るステップと、
    前記各サブバンドにおける雑音除去後の信号を合成することによって、前記マルチマイクロホンアレイの全周波数帯域における雑音除去後の信号を得るステップと、
    を含むことを特徴とする方法。
  2. 保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタに該制御パラメータを入力するステップをさらに含み、
    前記保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタに該制御パラメータを入力するステップは、
    離散フーリエ変換を行って、マルチマイクロホンアレイの各マイクロホンの信号を周波数領域に変換するステップと、
    周波数領域において、異なる間隔で配置された各マイクロホンペアの信号の相対的な遅延を計算するステップと、
    前記相対的な遅延及び異なる間隔に応じて各マイクロホンペアの信号の入射角を計算するステップと、
    前記各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をとって、その統計結果に応じて換算して適応型フィルタの制御パラメータを得るステップと、
    を含むことを特徴とする請求項1に記載の方法。
  3. 前記各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をとって、その統計結果に応じて換算して適応型フィルタの制御パラメータを得るステップは、
    全周波数帯域における各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をとって、その統計結果に応じて換算して全周波数帯域の統一された適応型フィルタの制御パラメータαを得る処理を含み、
    ここで、0≦α≦1であり、保護角内にある成分が多ければ多いほど、αが小さくなり、適応型フィルタの更新が遅くなって、全てが保護角内にある成分である場合、α=0となり、適応型フィルタは更新せず、逆に、保護角外にある成分が多ければ多いほど、αが大きくなり、適応型フィルタの更新が速くなって、全てが保護角外にある成分である場合、α=1となり、適応型フィルタの更新が最も速くなる
    ことを特徴とする請求項2に記載の方法。
  4. 前記各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をとって、その統計結果に応じて換算して適応型フィルタの制御パラメータを得るステップは、
    各サブバンドにおける各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をそれぞれとって、その統計結果に応じて換算して各サブバンドのそれぞれの適応型フィルタの制御パラメータαiを得る処理を含み、
    ここで、0≦αiを≦1であり、iはサブバンドを示し、信号の入射角が保護角内にある成分が多ければ多いほど、αiが小さくなり、該サブバンドにおける適応型フィルタの更新が遅くなって、信号の入射角が全て保護角内にある成分である場合、αi=0となり、該サブバンドの適応型フィルタは更新せず、逆に、信号の入射角が保護角外にある成分が多ければ多いほど、αiが大きくなり、該サブバンドにおける適応型フィルタの更新が速くなって、信号の入射角が全て保護角外にある成分である場合、αi=1となり、該サブバンドの適応型フィルタの更新が最も速くなる
    ことを特徴とする請求項2に記載の方法。
  5. 前記異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割するステップは、
    ローパスフィルタ、バンドパスフィルタ及びハイパスフィルタを選択して異なる間隔で配置された各マイクロホンペアの信号にそれぞれフィルタリングを行うことによって対応するサブバンドにおける分割信号を得る処理を含み、
    若しくは、分析フィルタ群を用いて、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割する処理を含み、
    前記各サブバンドにおける雑音除去後の信号を合成することによって、前記マルチマイクロホンアレイの全周波数帯域における雑音除去後の信号を得るステップは、
    ローパスフィルタ、バンドパスフィルタ及びハイパスフィルタを選択して信号にそれぞれフィルタリングを行うことによって対応するサブバンドにおける分割信号を得るサブバンド分割方法の場合、各サブバンドにおける雑音除去後の信号を直接加算するサブバンド合成方法を用いて、全周波数帯域の雑音除去後の信号を得る処理を含み、
    分析フィルタ群を用いて対応するサブバンドにおける分割信号を得るサブバンド分割方法の場合、対応する総合フィルタ群によって各サブバンドにおける雑音除去後の信号を合成するサブバンド合成方法を用いて、全周波数帯域の雑音除去後の信号を得る処理を含む
    ことを特徴とする請求項2に記載の方法。
  6. 前記異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける分割信号に適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得るステップは、
    異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける2つの信号を取得して、該サブバンドにおける希望信号及び参照信号をそれぞれ得る処理と、
    前記参照信号を適応型フィルタに入力してフィルタリングを行い、前記希望信号からそのフィルタリングされた信号を減算することによって出力信号を得るとともに、前記出力信号を前記適応型フィルタにフィードバックして前記適応型フィルタの重みを更新する処理と、
    前記制御パラメータによって前記適応型フィルタの更新速度を制御する処理とを含む
    ことを特徴とする請求項2に記載の方法。
  7. マルチマイクロホンアレイ雑音除去装置であって、
    前記マルチマイクロホンアレイの任意のマイクロホンペアによって定まる異なる間隔の数に応じて全周波数帯域を前記異なる間隔の数と同じ数のサブバンドに分割して、間隔が広ければ広いほど、この広い間隔で配置されたマイクロホンペアの信号が分割されるサブバンドの周波数が低くなるように、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドに分割するためのサブバンド分割ユニットと、
    前記異なる間隔で配置された各マイクロホンペアごとに、その対応するサブバンドにおける分割信号に適応型雑音除去を行うことによって、各サブバンドにおける雑音除去後の信号を得るための適応型フィルタと、
    前記各サブバンドにおける雑音除去後の信号を合成することによって、前記マルチマイクロホンアレイの全周波数帯域における雑音除去後の信号を得るためのサブバンド合成ユニットと、
    を備えることを特徴とする装置。
  8. 保護角内にある目標信号成分の量に応じて適応型フィルタの制御パラメータを取得して、対応するサブバンドで適応型雑音除去を行う適応型フィルタに該制御パラメータを入力するための雑音除去制御ユニットをさらに備え、
    前記雑音除去制御ユニットは、
    離散フーリエ変換を行って、前記マルチマイクロホンアレイの各マイクロホンの信号を周波数領域に変換するためのDFTモジュールと、
    周波数領域において、異なる間隔で配置された各マイクロホンペアの信号の相対的な遅延を計算するための遅延計算モジュールと、
    前記相対的な遅延及び異なる間隔に応じて各マイクロホンペアの信号の入射角を計算するための方向計算モジュールと、
    前記各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をとって、その統計結果に応じて換算して適応型フィルタの制御パラメータを得るための制御パラメータ取得モジュールと、
    を備えることを特徴とする請求項7に記載の装置。
  9. 前記制御パラメータ取得モジュールは、全周波数帯域における各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をとって、その統計結果に応じて換算して全周波数帯域の統一された適応型フィルタの制御パラメータαを得るための全周波数帯域制御パラメータ取得モジュールであって、ここで、0≦α≦1であり、保護角内にある成分が多ければ多いほど、αが小さくなり、適応型フィルタの更新が遅くなって、全てが保護角内にある成分である場合、α=0となり、適応型フィルタは更新せず、逆に、保護角外にある成分が多ければ多いほど、αが大きくなり、適応型フィルタの更新が速くなって、全てが保護角外にある成分である場合、α=1となり、適応型フィルタの更新が最も速くなり、
    若しくは、前記制御パラメータ取得モジュールは、各サブバンドにおける各マイクロホンペアの信号の入射角が保護角内にある成分の量の統計をそれぞれとって、その統計結果に応じて換算して各サブバンドのそれぞれの適応型フィルタの制御パラメータαiを得るためのサブバンド制御パラメータ取得モジュールであって、ここで、0≦αi≦1であり、iはサブバンドを示し、信号の入射角が保護角内にある成分が多ければ多いほど、αiが小さくなり、該サブバンドにおける適応型フィルタの更新が遅くなって、信号の入射角が全て保護角内にある成分である場合、αi=0となり、該サブバンドの適応型フィルタは更新せず、逆に、信号の入射角が保護角外にある成分が多ければ多いほど、αiが大きくなり、該サブバンドにおける適応型フィルタの更新が速くなって、信号の入射角が全て保護角外にある成分である場合、αi=1となり、該サブバンドの適応型フィルタの更新が最も速くなる
    ことを特徴とする請求項8に記載の装置。
  10. 前記サブバンド分割ユニットは、ローパスフィルタ、バンドパスフィルタ及びハイパスフィルタを選択して異なる間隔で配置された各マイクロホンペアの信号にそれぞれフィルタリングを行うことによって対応するサブバンドにおける信号を得るものであり、若しくは、分析フィルタ群を用いて、異なる間隔で配置された各マイクロホンペアの信号を対応するサブバンドにそれぞれ分割するものであり、
    前記サブバンド合成ユニットは、前記サブバンド分割ユニットがローパスフィルタ、バンドパスフィルタ及びハイパスフィルタを選択して信号にそれぞれフィルタリングを行うことによって対応するサブバンドにおける分割信号を得るサブバンド分割方法の場合、各サブバンドにおける雑音除去後の信号を直接加算するサブバンド合成方法を用いて、全周波数帯域の雑音除去後の信号を得るものであり、前記サブバンド分割ユニットが分析フィルタ群を用いて対応するサブバンドにおける分割信号を得るサブバンド分割方法の場合、対応する総合フィルタ群によって各サブバンドにおける雑音除去後の信号を合成するサブバンド合成方法を用いて、全周波数帯域の雑音除去後の信号を得るものである
    ことを特徴とする請求項8に記載の装置。
  11. 等間隔又は不等間隔で配置された3つ以上のマイクロホンによって構成されるマルチマイクロホンアレイと、
    前記マルチマイクロホンアレイによって収集された信号に雑音除去を行うための請求項7から10のいずれか1項に記載のマルチマイクロホンアレイ雑音除去装置と、
    を備えることを特徴とするマルチマイクロホンアレイ雑音除去システム。
JP2016115637A 2011-09-05 2016-06-09 マルチマイクロホンアレイ雑音除去方法、装置及びシステム Active JP6142044B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110259355.9 2011-09-05
CN201110259355.9A CN102306496B (zh) 2011-09-05 2011-09-05 一种多麦克风阵列噪声消除方法、装置及***

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013532045A Division JP2013542677A (ja) 2011-09-05 2012-04-10 マルチマイクロホンアレイ雑音除去方法、装置及びシステム

Publications (2)

Publication Number Publication Date
JP2016192781A true JP2016192781A (ja) 2016-11-10
JP6142044B2 JP6142044B2 (ja) 2017-06-07

Family

ID=45380344

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013532045A Pending JP2013542677A (ja) 2011-09-05 2012-04-10 マルチマイクロホンアレイ雑音除去方法、装置及びシステム
JP2016115637A Active JP6142044B2 (ja) 2011-09-05 2016-06-09 マルチマイクロホンアレイ雑音除去方法、装置及びシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013532045A Pending JP2013542677A (ja) 2011-09-05 2012-04-10 マルチマイクロホンアレイ雑音除去方法、装置及びシステム

Country Status (7)

Country Link
US (1) US9129587B2 (ja)
EP (1) EP2608197B1 (ja)
JP (2) JP2013542677A (ja)
KR (1) KR101519768B1 (ja)
CN (1) CN102306496B (ja)
DK (1) DK2608197T3 (ja)
WO (1) WO2013033991A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9247346B2 (en) 2007-12-07 2016-01-26 Northern Illinois Research Foundation Apparatus, system and method for noise cancellation and communication for incubators and related devices
CN102306496B (zh) * 2011-09-05 2014-07-09 歌尔声学股份有限公司 一种多麦克风阵列噪声消除方法、装置及***
JP2016521382A (ja) * 2013-05-13 2016-07-21 トムソン ライセンシングThomson Licensing マイクロフォンの音声を分離するための方法、装置、およびシステム
US9591404B1 (en) * 2013-09-27 2017-03-07 Amazon Technologies, Inc. Beamformer design using constrained convex optimization in three-dimensional space
CN104751854A (zh) * 2013-12-26 2015-07-01 联芯科技有限公司 一种宽带声学回声消除方法及***
JP6160519B2 (ja) * 2014-03-07 2017-07-12 株式会社Jvcケンウッド 雑音低減装置
US10206034B2 (en) * 2014-03-12 2019-02-12 Sony Corporation Sound field collecting apparatus and method, sound field reproducing apparatus and method
KR102188101B1 (ko) 2014-03-14 2020-12-07 삼성전자주식회사 오디오 처리 방법 및 그 전자 장치
US10149047B2 (en) * 2014-06-18 2018-12-04 Cirrus Logic Inc. Multi-aural MMSE analysis techniques for clarifying audio signals
US9721584B2 (en) * 2014-07-14 2017-08-01 Intel IP Corporation Wind noise reduction for audio reception
CN104602163B (zh) 2014-12-31 2017-12-01 歌尔股份有限公司 主动降噪耳机及应用于该耳机的降噪控制方法和***
GB201518240D0 (en) * 2015-10-15 2015-12-02 Rolls Royce Plc A method of performing real time decomposition of a signal into components
CN105280195B (zh) * 2015-11-04 2018-12-28 腾讯科技(深圳)有限公司 语音信号的处理方法及装置
CN105390142B (zh) * 2015-12-17 2019-04-05 广州大学 一种数字助听器语音噪声消除方法
US10257620B2 (en) * 2016-07-01 2019-04-09 Sonova Ag Method for detecting tonal signals, a method for operating a hearing device based on detecting tonal signals and a hearing device with a feedback canceller using a tonal signal detector
CN106448693B (zh) * 2016-09-05 2019-11-29 华为技术有限公司 一种语音信号处理方法及装置
CN106710601B (zh) * 2016-11-23 2020-10-13 合肥美的智能科技有限公司 一种语音信号降噪拾音处理方法和装置及冰箱
US9947337B1 (en) * 2017-03-21 2018-04-17 Omnivision Technologies, Inc. Echo cancellation system and method with reduced residual echo
CN106910492A (zh) * 2017-04-01 2017-06-30 广州日滨科技发展有限公司 一种电梯轿厢的噪声主动控制方法和装置
CN107748354B (zh) * 2017-08-08 2021-11-30 中国电子科技集团公司第三十八研究所 基于分析与综合的宽带数字波束形成装置
CN107749305B (zh) * 2017-09-29 2021-08-24 百度在线网络技术(北京)有限公司 语音处理方法及其装置
CN107749296A (zh) * 2017-10-12 2018-03-02 深圳市沃特沃德股份有限公司 语音翻译方法和装置
US10354635B2 (en) 2017-11-01 2019-07-16 Bose Corporation Adaptive nullforming for selective audio pick-up
US11430421B2 (en) 2017-11-01 2022-08-30 Bose Corporation Adaptive null forming and echo cancellation for selective audio pick-up
CN108335697A (zh) * 2018-01-29 2018-07-27 北京百度网讯科技有限公司 会议记录方法、装置、设备及计算机可读介质
CN108696797A (zh) * 2018-05-17 2018-10-23 四川湖山电器股份有限公司 一种音频电信号进行分频与合成的方法
US10615887B1 (en) * 2018-09-24 2020-04-07 Seagate Technology Llc Mitigation of noise generated by random excitation of asymmetric oscillation modes
CN110033776A (zh) * 2019-03-08 2019-07-19 佛山市云米电器科技有限公司 一种应用于屏幕设备的虚拟形象交互***与方法
WO2020241050A1 (ja) * 2019-05-28 2020-12-03 ソニー株式会社 音声処理装置、音声処理方法およびプログラム
TWI731391B (zh) * 2019-08-15 2021-06-21 緯創資通股份有限公司 麥克風裝置、電子裝置及其音訊信號處理方法
CN110767247B (zh) * 2019-10-29 2021-02-19 支付宝(杭州)信息技术有限公司 语音信号处理方法、声音采集装置和电子设备
CN112019977A (zh) * 2020-09-04 2020-12-01 广州郝舜科技有限公司 一种大数据采集用音频采集装置
CN112562730A (zh) * 2020-11-24 2021-03-26 北京华捷艾米科技有限公司 一种声源分析方法及***
US11290814B1 (en) 2020-12-15 2022-03-29 Valeo North America, Inc. Method, apparatus, and computer-readable storage medium for modulating an audio output of a microphone array
CN113163281B (zh) * 2021-02-23 2023-06-02 深圳壹秘科技有限公司 麦克风及麦克风的降噪***
CN116918350A (zh) * 2021-04-25 2023-10-20 深圳市韶音科技有限公司 声学装置
CN113329288B (zh) * 2021-04-29 2022-07-19 开放智能技术(南京)有限公司 一种基于陷波技术的蓝牙耳机降噪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269083A (ja) * 1993-03-10 1994-09-22 Sony Corp マイクロホン装置
JPH06327087A (ja) * 1993-05-13 1994-11-25 Nagano Japan Radio Co 音声検出装置
JP2000069583A (ja) * 1998-08-25 2000-03-03 Fujitsu Ten Ltd 音声入力装置
JP2000354290A (ja) * 1999-06-11 2000-12-19 Toa Corp マイクロホン装置
JP2003333683A (ja) * 2002-05-16 2003-11-21 Tokai Rika Co Ltd ノイズ抑圧方法及びマイクロフォン装置
US20050063558A1 (en) * 2001-06-28 2005-03-24 Oticon A/S Method for noise reduction and microphonearray for performing noise reduction
JP2005260743A (ja) * 2004-03-12 2005-09-22 Advanced Telecommunication Research Institute International マイクロホンアレー
WO2011079716A1 (zh) * 2009-12-28 2011-07-07 歌尔声学股份有限公司 一种使用麦克风阵列的降噪控制方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR647501A0 (en) * 2001-07-19 2001-08-09 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
JP4747949B2 (ja) * 2006-05-25 2011-08-17 ヤマハ株式会社 音声会議装置
KR100856246B1 (ko) * 2007-02-07 2008-09-03 삼성전자주식회사 실제 잡음 환경의 특성을 반영한 빔포밍 장치 및 방법
EP2063419B1 (en) * 2007-11-21 2012-04-18 Nuance Communications, Inc. Speaker localization
CN101447190A (zh) * 2008-06-25 2009-06-03 北京大学深圳研究生院 基于嵌套子阵列的后置滤波与谱减法联合语音增强方法
GB0906269D0 (en) * 2009-04-09 2009-05-20 Ntnu Technology Transfer As Optimal modal beamformer for sensor arrays
US8787114B1 (en) * 2010-09-13 2014-07-22 The Boeing Company Audio surveillance system
KR101782050B1 (ko) * 2010-09-17 2017-09-28 삼성전자주식회사 비등간격으로 배치된 마이크로폰을 이용한 음질 향상 장치 및 방법
US8861756B2 (en) * 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
CN102306496B (zh) * 2011-09-05 2014-07-09 歌尔声学股份有限公司 一种多麦克风阵列噪声消除方法、装置及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269083A (ja) * 1993-03-10 1994-09-22 Sony Corp マイクロホン装置
JPH06327087A (ja) * 1993-05-13 1994-11-25 Nagano Japan Radio Co 音声検出装置
JP2000069583A (ja) * 1998-08-25 2000-03-03 Fujitsu Ten Ltd 音声入力装置
JP2000354290A (ja) * 1999-06-11 2000-12-19 Toa Corp マイクロホン装置
US20050063558A1 (en) * 2001-06-28 2005-03-24 Oticon A/S Method for noise reduction and microphonearray for performing noise reduction
JP2003333683A (ja) * 2002-05-16 2003-11-21 Tokai Rika Co Ltd ノイズ抑圧方法及びマイクロフォン装置
JP2005260743A (ja) * 2004-03-12 2005-09-22 Advanced Telecommunication Research Institute International マイクロホンアレー
WO2011079716A1 (zh) * 2009-12-28 2011-07-07 歌尔声学股份有限公司 一种使用麦克风阵列的降噪控制方法和装置

Also Published As

Publication number Publication date
KR20130063529A (ko) 2013-06-14
EP2608197B1 (en) 2019-01-09
CN102306496B (zh) 2014-07-09
EP2608197A1 (en) 2013-06-26
US9129587B2 (en) 2015-09-08
JP6142044B2 (ja) 2017-06-07
KR101519768B1 (ko) 2015-05-12
WO2013033991A1 (zh) 2013-03-14
JP2013542677A (ja) 2013-11-21
EP2608197A4 (en) 2015-04-08
CN102306496A (zh) 2012-01-04
US20130142349A1 (en) 2013-06-06
DK2608197T3 (en) 2019-04-08

Similar Documents

Publication Publication Date Title
JP6142044B2 (ja) マルチマイクロホンアレイ雑音除去方法、装置及びシステム
CN106782590B (zh) 基于混响环境下麦克风阵列波束形成方法
US8942976B2 (en) Method and device for noise reduction control using microphone array
JP2013542677A5 (ja)
WO2015196729A1 (zh) 一种麦克风阵列语音增强方法及装置
CN108447500B (zh) 语音增强的方法与装置
CN105869651B (zh) 基于噪声混合相干性的双通道波束形成语音增强方法
CN103219012B (zh) 一种基于声源距离的双麦克风噪声消除方法及装置
JP6547003B2 (ja) サブバンド信号の適応混合
EP2463856B1 (en) Method to reduce artifacts in algorithms with fast-varying gain
CN202307119U (zh) 一种多麦克风阵列噪声消除装置及***
EP1994788A2 (en) Noise-reducing directional microphone array
US8948424B2 (en) Hearing device and method for operating a hearing device with two-stage transformation
WO2019205796A1 (zh) 减少频域处理量的方法、装置及设备
JP5034735B2 (ja) 音処理装置およびプログラム
CN106328160B (zh) 一种基于双麦克的降噪方法
CN106797517B (zh) 用于净化音频信号的多耳mmse分析技术
JP2020504966A (ja) 遠距離音の捕捉
CN108717855B (zh) 噪音处理方法与装置
US10916257B2 (en) Method and device for equalizing audio signals
KR102649227B1 (ko) 듀얼 마이크 어레이 에코 제거 방법, 장치 및 전자 장비
WO2022247427A1 (zh) 信号滤波方法及装置、存储介质、电子装置
JP6221463B2 (ja) 音声信号処理装置及びプログラム
Hegner et al. A high performance low complexity noise suppression algorithm
Zhang et al. A compact-microphone-array-based speech enhancement algorithm using auditory subbands and probability constrained postfilter

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170508

R150 Certificate of patent or registration of utility model

Ref document number: 6142044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250