JP2022008732A - 信号処理装置および方法、並びにプログラム - Google Patents

信号処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2022008732A
JP2022008732A JP2018200618A JP2018200618A JP2022008732A JP 2022008732 A JP2022008732 A JP 2022008732A JP 2018200618 A JP2018200618 A JP 2018200618A JP 2018200618 A JP2018200618 A JP 2018200618A JP 2022008732 A JP2022008732 A JP 2022008732A
Authority
JP
Japan
Prior art keywords
speaker
order
sound
signal
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018200618A
Other languages
English (en)
Inventor
直毅 村田
Naoki Murata
祐基 光藤
Yuki Mitsufuji
悠 前野
Yu Maeno
ジーホイ チャン
Jihui Zhang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018200618A priority Critical patent/JP2022008732A/ja
Priority to US17/286,121 priority patent/US20210375256A1/en
Priority to PCT/JP2019/040183 priority patent/WO2020085117A1/ja
Publication of JP2022008732A publication Critical patent/JP2022008732A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17857Geometric disposition, e.g. placement of microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17879General system configurations using both a reference signal and an error signal
    • G10K11/17881General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3025Determination of spectrum characteristics, e.g. FFT
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3028Filtering, e.g. Kalman filters or special analogue or digital filters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3046Multiple acoustic inputs, multiple acoustic outputs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/321Physical
    • G10K2210/3212Actuator details, e.g. composition or microstructure
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/321Physical
    • G10K2210/3215Arrays, e.g. for beamforming
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/321Physical
    • G10K2210/3219Geometry of the configuration

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

【課題】省スペースかつ少ない演算量で空間ノイズキャンセリングを実現する。【解決手段】信号処理装置は、複数のマイクロホンからなる第1のマイクロホンアレイで収音することで得られた第1のマイクロホン信号に基づいて、所定領域外から所定領域へと伝搬する第1のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから出力音を出力させる制御部を備える。本技術は信号処理装置に適用することができる。【選択図】図4

Description

本技術は、信号処理装置および方法、並びにプログラムに関し、特に、省スペースかつ少ない演算量で空間ノイズキャンセリングを実現することができるようにした信号処理装置および方法、並びにプログラムに関する。
従来、複数のスピーカを並べて構成されるスピーカアレイを用いて、目的とする領域におけるノイズキャンセリングを行う空間ノイズキャンセリングが知られている。
そのような空間ノイズキャンセリングに関する技術として、例えば波数領域信号処理を行うことで演算量を削減する技術が提案されている(例えば、非特許文献1参照)。この技術では、単一の指向性を有する複数のスピーカにより構成されるスピーカアレイが用いられて空間ノイズキャンセリングが実現される。
J.Zhang, T. D. Abhayapala, W. Zhang, P. N. Samarasinghe, and S. Jiang. Active noise control over space: A wave domain approach. IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP), 26(4):774-786, 2018.
しかしながら、上述した技術では省スペースかつ少ない演算量で、十分な性能の空間ノイズキャンセリングを実現することは困難であった。
例えば非特許文献1に記載の技術では、演算量を低減させることはできるが、ノイズとなる音を十分にキャンセルしようとするとスピーカアレイを構成するスピーカの数を多くしなければならず、スピーカアレイを配置するのに広いスペースが必要となる。
本技術は、このような状況に鑑みてなされたものであり、省スペースかつ少ない演算量で空間ノイズキャンセリングを実現することができるようにするものである。
本技術の一側面の信号処理装置は、複数のマイクロホンからなる第1のマイクロホンアレイで収音することで得られた第1のマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記第1のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる制御部を備える。
本技術の一側面の信号処理方法またはプログラムは、複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させるステップを含む。
本技術の一側面においては、複数のマイクロホンからなる第1のマイクロホンアレイで収音することで得られた第1のマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記第1のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号が生成され、前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音が出力される。
エラーマイクロホンアレイ、高次スピーカアレイ、および参照マイクロホンアレイの配置を示す図である。 グローバルモード係数とローカルモード係数について説明する図である。 MIMO型の空間ノイズキャンセリングシステムの構成を示す図である。 MD-GM型の空間ノイズキャンセリングシステムの構成を示す図である。 空間ノイズキャンセリング処理を説明するフローチャートである。 MD-LM型の空間ノイズキャンセリングシステムの構成を示す図である。 空間ノイズキャンセリング処理を説明するフローチャートである。 フィルタリング処理の演算量について説明する図である。 フィルタ係数更新処理の演算量について説明する図である。 コンピュータの構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈空間ノイズキャンセリングシステムについて〉
本技術は、高次スピーカを利用するとともに、波数領域、すなわちモードドメインにおいてフィルタ係数更新の演算やフィルタリングの演算を行うことで、省スペースかつ少ない演算量で空間ノイズキャンセリングを実現することができるようにするものである。
例えばスピーカとして高次スピーカを用いれば、単一の指向性のみを再現可能な通常のスピーカを用いる場合と比較して、省スペースで空間ノイズキャンセリングを実現できる。また、本技術では、少なくともフィルタ係数の更新を波数領域の演算により実現するようにしたので、演算量を削減することができる。高次スピーカは複数のスピーカから構成されているので、通常のスピーカを用いる場合における波数領域での演算処理を、そのまま高次スピーカを用いる場合に適用することはできない。そこで、本技術では、高次スピーカを用いる場合でも波数領域での演算を行うことができるようにした。
まず、本技術について説明する。以下では説明を簡単にするため、2次元音場を対象とした空間ノイズキャンセリングについて説明するが、3次元音場を対象とした空間ノイズキャンセリングも2次元音場を対象とする場合と同様にして実現可能である。すなわち、2次元音場を対象とした空間ノイズキャンセリングを、3次元音場を対象とした空間ノイズキャンセリングへと拡張することは容易に行うことができる。
本技術では、図1に示す配置でエラーマイクロホンアレイEMA11、高次スピーカアレイSP11、および参照マイクロホンアレイRMA11が配置されるものとして説明を行う。
なお、本技術におけるエラーマイクロホンアレイや、高次スピーカアレイ、参照マイクロホンアレイの配置は、エラーマイクロホンアレイと参照マイクロホンアレイの間に高次スピーカアレイが配置されていれば、図1に示す配置に限らず、どのような配置であってもよい。
また、エラーマイクロホンアレイや参照マイクロホンアレイは、環状マイクロホンアレイに限らず、直線マイクロホンアレイを組み合わせたものや球状マイクロホンアレイなど、どのようなものであってもよく、同様に高次スピーカアレイも環状のアレイに限らず、矩形状や球状など、どのような形状のアレイとされてもよい。
図1に示す例では、2次元空間上にエラーマイクロホンアレイEMA11、高次スピーカアレイSP11、および参照マイクロホンアレイRMA11が配置されて空間ノイズキャンセリングシステムが構成されている。
この例では、図中、中央にある円形状のターゲット領域R11が空間ノイズキャンセリングの対象となる領域とされている。例えばターゲット領域R11では、ターゲット領域R11外にあるノイズ源NS11-1やノイズ源NS11-2からターゲット領域R11内へと伝搬してくる音(以下、空間ノイズ音とも称する)が聞こえなくなるように、高次スピーカアレイSP11から音が出力される。すなわち、高次スピーカアレイSP11から出力される音によって、空間ノイズ音がキャンセルされる。
なお、以下、ノイズ源NS11-1およびノイズ源NS11-2を特に区別する必要のない場合、単にノイズ源NS11とも称することとする。
エラーマイクロホンアレイEMA11は、ターゲット領域R11を囲むように環状に配置された複数のマイクロホンからなる環状マイクロホンアレイであり、ターゲット領域R11における空間ノイズ音が十分にキャンセルされているかをモニタリングするために用いられる。なお、エラーマイクロホンアレイEMA11は、ターゲット領域R11内に配置されるようにしてもよい。
また、エラーマイクロホンアレイEMA11の外側には、そのエラーマイクロホンアレイEMA11を囲むように環状に配置された複数の高次スピーカからなる高次スピーカアレイSP11が配置されている。ここでは、高次スピーカアレイSP11は環状スピーカアレイとなっている。
高次スピーカアレイSP11を構成する高次スピーカは、例えば複数のスピーカを環状または球状に配置して得られる、自由に指向性を制御可能なスピーカアレイにより実現される。換言すれば、高次スピーカは任意の複数の指向性、つまり任意の複数の放射パターンを再現可能なスピーカである。
ここでは、高次スピーカは少なくとも1次以上の次数の放射パターン(指向性)を再現可能であるとする。この放射パターンの次数は調和関数、すなわちここでは環状調和関数の基底のインデックスである。なお、高次スピーカアレイが球状スピーカアレイである場合には、球面調和関数の基底のインデックスが放射パターンの次数に対応する。また、以下、高次スピーカを構成するスピーカをドライバとも称することとする。その他、高次スピーカに代えて多重極音源を用いてもよいし、高次スピーカアレイSP11に代えて1つの高次スピーカからなるスピーカアレイを用いてもよい。
このような高次スピーカにより構成される高次スピーカアレイSP11は、単一の指向性のみを再現可能な通常のスピーカからなるスピーカアレイよりも設置に必要となるスペースが小さくて済むことが知られている。したがって、高次スピーカアレイSP11を用いれば、省スペースで空間ノイズキャンセリングを実現することができる。
また、図1では高次スピーカアレイSP11の外側を囲むように環状に配置された複数のマイクロホンからなる参照マイクロホンアレイRMA11が配置されている。すなわち、図1では、エラーマイクロホンアレイEMA11が、高次スピーカアレイSP11に対して参照マイクロホンアレイRMA11とは反対側に配置されている。
ここでは、参照マイクロホンアレイRMA11は環状マイクロホンアレイであり、空間ノイズ音を含む周囲の音を収音し、ターゲット領域R11内において、どのような空間ノイズ音の波面が生じているかを推定するために用いられる。
このような空間ノイズキャンセリングシステムでは、参照マイクロホンアレイRMA11が収音することにより得られる参照マイクロホン信号と、エラーマイクロホンアレイEMA11が収音することにより得られるエラーマイクロホン信号とに基づいて、空間ノイズキャンセリングのためのフィルタ係数が生成(更新)される。
そして、生成されたフィルタ係数が用いられて参照マイクロホン信号に対するフィルタリングが行われてスピーカ駆動信号が生成され、高次スピーカアレイSP11がスピーカ駆動信号に基づいて音を出力することで、ターゲット領域R11におけるノイズ音、つまりノイズ源NS11からの空間ノイズ音が低減(キャンセル)される。
なお、参照マイクロホンアレイRMA11の外側を囲むように高次スピーカアレイSP11が配置され、さらにその高次スピーカアレイSP11の外側を囲むようにエラーマイクロホンアレイEMA11が配置されるようにしてもよい。そのような場合、エラーマイクロホンアレイEMA11の外側、つまり高次スピーカアレイSP11側とは反対側の領域が、空間ノイズキャンセリングの対象となるターゲット領域とされる。
以下では、参照マイクロホンアレイRMA11を構成するマイクロホンの数がNr個であり、エラーマイクロホンアレイEMA11を構成するマイクロホンの数がNe個であり、高次スピーカアレイSP11を構成する高次スピーカの数がNl個であるとする。
また、高次スピーカアレイSP11を構成する1つの高次スピーカがQ個のドライバにより構成されるものとする。したがって、高次スピーカアレイSP11を構成するドライバの数はQNl個となる。
さらに、以下では、参照マイクロホン信号をx(k)とも記し、エラーマイクロホン信号をe(k)とも記すこととする。
参照マイクロホン信号x(k)は、参照マイクロホンアレイRMA11を構成するNr個の各マイクロホンで得られた信号を要素としてもつ、ある波数kについての複素ベクトルである。
同様に、エラーマイクロホン信号e(k)は、エラーマイクロホンアレイEMA11を構成するNe個の各マイクロホンで得られた信号を要素としてもつ、ある波数kについての複素ベクトルである。
ここで、時間周波数の変数をf [Hz]とし、音速をc [m/s]とすると、波数kはk=2πf/c [1/m]で定義される。
また、高次スピーカアレイSP11を構成するNl個の高次スピーカのうちのn_l番目の高次スピーカのQ×1の複素ベクトルである駆動信号をyn_l(k)=[yn_l,1(k),・・・,yn_l,Q(k)]Tとする。さらに、これらのNl個の駆動信号yn_l(k)を並べて得られる、次式(1)に示すQNl×1の複素ベクトルをy(k)とする。このベクトルy(k)が高次スピーカアレイSP11のスピーカ駆動信号である。
Figure 2022008732000002
なお、以下においては表記の都合上、波数を表すkを省略することがある。
〈グローバルモード係数について〉
次に、参照マイクロホンアレイRMA11やエラーマイクロホンアレイEMA11についてのモード係数について説明する。
空間ノイズキャンセリングをはじめとする空間音場制御技術において、複数の地点の音圧を制御するのではなく、空間的な音圧の分布をモードドメインと呼ばれる領域、すなわち波数領域の信号に変換したうえで制御する手法が数多く提案されている。
モードドメインの信号はモード係数と呼ばれており、音圧分布のモード係数への変換は、空間内の波動をいくつかの波動の基底を用いて展開することに対応しており、時間信号を複数の周波数の正弦波で展開するフーリエ変換と同様な処理である。
ここで、例としてエラーマイクロホンアレイEMA11で観測されるエラーマイクロホン信号e(k)のモード係数への変換について説明する。なお、参照マイクロホンアレイRMA11で観測される参照マイクロホン信号x(k)のモード係数への変換も、以下で説明するエラーマイクロホン信号e(k)における場合と同様であるので、その説明は省略する。
例えばエラーマイクロホンアレイEMA11を構成するNe個の各マイクロホンのうちのn_e番目のマイクロホンで観測された信号、つまり観測された音圧をpn_eとし、それらの音圧pn_eを並べて得られる、次式(2)に示すNe×1の複素ベクトルをpとする。なお、この複素ベクトルpがエラーマイクロホン信号e(k)である。
Figure 2022008732000003
このとき、複素ベクトルpをモードドメインの信号に変換することで得られるモード係数p’は、以下のようにして求めることができる。ここで、モード係数p’は(2Mg+1)×1の複素ベクトルであり、p’=[p-Mg,・・・,pMg]Tであるとする。
モード係数p’の要素は、虚数をjとし、エラーマイクロホンアレイEMA11の半径をReとして次式(3)により得ることができる。但し、m_g=-Mg,・・・,Mgであり、Mgはモードの最大次数、すなわち後述するグローバルモード係数の最大次数を表している。
Figure 2022008732000004
なお、式(3)においてJ_(m_g)(・)は,(m_g)次の第1種ベッセル関数である。また、式(3)に示す変換については、例えば「M. A. Poletti. A unified theory of horizontal holographic sound systems. Journal of the audio Engineering Society, 48(12):1155-1182, 2000.」などに詳細に記載されている。
また、3次元音場における場合のモード係数への変換については、例えば「M. A. Poletti. Three-dimensional surround sound systems based on spherical harmonics. Journal of the Audio Engineering Society, 53(11):1004-1025, 2005.」などに詳細に記載されている。
このような式(3)による変換は線形変換である。そのため、式(3)は所定の(2Mg+1)×Neの変換行列Tgeを用いて次式(4)に示すように行列形式で記述することができる。
Figure 2022008732000005
ここで、(・)m,nが行列の(m,n)要素を表すとすると、変換行列Tgeの要素は、次式(5)に示すように表される。
Figure 2022008732000006
式(4)で得られるモード係数p’は、空間上の所定の基準位置を原点とした、つまりグローバルな座標系の原点を基準としたモード係数であり、以下では、このようなモード係数を特にグローバルモード係数とも称することとする。
また、参照マイクロホンアレイRMA11の参照マイクロホン信号x(k)についても、式(4)と同様の演算により、グローバルモード係数を求めることができる。以下では、参照マイクロホン信号x(k)をグローバルモード係数に変換するための変換行列をTgrと記すこととする。
〈ローカルモード係数について〉
続いて、高次スピーカのローカルモード係数について説明する。特に、以下では高次スピーカの位置を基準(原点)とする、その高次スピーカについてのモード係数をローカルモード係数とも称することとする。ローカルモード係数は、グローバルモード係数における原点とは異なる位置を原点とするモード係数である。
例えば2次元空間において、高次スピーカが半径r_oと角度φ_oからなる極座標で表される位置R_o=(r_o_o)に形成する音場p(R_o)は、以下の式(6)のように表すことができる。
Figure 2022008732000007
式(6)において、H_(m_l)(ka_(n_l,o))e-j(m_l)θ_(n_l,o)は高次スピーカの異なる各放射パターンを表しており、それらの放射パターンがモードと呼ばれている。また、式(6)においてβ_(m_l)は、m_lに対応するモードの振幅の強さを表しており、このβ_(m_l)が高次スピーカのローカルモード係数である。さらにMlは最大ローカルモード次数、すなわちローカルモード係数の最大次数である。また、式(6)においてa_(n_l,o)は高次スピーカの位置から位置R_oまでの距離を示しており、θ_(n_l,o)は、高次スピーカの位置を始点とし、位置R_oを終点とするベクトルと、高次スピーカの位置を始点とし、グローバルな座標系の原点を終点とするベクトルとのなす角度を示している。
式(6)から分かるように、1つの高次スピーカにより形成される音場p(R_o)は、複数の放射パターンを組み合わせたものとなっている。
したがって、高次スピーカから音を出力する際に、これらの各モードのローカルモード係数β_(m_l)を適切に決定(制御)することで、様々な指向性を有する音を出力することができる。すなわち、任意の指向性を形成(再現)することができる。
ここで、高次スピーカアレイSP11を構成するNl個の高次スピーカのうちのn_l番目の高次スピーカを構成するQ個のドライバの駆動信号がyn_lであるとする。ここで、yn_lは上述したQ×1の複素ベクトルである駆動信号yn_l(k)における波数kの表記を省略したものである。
このとき、Q個のドライバについて得られるローカルモード係数β_(n_l)は、(2Ml+1)×1の複素ベクトルとなり、次式(7)に示すように行列形式で記述することができる。
Figure 2022008732000008
式(7)では(2Ml+1)×Qの行列であるTlsが、駆動信号yn_lをローカルモード係数β_(n_l)へと変換する変換行列となる。なお、変換行列Tlsは解析的に求めることもできるし、計測によって求めることもできる。
〈グローバルモード係数とローカルモード係数の相互変換について〉
さらに、グローバルモード係数とローカルモード係数の相互変換について説明する。
上述したように、独立に駆動された高次スピーカの複数のドライバはローカルモード係数で表される指向性を形成する。ここで、注意すべきは、これらのローカルモード係数は、高次スピーカの原点に依存する係数であるということである。
一方で、空間ノイズキャンセリングを含む音場制御では、ある特定の対象の領域を考えることが多いため、その領域での音場制御をモードドメインで考える場合には、何らかの原点を設定し、その原点に依存するモード係数を制御することになる。このときの高次スピーカの位置、つまり高次スピーカの原点とは異なる位置を原点とするモード係数が、上述したグローバルモード係数である。
ここで、例えば図2に示すように所定の原点Ogを中心とする半径R_lの円周上に高次スピーカアレイSP11を構成するNl個の高次スピーカが等間隔で配置されている例について考える。なお、図2において図1における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
図2では、高次スピーカアレイSP11を構成するNl個の高次スピーカが原点Ogを中心として環状に配置されている。例えば矢印A11により示される1つの円が、高次スピーカアレイSP11を構成するn_l番目の高次スピーカを表している。
ここでは、n_l番目の高次スピーカの位置は、原点Ogからの距離である半径R_lと、所定の軸に対する角度であるφ(n_l)とが用いられて、極座標により(R_l(n_l))と表される。また、高次スピーカの位置を始点とし、位置R_oを終点とするベクトルをベクトルA_(n_l,o)とすると、このベクトルA_(n_l,o)の長さ(大きさ)が上述の式(6)におけるa_(n_l,o)であり、高次スピーカの位置を始点とし、原点Ogを終点とするベクトルと、ベクトルA_(n_l,o)とのなす角度が上述の式(6)におけるθ_(n_l,o)である。
いま、原点Og近傍の音場を制御したいものとすると、Nl個の高次スピーカについて、高次スピーカを構成する各ドライバの駆動信号を制御することにより、各高次スピーカのローカルモード係数を適切に制御し、所望の音場を形成することができる。
しかしながら、制御対象となるのは原点Og近傍の音場である。すなわち、原点Ogを展開中心とするグローバルモード係数を制御する必要がある。そのため、ローカルモード係数をグローバルモード係数に変換する必要がある。
このようなローカルモード係数のグローバルモード係数への変換は、高次スピーカを用いた音場制御などで用いられている。
ここでは、図2に示す高次スピーカの配置に基づいて、各高次スピーカのローカルモード係数から、原点Ogを中心とするグローバルモード係数への変換について説明する。なお、本技術では高次スピーカアレイSP11を構成する高次スピーカの配置は、図2に示す例に限らず、どのような配置であってもよい。
例えば、原点Ogを中心として、その原点Og近傍にある位置R_oの音場p(R_o)が以下の式(8)に示すように展開されているとする。なお、この音場p(R_o)の最大グローバルモード次数、すなわちモードの最大次数がMgであるとする。
Figure 2022008732000009
式(8)においてp_(m_g)(R_o)は、音場p(R_o)をグローバルモードごとに展開したときの成分である。また、γ_(m_g)は複素数であり、原点Ogを中心として音場p(R_o)を展開したときのグローバルモード係数である。さらに、m_gはグローバルモードのインデックスを表している。
ここで、位置(R_l(n_l))にある高次スピーカの(m_l)次のモード成分が形成する音場p_(n_l),(m_l)(R_o)は、以下の式(9)により表すことができる。但し、r_o<R_lである。
Figure 2022008732000010
したがって、高次スピーカアレイSP11を構成するn_l番目の高次スピーカの(m_l)次のモード(ローカルモード)の係数をα_(n_l),(m_l)としたとき、高次スピーカアレイSP11全体により形成される音場p(R_o)は、次式(10)に示すようになる。なお、このローカルモード係数α_(n_l),(m_l)は、式(6)におけるローカルモード係数β_(m_l)に対応する。
Figure 2022008732000011
上述の式(8)および式(10)から、グローバルモード係数γ_(m_g)と、Nl個の高次スピーカのローカルモード係数α_(n_l),(m_l)との関係は、次式(11)に示すようになる。
Figure 2022008732000012
また、次式(12)に示すように、グローバルモード係数γ_(m_g)を並べて得られる(2Mg+1)×1の複素ベクトルをγとする。
Figure 2022008732000013
さらに、次式(13)に示すように、高次スピーカアレイSP11を構成するNl個の高次スピーカのローカルモード係数α_(n_l),(m_l)を並べて得られる(2Ml+1)Nl×1の複素ベクトルをαとする。
Figure 2022008732000014
このとき、これらの複素ベクトルγと複素ベクトルαの関係は、次式(14)に示すようになる。
Figure 2022008732000015
なお、式(14)においてI(n_l,m_l)は、インデックスを求める関数であり、Tglは(2Mg+1)×(2Ml+1)Nlの変換行列である。この変換行列Tglが各高次スピーカのローカルモード係数を、原点を中心とする高次スピーカアレイSP11全体のグローバルモード係数へと変換する行列である。
〈MIMOについて〉
さらに、空間ノイズキャンセリングを実現する適応型ノイズキャンセリングアルゴリズムについて説明する。
本技術の空間ノイズキャンセリングのアルゴリズムは、FIR(Finite Impulse Response)型のフィルタのフィルタ係数を参照マイクロホン信号x(k)とエラーマイクロホン信号e(k)との関係から適応的に更新していくアルゴリズムであり、適応フィルタ手法の一種である。
適応フィルタ手法の一般的な手法としてFiltered-X LMS(Least Mean Square)アルゴリズムが知られている。Filtered-X LMSは、空間ノイズキャンセリングのような多チャンネルでの制御にも拡張されており、また制御対象の信号を異なるドメイン(領域)の信号に変換する手法も提案されている。
以下において説明する本技術を適用した空間ノイズキャンセリングの手法は、全てFiltered-X LMSアルゴリズムの構造を持つものである。
ここでは、まずMIMO(Multi Input Multi Output)型のFiltered-X LMSアルゴリズム(以下、単にMIMOとも称する)について説明する。そして、その後、ローカルモード適応アルゴリズム(以下、単にMD-LMとも称する)とグローバルモード適応アルゴリズム(以下、単にMD-GMとも称する)について説明する。
MIMO-Filtered-X LMSアルゴリズムは、1入力1出力Filtered-X LMSアルゴリズムの自然な拡張として導出される。
ここで、図1に示したアレイ配置においてFiltered-X LMSアルゴリズムを定式化することを考える。
まず、エラーマイクロホンアレイEMA11で観測されるノイズ(直接音)成分の信号、すなわち、ノイズ源NS11からエラーマイクロホンアレイEMA11へと伝搬してくる直接音の信号をdとする。この場合、エラーマイクロホンアレイEMA11で観測される周波数領域の信号eは、次式(15)に示すようになる。ここで、周波数領域の信号eは、上述したエラーマイクロホン信号e(k)に対応する。また、直接音の信号dは、Ne×1の複素ベクトルである。
Figure 2022008732000016
なお、式(15)において、GはNe×QNlの行列であり、二次音源である高次スピーカアレイSP11の高次スピーカから、エラーマイクロホンアレイEMA11を構成するマイクロホンまでの伝達関数を要素としてもつ行列を示している。この伝達関数は二次経路と呼ばれる。
また、式(15)においてWはQNl×Nrの行列であり、FIRフィルタ、より詳細にはFIRフィルタを構成するフィルタ係数の周波数領域での値を示している。さらに式(15)におけるxはNr×1の複素ベクトルであり、上述の参照マイクロホン信号x(k)に対応する。
ここで、後の導出を簡単にするため、式(15)を次式(16)に示すように書き換える。
Figure 2022008732000017
なお、式(16)においてXは、次式(17)に示すように、参照マイクロホン信号xとゼロベクトルzとを要素として構成されるQNl×QNlNrの行列である。
Figure 2022008732000018
また、式(16)においてwは、次式(18)に示すように、行列Wを構成する要素を並べて得られるQNlNr×1の行列(ベクトル)である。
Figure 2022008732000019
さて、ここでの制御目標は、各周波数、つまり波数kで次式(19)に示す二乗平均誤差Jを最小化することである。なお、式(19)においてE[・]は期待値操作を表している。
Figure 2022008732000020
この二乗平均誤差Jを式(16)を用いて書き換えると、次式(20)に示すようになる。
Figure 2022008732000021
したがって、二乗平均誤差Jのフィルタ係数による勾配は、次式(21)に示すようになる。
Figure 2022008732000022
このようにして得られた二乗平均誤差Jの勾配に基づいて、フィルタである行列W、すなわちフィルタを構成するフィルタ係数であるwが更新される。その際、期待値計算は多くのサンプルが必要となり実現が難しいため、LMSアルゴリズムでは期待値計算の結果が瞬時値で置き換えられる。
したがって、LMSアルゴリズムに基づくフィルタの更新式は、次式(22)に示すようになる。
Figure 2022008732000023
なお、式(22)において(i)は時間を示すインデックスを示している。例えばw(i)およびw(i+1)はともにフィルタ係数wを示しているが、フィルタ係数w(i+1)はフィルタ係数w(i)の更新後のものを示している。したがって(i)は、更新回数を示しているともいうことができる。
また、式(22)においてμはステップサイズパラメータと呼ばれており、フィルタ係数wの更新量を調整するパラメータである。
例えばステップサイズパラメータμが大きいときにはフィルタ係数wの収束は早くなるが、一方で発散しやすくなる。逆にステップサイズパラメータμが小さいときにはフィルタ係数wの収束は遅くなる一方で発散しにくくなる。
さらに式(22)において、Gestは式(15)に示した行列Gの推定値、つまり推定された二次経路である。
〈MIMO型の空間ノイズキャンセリングシステムの構成例〉
以上において説明したMIMOにより空間ノイズキャンセリングを行うMIMO型の空間ノイズキャンセリングシステムは、例えば図3に示すように構成される。
図3に示す空間ノイズキャンセリングシステムは、参照マイクロホンアレイ11、エラーマイクロホンアレイ12、信号処理装置13、および高次スピーカアレイ14を有している。
なお、参照マイクロホンアレイ11、エラーマイクロホンアレイ12、および高次スピーカアレイ14は、図1に示した参照マイクロホンアレイRMA11、エラーマイクロホンアレイEMA11、および高次スピーカアレイSP11に対応する。
また、それらの参照マイクロホンアレイ11、エラーマイクロホンアレイ12、および高次スピーカアレイ14の配置も、図1に示した参照マイクロホンアレイRMA11、エラーマイクロホンアレイEMA11、および高次スピーカアレイSP11の配置と同様である。
信号処理装置13は、参照マイクロホンアレイ11から供給された参照マイクロホン信号と、エラーマイクロホンアレイ12から供給されたエラーマイクロホン信号とに基づいてスピーカ駆動信号を生成し、高次スピーカアレイ14に供給する。
なお、参照マイクロホンアレイ11やエラーマイクロホンアレイ12が信号処理装置13に設けられるようにしてもよいし、高次スピーカアレイ14が信号処理装置13に設けられるようにしてもよい。
信号処理装置13は、時間周波数変換部21、時間周波数変換部22、制御部23、および時間周波数合成部24を有している。
時間周波数変換部21には、参照マイクロホンアレイ11が周囲の音を収音することで得られた時間領域の参照マイクロホン信号が供給される。
時間周波数変換部21は、参照マイクロホンアレイ11から供給された参照マイクロホン信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルである参照マイクロホン信号xを制御部23に供給する。例えば時間周波数変換部21は、時間周波数変換としてFFT(Fast Fourier Transform)を行うことで、参照マイクロホン信号を時間領域の信号から周波数領域の信号へと変換する。
時間周波数変換部22には、エラーマイクロホンアレイ12が周囲の音を収音することで得られた時間領域のエラーマイクロホン信号が供給される。
時間周波数変換部22は、エラーマイクロホンアレイ12から供給されたエラーマイクロホン信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルであるエラーマイクロホン信号eを制御部23に供給する。例えば時間周波数変換部22は、時間周波数変換としてFFTを行うことで、エラーマイクロホン信号を時間領域の信号から周波数領域の信号へと変換する。
制御部23は、時間周波数変換部21から供給された参照マイクロホン信号x、および時間周波数変換部22から供給されたエラーマイクロホン信号eに基づいて、周波数領域のスピーカ駆動信号を生成し、時間周波数合成部24に供給する。
制御部23は、フィルタリング部31、伝達関数乗算部32、およびフィルタ係数更新部33を有している。
フィルタリング部31は、時間周波数変換部21から供給された参照マイクロホン信号xに基づいて、上述の式(17)に示した行列Xを生成する。
また、フィルタリング部31は、得られた行列Xと、フィルタ係数更新部33から供給されたフィルタ係数wとに基づいてフィルタリング処理を行い、周波数領域のスピーカ駆動信号を生成し、時間周波数合成部24に供給する。フィルタリング処理では、行列Xとフィルタ係数wとが畳み込まれて式(16)に示したXwが求められる。これにより、上述したベクトルy(k)に対応するスピーカ駆動信号が得られる。
このようにしてフィルタリング部31で生成されるスピーカ駆動信号は、点制御によりターゲット領域内の空間ノイズ音をキャンセルするためのものである。
伝達関数乗算部32は、実際の測定等により予め求められた二次経路である行列Gestを保持している。この行列Gestは、高次スピーカアレイ14を構成する高次スピーカから、エラーマイクロホンアレイ12を構成するマイクロホンまでの伝達特性を示す伝達関数からなる。なお、行列Gestは、高次スピーカアレイ14等の配置が変わるたびに更新されるようにすることができる。
伝達関数乗算部32は、時間周波数変換部21から供給された参照マイクロホン信号xから得られる行列Xと、保持している行列Gestとの積GestXを求め、フィルタ係数更新部33に供給する。このようにして得られる積GestXは、参照マイクロホン信号に伝達関数を乗算することで得られるものである。
フィルタ係数更新部33は、伝達関数乗算部32から供給された積GestXと、現時点におけるフィルタ係数wと、時間周波数変換部22から供給されたエラーマイクロホン信号eとに基づいて式(22)の計算を行い、フィルタ係数wを更新する。
フィルタ係数更新部33は、更新後のフィルタ係数wをフィルタリング部31に供給する。なお、フィルタ係数wの更新は常時行われる必要はなく、一定の時間間隔など、適切なタイミングで行うようにすることができる。
時間周波数合成部24は、フィルタリング部31から供給された周波数領域のスピーカ駆動信号に対して時間周波数合成を行い、その結果得られた時間領域のスピーカ駆動信号を高次スピーカアレイ14に供給し、音を出力させる。
例えば時間周波数合成部24は、時間周波数合成としてIFFT(Inverse Fast Fourier Transform)を行うことで、スピーカ駆動信号を周波数領域の信号から時間領域の信号へと変換する。
高次スピーカアレイ14は、時間周波数合成部24から供給されたスピーカ駆動信号に基づいて音を出力することで、ターゲット領域における空間ノイズ音をキャンセルし、ターゲット領域を対象とする空間ノイズキャンセリングを実現する。すなわち、複数の制御点において、高次スピーカアレイ14から出力された音により、空間ノイズ音が打ち消される。
以上のようにフィルタ係数wの更新を適宜、行いながら高次スピーカアレイ14から音を出力することで、空間ノイズキャンセリングが実現される。
特に、図3に示したMIMO型の空間ノイズキャンセリングシステムによれば、高次スピーカアレイ14を用いることで、任意の指向性を有する音を出力することができるので、性能の高い空間ノイズキャンセリングを行うことができる。すなわち、より高い空間ノイズ低減効果を得ることができる。しかも、高次スピーカアレイ14を用いることで、省スペースで空間ノイズキャンセリングを実現することができる。
なお、空間ノイズキャンセリングに高次スピーカアレイ14を用いると説明したが、高次スピーカと、高次スピーカではない、単一の指向性のみを再現可能な通常のスピーカとを組み合わせて得られるスピーカアレイを用いるようにしてもよい。これは、MIMOに限らず、後述するMD-GMやMD-LMでも同様である。
そのような場合、少なくとも1つの高次スピーカと、通常のスピーカとからなるスピーカアレイは、時間周波数合成部24から供給されたスピーカ駆動信号に基づいて音を出力することで、空間ノイズキャンセリングを実現する。
このとき、例えば高次スピーカよりも径が大きい通常のスピーカを空間ノイズ音の低域成分のキャンセルに用いるなど、高次スピーカと、通常のスピーカとを異なる周波数帯域のキャンセルに用いるようにすると、より効果的である。
ところで、図3に示したMIMO型の空間ノイズキャンセリングシステムでは、エラーマイクロホンアレイ12を構成する各マイクロホンのある地点(位置)における信号、つまり空間ノイズ音の最小化が目的である。すなわち、点制御によりターゲット領域を対象とする空間ノイズキャンセリングが行われる。
そのため、図3に示したMIMO型の空間ノイズキャンセリングシステムでは、エラーマイクロホンアレイ12を構成する各マイクロホンのある地点以外の場所での音圧の減少は保証されていない。
例えば「T. Nakashima and S. Ise. A theoretical study of the discretization of the boundary surface in the boundarysurface control principle. Acoustical science and technology, 27(4):199-205, 2006.」では、音の波長に比べて十分に小さい間隔で、エラーマイクロホンアレイ12を構成するマイクロホンが並べられている場合には、それらのマイクロホンのある地点以外でも音圧が減少することが報告されている。
しかしながら、後述するMD-LMやMD-GM、つまりモードドメインで誤差を最小化する方法と比較すると、空間ノイズキャンセリングの性能が劣ってしまう。
また、図3に示したMIMO型の空間ノイズキャンセリングシステムでは、フィルタ係数wを更新しながらスピーカ駆動信号を生成する適応処理の演算量が多くなってしまう。
すなわち、図3の例では、空間ノイズキャンセリングシステム全体の処理は、主にフィルタ係数wを用いたフィルタリング処理と、そのフィルタ係数wを更新するフィルタ係数更新処理に分けられる。
フィルタリング処理は、式(15)のWx、すなわち式(16)のXwを求める処理であり、これはQNl×Nr個の時間領域畳み込み処理に相当する。
また、フィルタ係数更新処理は、式(22)に示した演算処理であり、このうちの最も演算量が多いのはGestXを求める演算である。
行列GestはNe×QNlであり、行列XはQNl×QNlNrであるから、仮に行列Xのゼロ行列部分の計算を行わないとしても、GestXを求める演算の演算量(計算量)は、周波数ごとにO(Ne(QNl)2Nr)となる。
例としてNe=16、Q=16、Nl=6(すなわち総ドライバ数QNl=96)、Nr=16、バッファサイズとフィルタ長を1024サンプル、サンプリング周波数を48kHzとしたとき、48000/1024×513×16×962×16=5.7×1010となる。
したがって、Cを定数としてC×5.7×1010回/秒の乗加算が必要となる。そのため、フィルタ係数wを更新する周波数を限定したり、更新の頻度を下げたりするなど、実際の演算量を減らす工夫はできるが、汎用のCPU(Central Processing Unit)といった通常のハードウェアにおいては空間ノイズキャンセリングの実現が困難となる。
〈MD-GMについて〉
そこで、本技術では高次スピーカアレイを用いるだけでなく、モードドメイン(波数領域)においてフィルタリング処理とフィルタ係数更新処理を行うことで、省スペースかつ少ない演算量で、十分な性能の空間ノイズキャンセリングを実現できるようにした。
このようにフィルタリング処理とフィルタ係数更新処理をモードドメインで行う手法が、グローバルモード適応アルゴリズム(MD-GM)である。
このMD-GMは、NWD-Mアルゴリズムにおいて高次スピーカを用いた状況下での自然な拡張である。なお、NWD-Mアルゴリズムについては、例えば「J. Zhang, T. D. Abhayapala, W. Zhang, P. N. Samarasinghe, and S. Jiang. Active noise control over space:A wave domain approach. IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP),26(4):774-786, 2018.」などに詳細に記載されている。
また、MIMOが点制御であるのに対して、MD-GMはターゲット領域全体で音圧を減少させるエリア制御の空間ノイズキャンセリングとなっている。すなわち、エリア制御では、ターゲット領域全体における音の波面が、複数の高次スピーカを用いた波面合成によって目的とする波面となるようにスピーカ駆動信号が生成される。ここでいう目的とする波面とは、空間ノイズ音の波面が打ち消されるような波面である。
まず、準備として以下の式(23)および式(24)に示す変換行列を定義する。
Figure 2022008732000024
Figure 2022008732000025
なお、式(23)および式(24)において、A+は行列Aの擬似逆行列を表している。
例えば式(14)に示したように、変換行列Tglは高次スピーカのローカルモード係数をグローバルモード係数へと変換する行列であるから、変換行列Tlgはグローバルモード係数を高次スピーカのローカルモード係数へと変換する行列となる。
同様に、式(7)に示したように変換行列Tlsは高次スピーカの周波数領域の駆動信号yn_l、すなわちスピーカ駆動信号を、高次スピーカの各ドライバのローカルモード係数に変換する行列である。したがって、変換行列Tslは高次スピーカの各ドライバのローカルモード係数を、高次スピーカの周波数領域のスピーカ駆動信号に変換する行列となる。
MD-GMでは、参照マイクロホン信号xが変換行列Tgrによりグローバルなモードドメインの信号、つまりグローバルモード係数に変換される。
そして、得られたグローバルモード係数に対してフィルタ係数を用いたフィルタリング処理が行われ、そのフィルタ出力としてグローバルモード係数を得る。このときに得られるグローバルモード係数が、グローバルなモードドメインのスピーカ駆動信号である。
その後、モードドメインのスピーカ駆動信号として得られたグローバルモード係数が変換行列Tlgにより各高次スピーカのローカルモード係数に変換される。さらにそのローカルモード係数が変換行列Tslにより、高次スピーカの各ドライバの周波数領域のスピーカ駆動信号に変換される。
このとき、エラーマイクロホン信号eは、次式(25)に示すように表すことができる。
Figure 2022008732000026
なお、式(25)において、dは式(15)における場合と同様に直接音の信号であり、Gは高次スピーカアレイSP11の高次スピーカから、エラーマイクロホンアレイEMA11を構成するマイクロホンまでの伝達関数を要素としてもつNe×QNlの行列である。
また、式(25)においてWGMはフィルタ係数であり、(2Mg+1)×(2Mg+1)の対角行列である。以下では、導出のために行列WGMを次式(26)に示すように定義する。
Figure 2022008732000027
ここで、エラーマイクロホン信号eのグローバルモード係数e’は、変換行列Tgeとエラーマイクロホン信号eとから、次式(27)により求めることができる。
Figure 2022008732000028
なお、式(27)において、d’=Tgedであり、g’=TgeGTslTlgであり、x’=Tgrxである。x’は参照マイクロホン信号xのグローバルモード係数である。高次スピーカが環状で等間隔に並べられた理想配置においては、TgeGTslTlgは対角行列に近似できる。よって、ここでは行列g’をTgeGTslTlgの対角成分だけを取り出した対角行列とする。
また、式(27)においてX’は、グローバルモード係数x’の成分を対角に並べて得られる(2Mg+1)×(2Mg+1)の対角行列である。
さらに、wGMは次式(28)に示すように、行列WGMの対角成分からなるベクトルであり、以下ではフィルタ係数wGMとも称する。
Figure 2022008732000029
ここで、グローバルモード係数e’の二乗平均誤差Jglobalの最小化を考えると、次式(29)に示すようになる。
Figure 2022008732000030
したがって、二乗平均誤差Jglobalのフィルタ係数wGMに関する勾配は次式(30)に示すようになるので、LMSアルゴリズムに基づくフィルタの更新式は以下の式(31)に示すようになる。
Figure 2022008732000031
Figure 2022008732000032
なお、式(31)において(i)は時間を示すインデックスを示している。例えばwGM (i)およびwGM (i+1)はともにフィルタ係数wGMを示しているが、フィルタ係数wGM (i+1)はフィルタ係数wGM (i)の更新後のものを示している。したがって(i)は、更新回数を示しているともいうことができる。
また、式(31)においてμは式(22)における場合と同様のステップサイズパラメータである。さらに式(31)において、g’estは行列g’の推定値、つまり推定された二次経路(伝達関数)からなる行列である。
〈MD-GM型の空間ノイズキャンセリングシステムの構成例〉
以上において説明したMD-GMにより空間ノイズキャンセリングを行うMD-GM型の空間ノイズキャンセリングシステムは、例えば図4に示すように構成される。なお、図4において図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図4に示す空間ノイズキャンセリングシステムは、参照マイクロホンアレイ11、エラーマイクロホンアレイ12、信号処理装置61、および高次スピーカアレイ14を有している。
信号処理装置61は、時間周波数変換部21、時間周波数変換部22、制御部71、および時間周波数合成部24を有している。また、制御部71は、モード変換部81、フィルタリング部82、駆動信号生成部83、行列演算部84、モード変換部85、およびフィルタ係数更新部86を有している。
モード変換部81は、時間周波数変換部21から供給された参照マイクロホン信号xと、予め保持している変換行列Tgrとに基づいて、参照マイクロホン信号xをグローバルモード係数x’に変換し、フィルタリング部82および行列演算部84に供給する。
フィルタリング部82は、モード変換部81から供給されたグローバルモード係数x’と、フィルタ係数更新部86から供給されたフィルタ係数wGMとに基づいて、波数領域でのフィルタリング処理を行う。すなわち、フィルタリング部82では、グローバルモード係数x’に対してフィルタ係数wGMを用いたフィルタリング処理が行われてスピーカ駆動信号が生成される。
フィルタリング部82は、フィルタリング処理により得られたグローバルなモードドメイン(波数領域)のスピーカ駆動信号を駆動信号生成部83に供給する。このようにしてフィルタリング部82で生成されるスピーカ駆動信号は、ターゲット領域へと伝搬する空間ノイズ音をエリア制御によりキャンセルするためのものである。
駆動信号生成部83は、フィルタリング部82から供給されたスピーカ駆動信号と、予め保持している変換行列Tlgおよび変換行列Tslに基づいて、周波数領域のスピーカ駆動信号、つまり高次スピーカの各ドライバの駆動信号を生成し、時間周波数合成部24に供給する。
駆動信号生成部83では、グローバルなモードドメインのスピーカ駆動信号、つまりグローバルモード係数を、変換行列Tlgによりローカルなモードドメインのスピーカ駆動信号、つまりローカルモード係数に変換する変換処理と、ローカルなモードドメインのスピーカ駆動信号を変換行列Tslにより周波数領域のスピーカ駆動信号に変換する変換処理とが行われる。
なお、駆動信号生成部83では、これらの変換処理が順番に行われてもよいし、同時に行われてもよい。さらに、これらの変換処理と、時間周波数合成とが駆動信号生成部83において同時に行われるようにしてもよい。
行列演算部84は、予め求められた行列g’estを保持している。この行列g’estは、高次スピーカアレイ14を構成する高次スピーカから、エラーマイクロホンアレイ12を構成するマイクロホンまでの伝達特性(二次経路)の推定値を示している。なお、行列g’estは、高次スピーカアレイ14等の配置が変わるたびに更新されるようにすることができる。
行列演算部84は、モード変換部81から供給されたグローバルモード係数x’から得られる行列X’と、保持している行列g’estとの積g’estX’を求め、フィルタ係数更新部86に供給する。
モード変換部85は、時間周波数変換部22から供給されたエラーマイクロホン信号eと、予め保持している変換行列Tgeとに基づいて、エラーマイクロホン信号eをグローバルモード係数e’に変換し、フィルタ係数更新部86に供給する。
フィルタ係数更新部86は、行列演算部84から供給された積g’estX’と、現時点におけるフィルタ係数wGMと、モード変換部85から供給されたグローバルモード係数e’とに基づいてフィルタ係数wGMを更新する。フィルタ係数更新部86は、更新後のフィルタ係数wGMをフィルタリング部82に供給する。なお、フィルタ係数wGMの更新は常時行われる必要はなく、一定の時間間隔など、適切なタイミングで行うようにすることができる。
ここでは、フィルタリング部82、行列演算部84、およびフィルタ係数更新部86において行われる処理が波数領域処理、つまりモードドメインでの演算処理となっている。
〈空間ノイズキャンセリング処理の説明〉
続いて、図4に示したMD-GM型の空間ノイズキャンセリングシステムの動作について説明する。すなわち、以下、図5のフローチャートを参照して、空間ノイズキャンセリングシステムによる空間ノイズキャンセリング処理について説明する。
なお、空間ノイズキャンセリング処理が開始されると、参照マイクロホンアレイ11は周囲の音を収音し、その結果得られた時間領域の参照マイクロホン信号を、逐次、時間周波数変換部21へと供給する。また、エラーマイクロホンアレイ12は、周囲の音を収音し、その結果得られた時間領域のエラーマイクロホン信号を、逐次、時間周波数変換部22へと供給する。
ステップS11において時間周波数変換部21は、参照マイクロホンアレイ11から供給された参照マイクロホン信号に対して時間周波数変換を行い、その結果得られた参照マイクロホン信号xをモード変換部81に供給する。例えばステップS11では、時間周波数変換としてFFTが行われる。
ステップS12においてモード変換部81は、時間周波数変換部21から供給された参照マイクロホン信号xを変換行列Tgrによりグローバルモード係数x’に変換し、フィルタリング部82および行列演算部84に供給する。すなわち、ステップS12では変換行列Tgrと参照マイクロホン信号xの積Tgrxが求められ、グローバルモード係数x’とされる。
ステップS13において時間周波数変換部22は、エラーマイクロホンアレイ12から供給されたエラーマイクロホン信号に対して時間周波数変換を行い、その結果得られたエラーマイクロホン信号eをモード変換部85に供給する。例えばステップS13では、時間周波数変換としてFFTが行われる。
ステップS14においてモード変換部85は、時間周波数変換部22から供給されたエラーマイクロホン信号eを変換行列Tgeによりグローバルモード係数e’に変換し、フィルタ係数更新部86に供給する。すなわち、ステップS14では変換行列Tgeとエラーマイクロホン信号eの積Tgeeが求められ、グローバルモード係数e’とされる。
ステップS15においてフィルタリング部82は、モード変換部81から供給されたグローバルモード係数x’と、フィルタ係数更新部86から供給されたフィルタ係数wGMとに基づいて、波数領域(モードドメイン)でのフィルタリング処理を行う。
すなわち、フィルタリング部82はグローバルモード係数x’に基づいて、上述の式(27)に示した行列X’を生成し、その行列X’とフィルタ係数wGMとの積X’wGMを求めることで得られるグローバルモード係数を波数領域のスピーカ駆動信号とする。フィルタリング部82は、このようにして得られたスピーカ駆動信号を駆動信号生成部83に供給する。
フィルタリング部82では、式(27)に示したWGMTgrx=X’wGMがスピーカ駆動信号として求められるが、フィルタ係数の行列WGMは対角行列であるため、少ない演算量でスピーカ駆動信号を得ることができる。このような演算量の削減は、フィルタリング処理を波数領域(モードドメイン)で行うことにより実現できる。
ステップS16において駆動信号生成部83は、フィルタリング部82から供給されたスピーカ駆動信号と、変換行列Tlgおよび変換行列Tslとに基づいて周波数領域のスピーカ駆動信号を生成し、時間周波数合成部24に供給する。
すなわち、駆動信号生成部83は、スピーカ駆動信号X’wGM、変換行列Tlg、および変換行列Tslの積TslTlgX’wGMを計算し、その計算結果を周波数領域のスピーカ駆動信号とする。
積TslTlgX’wGMを求める計算(演算)時には、駆動信号生成部83は少なくとも高次スピーカの1次以上の所定次数の放射パターンに対応する項、つまり環状調和関数の基底のインデックスに対応する項まで演算を行う。
ここでは、変換行列Tlgや変換行列Tslにおけるインデックス(m_l)が環状調和関数の基底のインデックスに対応している。したがって、例えば最大次数Ml=1である場合には、高次スピーカの0次の放射パターンと、高次スピーカの1次の放射パターンとを組み合わせて得られる指向性の音の波面をターゲット領域に形成することができる。
同様に、最大次数Ml=2である場合には、高次スピーカの0次の放射パターン乃至2次の放射パターンを組み合わせて得られる指向性の音の波面をターゲット領域に形成することができる。
駆動信号生成部83では、最大次数Mlが1以上とされて周波数領域のスピーカ駆動信号が求められる。このようにすることで、より多くの放射パターンを組み合わせて適切な波面をターゲット領域に形成し、空間ノイズキャンセリングの性能を向上させることができる。
ステップS17において時間周波数合成部24は、駆動信号生成部83から供給された周波数領域のスピーカ駆動信号に対して時間周波数合成を行い、その結果得られた時間領域のスピーカ駆動信号を高次スピーカアレイ14に供給する。例えばステップS17では、時間周波数合成としてIFFTが行われる。
ステップS18において高次スピーカアレイ14は、時間周波数合成部24から供給されたスピーカ駆動信号に基づいて音を出力し、ターゲット領域に空間ノイズ音をキャンセルする音の波面を形成する。すなわち、空間ノイズ音をキャンセルする音が出力される。
これにより、高次スピーカアレイ14により囲まれるターゲット領域では、外部から伝搬してきた音(空間ノイズ音)がキャンセルされて聞こえなくなる。
ステップS19において制御部71は、フィルタ係数wGMを更新するか否かを判定する。
ステップS19においてフィルタ係数wGMを更新しないと判定された場合、ステップS20およびステップS21の処理は行われず、その後、処理はステップS22へと進む。
これに対して、ステップS19においてフィルタ係数wGMを更新すると判定された場合、処理はステップS20へと進む。
ステップS20において行列演算部84は、モード変換部81から供給されたグローバルモード係数x’に対して、保持している行列g’estに基づく行列演算を行う。すなわち、行列演算部84は、グローバルモード係数x’に基づいて行列X’を生成し、その行列X’と行列g’estとの積g’estX’を求めてフィルタ係数更新部86に供給する。
行列g’estは対角行列であるから、行列演算部84では少ない演算量でg’estX’を求めることが可能である。特に、フィルタ係数を更新する処理では、フィルタ係数更新部86での演算よりも行列演算部84での演算の方が演算量が多いことから、行列演算部84での演算量を削減することの効果は大きい。このような演算量の削減は、フィルタ係数更新処理を波数領域(モードドメイン)で行うことにより実現できる。
ステップS21においてフィルタ係数更新部86は、行列演算部84から供給された積g’estX’と、現時点におけるフィルタ係数wGMと、モード変換部85から供給されたグローバルモード係数e’とに基づいてフィルタ係数wGMを更新する。
すなわち、フィルタ係数更新部86は上述した式(31)に示した更新式を計算することでフィルタ係数wGMを更新し、更新後のフィルタ係数wGMをフィルタリング部82に供給する。フィルタ係数wGMが更新されると、その後、処理はステップS22へと進む。
ステップS21の処理が行われたか、またはステップS19においてフィルタ係数wGMを更新しないと判定された場合、ステップS22において制御部71は、処理を終了するか否かを判定する。例えばステップS22では、空間ノイズキャンセリングを終了する場合に処理を終了すると判定される。
ステップS22においてまだ処理を終了しないと判定された場合、処理はステップS11に戻り、上述した処理が繰り返し行われる。
これに対して、ステップS22において処理を終了すると判定された場合、空間ノイズキャンセリングシステムの各部は行っている動作を停止させ、空間ノイズキャンセリング処理は終了する。
以上のようにして空間ノイズキャンセリングシステムは、波数領域でフィルタリング処理およびフィルタ係数更新処理を行いながら高次スピーカアレイ14から音を出力する。
このように波数領域でフィルタリング処理およびフィルタ係数更新処理を行うことで、演算量を低減させることができ、また高次スピーカアレイ14を用いることで省スペースで高性能な空間ノイズキャンセリングを実現することができる。すなわち、MD-GM型の空間ノイズキャンセリングシステムによれば、省スペースかつ少ない演算量で高性能な空間ノイズキャンセリングを実現することができる。
〈第2の実施の形態〉
〈MD-LMについて〉
ところで、MD-GMでは二次経路の推定値、すなわち行列g’の推定値として行列g’estが用いられるが、行列g’を推定することは容易ではない。
通常、二次経路の推定はインパルス応答の測定によって行われるが、直接測定される値は行列Gである。したがって、アルゴリズムごとに行列Gを適切な二次経路の形式に変換する必要がある。つまり、MD-GMでは行列Gを行列g’estへと変換する必要がある。
上述したように、MD-GMでは二次経路の推定値である行列g’estはg’est=TgeGTslTlgで定義されているが、適切な行列g’estを得ることは困難である。
すなわち、例えば測定雑音無しの自由空間、つまり理想環境では対角行列となる行列g’est=TgeGTslTlgが、実環境においては対角行列とはならないことがある。また、実測ができない変換行列Tglに理想環境からの誤差がある場合には、空間ノイズキャンセリングの性能低下が生じやすくなってしまう。
そこで、フィルタ係数更新処理のみ波数領域で行うようにすることで、MD-GMにおいて生じる二次経路推定の難しさを解決し、より高性能な空間ノイズキャンセリングを実現できるようにしてもよい。
ローカルモード適応アルゴリズム(MD-LM)は、フィルタ係数更新処理のみを波数領域で行うことで、より適切な二次経路を利用して、より高性能な空間ノイズキャンセリングを実現可能なアルゴリズムである。
まず、MD-LM導出の過程について説明する。
フィルタ係数からなる(2Ml+1)Nl×(2Mg+1)の行列をWLMとすると、エラーマイクロホン信号eは次式(32)に示すように表すことができる。なお、変換行列Tslと変換行列Tgrは式(25)における場合と同様である。
Figure 2022008732000033
ここで、行列WLMは、入力をグローバルモード係数とし、出力を高次スピーカのローカルモード係数とする線形システムである。エラーマイクロホン信号eのグローバルモード係数e’は次式(33)により求めることができる。
Figure 2022008732000034
なお、式(33)において、d’=Tgedであり、g’=TgeGTslTlgであり、x’=Tgrxである。また、x’は参照マイクロホン信号xのグローバルモード係数である。
のちの導出を簡単にするため、X’とwLMを以下の式(34)および式(35)に示すように定義する。なお、式(34)においてzはゼロベクトルを表している。
Figure 2022008732000035
Figure 2022008732000036
MD-GMにおける場合と同様にグローバルモード係数e’の二乗平均誤差Jglobalを計算すると、次式(36)に示すようになる。
Figure 2022008732000037
したがって、二乗平均誤差Jglobalのフィルタ係数wLMに関する勾配は次式(37)に示すようになるので、LMSアルゴリズムに基づくフィルタの更新式は式(38)に示すようになる。
Figure 2022008732000038
Figure 2022008732000039
なお、式(38)において(i)は時間を示すインデックスを示している。例えばwLM (i)およびwLM (i+1)はともにフィルタ係数wLMを示しているが、フィルタ係数wLM (i+1)はフィルタ係数wLM (i)の更新後のものを示している。したがって(i)は、更新回数を示しているともいうことができる。また、式(38)においてμは式(22)における場合と同様のステップサイズパラメータである。
さらに式(38)においては、実測で得られる二次経路を用いることができる。
すなわち、MD-LMにおける二次経路は式(33)からg’Tgl=TgeGTslであり、変換行列Tgeおよび変換行列Tslはアルゴリズムを実行する際に自ら設定する定数行列であるので、正確な行列Gが得られていれば二次経路を正確に求めることができる。また、変換行列Tslは、その逆特性である変換行列Tlsが高次スピーカの各ドライバから周囲の環状マイクロホンアレイへのインパルス応答計測によって測定可能であるから、実測値を用いて計算することもできる。
〈MD-LM型の空間ノイズキャンセリングシステムの構成例〉
以上において説明したMD-LMにより空間ノイズキャンセリングを行うMD-LM型の空間ノイズキャンセリングシステムは、例えば図6に示すように構成される。なお、図6において図4における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図6に示す空間ノイズキャンセリングシステムは、参照マイクロホンアレイ11、エラーマイクロホンアレイ12、信号処理装置121、および高次スピーカアレイ14を有している。
信号処理装置121は、時間周波数変換部21、時間周波数変換部22、制御部131、および時間周波数合成部24を有している。また、制御部131は、モード変換部81、フィルタリング部141、駆動信号生成部142、行列演算部143、モード変換部85、およびフィルタ係数更新部144を有している。
フィルタリング部141は、モード変換部81から供給されたグローバルモード係数x’と、フィルタ係数更新部144から供給されたフィルタ係数wLMとに基づいてフィルタリング処理を行う。すなわち、フィルタリング部141では、グローバルモード係数x’に対してフィルタ係数wLMを用いたフィルタリング処理が行われてスピーカ駆動信号が生成される。
フィルタリング部141は、フィルタリング処理により得られたローカルなモードドメイン(波数領域)のスピーカ駆動信号、すなわち高次スピーカのローカルモード係数を駆動信号生成部142に供給する。このようにしてフィルタリング部141で生成されるスピーカ駆動信号は、ターゲット領域へと伝搬する空間ノイズ音をエリア制御によりキャンセルするためのものである。
駆動信号生成部142は、フィルタリング部141から供給されたスピーカ駆動信号と、予め保持している変換行列Tslに基づいて周波数領域のスピーカ駆動信号、つまり高次スピーカの各ドライバの駆動信号を生成し、時間周波数合成部24に供給する。駆動信号生成部142では、ローカルなモードドメインのスピーカ駆動信号、つまりローカルモード係数を変換行列Tslにより周波数領域のスピーカ駆動信号に変換する変換処理が行われる。
行列演算部143は、実際の測定等により予め求められた行列g’estTglを保持している。この行列g’estTglは、高次スピーカアレイ14を構成する高次スピーカから、エラーマイクロホンアレイ12を構成するマイクロホンまでの伝達特性(二次経路)の推定値を示している。なお、行列g’estTglは、高次スピーカアレイ14等の配置が変わるたびに更新されるようにすることができる。
行列演算部143は、モード変換部81から供給されたグローバルモード係数x’から得られる行列X’と、保持している行列g’estTglとの積g’estTglX’を求め、フィルタ係数更新部144に供給する。
フィルタ係数更新部144は、行列演算部143から供給された積g’estTglX’と、現時点におけるフィルタ係数wLMと、モード変換部85から供給されたグローバルモード係数e’とに基づいてフィルタ係数wLMを更新する。フィルタ係数更新部144は、更新後のフィルタ係数wLMをフィルタリング部141に供給する。なお、フィルタ係数wLMの更新は常時行われる必要はなく、一定の時間間隔など、適切なタイミングで行うようにすることができる。
ここでは、行列演算部143およびフィルタ係数更新部144において行われる処理が波数領域処理、つまりモードドメインでの演算処理となっている。
また、MD-LMでは高次スピーカアレイ14を構成する高次スピーカの配置は環状配置に限らず、任意の配置とすることができる。すなわち、複数の高次スピーカを環状とは異なる任意の形状に並べて得られるスピーカアレイを高次スピーカアレイ14として用いることができる。したがって、MD-LMでは、より自由度の高い高次スピーカアレイ14配置を実現することができる。
〈空間ノイズキャンセリング処理の説明〉
続いて、図6に示したMD-LM型の空間ノイズキャンセリングシステムの動作について説明する。すなわち、以下、図7のフローチャートを参照して、空間ノイズキャンセリングシステムによる空間ノイズキャンセリング処理について説明する。
なお、ステップS51乃至ステップS54の処理は図5のステップS11乃至ステップS14の処理と同様であるので、その説明は省略する。
ステップS55においてフィルタリング部141は、モード変換部81から供給されたグローバルモード係数x’と、フィルタ係数更新部144から供給されたフィルタ係数wLMとに基づいてフィルタリング処理を行う。
すなわち、フィルタリング部141は、グローバルモード係数x’に基づいて上述の式(34)に示した行列X’を生成し、その行列X’とフィルタ係数wLMとの積X’wLMを求めることで得られるローカルモード係数をスピーカ駆動信号とする。フィルタリング部141は、このようにして得られたスピーカ駆動信号を駆動信号生成部142に供給する。
ステップS56において駆動信号生成部142は、フィルタリング部141から供給されたスピーカ駆動信号と、変換行列Tslとに基づいて周波数領域のスピーカ駆動信号を生成し、時間周波数合成部24に供給する。
すなわち、駆動信号生成部142は、スピーカ駆動信号X’wLMと変換行列Tslの積TslX’wLMを計算し、その計算結果を周波数領域のスピーカ駆動信号とする。積TslX’wLMを求める計算(演算)時には、少なくとも高次スピーカの1次以上の所定次数の放射パターンに対応する項まで演算が行われる。
周波数領域のスピーカ駆動信号が生成されると、その後、ステップS57およびステップS58の処理が行われるが、これらの処理は図5のステップS17およびステップS18の処理と同様であるので、その説明は省略する。
ステップS59において制御部131は、フィルタ係数wLMを更新するか否かを判定する。
ステップS59においてフィルタ係数wLMを更新しないと判定された場合、ステップS60およびステップS61の処理は行われず、その後、処理はステップS62へと進む。
これに対して、ステップS59においてフィルタ係数wLMを更新すると判定された場合、処理はステップS60へと進む。
ステップS60において行列演算部143は、モード変換部81から供給されたグローバルモード係数x’に対して、保持している行列g’estTglに基づく行列演算を行う。すなわち、行列演算部143は、グローバルモード係数x’に基づいて行列X’を生成し、その行列X’と行列g’estTglとの積g’estTglX’を求めてフィルタ係数更新部144に供給する。
行列演算部143における行列演算も上述した行列演算部84における行列演算と同様に、波数領域(モードドメイン)における演算であり、演算量を削減することができる。
ステップS61においてフィルタ係数更新部144は、行列演算部143から供給された積g’estTglX’と、現時点におけるフィルタ係数wLMと、モード変換部85から供給されたグローバルモード係数e’とに基づいてフィルタ係数wLMを更新する。
すなわち、フィルタ係数更新部144は上述した式(38)に示した更新式と同様の計算を行うことでフィルタ係数wLMを更新し、更新後のフィルタ係数wLMをフィルタリング部141に供給する。フィルタ係数wLMが更新されると、その後、処理はステップS62へと進む。ステップS60およびステップS61では、MD-GMにおける場合と同様に、波数領域(モードドメイン)でフィルタ係数更新処理が行われる。
ステップS61の処理が行われたか、またはステップS59においてフィルタ係数wLMを更新しないと判定された場合、ステップS62において制御部131は、処理を終了するか否かを判定する。
ステップS62においてまだ処理を終了しないと判定された場合、処理はステップS51に戻り、上述した処理が繰り返し行われる。
これに対して、ステップS62において処理を終了すると判定された場合、空間ノイズキャンセリングシステムの各部は行っている動作を停止させ、空間ノイズキャンセリング処理は終了する。
以上のようにして空間ノイズキャンセリングシステムは、波数領域でフィルタ係数更新処理を行いながら高次スピーカアレイ14から音を出力する。このようにすることで演算量を低減させることができ、また高次スピーカアレイ14を用いることで省スペースで高性能な空間ノイズキャンセリングを実現することができる。すなわち、MD-LM型の空間ノイズキャンセリングシステムによれば、省スペースかつ少ない演算量で高性能な空間ノイズキャンセリングを実現することができる。
〈演算量の比較について〉
以上においては、空間ノイズキャンセリングのアルゴリズムとして、MIMO、MD-GM、およびMD-LMについて説明した。ここで、これらのMIMO、MD-GM、およびMD-LMにおける演算量について説明する。
上述したように空間ノイズキャンセリング時の処理は、大きく分けてフィルタリング処理とフィルタ係数更新処理に分けられる。
フィルタリング処理では、高速かつ低遅延な処理が求められ、FPGA(Field Programmable Gate Array)やDSP(Digital Signal Processor)ボードを用いた実装を行う必要がある。一方で、フィルタ係数更新処理で許される遅延はフィルタリング処理に比べると大きく、汎用プロセッサによる実装も考えられる。
図8にMIMO、MD-GM、およびMD-LMについて、フィルタの形状(次元)とフィルタリング処理に要する1サンプルごとの演算量(計算量)を示す。
図8に示されるようにMIMOでは、フィルタの次元はQNl×Nrであり、フィルタリング処理の演算量はO(NtapQNlNr)である。また、MD-GMではフィルタの次元は(2Mg+1)×(2Mg+1)であり、フィルタリング処理の演算量はO(Ntap(2Mg+1))である。さらにMD-LMではフィルタの次元は(2Mg+1)×Nl(2Ml+1)であり、フィルタリング処理の演算量はO(Ntap(2Mg+1)(2Ml+1)Nl)である。ここでNtapはフィルタ長である。
したがって、例えばフィルタ長Ntap=1024、高次スピーカアレイ14の総ドライバ数QNl=192、参照マイクロホンアレイ11のマイクロホン数Nr=48、グローバルモードの最大次数Mg=14、ローカルモードの最大次数Ml=2、および高次スピーカアレイ14の高次スピーカ数Nl=12とすると、各モードの演算量は以下のようになる。
すなわち、MIMOにおけるフィルタリング処理の演算量O(NtapQNlNr)は約9.4×106となる。これに対して、MD-GMにおけるフィルタリング処理の演算量O(Ntap(2Mg+1))は約3.0×104となり、MD-LMにおけるフィルタリング処理の演算量O(Ntap(2Mg+1)(2Ml+1)Nl)は約1.8×106となる。
このことから、MIMOと比較してMD-GMのフィルタリング処理の演算量は大幅に削減できていることが分かり、波数領域でのフィルタリング処理を行わないMD-LMでも演算量がMIMOにおける場合の約5分の1に削減されていることが分かる。
また、図9にMIMO、MD-GM、およびMD-LMについて、フィルタ係数更新処理に要する周波数ごとの演算量(計算量)を示す。
フィルタ係数更新処理では、最も演算量が多くなるのは濾波されたFiltered-Xを求める演算である。ここでは、MIMOにおけるGestXを求める演算、MD-GMにおけるg’estX’を求める演算、およびMD-LMにおけるg’estTglX’を求める演算が、それぞれFiltered-Xを求める演算となる。
図9に示すようにFiltered-X算出時の演算量は、MIMOではO(Ne(QNl)2Nr)となり、MD-GMではO(2Mg+1)であり、MD-LMではO((2Mg+1)(2Ml+1)Nl)である。
したがって、図8における場合と同様に、高次スピーカアレイ14の総ドライバ数QNl=192、参照マイクロホンアレイ11のマイクロホン数Nr=48、最大次数Mg=14、最大次数Ml=2、高次スピーカアレイ14の高次スピーカ数Nl=12、およびエラーマイクロホンアレイ12のマイクロホン数Ne=48とすると、各モードの演算量は以下のようになる。
すなわち、MIMOにおける演算量O(Ne(QNl)2Nr)は約8.4×107となる。これに対して、MD-GMにおける演算量O(2Mg+1)は約29となり、MD-LMにおける演算量O((2Mg+1)(2Ml+1)Nl)は約1.7×103となる。
このことから、MIMOと比較してMD-GMやMD-LMでは大幅に演算量を削減できることが分かる。また、MD-GMとMD-LMとでは、演算量の観点からはMD-GMが優位であるが、二次経路を正確に求めて空間ノイズキャンセリングの性能低下が抑制できる点や、高次スピーカアレイ14の配置の自由度が高い点ではMD-LMが優位である。
また、MD-GMやMD-LMは、MIMOと比較して適応処理の収束速度、つまりフィルタ係数の収束速度も速いので、ターゲット領域における受聴者の位置などの環境が変化したときでも、その変化に迅速に追従し、性能の高い空間ノイズキャンセリングを実現することができる。特にMD-LMよりもMD-GMにおいてフィルタ係数の収束速度が速くなる。
以上のように本技術を適用したMD-GMやMD-LMによれば、省スペースかつ少ない演算量で、十分な性能の空間ノイズキャンセリングを実現することができる。
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図10は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
入力部506は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体511を駆動する。
以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、本技術は、以下の構成とすることも可能である。
(1)
複数のマイクロホンからなる第1のマイクロホンアレイで収音することで得られた第1のマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記第1のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる制御部を備える
信号処理装置。
(2)
前記制御部は、
前記第1のマイクロホン信号に対してフィルタ係数を用いたフィルタリング処理を行うことで前記スピーカ駆動信号を生成するフィルタリング部と、
前記第1のマイクロホン信号に基づいて前記フィルタ係数を更新するフィルタ係数更新部と
備える(1)に記載の信号処理装置。
(3)
前記フィルタリング部は、前記所定領域へと伝搬する音を点制御によりキャンセルするための前記スピーカ駆動信号を生成する
(2)に記載の信号処理装置。
(4)
前記フィルタリング部は、前記所定領域へと伝搬する音をエリア制御によりキャンセルするための前記スピーカ駆動信号を生成する
(2)に記載の信号処理装置。
(5)
前記フィルタ係数更新部は、波数領域で前記フィルタ係数を更新する
(4)に記載の信号処理装置。
(6)
前記フィルタリング部は、波数領域で前記フィルタリング処理を行う
(4)または(5)に記載の信号処理装置。
(7)
前記制御部は、前記高次スピーカの1次以上の所定次数の放射パターンに対応する項までの演算を行って前記スピーカ駆動信号を生成する
(4)乃至(6)の何れか一項に記載の信号処理装置。
(8)
前記フィルタリング部は、前記フィルタリング処理により、空間上の所定の基準位置を原点とするモード係数を前記スピーカ駆動信号として生成する
(6)に記載の信号処理装置。
(9)
前記基準位置は、前記高次スピーカの位置とは異なる位置である
(8)に記載の信号処理装置。
(10)
前記フィルタリング部は、前記フィルタリング処理により、前記高次スピーカの位置を原点とする前記高次スピーカのモード係数を前記スピーカ駆動信号として生成する
(4)または(5)に記載の信号処理装置。
(11)
前記スピーカアレイは、前記高次スピーカを含む複数のスピーカを環状とは異なる形状に並べて得られるスピーカアレイである
(10)に記載の信号処理装置。
(12)
前記フィルタ係数更新部は、前記スピーカアレイに対して前記第1のマイクロホンアレイとは反対側に配置された複数のマイクロホンからなる第2のマイクロホンアレイで収音することで得られた第2のマイクロホン信号と、前記第1のマイクロホン信号とに基づいて前記フィルタ係数を更新する
(2)乃至(11)の何れか一項に記載の信号処理装置。
(13)
信号処理装置が、
複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、
前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
信号処理方法。
(14)
複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、
前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
ステップを含む処理をコンピュータに実行させるプログラム。
11 参照マイクロホンアレイ, 12 エラーマイクロホンアレイ, 14 高次スピーカアレイ, 61 信号処理装置, 21 時間周波数変換部, 22 時間周波数変換部, 71 制御部, 81 モード変換部, 82 フィルタリング部, 83 駆動信号生成部, 84 行列演算部, 85 モード変換部, 86 フィルタ係数更新部, 131 制御部

Claims (14)

  1. 複数のマイクロホンからなる第1のマイクロホンアレイで収音することで得られた第1のマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記第1のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる制御部を備える
    信号処理装置。
  2. 前記制御部は、
    前記第1のマイクロホン信号に対してフィルタ係数を用いたフィルタリング処理を行うことで前記スピーカ駆動信号を生成するフィルタリング部と、
    前記第1のマイクロホン信号に基づいて前記フィルタ係数を更新するフィルタ係数更新部と
    備える請求項1に記載の信号処理装置。
  3. 前記フィルタリング部は、前記所定領域へと伝搬する音を点制御によりキャンセルするための前記スピーカ駆動信号を生成する
    請求項2に記載の信号処理装置。
  4. 前記フィルタリング部は、前記所定領域へと伝搬する音をエリア制御によりキャンセルするための前記スピーカ駆動信号を生成する
    請求項2に記載の信号処理装置。
  5. 前記フィルタ係数更新部は、波数領域で前記フィルタ係数を更新する
    請求項4に記載の信号処理装置。
  6. 前記フィルタリング部は、波数領域で前記フィルタリング処理を行う
    請求項4に記載の信号処理装置。
  7. 前記制御部は、前記高次スピーカの1次以上の所定次数の放射パターンに対応する項までの演算を行って前記スピーカ駆動信号を生成する
    請求項4に記載の信号処理装置。
  8. 前記フィルタリング部は、前記フィルタリング処理により、空間上の所定の基準位置を原点とするモード係数を前記スピーカ駆動信号として生成する
    請求項6に記載の信号処理装置。
  9. 前記基準位置は、前記高次スピーカの位置とは異なる位置である
    請求項8に記載の信号処理装置。
  10. 前記フィルタリング部は、前記フィルタリング処理により、前記高次スピーカの位置を原点とする前記高次スピーカのモード係数を前記スピーカ駆動信号として生成する
    請求項4に記載の信号処理装置。
  11. 前記スピーカアレイは、前記高次スピーカを含む複数のスピーカを環状とは異なる形状に並べて得られるスピーカアレイである
    請求項10に記載の信号処理装置。
  12. 前記フィルタ係数更新部は、前記スピーカアレイに対して前記第1のマイクロホンアレイとは反対側に配置された複数のマイクロホンからなる第2のマイクロホンアレイで収音することで得られた第2のマイクロホン信号と、前記第1のマイクロホン信号とに基づいて前記フィルタ係数を更新する
    請求項2に記載の信号処理装置。
  13. 信号処理装置が、
    複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、
    前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
    信号処理方法。
  14. 複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、
    前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2018200618A 2018-10-25 2018-10-25 信号処理装置および方法、並びにプログラム Pending JP2022008732A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018200618A JP2022008732A (ja) 2018-10-25 2018-10-25 信号処理装置および方法、並びにプログラム
US17/286,121 US20210375256A1 (en) 2018-10-25 2019-10-11 Signal processing device and method, and program
PCT/JP2019/040183 WO2020085117A1 (ja) 2018-10-25 2019-10-11 信号処理装置および方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018200618A JP2022008732A (ja) 2018-10-25 2018-10-25 信号処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2022008732A true JP2022008732A (ja) 2022-01-14

Family

ID=70331948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018200618A Pending JP2022008732A (ja) 2018-10-25 2018-10-25 信号処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20210375256A1 (ja)
JP (1) JP2022008732A (ja)
WO (1) WO2020085117A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102431801B1 (ko) * 2022-03-23 2022-08-11 주식회사 크레스트 Soc 인덱스를 이용한 배터리 밸런싱 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466271A (zh) * 2020-11-30 2021-03-09 声耕智能科技(西安)研究院有限公司 一种分布式主动噪声控制方法、***、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5679304B2 (ja) * 2011-02-15 2015-03-04 日本電信電話株式会社 多重極スピーカ群とその配置方法と、音響信号出力装置とその方法と、その方法を用いたアクティブノイズコントロール装置と音場再生装置と、それらの方法とプログラム
JP6345634B2 (ja) * 2015-07-31 2018-06-20 日本電信電話株式会社 音場再生装置およびその方法
JP7028238B2 (ja) * 2017-03-07 2022-03-02 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102431801B1 (ko) * 2022-03-23 2022-08-11 주식회사 크레스트 Soc 인덱스를 이용한 배터리 밸런싱 장치 및 방법

Also Published As

Publication number Publication date
US20210375256A1 (en) 2021-12-02
WO2020085117A1 (ja) 2020-04-30

Similar Documents

Publication Publication Date Title
JP7028238B2 (ja) 信号処理装置および方法、並びにプログラム
US8718291B2 (en) ANC for BT headphones
JP6113739B2 (ja) 音場のアンビソニックス表現を生成するために使われる剛体球上の球状マイクロホン・アレイの信号を処理する方法および装置
US7991166B2 (en) Microphone apparatus
US20130259253A1 (en) Controllers for active noise control systems
CN110402540B (zh) 主动降噪方法、装置、芯片、主动控制***和存储介质
Iwai et al. Multichannel feedforward active noise control system combined with noise source separation by microphone arrays
CN113574593B (zh) 调谐方法、制造方法、计算机可读存储介质和调谐***
EP3050322B1 (en) System and method for evaluating an acoustic transfer function
WO2017096174A1 (en) Multi-microphone feedforward active noise cancellation
Møller et al. A moving horizon framework for sound zones
WO2020085117A1 (ja) 信号処理装置および方法、並びにプログラム
JP2019047478A (ja) 音響信号処理装置、音響信号処理方法および音響信号処理プログラム
JP5734329B2 (ja) 音場収音再生装置、方法及びプログラム
JP5240026B2 (ja) マイクロホンアレイにおけるマイクロホンの感度を補正する装置、この装置を含んだマイクロホンアレイシステム、およびプログラム
JP6567216B2 (ja) 信号処理装置
WO2021100461A1 (ja) 信号処理装置および方法、並びにプログラム
JP6592838B2 (ja) バイノーラル信号生成装置、方法及びプログラム
Pasco et al. Interior sound field control using generalized singular value decomposition in the frequency domain
JP2016092562A (ja) 音声処理装置および方法、並びにプログラム
WO2018211984A1 (ja) スピーカアレイ、および信号処理装置
WO2022034795A1 (ja) 信号処理装置および方法、ノイズキャンセリング装置、並びにプログラム
Zotter et al. Higher-order ambisonic microphones and the wave equation (linear, lossless)
Rafaely et al. Beamforming with noise minimization
WO2022234822A1 (ja) 信号処理装置、信号処理方法及びプログラム