JP2022008732A - Signal processing device and method, as well as program - Google Patents
Signal processing device and method, as well as program Download PDFInfo
- Publication number
- JP2022008732A JP2022008732A JP2018200618A JP2018200618A JP2022008732A JP 2022008732 A JP2022008732 A JP 2022008732A JP 2018200618 A JP2018200618 A JP 2018200618A JP 2018200618 A JP2018200618 A JP 2018200618A JP 2022008732 A JP2022008732 A JP 2022008732A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- order
- sound
- signal
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1785—Methods, e.g. algorithms; Devices
- G10K11/17857—Geometric disposition, e.g. placement of microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1785—Methods, e.g. algorithms; Devices
- G10K11/17853—Methods, e.g. algorithms; Devices of the filter
- G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1787—General system configurations
- G10K11/17879—General system configurations using both a reference signal and an error signal
- G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/301—Computational
- G10K2210/3025—Determination of spectrum characteristics, e.g. FFT
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/301—Computational
- G10K2210/3028—Filtering, e.g. Kalman filters or special analogue or digital filters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/301—Computational
- G10K2210/3046—Multiple acoustic inputs, multiple acoustic outputs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/321—Physical
- G10K2210/3212—Actuator details, e.g. composition or microstructure
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/321—Physical
- G10K2210/3215—Arrays, e.g. for beamforming
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/321—Physical
- G10K2210/3219—Geometry of the configuration
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
Description
本技術は、信号処理装置および方法、並びにプログラムに関し、特に、省スペースかつ少ない演算量で空間ノイズキャンセリングを実現することができるようにした信号処理装置および方法、並びにプログラムに関する。 The present technology relates to signal processing devices and methods, and programs, and in particular, to signal processing devices and methods, and programs that enable spatial noise canceling to be realized in a space-saving manner and with a small amount of calculation.
従来、複数のスピーカを並べて構成されるスピーカアレイを用いて、目的とする領域におけるノイズキャンセリングを行う空間ノイズキャンセリングが知られている。 Conventionally, spatial noise canceling is known in which noise canceling is performed in a target region by using a speaker array composed of a plurality of speakers arranged side by side.
そのような空間ノイズキャンセリングに関する技術として、例えば波数領域信号処理を行うことで演算量を削減する技術が提案されている(例えば、非特許文献1参照)。この技術では、単一の指向性を有する複数のスピーカにより構成されるスピーカアレイが用いられて空間ノイズキャンセリングが実現される。 As a technique related to such spatial noise canceling, for example, a technique for reducing the amount of calculation by performing wavenumber region signal processing has been proposed (see, for example, Non-Patent Document 1). In this technique, spatial noise canceling is realized by using a speaker array composed of a plurality of speakers having a single directivity.
しかしながら、上述した技術では省スペースかつ少ない演算量で、十分な性能の空間ノイズキャンセリングを実現することは困難であった。 However, with the above-mentioned technology, it has been difficult to realize spatial noise canceling with sufficient performance with space saving and a small amount of calculation.
例えば非特許文献1に記載の技術では、演算量を低減させることはできるが、ノイズとなる音を十分にキャンセルしようとするとスピーカアレイを構成するスピーカの数を多くしなければならず、スピーカアレイを配置するのに広いスペースが必要となる。 For example, in the technique described in Non-Patent Document 1, the amount of calculation can be reduced, but in order to sufficiently cancel the noise that becomes noise, the number of speakers constituting the speaker array must be increased, and the speaker array must be increased. A large space is required to arrange the speakers.
本技術は、このような状況に鑑みてなされたものであり、省スペースかつ少ない演算量で空間ノイズキャンセリングを実現することができるようにするものである。 This technology was made in view of such a situation, and makes it possible to realize space noise canceling with space saving and a small amount of calculation.
本技術の一側面の信号処理装置は、複数のマイクロホンからなる第1のマイクロホンアレイで収音することで得られた第1のマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記第1のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる制御部を備える。 The signal processing device of one aspect of the present technology propagates from outside the predetermined region to the predetermined region based on the first microphone signal obtained by picking up the sound with the first microphone array composed of a plurality of speakers. A speaker drive signal of the output sound for canceling the sound picked up by the first microphone array is generated, and the output sound is generated from the speaker array composed of at least one high-order speaker based on the speaker drive signal. A control unit for outputting is provided.
本技術の一側面の信号処理方法またはプログラムは、複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させるステップを含む。 The signal processing method or program of one aspect of the present technology is based on a microphone signal obtained by picking up sound with a microphone array consisting of a plurality of speakers, and is propagated from outside a predetermined region to the predetermined region by the microphone array. A step of generating a speaker drive signal of an output sound for canceling a picked-up sound and outputting the output sound from a speaker array composed of at least one high-order speaker based on the speaker drive signal is included.
本技術の一側面においては、複数のマイクロホンからなる第1のマイクロホンアレイで収音することで得られた第1のマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記第1のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号が生成され、前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音が出力される。 In one aspect of the present technology, the first microphone propagating from outside a predetermined region to the predetermined region based on a first microphone signal obtained by collecting sound with a first microphone array composed of a plurality of speakers. A speaker drive signal of the output sound for canceling the sound picked up by the microphone array is generated, and the output sound is output from the speaker array consisting of at least one high-order speaker based on the speaker drive signal. ..
以下、図面を参照して、本技術を適用した実施の形態について説明する。 Hereinafter, embodiments to which the present technology is applied will be described with reference to the drawings.
〈第1の実施の形態〉
〈空間ノイズキャンセリングシステムについて〉
本技術は、高次スピーカを利用するとともに、波数領域、すなわちモードドメインにおいてフィルタ係数更新の演算やフィルタリングの演算を行うことで、省スペースかつ少ない演算量で空間ノイズキャンセリングを実現することができるようにするものである。
<First Embodiment>
<About the spatial noise canceling system>
This technology can realize space noise canceling with space saving and a small amount of calculation by using a high-order speaker and performing filter coefficient update calculation and filtering calculation in the wavenumber region, that is, the mode domain. It is something to do.
例えばスピーカとして高次スピーカを用いれば、単一の指向性のみを再現可能な通常のスピーカを用いる場合と比較して、省スペースで空間ノイズキャンセリングを実現できる。また、本技術では、少なくともフィルタ係数の更新を波数領域の演算により実現するようにしたので、演算量を削減することができる。高次スピーカは複数のスピーカから構成されているので、通常のスピーカを用いる場合における波数領域での演算処理を、そのまま高次スピーカを用いる場合に適用することはできない。そこで、本技術では、高次スピーカを用いる場合でも波数領域での演算を行うことができるようにした。 For example, if a high-order speaker is used as the speaker, spatial noise canceling can be realized in a space-saving manner as compared with the case of using a normal speaker that can reproduce only a single directivity. Further, in the present technology, at least the update of the filter coefficient is realized by the calculation of the wave number region, so that the calculation amount can be reduced. Since the high-order speaker is composed of a plurality of speakers, the arithmetic processing in the wave number region when a normal speaker is used cannot be applied to the case where the high-order speaker is used as it is. Therefore, in this technology, it is possible to perform operations in the wavenumber region even when a high-order speaker is used.
まず、本技術について説明する。以下では説明を簡単にするため、2次元音場を対象とした空間ノイズキャンセリングについて説明するが、3次元音場を対象とした空間ノイズキャンセリングも2次元音場を対象とする場合と同様にして実現可能である。すなわち、2次元音場を対象とした空間ノイズキャンセリングを、3次元音場を対象とした空間ノイズキャンセリングへと拡張することは容易に行うことができる。 First, this technology will be described. In the following, for the sake of simplicity, spatial noise canceling for a two-dimensional sound field will be described, but spatial noise canceling for a three-dimensional sound field is also the same as for a two-dimensional sound field. It is feasible. That is, it is possible to easily extend the spatial noise canceling for the two-dimensional sound field to the spatial noise canceling for the three-dimensional sound field.
本技術では、図1に示す配置でエラーマイクロホンアレイEMA11、高次スピーカアレイSP11、および参照マイクロホンアレイRMA11が配置されるものとして説明を行う。 In the present technology, it is assumed that the error microphone array EMA11, the high-order speaker array SP11, and the reference microphone array RMA11 are arranged in the arrangement shown in FIG.
なお、本技術におけるエラーマイクロホンアレイや、高次スピーカアレイ、参照マイクロホンアレイの配置は、エラーマイクロホンアレイと参照マイクロホンアレイの間に高次スピーカアレイが配置されていれば、図1に示す配置に限らず、どのような配置であってもよい。 The arrangement of the error microphone array, the high-order speaker array, and the reference microphone array in the present technology is limited to the arrangement shown in FIG. 1 as long as the high-order speaker array is arranged between the error microphone array and the reference microphone array. However, any arrangement may be used.
また、エラーマイクロホンアレイや参照マイクロホンアレイは、環状マイクロホンアレイに限らず、直線マイクロホンアレイを組み合わせたものや球状マイクロホンアレイなど、どのようなものであってもよく、同様に高次スピーカアレイも環状のアレイに限らず、矩形状や球状など、どのような形状のアレイとされてもよい。 Further, the error microphone array and the reference microphone array are not limited to the annular microphone array, but may be any combination of linear microphone arrays, spherical microphone arrays, and the like, and the higher-order speaker array is also annular. The array is not limited to the array, and may be an array having any shape such as a rectangular shape or a spherical shape.
図1に示す例では、2次元空間上にエラーマイクロホンアレイEMA11、高次スピーカアレイSP11、および参照マイクロホンアレイRMA11が配置されて空間ノイズキャンセリングシステムが構成されている。 In the example shown in FIG. 1, an error microphone array EMA11, a high-order speaker array SP11, and a reference microphone array RMA11 are arranged in a two-dimensional space to form a spatial noise canceling system.
この例では、図中、中央にある円形状のターゲット領域R11が空間ノイズキャンセリングの対象となる領域とされている。例えばターゲット領域R11では、ターゲット領域R11外にあるノイズ源NS11-1やノイズ源NS11-2からターゲット領域R11内へと伝搬してくる音(以下、空間ノイズ音とも称する)が聞こえなくなるように、高次スピーカアレイSP11から音が出力される。すなわち、高次スピーカアレイSP11から出力される音によって、空間ノイズ音がキャンセルされる。 In this example, in the figure, the circular target region R11 in the center is the region targeted for spatial noise canceling. For example, in the target area R11, the sound propagating from the noise source NS11-1 or the noise source NS11-2 outside the target area R11 into the target area R11 (hereinafter, also referred to as spatial noise sound) cannot be heard. Sound is output from the high-order speaker array SP11. That is, the spatial noise sound is canceled by the sound output from the high-order speaker array SP11.
なお、以下、ノイズ源NS11-1およびノイズ源NS11-2を特に区別する必要のない場合、単にノイズ源NS11とも称することとする。 Hereinafter, when it is not necessary to distinguish between the noise source NS11-1 and the noise source NS11-2, they are also simply referred to as the noise source NS11.
エラーマイクロホンアレイEMA11は、ターゲット領域R11を囲むように環状に配置された複数のマイクロホンからなる環状マイクロホンアレイであり、ターゲット領域R11における空間ノイズ音が十分にキャンセルされているかをモニタリングするために用いられる。なお、エラーマイクロホンアレイEMA11は、ターゲット領域R11内に配置されるようにしてもよい。 The error microphone array EMA11 is an annular microphone array consisting of a plurality of microphones arranged in an annular shape so as to surround the target region R11, and is used to monitor whether the spatial noise sound in the target region R11 is sufficiently canceled. .. The error microphone array EMA11 may be arranged in the target area R11.
また、エラーマイクロホンアレイEMA11の外側には、そのエラーマイクロホンアレイEMA11を囲むように環状に配置された複数の高次スピーカからなる高次スピーカアレイSP11が配置されている。ここでは、高次スピーカアレイSP11は環状スピーカアレイとなっている。 Further, on the outside of the error microphone array EMA11, a high-order speaker array SP11 composed of a plurality of high-order speakers arranged in a ring shape so as to surround the error microphone array EMA11 is arranged. Here, the high-order speaker array SP11 is an annular speaker array.
高次スピーカアレイSP11を構成する高次スピーカは、例えば複数のスピーカを環状または球状に配置して得られる、自由に指向性を制御可能なスピーカアレイにより実現される。換言すれば、高次スピーカは任意の複数の指向性、つまり任意の複数の放射パターンを再現可能なスピーカである。 The high-order speaker constituting the high-order speaker array SP11 is realized by, for example, a speaker array whose directivity can be freely controlled, which is obtained by arranging a plurality of speakers in an annular shape or a spherical shape. In other words, a high-order speaker is a speaker capable of reproducing any plurality of directivity, that is, any plurality of radiation patterns.
ここでは、高次スピーカは少なくとも1次以上の次数の放射パターン(指向性)を再現可能であるとする。この放射パターンの次数は調和関数、すなわちここでは環状調和関数の基底のインデックスである。なお、高次スピーカアレイが球状スピーカアレイである場合には、球面調和関数の基底のインデックスが放射パターンの次数に対応する。また、以下、高次スピーカを構成するスピーカをドライバとも称することとする。その他、高次スピーカに代えて多重極音源を用いてもよいし、高次スピーカアレイSP11に代えて1つの高次スピーカからなるスピーカアレイを用いてもよい。 Here, it is assumed that the high-order speaker can reproduce the radiation pattern (directivity) of at least the first order or higher. The order of this radiation pattern is the harmonic function, that is, here the index of the basis of the circular harmonic function. When the high-order speaker array is a spherical speaker array, the index of the basis of the spherical harmonic function corresponds to the order of the radiation pattern. Further, hereinafter, the speaker constituting the high-order speaker will also be referred to as a driver. In addition, a multipole sound source may be used instead of the high-order speaker, or a speaker array composed of one high-order speaker may be used instead of the high-order speaker array SP11.
このような高次スピーカにより構成される高次スピーカアレイSP11は、単一の指向性のみを再現可能な通常のスピーカからなるスピーカアレイよりも設置に必要となるスペースが小さくて済むことが知られている。したがって、高次スピーカアレイSP11を用いれば、省スペースで空間ノイズキャンセリングを実現することができる。 It is known that the high-order speaker array SP11 composed of such high-order speakers requires less space for installation than a speaker array consisting of ordinary speakers capable of reproducing only a single directivity. ing. Therefore, if the high-order speaker array SP11 is used, space noise canceling can be realized in a small space.
また、図1では高次スピーカアレイSP11の外側を囲むように環状に配置された複数のマイクロホンからなる参照マイクロホンアレイRMA11が配置されている。すなわち、図1では、エラーマイクロホンアレイEMA11が、高次スピーカアレイSP11に対して参照マイクロホンアレイRMA11とは反対側に配置されている。 Further, in FIG. 1, a reference microphone array RMA11 composed of a plurality of microphones arranged in a ring shape so as to surround the outside of the high-order speaker array SP11 is arranged. That is, in FIG. 1, the error microphone array EMA11 is arranged on the opposite side of the reference microphone array RMA11 with respect to the higher-order speaker array SP11.
ここでは、参照マイクロホンアレイRMA11は環状マイクロホンアレイであり、空間ノイズ音を含む周囲の音を収音し、ターゲット領域R11内において、どのような空間ノイズ音の波面が生じているかを推定するために用いられる。 Here, the reference microphone array RMA11 is an annular microphone array, which collects ambient sound including spatial noise sound and estimates what kind of spatial noise sound wave surface is generated in the target region R11. Used.
このような空間ノイズキャンセリングシステムでは、参照マイクロホンアレイRMA11が収音することにより得られる参照マイクロホン信号と、エラーマイクロホンアレイEMA11が収音することにより得られるエラーマイクロホン信号とに基づいて、空間ノイズキャンセリングのためのフィルタ係数が生成(更新)される。 In such a spatial noise canceling system, the spatial noise canceling is based on the reference microphone signal obtained by collecting the sound of the reference microphone array RMA11 and the error microphone signal obtained by collecting the sound of the error microphone array EMA11. A filter coefficient for the ring is generated (updated).
そして、生成されたフィルタ係数が用いられて参照マイクロホン信号に対するフィルタリングが行われてスピーカ駆動信号が生成され、高次スピーカアレイSP11がスピーカ駆動信号に基づいて音を出力することで、ターゲット領域R11におけるノイズ音、つまりノイズ源NS11からの空間ノイズ音が低減(キャンセル)される。 Then, the generated filter coefficient is used to filter the reference microphone signal to generate a speaker drive signal, and the higher-order speaker array SP11 outputs sound based on the speaker drive signal in the target region R11. Noise sound, that is, spatial noise sound from the noise source NS11 is reduced (cancelled).
なお、参照マイクロホンアレイRMA11の外側を囲むように高次スピーカアレイSP11が配置され、さらにその高次スピーカアレイSP11の外側を囲むようにエラーマイクロホンアレイEMA11が配置されるようにしてもよい。そのような場合、エラーマイクロホンアレイEMA11の外側、つまり高次スピーカアレイSP11側とは反対側の領域が、空間ノイズキャンセリングの対象となるターゲット領域とされる。 The high-order speaker array SP11 may be arranged so as to surround the outside of the reference microphone array RMA11, and the error microphone array EMA11 may be arranged so as to surround the outside of the high-order speaker array SP11. In such a case, the area outside the error microphone array EMA11, that is, the area opposite to the high-order speaker array SP11 side is set as the target area to be the target of spatial noise canceling.
以下では、参照マイクロホンアレイRMA11を構成するマイクロホンの数がNr個であり、エラーマイクロホンアレイEMA11を構成するマイクロホンの数がNe個であり、高次スピーカアレイSP11を構成する高次スピーカの数がNl個であるとする。 In the following, the number of microphones that make up the reference microphone array RMA11 is N r , the number of microphones that make up the error microphone array EMA11 is N e , and the number of high-order speakers that make up the high-order speaker array SP11. Is N l .
また、高次スピーカアレイSP11を構成する1つの高次スピーカがQ個のドライバにより構成されるものとする。したがって、高次スピーカアレイSP11を構成するドライバの数はQNl個となる。 Further, it is assumed that one high-order speaker constituting the high-order speaker array SP11 is composed of Q drivers. Therefore, the number of drivers constituting the high-order speaker array SP11 is QN l .
さらに、以下では、参照マイクロホン信号をx(k)とも記し、エラーマイクロホン信号をe(k)とも記すこととする。 Further, in the following, the reference microphone signal is also referred to as x (k), and the error microphone signal is also referred to as e (k).
参照マイクロホン信号x(k)は、参照マイクロホンアレイRMA11を構成するNr個の各マイクロホンで得られた信号を要素としてもつ、ある波数kについての複素ベクトルである。 The reference microphone signal x (k) is a complex vector for a wave number k having signals obtained from each of the N r microphones constituting the reference microphone array RMA11 as an element.
同様に、エラーマイクロホン信号e(k)は、エラーマイクロホンアレイEMA11を構成するNe個の各マイクロホンで得られた信号を要素としてもつ、ある波数kについての複素ベクトルである。 Similarly, the error microphone signal e (k) is a complex vector for a wave number k having signals obtained from each of the N e microphones constituting the error microphone array EMA11 as an element.
ここで、時間周波数の変数をf [Hz]とし、音速をc [m/s]とすると、波数kはk=2πf/c [1/m]で定義される。 Here, if the variable of time frequency is f [Hz] and the speed of sound is c [m / s], the wave number k is defined by k = 2πf / c [1 / m].
また、高次スピーカアレイSP11を構成するNl個の高次スピーカのうちのn_l番目の高次スピーカのQ×1の複素ベクトルである駆動信号をyn_l(k)=[yn_l,1(k),・・・,yn_l,Q(k)]Tとする。さらに、これらのNl個の駆動信号yn_l(k)を並べて得られる、次式(1)に示すQNl×1の複素ベクトルをy(k)とする。このベクトルy(k)が高次スピーカアレイSP11のスピーカ駆動信号である。 In addition, the drive signal, which is a complex vector of Q × 1 of the n_lth high-order speaker among the N l -th high-order speakers constituting the high-order speaker array SP11, is y n_l (k) = [y n_l, 1 ( k), ..., y n_l, Q (k)] Let T be. Further, let y (k) be the complex vector of QN l × 1 shown in the following equation (1) obtained by arranging these N l drive signals y n_l (k). This vector y (k) is the speaker drive signal of the high-order speaker array SP11.
なお、以下においては表記の都合上、波数を表すkを省略することがある。 In the following, for convenience of notation, k indicating the wave number may be omitted.
〈グローバルモード係数について〉
次に、参照マイクロホンアレイRMA11やエラーマイクロホンアレイEMA11についてのモード係数について説明する。
<About the global mode coefficient>
Next, the mode coefficients for the reference microphone array RMA11 and the error microphone array EMA11 will be described.
空間ノイズキャンセリングをはじめとする空間音場制御技術において、複数の地点の音圧を制御するのではなく、空間的な音圧の分布をモードドメインと呼ばれる領域、すなわち波数領域の信号に変換したうえで制御する手法が数多く提案されている。 In spatial sound field control technology such as spatial noise canceling, instead of controlling the sound pressure at multiple points, the spatial sound pressure distribution is converted into a signal in a region called the mode domain, that is, a wave frequency region. Many methods to control the above have been proposed.
モードドメインの信号はモード係数と呼ばれており、音圧分布のモード係数への変換は、空間内の波動をいくつかの波動の基底を用いて展開することに対応しており、時間信号を複数の周波数の正弦波で展開するフーリエ変換と同様な処理である。 The signal of the mode domain is called the mode coefficient, and the transformation of the sound pressure distribution into the mode coefficient corresponds to the expansion of the wave in space using the basis of some waves, and the time signal. This process is similar to the Fourier transform that expands with sine waves of multiple frequencies.
ここで、例としてエラーマイクロホンアレイEMA11で観測されるエラーマイクロホン信号e(k)のモード係数への変換について説明する。なお、参照マイクロホンアレイRMA11で観測される参照マイクロホン信号x(k)のモード係数への変換も、以下で説明するエラーマイクロホン信号e(k)における場合と同様であるので、その説明は省略する。 Here, as an example, the conversion of the error microphone signal e (k) observed by the error microphone array EMA11 into the mode coefficient will be described. Since the conversion of the reference microphone signal x (k) observed by the reference microphone array RMA11 to the mode coefficient is the same as that of the error microphone signal e (k) described below, the description thereof will be omitted.
例えばエラーマイクロホンアレイEMA11を構成するNe個の各マイクロホンのうちのn_e番目のマイクロホンで観測された信号、つまり観測された音圧をpn_eとし、それらの音圧pn_eを並べて得られる、次式(2)に示すNe×1の複素ベクトルをpとする。なお、この複素ベクトルpがエラーマイクロホン信号e(k)である。 For example, the signal observed by the n_eth microphone of each of the N e microphones constituting the error microphone array EMA11, that is, the observed sound pressure is p n_e , and the sound pressures p n_e are arranged side by side. Let p be the complex vector of N e × 1 shown in equation (2). Note that this complex vector p is the error microphone signal e (k).
このとき、複素ベクトルpをモードドメインの信号に変換することで得られるモード係数p’は、以下のようにして求めることができる。ここで、モード係数p’は(2Mg+1)×1の複素ベクトルであり、p’=[p-Mg,・・・,pMg]Tであるとする。 At this time, the mode coefficient p'obtained by converting the complex vector p into the signal of the mode domain can be obtained as follows. Here, it is assumed that the mode coefficient p'is a complex vector of (2M g + 1) × 1 and p'= [p -Mg , ..., p Mg ] T.
モード係数p’の要素は、虚数をjとし、エラーマイクロホンアレイEMA11の半径をReとして次式(3)により得ることができる。但し、m_g=-Mg,・・・,Mgであり、Mgはモードの最大次数、すなわち後述するグローバルモード係数の最大次数を表している。 The element of the mode coefficient p'can be obtained by the following equation (3), where the imaginary number is j and the radius of the error microphone array EMA11 is R e . However, m_g = -M g , ..., M g , and M g represents the maximum order of the mode, that is, the maximum order of the global mode coefficient described later.
なお、式(3)においてJ_(m_g)(・)は,(m_g)次の第1種ベッセル関数である。また、式(3)に示す変換については、例えば「M. A. Poletti. A unified theory of horizontal holographic sound systems. Journal of the audio Engineering Society, 48(12):1155-1182, 2000.」などに詳細に記載されている。 In Eq. (3), J _ (m_g) (・) is (m_g) the following first-class Bessel function. The conversion shown in equation (3) is described in detail in, for example, "MA Poletti. A unified theory of horizontal holographic sound systems. Journal of the audio Engineering Society, 48 (12): 1155-1182, 2000." Has been done.
また、3次元音場における場合のモード係数への変換については、例えば「M. A. Poletti. Three-dimensional surround sound systems based on spherical harmonics. Journal of the Audio Engineering Society, 53(11):1004-1025, 2005.」などに詳細に記載されている。 Regarding the conversion to mode coefficients in the case of a three-dimensional sound field, for example, "MA Poletti. Three-dimensional surround sound systems based on spherical harmonics. Journal of the Audio Engineering Society, 53 (11): 1004-1025, 2005 It is described in detail in "."
このような式(3)による変換は線形変換である。そのため、式(3)は所定の(2Mg+1)×Neの変換行列Tgeを用いて次式(4)に示すように行列形式で記述することができる。 Such a transformation by the equation (3) is a linear transformation. Therefore, equation (3) can be described in a matrix format as shown in the following equation (4) using a transformation matrix T ge of a predetermined (2M g + 1) × N e .
ここで、(・)m,nが行列の(m,n)要素を表すとすると、変換行列Tgeの要素は、次式(5)に示すように表される。 Here, assuming that (・) m, n represents the (m, n) element of the matrix, the elements of the transformation matrix T ge are expressed as shown in the following equation (5).
式(4)で得られるモード係数p’は、空間上の所定の基準位置を原点とした、つまりグローバルな座標系の原点を基準としたモード係数であり、以下では、このようなモード係数を特にグローバルモード係数とも称することとする。 The mode coefficient p'obtained by the equation (4) is a mode coefficient with a predetermined reference position in space as the origin, that is, with the origin of the global coordinate system as a reference. In particular, it will also be referred to as the global mode coefficient.
また、参照マイクロホンアレイRMA11の参照マイクロホン信号x(k)についても、式(4)と同様の演算により、グローバルモード係数を求めることができる。以下では、参照マイクロホン信号x(k)をグローバルモード係数に変換するための変換行列をTgrと記すこととする。 Further, for the reference microphone signal x (k) of the reference microphone array RMA11, the global mode coefficient can be obtained by the same calculation as in the equation (4). In the following, the transformation matrix for converting the reference microphone signal x (k) to the global mode coefficient will be referred to as T gr .
〈ローカルモード係数について〉
続いて、高次スピーカのローカルモード係数について説明する。特に、以下では高次スピーカの位置を基準(原点)とする、その高次スピーカについてのモード係数をローカルモード係数とも称することとする。ローカルモード係数は、グローバルモード係数における原点とは異なる位置を原点とするモード係数である。
<About local mode coefficient>
Next, the local mode coefficient of the high-order speaker will be described. In particular, in the following, the mode coefficient for the high-order speaker with the position of the high-order speaker as a reference (origin) will also be referred to as a local mode coefficient. The local mode coefficient is a mode coefficient whose origin is a position different from the origin in the global mode coefficient.
例えば2次元空間において、高次スピーカが半径r_oと角度φ_oからなる極座標で表される位置R_o=(r_o,φ_o)に形成する音場p(R_o)は、以下の式(6)のように表すことができる。 For example, in a two-dimensional space, the sound field p (R _o ) formed by a higher-order speaker at the position R _o = (r _o , φ _o ) represented by polar coordinates consisting of a radius r _o and an angle φ _o is given by the following equation. It can be expressed as (6).
式(6)において、H_(m_l)(ka_(n_l,o))e-j(m_l)θ_(n_l,o)は高次スピーカの異なる各放射パターンを表しており、それらの放射パターンがモードと呼ばれている。また、式(6)においてβ_(m_l)は、m_lに対応するモードの振幅の強さを表しており、このβ_(m_l)が高次スピーカのローカルモード係数である。さらにMlは最大ローカルモード次数、すなわちローカルモード係数の最大次数である。また、式(6)においてa_(n_l,o)は高次スピーカの位置から位置R_oまでの距離を示しており、θ_(n_l,o)は、高次スピーカの位置を始点とし、位置R_oを終点とするベクトルと、高次スピーカの位置を始点とし、グローバルな座標系の原点を終点とするベクトルとのなす角度を示している。 In equation (6), H _ (m_l) (ka _ (n_l, o) ) e -j (m_l) θ_ (n_l, o) represents each different radiation pattern of the higher-order speaker, and their radiation patterns. Is called a mode. Further, in equation (6), β _ (m_l) represents the strength of the amplitude of the mode corresponding to m_l, and this β _ (m_l) is the local mode coefficient of the high-order speaker. Furthermore, M l is the maximum local mode order, that is, the maximum order of the local mode coefficients. Further, in equation (6), a _ (n_l, o) indicates the distance from the position of the higher-order speaker to the position R _o , and θ _ (n_l, o) starts from the position of the higher-order speaker. It shows the angle between the vector whose end point is the position R _o and the vector whose start point is the position of the higher-order speaker and whose end point is the origin of the global coordinate system.
式(6)から分かるように、1つの高次スピーカにより形成される音場p(R_o)は、複数の放射パターンを組み合わせたものとなっている。 As can be seen from the equation (6), the sound field p (R _o ) formed by one high-order speaker is a combination of a plurality of radiation patterns.
したがって、高次スピーカから音を出力する際に、これらの各モードのローカルモード係数β_(m_l)を適切に決定(制御)することで、様々な指向性を有する音を出力することができる。すなわち、任意の指向性を形成(再現)することができる。 Therefore, when outputting sound from a high-order speaker, it is possible to output sound with various directivity by appropriately determining (controlling) the local mode coefficient β _ (m_l) of each of these modes. .. That is, any directivity can be formed (reproduced).
ここで、高次スピーカアレイSP11を構成するNl個の高次スピーカのうちのn_l番目の高次スピーカを構成するQ個のドライバの駆動信号がyn_lであるとする。ここで、yn_lは上述したQ×1の複素ベクトルである駆動信号yn_l(k)における波数kの表記を省略したものである。 Here, it is assumed that the drive signals of the Q drivers constituting the n_lth higher-order speaker among the N l -th higher-order speakers constituting the higher-order speaker array SP11 are y n_l . Here, y n_l omits the notation of the wave number k in the drive signal y n_l (k), which is a complex vector of Q × 1 described above.
このとき、Q個のドライバについて得られるローカルモード係数β_(n_l)は、(2Ml+1)×1の複素ベクトルとなり、次式(7)に示すように行列形式で記述することができる。 At this time, the local mode coefficient β _ (n_l) obtained for the Q drivers is a complex vector of (2M l +1) × 1 and can be described in the matrix format as shown in the following equation (7). ..
式(7)では(2Ml+1)×Qの行列であるTlsが、駆動信号yn_lをローカルモード係数β_(n_l)へと変換する変換行列となる。なお、変換行列Tlsは解析的に求めることもできるし、計測によって求めることもできる。 In equation (7), T ls , which is a matrix of (2M l + 1) × Q, is a transformation matrix that converts the drive signal y n _ l into the local mode coefficient β _ (n _ l) . The transformation matrix T ls can be obtained analytically or by measurement.
〈グローバルモード係数とローカルモード係数の相互変換について〉
さらに、グローバルモード係数とローカルモード係数の相互変換について説明する。
<Mutual conversion between global mode coefficient and local mode coefficient>
Further, the mutual conversion between the global mode coefficient and the local mode coefficient will be described.
上述したように、独立に駆動された高次スピーカの複数のドライバはローカルモード係数で表される指向性を形成する。ここで、注意すべきは、これらのローカルモード係数は、高次スピーカの原点に依存する係数であるということである。 As mentioned above, multiple drivers of independently driven high-order speakers form the directivity represented by the local mode factor. It should be noted here that these local mode coefficients are coefficients that depend on the origin of the higher order speaker.
一方で、空間ノイズキャンセリングを含む音場制御では、ある特定の対象の領域を考えることが多いため、その領域での音場制御をモードドメインで考える場合には、何らかの原点を設定し、その原点に依存するモード係数を制御することになる。このときの高次スピーカの位置、つまり高次スピーカの原点とは異なる位置を原点とするモード係数が、上述したグローバルモード係数である。 On the other hand, in sound field control including spatial noise canceling, a specific target area is often considered. Therefore, when considering sound field control in that area in the mode domain, some origin is set and the origin is set. The mode coefficient that depends on the origin will be controlled. The mode coefficient whose origin is the position of the high-order speaker at this time, that is, the position different from the origin of the high-order speaker is the above-mentioned global mode coefficient.
ここで、例えば図2に示すように所定の原点Ogを中心とする半径R_lの円周上に高次スピーカアレイSP11を構成するNl個の高次スピーカが等間隔で配置されている例について考える。なお、図2において図1における場合と対応する部分には同一の符号を付してあり、その説明は省略する。 Here, for example, as shown in FIG. 2, an example in which N l high-order speakers constituting the high-order speaker array SP11 are arranged at equal intervals on the circumference of a radius R _l centered on a predetermined origin Og. think about. In FIG. 2, the parts corresponding to the case in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
図2では、高次スピーカアレイSP11を構成するNl個の高次スピーカが原点Ogを中心として環状に配置されている。例えば矢印A11により示される1つの円が、高次スピーカアレイSP11を構成するn_l番目の高次スピーカを表している。 In FIG. 2, N l high-order speakers constituting the high-order speaker array SP11 are arranged in an annular shape with the origin Og as the center. For example, one circle indicated by the arrow A11 represents the n_lth high-order speaker constituting the high-order speaker array SP11.
ここでは、n_l番目の高次スピーカの位置は、原点Ogからの距離である半径R_lと、所定の軸に対する角度であるφ(n_l)とが用いられて、極座標により(R_l,φ(n_l))と表される。また、高次スピーカの位置を始点とし、位置R_oを終点とするベクトルをベクトルA_(n_l,o)とすると、このベクトルA_(n_l,o)の長さ(大きさ)が上述の式(6)におけるa_(n_l,o)であり、高次スピーカの位置を始点とし、原点Ogを終点とするベクトルと、ベクトルA_(n_l,o)とのなす角度が上述の式(6)におけるθ_(n_l,o)である。 Here, the position of the n_lth higher-order speaker uses the radius R _l , which is the distance from the origin Og, and φ (n_l) , which is the angle with respect to a predetermined axis, by polar coordinates (R _l , φ ( R _l, φ). It is expressed as n_l) ). Further, if the vector whose starting point is the position of the higher-order speaker and whose ending point is the position R _o is the vector A _ (n_l, o), the length (magnitude) of this vector A _ (n_l, o) is described above. It is a _ (n_l, o) in the equation (6), and the angle between the vector whose starting point is the position of the higher-order speaker and whose ending point is the origin Og and the vector A _ (n_l, o) is the above equation ( It is θ _ (n_l, o) in 6).
いま、原点Og近傍の音場を制御したいものとすると、Nl個の高次スピーカについて、高次スピーカを構成する各ドライバの駆動信号を制御することにより、各高次スピーカのローカルモード係数を適切に制御し、所望の音場を形成することができる。 Now, if we want to control the sound field near the origin Og, we can control the local mode coefficient of each high-order speaker by controlling the drive signal of each driver that constitutes the high-order speaker for N l high-order speakers. It can be appropriately controlled to form a desired sound field.
しかしながら、制御対象となるのは原点Og近傍の音場である。すなわち、原点Ogを展開中心とするグローバルモード係数を制御する必要がある。そのため、ローカルモード係数をグローバルモード係数に変換する必要がある。 However, the control target is the sound field near the origin Og. That is, it is necessary to control the global mode coefficient centered on the origin Og. Therefore, it is necessary to convert the local mode coefficient to the global mode coefficient.
このようなローカルモード係数のグローバルモード係数への変換は、高次スピーカを用いた音場制御などで用いられている。 Such conversion of the local mode coefficient to the global mode coefficient is used in sound field control using a high-order speaker or the like.
ここでは、図2に示す高次スピーカの配置に基づいて、各高次スピーカのローカルモード係数から、原点Ogを中心とするグローバルモード係数への変換について説明する。なお、本技術では高次スピーカアレイSP11を構成する高次スピーカの配置は、図2に示す例に限らず、どのような配置であってもよい。 Here, the conversion from the local mode coefficient of each high-order speaker to the global mode coefficient centered on the origin Og will be described based on the arrangement of the high-order speakers shown in FIG. In the present technology, the arrangement of the high-order speakers constituting the high-order speaker array SP11 is not limited to the example shown in FIG. 2, and may be any arrangement.
例えば、原点Ogを中心として、その原点Og近傍にある位置R_oの音場p(R_o)が以下の式(8)に示すように展開されているとする。なお、この音場p(R_o)の最大グローバルモード次数、すなわちモードの最大次数がMgであるとする。 For example, it is assumed that the sound field p (R _o ) at the position R _o near the origin Og is expanded as shown in the following equation (8) with the origin Og as the center. It is assumed that the maximum global mode order of this sound field p (R _o ), that is, the maximum order of the mode is Mg .
式(8)においてp_(m_g)(R_o)は、音場p(R_o)をグローバルモードごとに展開したときの成分である。また、γ_(m_g)は複素数であり、原点Ogを中心として音場p(R_o)を展開したときのグローバルモード係数である。さらに、m_gはグローバルモードのインデックスを表している。 In equation (8), p _ (m_g) (R _o ) is a component when the sound field p (R _o ) is expanded for each global mode. In addition, γ _ (m_g) is a complex number, which is a global mode coefficient when the sound field p (R _o ) is expanded around the origin Og. In addition, m_g represents the global mode index.
ここで、位置(R_l,φ(n_l))にある高次スピーカの(m_l)次のモード成分が形成する音場p_(n_l),(m_l)(R_o)は、以下の式(9)により表すことができる。但し、r_o<R_lである。 Here, the sound field p _ (n_l), (m_l) (R _o) formed by the (m_l) next mode component of the high-order speaker at the position (R _l , φ (n_l) ) is the following equation (R _o ). It can be expressed by 9). However, r _o <R _l .
したがって、高次スピーカアレイSP11を構成するn_l番目の高次スピーカの(m_l)次のモード(ローカルモード)の係数をα_(n_l),(m_l)としたとき、高次スピーカアレイSP11全体により形成される音場p(R_o)は、次式(10)に示すようになる。なお、このローカルモード係数α_(n_l),(m_l)は、式(6)におけるローカルモード係数β_(m_l)に対応する。 Therefore, when the coefficient of the (m_l) next mode (local mode) of the n_lth high-order speaker constituting the high-order speaker array SP11 is α _ (n_l), (m_l) , the whole high-order speaker array SP11 The formed sound field p (R _o ) is as shown in the following equation (10). The local mode coefficients α _ (n_l) and (m_l) correspond to the local mode coefficients β _ (m_l) in the equation (6).
上述の式(8)および式(10)から、グローバルモード係数γ_(m_g)と、Nl個の高次スピーカのローカルモード係数α_(n_l),(m_l)との関係は、次式(11)に示すようになる。 From the above equations (8) and (10), the relationship between the global mode coefficient γ _ (m_g) and the local mode coefficients α _ (n_l), (m_l) of N l high-order speakers is as follows. It becomes as shown in (11).
また、次式(12)に示すように、グローバルモード係数γ_(m_g)を並べて得られる(2Mg+1)×1の複素ベクトルをγとする。 Further, as shown in the following equation (12), the complex vector of (2M g + 1) × 1 obtained by arranging the global mode coefficients γ _ (m_g) is defined as γ.
さらに、次式(13)に示すように、高次スピーカアレイSP11を構成するNl個の高次スピーカのローカルモード係数α_(n_l),(m_l)を並べて得られる(2Ml+1)Nl×1の複素ベクトルをαとする。 Further, as shown in the following equation (13), the local mode coefficients α _ (n_l) and (m_l) of N l high-order speakers constituting the high-order speaker array SP11 are obtained side by side (2M l +1). Let α be a complex vector of N l × 1.
このとき、これらの複素ベクトルγと複素ベクトルαの関係は、次式(14)に示すようになる。 At this time, the relationship between these complex vectors γ and the complex vector α is shown in the following equation (14).
なお、式(14)においてI(n_l,m_l)は、インデックスを求める関数であり、Tglは(2Mg+1)×(2Ml+1)Nlの変換行列である。この変換行列Tglが各高次スピーカのローカルモード係数を、原点を中心とする高次スピーカアレイSP11全体のグローバルモード係数へと変換する行列である。 In equation (14), I (n_l, m_l) is a function for finding an index, and T gl is a transformation matrix of (2M g + 1) × (2M l + 1) N l . This transformation matrix T gl is a matrix that transforms the local mode coefficient of each high-order speaker into the global mode coefficient of the entire high-order speaker array SP11 centered on the origin.
〈MIMOについて〉
さらに、空間ノイズキャンセリングを実現する適応型ノイズキャンセリングアルゴリズムについて説明する。
<About MIMO>
Further, an adaptive noise canceling algorithm that realizes spatial noise canceling will be described.
本技術の空間ノイズキャンセリングのアルゴリズムは、FIR(Finite Impulse Response)型のフィルタのフィルタ係数を参照マイクロホン信号x(k)とエラーマイクロホン信号e(k)との関係から適応的に更新していくアルゴリズムであり、適応フィルタ手法の一種である。 The spatial noise canceling algorithm of this technology adaptively updates the filter coefficient of the FIR (Finite Impulse Response) type filter from the relationship between the microphone signal x (k) and the error microphone signal e (k). It is an algorithm and a kind of adaptive filter method.
適応フィルタ手法の一般的な手法としてFiltered-X LMS(Least Mean Square)アルゴリズムが知られている。Filtered-X LMSは、空間ノイズキャンセリングのような多チャンネルでの制御にも拡張されており、また制御対象の信号を異なるドメイン(領域)の信号に変換する手法も提案されている。 The Filtered-X LMS (Least Mean Square) algorithm is known as a general method of the adaptive filter method. Filtered-X LMS has been extended to multi-channel control such as spatial noise canceling, and a method of converting the signal to be controlled into a signal of a different domain (region) has also been proposed.
以下において説明する本技術を適用した空間ノイズキャンセリングの手法は、全てFiltered-X LMSアルゴリズムの構造を持つものである。 All of the spatial noise canceling methods to which this technique is applied, which will be described below, have the structure of the Filtered-X LMS algorithm.
ここでは、まずMIMO(Multi Input Multi Output)型のFiltered-X LMSアルゴリズム(以下、単にMIMOとも称する)について説明する。そして、その後、ローカルモード適応アルゴリズム(以下、単にMD-LMとも称する)とグローバルモード適応アルゴリズム(以下、単にMD-GMとも称する)について説明する。 Here, first, a MIMO (Multi Input Multi Output) type Filtered-X LMS algorithm (hereinafter, also simply referred to as MIMO) will be described. After that, the local mode adaptation algorithm (hereinafter, also simply referred to as MD-LM) and the global mode adaptation algorithm (hereinafter, also simply referred to as MD-GM) will be described.
MIMO-Filtered-X LMSアルゴリズムは、1入力1出力Filtered-X LMSアルゴリズムの自然な拡張として導出される。 The MIMO-Filtered-X LMS algorithm is derived as a natural extension of the 1-input, 1-output Filtered-X LMS algorithm.
ここで、図1に示したアレイ配置においてFiltered-X LMSアルゴリズムを定式化することを考える。 Here, consider formulating the Filtered-X LMS algorithm in the array arrangement shown in FIG.
まず、エラーマイクロホンアレイEMA11で観測されるノイズ(直接音)成分の信号、すなわち、ノイズ源NS11からエラーマイクロホンアレイEMA11へと伝搬してくる直接音の信号をdとする。この場合、エラーマイクロホンアレイEMA11で観測される周波数領域の信号eは、次式(15)に示すようになる。ここで、周波数領域の信号eは、上述したエラーマイクロホン信号e(k)に対応する。また、直接音の信号dは、Ne×1の複素ベクトルである。 First, let d be a signal of a noise (direct sound) component observed by the error microphone array EMA11, that is, a signal of direct sound propagating from the noise source NS11 to the error microphone array EMA11. In this case, the signal e in the frequency domain observed by the error microphone array EMA11 is as shown in the following equation (15). Here, the signal e in the frequency domain corresponds to the error microphone signal e (k) described above. The direct sound signal d is a complex vector of N e × 1.
なお、式(15)において、GはNe×QNlの行列であり、二次音源である高次スピーカアレイSP11の高次スピーカから、エラーマイクロホンアレイEMA11を構成するマイクロホンまでの伝達関数を要素としてもつ行列を示している。この伝達関数は二次経路と呼ばれる。 In equation (15), G is a matrix of N e × QN l , and the transfer function from the high-order speaker of the high-order speaker array SP11, which is the secondary sound source, to the microphones constituting the error microphone array EMA11 is an element. It shows the matrix that has as. This transfer function is called a quadratic path.
また、式(15)においてWはQNl×Nrの行列であり、FIRフィルタ、より詳細にはFIRフィルタを構成するフィルタ係数の周波数領域での値を示している。さらに式(15)におけるxはNr×1の複素ベクトルであり、上述の参照マイクロホン信号x(k)に対応する。 Further, in Eq. (15), W is a matrix of QN l × N r , and indicates the value of the FIR filter, more specifically, the value of the filter coefficient constituting the FIR filter in the frequency domain. Further, x in the equation (15) is a complex vector of N r × 1 and corresponds to the above-mentioned reference microphone signal x (k).
ここで、後の導出を簡単にするため、式(15)を次式(16)に示すように書き換える。 Here, in order to simplify the subsequent derivation, the equation (15) is rewritten as shown in the following equation (16).
なお、式(16)においてXは、次式(17)に示すように、参照マイクロホン信号xとゼロベクトルzとを要素として構成されるQNl×QNlNrの行列である。 In the equation (16), X is a matrix of QN l × QN l N r composed of the reference microphone signal x and the zero vector z as elements, as shown in the following equation (17).
また、式(16)においてwは、次式(18)に示すように、行列Wを構成する要素を並べて得られるQNlNr×1の行列(ベクトル)である。 Further, in the equation (16), w is a matrix (vector) of QN l N r × 1 obtained by arranging the elements constituting the matrix W as shown in the following equation (18).
さて、ここでの制御目標は、各周波数、つまり波数kで次式(19)に示す二乗平均誤差Jを最小化することである。なお、式(19)においてE[・]は期待値操作を表している。 Now, the control goal here is to minimize the root mean square error J shown in the following equation (19) at each frequency, that is, the wave number k. In equation (19), E [・] represents the expected value operation.
この二乗平均誤差Jを式(16)を用いて書き換えると、次式(20)に示すようになる。 When this root mean square error J is rewritten using the equation (16), it becomes as shown in the following equation (20).
したがって、二乗平均誤差Jのフィルタ係数による勾配は、次式(21)に示すようになる。 Therefore, the gradient due to the filter coefficient of the root mean square error J is shown in the following equation (21).
このようにして得られた二乗平均誤差Jの勾配に基づいて、フィルタである行列W、すなわちフィルタを構成するフィルタ係数であるwが更新される。その際、期待値計算は多くのサンプルが必要となり実現が難しいため、LMSアルゴリズムでは期待値計算の結果が瞬時値で置き換えられる。 Based on the gradient of the root mean square error J thus obtained, the matrix W which is a filter, that is, the filter coefficient w which constitutes the filter is updated. At that time, since the expected value calculation requires many samples and is difficult to realize, the result of the expected value calculation is replaced with an instantaneous value in the LMS algorithm.
したがって、LMSアルゴリズムに基づくフィルタの更新式は、次式(22)に示すようになる。 Therefore, the update formula of the filter based on the LMS algorithm is shown in the following formula (22).
なお、式(22)において(i)は時間を示すインデックスを示している。例えばw(i)およびw(i+1)はともにフィルタ係数wを示しているが、フィルタ係数w(i+1)はフィルタ係数w(i)の更新後のものを示している。したがって(i)は、更新回数を示しているともいうことができる。 In equation (22), (i) indicates an index indicating time. For example, w (i) and w (i + 1) both indicate the filter coefficient w, but the filter coefficient w (i + 1) indicates the updated version of the filter coefficient w (i) . Therefore, it can be said that (i) indicates the number of updates.
また、式(22)においてμはステップサイズパラメータと呼ばれており、フィルタ係数wの更新量を調整するパラメータである。 Further, in the equation (22), μ is called a step size parameter, which is a parameter for adjusting the update amount of the filter coefficient w.
例えばステップサイズパラメータμが大きいときにはフィルタ係数wの収束は早くなるが、一方で発散しやすくなる。逆にステップサイズパラメータμが小さいときにはフィルタ係数wの収束は遅くなる一方で発散しにくくなる。 For example, when the step size parameter μ is large, the filter coefficient w converges quickly, but on the other hand, it tends to diverge. On the contrary, when the step size parameter μ is small, the convergence of the filter coefficient w becomes slow, but it becomes difficult to diverge.
さらに式(22)において、Gestは式(15)に示した行列Gの推定値、つまり推定された二次経路である。 Further, in Eq. (22), G est is an estimated value of the matrix G shown in Eq. (15), that is, an estimated quadratic path.
〈MIMO型の空間ノイズキャンセリングシステムの構成例〉
以上において説明したMIMOにより空間ノイズキャンセリングを行うMIMO型の空間ノイズキャンセリングシステムは、例えば図3に示すように構成される。
<Configuration example of MIMO type spatial noise canceling system>
The MIMO-type spatial noise canceling system that performs spatial noise canceling by MIMO described above is configured as shown in FIG. 3, for example.
図3に示す空間ノイズキャンセリングシステムは、参照マイクロホンアレイ11、エラーマイクロホンアレイ12、信号処理装置13、および高次スピーカアレイ14を有している。
The spatial noise canceling system shown in FIG. 3 includes a
なお、参照マイクロホンアレイ11、エラーマイクロホンアレイ12、および高次スピーカアレイ14は、図1に示した参照マイクロホンアレイRMA11、エラーマイクロホンアレイEMA11、および高次スピーカアレイSP11に対応する。
The
また、それらの参照マイクロホンアレイ11、エラーマイクロホンアレイ12、および高次スピーカアレイ14の配置も、図1に示した参照マイクロホンアレイRMA11、エラーマイクロホンアレイEMA11、および高次スピーカアレイSP11の配置と同様である。
Further, the arrangement of the
信号処理装置13は、参照マイクロホンアレイ11から供給された参照マイクロホン信号と、エラーマイクロホンアレイ12から供給されたエラーマイクロホン信号とに基づいてスピーカ駆動信号を生成し、高次スピーカアレイ14に供給する。
The
なお、参照マイクロホンアレイ11やエラーマイクロホンアレイ12が信号処理装置13に設けられるようにしてもよいし、高次スピーカアレイ14が信号処理装置13に設けられるようにしてもよい。
The
信号処理装置13は、時間周波数変換部21、時間周波数変換部22、制御部23、および時間周波数合成部24を有している。
The
時間周波数変換部21には、参照マイクロホンアレイ11が周囲の音を収音することで得られた時間領域の参照マイクロホン信号が供給される。
The time-
時間周波数変換部21は、参照マイクロホンアレイ11から供給された参照マイクロホン信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルである参照マイクロホン信号xを制御部23に供給する。例えば時間周波数変換部21は、時間周波数変換としてFFT(Fast Fourier Transform)を行うことで、参照マイクロホン信号を時間領域の信号から周波数領域の信号へと変換する。
The time-
時間周波数変換部22には、エラーマイクロホンアレイ12が周囲の音を収音することで得られた時間領域のエラーマイクロホン信号が供給される。
The error microphone signal in the time domain obtained by the error microphone array 12 picking up the ambient sound is supplied to the time
時間周波数変換部22は、エラーマイクロホンアレイ12から供給されたエラーマイクロホン信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルであるエラーマイクロホン信号eを制御部23に供給する。例えば時間周波数変換部22は、時間周波数変換としてFFTを行うことで、エラーマイクロホン信号を時間領域の信号から周波数領域の信号へと変換する。
The time-
制御部23は、時間周波数変換部21から供給された参照マイクロホン信号x、および時間周波数変換部22から供給されたエラーマイクロホン信号eに基づいて、周波数領域のスピーカ駆動信号を生成し、時間周波数合成部24に供給する。
The
制御部23は、フィルタリング部31、伝達関数乗算部32、およびフィルタ係数更新部33を有している。
The
フィルタリング部31は、時間周波数変換部21から供給された参照マイクロホン信号xに基づいて、上述の式(17)に示した行列Xを生成する。
The
また、フィルタリング部31は、得られた行列Xと、フィルタ係数更新部33から供給されたフィルタ係数wとに基づいてフィルタリング処理を行い、周波数領域のスピーカ駆動信号を生成し、時間周波数合成部24に供給する。フィルタリング処理では、行列Xとフィルタ係数wとが畳み込まれて式(16)に示したXwが求められる。これにより、上述したベクトルy(k)に対応するスピーカ駆動信号が得られる。
Further, the
このようにしてフィルタリング部31で生成されるスピーカ駆動信号は、点制御によりターゲット領域内の空間ノイズ音をキャンセルするためのものである。
The speaker drive signal generated by the
伝達関数乗算部32は、実際の測定等により予め求められた二次経路である行列Gestを保持している。この行列Gestは、高次スピーカアレイ14を構成する高次スピーカから、エラーマイクロホンアレイ12を構成するマイクロホンまでの伝達特性を示す伝達関数からなる。なお、行列Gestは、高次スピーカアレイ14等の配置が変わるたびに更新されるようにすることができる。
The transfer
伝達関数乗算部32は、時間周波数変換部21から供給された参照マイクロホン信号xから得られる行列Xと、保持している行列Gestとの積GestXを求め、フィルタ係数更新部33に供給する。このようにして得られる積GestXは、参照マイクロホン信号に伝達関数を乗算することで得られるものである。
The transfer
フィルタ係数更新部33は、伝達関数乗算部32から供給された積GestXと、現時点におけるフィルタ係数wと、時間周波数変換部22から供給されたエラーマイクロホン信号eとに基づいて式(22)の計算を行い、フィルタ係数wを更新する。
The filter
フィルタ係数更新部33は、更新後のフィルタ係数wをフィルタリング部31に供給する。なお、フィルタ係数wの更新は常時行われる必要はなく、一定の時間間隔など、適切なタイミングで行うようにすることができる。
The filter
時間周波数合成部24は、フィルタリング部31から供給された周波数領域のスピーカ駆動信号に対して時間周波数合成を行い、その結果得られた時間領域のスピーカ駆動信号を高次スピーカアレイ14に供給し、音を出力させる。
The time-
例えば時間周波数合成部24は、時間周波数合成としてIFFT(Inverse Fast Fourier Transform)を行うことで、スピーカ駆動信号を周波数領域の信号から時間領域の信号へと変換する。
For example, the time-
高次スピーカアレイ14は、時間周波数合成部24から供給されたスピーカ駆動信号に基づいて音を出力することで、ターゲット領域における空間ノイズ音をキャンセルし、ターゲット領域を対象とする空間ノイズキャンセリングを実現する。すなわち、複数の制御点において、高次スピーカアレイ14から出力された音により、空間ノイズ音が打ち消される。
The high-
以上のようにフィルタ係数wの更新を適宜、行いながら高次スピーカアレイ14から音を出力することで、空間ノイズキャンセリングが実現される。
Spatial noise canceling is realized by outputting sound from the high-
特に、図3に示したMIMO型の空間ノイズキャンセリングシステムによれば、高次スピーカアレイ14を用いることで、任意の指向性を有する音を出力することができるので、性能の高い空間ノイズキャンセリングを行うことができる。すなわち、より高い空間ノイズ低減効果を得ることができる。しかも、高次スピーカアレイ14を用いることで、省スペースで空間ノイズキャンセリングを実現することができる。
In particular, according to the MIMO-type spatial noise canceling system shown in FIG. 3, by using the high-
なお、空間ノイズキャンセリングに高次スピーカアレイ14を用いると説明したが、高次スピーカと、高次スピーカではない、単一の指向性のみを再現可能な通常のスピーカとを組み合わせて得られるスピーカアレイを用いるようにしてもよい。これは、MIMOに限らず、後述するMD-GMやMD-LMでも同様である。
Although it has been described that the high-
そのような場合、少なくとも1つの高次スピーカと、通常のスピーカとからなるスピーカアレイは、時間周波数合成部24から供給されたスピーカ駆動信号に基づいて音を出力することで、空間ノイズキャンセリングを実現する。
In such a case, the speaker array consisting of at least one high-order speaker and a normal speaker outputs sound based on the speaker drive signal supplied from the time-
このとき、例えば高次スピーカよりも径が大きい通常のスピーカを空間ノイズ音の低域成分のキャンセルに用いるなど、高次スピーカと、通常のスピーカとを異なる周波数帯域のキャンセルに用いるようにすると、より効果的である。 At this time, for example, a normal speaker having a diameter larger than that of the high-order speaker is used for canceling the low frequency component of the spatial noise sound, and the high-order speaker and the normal speaker are used for canceling different frequency bands. It is more effective.
ところで、図3に示したMIMO型の空間ノイズキャンセリングシステムでは、エラーマイクロホンアレイ12を構成する各マイクロホンのある地点(位置)における信号、つまり空間ノイズ音の最小化が目的である。すなわち、点制御によりターゲット領域を対象とする空間ノイズキャンセリングが行われる。 By the way, in the MIMO type spatial noise canceling system shown in FIG. 3, the purpose is to minimize the signal at a certain point (position) of each microphone constituting the error microphone array 12, that is, the spatial noise sound. That is, spatial noise canceling targeting the target area is performed by point control.
そのため、図3に示したMIMO型の空間ノイズキャンセリングシステムでは、エラーマイクロホンアレイ12を構成する各マイクロホンのある地点以外の場所での音圧の減少は保証されていない。 Therefore, in the MIMO-type spatial noise canceling system shown in FIG. 3, the reduction of the sound pressure at a place other than a certain point of each microphone constituting the error microphone array 12 is not guaranteed.
例えば「T. Nakashima and S. Ise. A theoretical study of the discretization of the boundary surface in the boundarysurface control principle. Acoustical science and technology, 27(4):199-205, 2006.」では、音の波長に比べて十分に小さい間隔で、エラーマイクロホンアレイ12を構成するマイクロホンが並べられている場合には、それらのマイクロホンのある地点以外でも音圧が減少することが報告されている。 For example, in "T. Nakashima and S. Ise. A theoretical study of the discretization of the boundary surface in the boundary surface control principle. Acoustical science and technology, 27 (4): 199-205, 2006." It has been reported that when the microphones constituting the error microphone array 12 are arranged at sufficiently small intervals, the sound pressure decreases even at points other than the points where the microphones are located.
しかしながら、後述するMD-LMやMD-GM、つまりモードドメインで誤差を最小化する方法と比較すると、空間ノイズキャンセリングの性能が劣ってしまう。 However, the performance of spatial noise canceling is inferior to that of MD-LM and MD-GM, which will be described later, that is, the method of minimizing the error in the mode domain.
また、図3に示したMIMO型の空間ノイズキャンセリングシステムでは、フィルタ係数wを更新しながらスピーカ駆動信号を生成する適応処理の演算量が多くなってしまう。 Further, in the MIMO type spatial noise canceling system shown in FIG. 3, the amount of calculation of the adaptive process for generating the speaker drive signal while updating the filter coefficient w becomes large.
すなわち、図3の例では、空間ノイズキャンセリングシステム全体の処理は、主にフィルタ係数wを用いたフィルタリング処理と、そのフィルタ係数wを更新するフィルタ係数更新処理に分けられる。 That is, in the example of FIG. 3, the processing of the entire spatial noise canceling system is mainly divided into a filtering processing using the filter coefficient w and a filter coefficient updating process for updating the filter coefficient w.
フィルタリング処理は、式(15)のWx、すなわち式(16)のXwを求める処理であり、これはQNl×Nr個の時間領域畳み込み処理に相当する。 The filtering process is a process of obtaining Wx of the equation (15), that is, Xw of the equation (16), which corresponds to a time domain convolution process of QN l × N r .
また、フィルタ係数更新処理は、式(22)に示した演算処理であり、このうちの最も演算量が多いのはGestXを求める演算である。 Further, the filter coefficient update process is the arithmetic process shown in the equation (22), and the operation for obtaining Gest X has the largest amount of arithmetic.
行列GestはNe×QNlであり、行列XはQNl×QNlNrであるから、仮に行列Xのゼロ行列部分の計算を行わないとしても、GestXを求める演算の演算量(計算量)は、周波数ごとにO(Ne(QNl)2Nr)となる。 Since the matrix G est is N e × QN l and the matrix X is QN l × QN l N r , even if the zero matrix part of the matrix X is not calculated, the computational complexity of the calculation for G est X is performed. (Computational complexity) is O (N e (QN l ) 2 N r ) for each frequency.
例としてNe=16、Q=16、Nl=6(すなわち総ドライバ数QNl=96)、Nr=16、バッファサイズとフィルタ長を1024サンプル、サンプリング周波数を48kHzとしたとき、48000/1024×513×16×962×16=5.7×1010となる。 As an example, when N e = 16, Q = 16, N l = 6 (that is, the total number of drivers QN l = 96), N r = 16, buffer size and filter length are 1024 samples, and sampling frequency is 48 kHz, 48000 / 1024 x 513 x 16 x 96 2 x 16 = 5.7 x 10 10 .
したがって、Cを定数としてC×5.7×1010回/秒の乗加算が必要となる。そのため、フィルタ係数wを更新する周波数を限定したり、更新の頻度を下げたりするなど、実際の演算量を減らす工夫はできるが、汎用のCPU(Central Processing Unit)といった通常のハードウェアにおいては空間ノイズキャンセリングの実現が困難となる。 Therefore, it is necessary to multiply and add C × 5.7 × 10 10 times / second with C as a constant. Therefore, it is possible to reduce the actual amount of calculation by limiting the frequency at which the filter coefficient w is updated or reducing the frequency of updating, but it is a space in normal hardware such as a general-purpose CPU (Central Processing Unit). It becomes difficult to realize noise canceling.
〈MD-GMについて〉
そこで、本技術では高次スピーカアレイを用いるだけでなく、モードドメイン(波数領域)においてフィルタリング処理とフィルタ係数更新処理を行うことで、省スペースかつ少ない演算量で、十分な性能の空間ノイズキャンセリングを実現できるようにした。
<About MD-GM>
Therefore, this technology not only uses a high-order speaker array, but also performs filtering processing and filter coefficient update processing in the mode domain (wavenumber region), which saves space and requires a small amount of calculation, and provides sufficient performance for spatial noise canceling. Was made possible.
このようにフィルタリング処理とフィルタ係数更新処理をモードドメインで行う手法が、グローバルモード適応アルゴリズム(MD-GM)である。 The global mode adaptation algorithm (MD-GM) is a method for performing filtering processing and filter coefficient updating processing in the mode domain in this way.
このMD-GMは、NWD-Mアルゴリズムにおいて高次スピーカを用いた状況下での自然な拡張である。なお、NWD-Mアルゴリズムについては、例えば「J. Zhang, T. D. Abhayapala, W. Zhang, P. N. Samarasinghe, and S. Jiang. Active noise control over space:A wave domain approach. IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP),26(4):774-786, 2018.」などに詳細に記載されている。 This MD-GM is a natural extension of the NWD-M algorithm in the context of using higher order speakers. For the NWD-M algorithm, for example, "J. Zhang, TD Abhayapala, W. Zhang, PN Samarasinghe, and S. Jiang. Active noise control over space: A wave domain approach. IEEE / ACM Transactions on Audio, Speech and Language Processing (TASLP), 26 (4): 774-786, 2018. "and so on."
また、MIMOが点制御であるのに対して、MD-GMはターゲット領域全体で音圧を減少させるエリア制御の空間ノイズキャンセリングとなっている。すなわち、エリア制御では、ターゲット領域全体における音の波面が、複数の高次スピーカを用いた波面合成によって目的とする波面となるようにスピーカ駆動信号が生成される。ここでいう目的とする波面とは、空間ノイズ音の波面が打ち消されるような波面である。 In addition, while MIMO is point control, MD-GM is area control spatial noise canceling that reduces the sound pressure over the entire target area. That is, in the area control, the speaker drive signal is generated so that the wavefront of the sound in the entire target region becomes the target wavefront by wavefield synthesis using a plurality of high-order speakers. The target wavefront here is a wavefront that cancels out the wavefront of spatial noise sound.
まず、準備として以下の式(23)および式(24)に示す変換行列を定義する。 First, as a preparation, the transformation matrices shown in the following equations (23) and (24) are defined.
なお、式(23)および式(24)において、A+は行列Aの擬似逆行列を表している。 In Eqs. (23) and (24), A + represents the pseudo-inverse matrix of the matrix A.
例えば式(14)に示したように、変換行列Tglは高次スピーカのローカルモード係数をグローバルモード係数へと変換する行列であるから、変換行列Tlgはグローバルモード係数を高次スピーカのローカルモード係数へと変換する行列となる。 For example, as shown in Eq. (14), since the transformation matrix T gl is a matrix that converts the local mode coefficient of the higher-order speaker into the global mode coefficient, the transformation matrix T lg converts the global mode coefficient to the local of the higher-order speaker. It becomes a matrix that is converted into a mode coefficient.
同様に、式(7)に示したように変換行列Tlsは高次スピーカの周波数領域の駆動信号yn_l、すなわちスピーカ駆動信号を、高次スピーカの各ドライバのローカルモード係数に変換する行列である。したがって、変換行列Tslは高次スピーカの各ドライバのローカルモード係数を、高次スピーカの周波数領域のスピーカ駆動信号に変換する行列となる。 Similarly, as shown in Eq. (7), the transformation matrix T ls is a matrix that converts the drive signal y n_l in the frequency domain of the high-order speaker, that is, the speaker drive signal into the local mode coefficient of each driver of the high-order speaker. be. Therefore, the transformation matrix T sl is a matrix that converts the local mode coefficient of each driver of the high-order speaker into the speaker drive signal in the frequency domain of the high-order speaker.
MD-GMでは、参照マイクロホン信号xが変換行列Tgrによりグローバルなモードドメインの信号、つまりグローバルモード係数に変換される。 In MD-GM, the reference microphone signal x is converted into a signal of the global mode domain, that is, a global mode coefficient by the transformation matrix T gr .
そして、得られたグローバルモード係数に対してフィルタ係数を用いたフィルタリング処理が行われ、そのフィルタ出力としてグローバルモード係数を得る。このときに得られるグローバルモード係数が、グローバルなモードドメインのスピーカ駆動信号である。 Then, a filtering process using the filter coefficient is performed on the obtained global mode coefficient, and the global mode coefficient is obtained as the filter output. The global mode coefficient obtained at this time is the speaker drive signal of the global mode domain.
その後、モードドメインのスピーカ駆動信号として得られたグローバルモード係数が変換行列Tlgにより各高次スピーカのローカルモード係数に変換される。さらにそのローカルモード係数が変換行列Tslにより、高次スピーカの各ドライバの周波数領域のスピーカ駆動信号に変換される。 After that, the global mode coefficient obtained as the speaker drive signal of the mode domain is converted into the local mode coefficient of each higher-order speaker by the transformation matrix T lg . Further, the local mode coefficient is converted into a speaker drive signal in the frequency domain of each driver of the higher-order speaker by the transformation matrix T sl .
このとき、エラーマイクロホン信号eは、次式(25)に示すように表すことができる。 At this time, the error microphone signal e can be expressed as shown in the following equation (25).
なお、式(25)において、dは式(15)における場合と同様に直接音の信号であり、Gは高次スピーカアレイSP11の高次スピーカから、エラーマイクロホンアレイEMA11を構成するマイクロホンまでの伝達関数を要素としてもつNe×QNlの行列である。 In the equation (25), d is a direct sound signal as in the equation (15), and G is a transmission from the high-order speaker of the high-order speaker array SP11 to the microphones constituting the error microphone array EMA11. It is a matrix of N e × QN l having a function as an element.
また、式(25)においてWGMはフィルタ係数であり、(2Mg+1)×(2Mg+1)の対角行列である。以下では、導出のために行列WGMを次式(26)に示すように定義する。 Further, in Eq. (25), W GM is a filter coefficient, which is a diagonal matrix of (2M g +1) × (2M g +1). In the following, the matrix W GM is defined as shown in the following equation (26) for derivation.
ここで、エラーマイクロホン信号eのグローバルモード係数e’は、変換行列Tgeとエラーマイクロホン信号eとから、次式(27)により求めることができる。 Here, the global mode coefficient e'of the error microphone signal e can be obtained from the transformation matrix T ge and the error microphone signal e by the following equation (27).
なお、式(27)において、d’=Tgedであり、g’=TgeGTslTlgであり、x’=Tgrxである。x’は参照マイクロホン信号xのグローバルモード係数である。高次スピーカが環状で等間隔に並べられた理想配置においては、TgeGTslTlgは対角行列に近似できる。よって、ここでは行列g’をTgeGTslTlgの対角成分だけを取り出した対角行列とする。 In equation (27), d'= T ge d, g'= T ge GT sl T lg , and x'= T gr x. x'is the global mode factor of the reference microphone signal x. In an ideal arrangement of high-order speakers arranged in a circle and evenly spaced, the T ge GT sl T lg can be approximated to a diagonal matrix. Therefore, here, the matrix g'is a diagonal matrix obtained by extracting only the diagonal components of T ge GT sl T lg .
また、式(27)においてX’は、グローバルモード係数x’の成分を対角に並べて得られる(2Mg+1)×(2Mg+1)の対角行列である。 Further, in the equation (27), X'is a diagonal matrix of (2M g +1) × (2M g +1) obtained by arranging the components of the global mode coefficient x'diagonally.
さらに、wGMは次式(28)に示すように、行列WGMの対角成分からなるベクトルであり、以下ではフィルタ係数wGMとも称する。 Further, w GM is a vector consisting of diagonal components of the matrix W GM as shown in the following equation (28), and is also referred to as a filter coefficient w GM below.
ここで、グローバルモード係数e’の二乗平均誤差Jglobalの最小化を考えると、次式(29)に示すようになる。 Here, considering the minimization of the root mean square error J global of the global mode coefficient e', it becomes as shown in the following equation (29).
したがって、二乗平均誤差Jglobalのフィルタ係数wGMに関する勾配は次式(30)に示すようになるので、LMSアルゴリズムに基づくフィルタの更新式は以下の式(31)に示すようになる。 Therefore, since the gradient with respect to the filter coefficient w GM of the root mean square error J global is shown in the following equation (30), the update equation of the filter based on the LMS algorithm is shown in the following equation (31).
なお、式(31)において(i)は時間を示すインデックスを示している。例えばwGM (i)およびwGM (i+1)はともにフィルタ係数wGMを示しているが、フィルタ係数wGM (i+1)はフィルタ係数wGM (i)の更新後のものを示している。したがって(i)は、更新回数を示しているともいうことができる。 In equation (31), (i) indicates an index indicating time. For example, w GM (i) and w GM (i + 1) both indicate the filter coefficient w GM , while the filter coefficient w GM (i + 1) indicates the updated version of the filter coefficient w GM (i) . ing. Therefore, it can be said that (i) indicates the number of updates.
また、式(31)においてμは式(22)における場合と同様のステップサイズパラメータである。さらに式(31)において、g’estは行列g’の推定値、つまり推定された二次経路(伝達関数)からなる行列である。 Further, in the equation (31), μ is the same step size parameter as in the equation (22). Further, in the equation (31), g'est is an estimated value of the matrix g', that is, a matrix consisting of the estimated quadratic path (transfer function).
〈MD-GM型の空間ノイズキャンセリングシステムの構成例〉
以上において説明したMD-GMにより空間ノイズキャンセリングを行うMD-GM型の空間ノイズキャンセリングシステムは、例えば図4に示すように構成される。なお、図4において図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
<Configuration example of MD-GM type spatial noise canceling system>
The MD-GM type spatial noise canceling system that performs spatial noise canceling by the MD-GM described above is configured as shown in FIG. 4, for example. In FIG. 4, the same reference numerals are given to the portions corresponding to those in FIG. 3, and the description thereof will be omitted as appropriate.
図4に示す空間ノイズキャンセリングシステムは、参照マイクロホンアレイ11、エラーマイクロホンアレイ12、信号処理装置61、および高次スピーカアレイ14を有している。
The spatial noise canceling system shown in FIG. 4 includes a
信号処理装置61は、時間周波数変換部21、時間周波数変換部22、制御部71、および時間周波数合成部24を有している。また、制御部71は、モード変換部81、フィルタリング部82、駆動信号生成部83、行列演算部84、モード変換部85、およびフィルタ係数更新部86を有している。
The
モード変換部81は、時間周波数変換部21から供給された参照マイクロホン信号xと、予め保持している変換行列Tgrとに基づいて、参照マイクロホン信号xをグローバルモード係数x’に変換し、フィルタリング部82および行列演算部84に供給する。
The
フィルタリング部82は、モード変換部81から供給されたグローバルモード係数x’と、フィルタ係数更新部86から供給されたフィルタ係数wGMとに基づいて、波数領域でのフィルタリング処理を行う。すなわち、フィルタリング部82では、グローバルモード係数x’に対してフィルタ係数wGMを用いたフィルタリング処理が行われてスピーカ駆動信号が生成される。
The
フィルタリング部82は、フィルタリング処理により得られたグローバルなモードドメイン(波数領域)のスピーカ駆動信号を駆動信号生成部83に供給する。このようにしてフィルタリング部82で生成されるスピーカ駆動信号は、ターゲット領域へと伝搬する空間ノイズ音をエリア制御によりキャンセルするためのものである。
The
駆動信号生成部83は、フィルタリング部82から供給されたスピーカ駆動信号と、予め保持している変換行列Tlgおよび変換行列Tslに基づいて、周波数領域のスピーカ駆動信号、つまり高次スピーカの各ドライバの駆動信号を生成し、時間周波数合成部24に供給する。
The drive
駆動信号生成部83では、グローバルなモードドメインのスピーカ駆動信号、つまりグローバルモード係数を、変換行列Tlgによりローカルなモードドメインのスピーカ駆動信号、つまりローカルモード係数に変換する変換処理と、ローカルなモードドメインのスピーカ駆動信号を変換行列Tslにより周波数領域のスピーカ駆動信号に変換する変換処理とが行われる。
The drive
なお、駆動信号生成部83では、これらの変換処理が順番に行われてもよいし、同時に行われてもよい。さらに、これらの変換処理と、時間周波数合成とが駆動信号生成部83において同時に行われるようにしてもよい。
In the drive
行列演算部84は、予め求められた行列g’estを保持している。この行列g’estは、高次スピーカアレイ14を構成する高次スピーカから、エラーマイクロホンアレイ12を構成するマイクロホンまでの伝達特性(二次経路)の推定値を示している。なお、行列g’estは、高次スピーカアレイ14等の配置が変わるたびに更新されるようにすることができる。
The
行列演算部84は、モード変換部81から供給されたグローバルモード係数x’から得られる行列X’と、保持している行列g’estとの積g’estX’を求め、フィルタ係数更新部86に供給する。
The
モード変換部85は、時間周波数変換部22から供給されたエラーマイクロホン信号eと、予め保持している変換行列Tgeとに基づいて、エラーマイクロホン信号eをグローバルモード係数e’に変換し、フィルタ係数更新部86に供給する。
The
フィルタ係数更新部86は、行列演算部84から供給された積g’estX’と、現時点におけるフィルタ係数wGMと、モード変換部85から供給されたグローバルモード係数e’とに基づいてフィルタ係数wGMを更新する。フィルタ係数更新部86は、更新後のフィルタ係数wGMをフィルタリング部82に供給する。なお、フィルタ係数wGMの更新は常時行われる必要はなく、一定の時間間隔など、適切なタイミングで行うようにすることができる。
The filter
ここでは、フィルタリング部82、行列演算部84、およびフィルタ係数更新部86において行われる処理が波数領域処理、つまりモードドメインでの演算処理となっている。
Here, the processing performed by the
〈空間ノイズキャンセリング処理の説明〉
続いて、図4に示したMD-GM型の空間ノイズキャンセリングシステムの動作について説明する。すなわち、以下、図5のフローチャートを参照して、空間ノイズキャンセリングシステムによる空間ノイズキャンセリング処理について説明する。
<Explanation of spatial noise canceling processing>
Subsequently, the operation of the MD-GM type spatial noise canceling system shown in FIG. 4 will be described. That is, the spatial noise canceling process by the spatial noise canceling system will be described below with reference to the flowchart of FIG.
なお、空間ノイズキャンセリング処理が開始されると、参照マイクロホンアレイ11は周囲の音を収音し、その結果得られた時間領域の参照マイクロホン信号を、逐次、時間周波数変換部21へと供給する。また、エラーマイクロホンアレイ12は、周囲の音を収音し、その結果得られた時間領域のエラーマイクロホン信号を、逐次、時間周波数変換部22へと供給する。
When the spatial noise canceling process is started, the
ステップS11において時間周波数変換部21は、参照マイクロホンアレイ11から供給された参照マイクロホン信号に対して時間周波数変換を行い、その結果得られた参照マイクロホン信号xをモード変換部81に供給する。例えばステップS11では、時間周波数変換としてFFTが行われる。
In step S11, the time-
ステップS12においてモード変換部81は、時間周波数変換部21から供給された参照マイクロホン信号xを変換行列Tgrによりグローバルモード係数x’に変換し、フィルタリング部82および行列演算部84に供給する。すなわち、ステップS12では変換行列Tgrと参照マイクロホン信号xの積Tgrxが求められ、グローバルモード係数x’とされる。
In step S12, the
ステップS13において時間周波数変換部22は、エラーマイクロホンアレイ12から供給されたエラーマイクロホン信号に対して時間周波数変換を行い、その結果得られたエラーマイクロホン信号eをモード変換部85に供給する。例えばステップS13では、時間周波数変換としてFFTが行われる。
In step S13, the time-
ステップS14においてモード変換部85は、時間周波数変換部22から供給されたエラーマイクロホン信号eを変換行列Tgeによりグローバルモード係数e’に変換し、フィルタ係数更新部86に供給する。すなわち、ステップS14では変換行列Tgeとエラーマイクロホン信号eの積Tgeeが求められ、グローバルモード係数e’とされる。
In step S14, the
ステップS15においてフィルタリング部82は、モード変換部81から供給されたグローバルモード係数x’と、フィルタ係数更新部86から供給されたフィルタ係数wGMとに基づいて、波数領域(モードドメイン)でのフィルタリング処理を行う。
In step S15, the
すなわち、フィルタリング部82はグローバルモード係数x’に基づいて、上述の式(27)に示した行列X’を生成し、その行列X’とフィルタ係数wGMとの積X’wGMを求めることで得られるグローバルモード係数を波数領域のスピーカ駆動信号とする。フィルタリング部82は、このようにして得られたスピーカ駆動信号を駆動信号生成部83に供給する。
That is, the
フィルタリング部82では、式(27)に示したWGMTgrx=X’wGMがスピーカ駆動信号として求められるが、フィルタ係数の行列WGMは対角行列であるため、少ない演算量でスピーカ駆動信号を得ることができる。このような演算量の削減は、フィルタリング処理を波数領域(モードドメイン)で行うことにより実現できる。
In the
ステップS16において駆動信号生成部83は、フィルタリング部82から供給されたスピーカ駆動信号と、変換行列Tlgおよび変換行列Tslとに基づいて周波数領域のスピーカ駆動信号を生成し、時間周波数合成部24に供給する。
In step S16, the drive
すなわち、駆動信号生成部83は、スピーカ駆動信号X’wGM、変換行列Tlg、および変換行列Tslの積TslTlgX’wGMを計算し、その計算結果を周波数領域のスピーカ駆動信号とする。
That is, the drive
積TslTlgX’wGMを求める計算(演算)時には、駆動信号生成部83は少なくとも高次スピーカの1次以上の所定次数の放射パターンに対応する項、つまり環状調和関数の基底のインデックスに対応する項まで演算を行う。
At the time of calculation (calculation) to obtain the product T sl T lg X'w GM , the
ここでは、変換行列Tlgや変換行列Tslにおけるインデックス(m_l)が環状調和関数の基底のインデックスに対応している。したがって、例えば最大次数Ml=1である場合には、高次スピーカの0次の放射パターンと、高次スピーカの1次の放射パターンとを組み合わせて得られる指向性の音の波面をターゲット領域に形成することができる。 Here, the index (m_l) in the transformation matrix T lg and the transformation matrix T sl corresponds to the base index of the circular harmonic function. Therefore, for example, when the maximum order M l = 1, the wavefront of the directional sound obtained by combining the 0th-order radiation pattern of the high-order speaker and the 1st-order radiation pattern of the high-order speaker is the target region. Can be formed into.
同様に、最大次数Ml=2である場合には、高次スピーカの0次の放射パターン乃至2次の放射パターンを組み合わせて得られる指向性の音の波面をターゲット領域に形成することができる。 Similarly, when the maximum order M l = 2, a directional sound wavefront obtained by combining the 0th-order radiation pattern or the 2nd-order radiation pattern of the high-order speaker can be formed in the target region. ..
駆動信号生成部83では、最大次数Mlが1以上とされて周波数領域のスピーカ駆動信号が求められる。このようにすることで、より多くの放射パターンを組み合わせて適切な波面をターゲット領域に形成し、空間ノイズキャンセリングの性能を向上させることができる。
In the drive
ステップS17において時間周波数合成部24は、駆動信号生成部83から供給された周波数領域のスピーカ駆動信号に対して時間周波数合成を行い、その結果得られた時間領域のスピーカ駆動信号を高次スピーカアレイ14に供給する。例えばステップS17では、時間周波数合成としてIFFTが行われる。
In step S17, the time
ステップS18において高次スピーカアレイ14は、時間周波数合成部24から供給されたスピーカ駆動信号に基づいて音を出力し、ターゲット領域に空間ノイズ音をキャンセルする音の波面を形成する。すなわち、空間ノイズ音をキャンセルする音が出力される。
In step S18, the high-
これにより、高次スピーカアレイ14により囲まれるターゲット領域では、外部から伝搬してきた音(空間ノイズ音)がキャンセルされて聞こえなくなる。
As a result, in the target region surrounded by the high-
ステップS19において制御部71は、フィルタ係数wGMを更新するか否かを判定する。
In step S19, the
ステップS19においてフィルタ係数wGMを更新しないと判定された場合、ステップS20およびステップS21の処理は行われず、その後、処理はステップS22へと進む。 If it is determined in step S19 that the filter coefficient w GM is not updated, the processing of step S20 and step S21 is not performed, and then the processing proceeds to step S22.
これに対して、ステップS19においてフィルタ係数wGMを更新すると判定された場合、処理はステップS20へと進む。 On the other hand, if it is determined in step S19 that the filter coefficient w GM is to be updated, the process proceeds to step S20.
ステップS20において行列演算部84は、モード変換部81から供給されたグローバルモード係数x’に対して、保持している行列g’estに基づく行列演算を行う。すなわち、行列演算部84は、グローバルモード係数x’に基づいて行列X’を生成し、その行列X’と行列g’estとの積g’estX’を求めてフィルタ係数更新部86に供給する。
In step S20, the
行列g’estは対角行列であるから、行列演算部84では少ない演算量でg’estX’を求めることが可能である。特に、フィルタ係数を更新する処理では、フィルタ係数更新部86での演算よりも行列演算部84での演算の方が演算量が多いことから、行列演算部84での演算量を削減することの効果は大きい。このような演算量の削減は、フィルタ係数更新処理を波数領域(モードドメイン)で行うことにより実現できる。
Since the matrix g'est is a diagonal matrix, the
ステップS21においてフィルタ係数更新部86は、行列演算部84から供給された積g’estX’と、現時点におけるフィルタ係数wGMと、モード変換部85から供給されたグローバルモード係数e’とに基づいてフィルタ係数wGMを更新する。
In step S21, the filter
すなわち、フィルタ係数更新部86は上述した式(31)に示した更新式を計算することでフィルタ係数wGMを更新し、更新後のフィルタ係数wGMをフィルタリング部82に供給する。フィルタ係数wGMが更新されると、その後、処理はステップS22へと進む。
That is, the filter
ステップS21の処理が行われたか、またはステップS19においてフィルタ係数wGMを更新しないと判定された場合、ステップS22において制御部71は、処理を終了するか否かを判定する。例えばステップS22では、空間ノイズキャンセリングを終了する場合に処理を終了すると判定される。
If the process of step S21 is performed or it is determined in step S19 that the filter coefficient w GM is not updated, the
ステップS22においてまだ処理を終了しないと判定された場合、処理はステップS11に戻り、上述した処理が繰り返し行われる。 If it is determined in step S22 that the process has not yet been completed, the process returns to step S11, and the above-mentioned process is repeated.
これに対して、ステップS22において処理を終了すると判定された場合、空間ノイズキャンセリングシステムの各部は行っている動作を停止させ、空間ノイズキャンセリング処理は終了する。 On the other hand, when it is determined in step S22 that the processing is terminated, each part of the spatial noise canceling system stops the operation being performed, and the spatial noise canceling processing is terminated.
以上のようにして空間ノイズキャンセリングシステムは、波数領域でフィルタリング処理およびフィルタ係数更新処理を行いながら高次スピーカアレイ14から音を出力する。
As described above, the spatial noise canceling system outputs sound from the high-
このように波数領域でフィルタリング処理およびフィルタ係数更新処理を行うことで、演算量を低減させることができ、また高次スピーカアレイ14を用いることで省スペースで高性能な空間ノイズキャンセリングを実現することができる。すなわち、MD-GM型の空間ノイズキャンセリングシステムによれば、省スペースかつ少ない演算量で高性能な空間ノイズキャンセリングを実現することができる。
By performing the filtering process and the filter coefficient update process in the wavenumber region in this way, the amount of calculation can be reduced, and by using the high-
〈第2の実施の形態〉
〈MD-LMについて〉
ところで、MD-GMでは二次経路の推定値、すなわち行列g’の推定値として行列g’estが用いられるが、行列g’を推定することは容易ではない。
<Second embodiment>
<About MD-LM>
By the way, in MD-GM, the matrix g'est is used as the estimated value of the quadratic path, that is, the estimated value of the matrix g', but it is not easy to estimate the matrix g'.
通常、二次経路の推定はインパルス応答の測定によって行われるが、直接測定される値は行列Gである。したがって、アルゴリズムごとに行列Gを適切な二次経路の形式に変換する必要がある。つまり、MD-GMでは行列Gを行列g’estへと変換する必要がある。 The estimation of the secondary path is usually done by measuring the impulse response, but the directly measured value is the matrix G. Therefore, it is necessary to convert the matrix G into an appropriate quadratic path format for each algorithm. In other words, in MD-GM, it is necessary to convert the matrix G to the matrix g'est .
上述したように、MD-GMでは二次経路の推定値である行列g’estはg’est=TgeGTslTlgで定義されているが、適切な行列g’estを得ることは困難である。 As mentioned above, in MD-GM, the matrix g'est , which is an estimated value of the quadratic path, is defined by g'est = T ge GT sl T lg , but it is difficult to obtain an appropriate matrix g'est . Is.
すなわち、例えば測定雑音無しの自由空間、つまり理想環境では対角行列となる行列g’est=TgeGTslTlgが、実環境においては対角行列とはならないことがある。また、実測ができない変換行列Tglに理想環境からの誤差がある場合には、空間ノイズキャンセリングの性能低下が生じやすくなってしまう。 That is, for example, the matrix g'est = T ge GT sl T lg , which is a diagonal matrix in a free space without measurement noise, that is, in an ideal environment, may not be a diagonal matrix in a real environment. In addition, if the transformation matrix T gl , which cannot be actually measured, has an error from the ideal environment, the performance of spatial noise canceling tends to deteriorate.
そこで、フィルタ係数更新処理のみ波数領域で行うようにすることで、MD-GMにおいて生じる二次経路推定の難しさを解決し、より高性能な空間ノイズキャンセリングを実現できるようにしてもよい。 Therefore, by performing only the filter coefficient update process in the wavenumber region, the difficulty of secondary path estimation that occurs in MD-GM may be solved, and higher-performance spatial noise canceling may be realized.
ローカルモード適応アルゴリズム(MD-LM)は、フィルタ係数更新処理のみを波数領域で行うことで、より適切な二次経路を利用して、より高性能な空間ノイズキャンセリングを実現可能なアルゴリズムである。 The local mode adaptation algorithm (MD-LM) is an algorithm that can realize higher-performance spatial noise canceling by using a more appropriate secondary path by performing only the filter coefficient update process in the wavenumber region. ..
まず、MD-LM導出の過程について説明する。 First, the process of deriving MD-LM will be described.
フィルタ係数からなる(2Ml+1)Nl×(2Mg+1)の行列をWLMとすると、エラーマイクロホン信号eは次式(32)に示すように表すことができる。なお、変換行列Tslと変換行列Tgrは式(25)における場合と同様である。 Assuming that the matrix of (2M l +1) N l × (2M g +1) consisting of the filter coefficients is W LM , the error microphone signal e can be expressed as shown in the following equation (32). The transformation matrix T sl and the transformation matrix T gr are the same as in the case of Eq. (25).
ここで、行列WLMは、入力をグローバルモード係数とし、出力を高次スピーカのローカルモード係数とする線形システムである。エラーマイクロホン信号eのグローバルモード係数e’は次式(33)により求めることができる。 Here, the matrix W LM is a linear system in which the input is a global mode coefficient and the output is a local mode coefficient of a high-order speaker. The global mode coefficient e'of the error microphone signal e can be obtained by the following equation (33).
なお、式(33)において、d’=Tgedであり、g’=TgeGTslTlgであり、x’=Tgrxである。また、x’は参照マイクロホン信号xのグローバルモード係数である。 In equation (33), d'= T ge d, g'= T ge GT sl T lg , and x'= T gr x. Also, x'is the global mode coefficient of the reference microphone signal x.
のちの導出を簡単にするため、X’とwLMを以下の式(34)および式(35)に示すように定義する。なお、式(34)においてzはゼロベクトルを表している。 To simplify later derivation, X'and w LM are defined as shown in equations (34) and (35) below. In equation (34), z represents a zero vector.
MD-GMにおける場合と同様にグローバルモード係数e’の二乗平均誤差Jglobalを計算すると、次式(36)に示すようになる。 When the root mean square error J global of the global mode coefficient e'is calculated as in the case of MD-GM, it becomes as shown in the following equation (36).
したがって、二乗平均誤差Jglobalのフィルタ係数wLMに関する勾配は次式(37)に示すようになるので、LMSアルゴリズムに基づくフィルタの更新式は式(38)に示すようになる。 Therefore, since the gradient with respect to the filter coefficient w LM of the root mean square error J global is shown in the following equation (37), the update equation of the filter based on the LMS algorithm is shown in the equation (38).
なお、式(38)において(i)は時間を示すインデックスを示している。例えばwLM (i)およびwLM (i+1)はともにフィルタ係数wLMを示しているが、フィルタ係数wLM (i+1)はフィルタ係数wLM (i)の更新後のものを示している。したがって(i)は、更新回数を示しているともいうことができる。また、式(38)においてμは式(22)における場合と同様のステップサイズパラメータである。 In equation (38), (i) indicates an index indicating time. For example, w LM (i) and w LM (i + 1) both indicate the filter coefficient w LM , while the filter coefficient w LM (i + 1) indicates the updated version of the filter coefficient w LM (i) . ing. Therefore, it can be said that (i) indicates the number of updates. Further, in the equation (38), μ is the same step size parameter as in the equation (22).
さらに式(38)においては、実測で得られる二次経路を用いることができる。 Further, in the formula (38), a secondary route obtained by actual measurement can be used.
すなわち、MD-LMにおける二次経路は式(33)からg’Tgl=TgeGTslであり、変換行列Tgeおよび変換行列Tslはアルゴリズムを実行する際に自ら設定する定数行列であるので、正確な行列Gが得られていれば二次経路を正確に求めることができる。また、変換行列Tslは、その逆特性である変換行列Tlsが高次スピーカの各ドライバから周囲の環状マイクロホンアレイへのインパルス応答計測によって測定可能であるから、実測値を用いて計算することもできる。 That is, the quadratic path in MD-LM is g'T gl = T ge GT sl from Eq. (33), and the transformation matrix T ge and the transformation matrix T sl are constant matrices that are set by themselves when executing the algorithm. Therefore, if an accurate matrix G is obtained, the quadratic path can be obtained accurately. In addition, the transformation matrix T sl , which is the inverse characteristic of the transformation matrix T ls , can be measured by measuring the impulse response from each driver of the higher-order speaker to the surrounding annular microphone array, so it should be calculated using the measured values. You can also.
〈MD-LM型の空間ノイズキャンセリングシステムの構成例〉
以上において説明したMD-LMにより空間ノイズキャンセリングを行うMD-LM型の空間ノイズキャンセリングシステムは、例えば図6に示すように構成される。なお、図6において図4における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
<Configuration example of MD-LM type spatial noise canceling system>
The MD-LM type spatial noise canceling system that performs spatial noise canceling by MD-LM described above is configured as shown in FIG. 6, for example. In FIG. 6, the same reference numerals are given to the portions corresponding to those in FIG. 4, and the description thereof will be omitted as appropriate.
図6に示す空間ノイズキャンセリングシステムは、参照マイクロホンアレイ11、エラーマイクロホンアレイ12、信号処理装置121、および高次スピーカアレイ14を有している。
The spatial noise canceling system shown in FIG. 6 includes a
信号処理装置121は、時間周波数変換部21、時間周波数変換部22、制御部131、および時間周波数合成部24を有している。また、制御部131は、モード変換部81、フィルタリング部141、駆動信号生成部142、行列演算部143、モード変換部85、およびフィルタ係数更新部144を有している。
The
フィルタリング部141は、モード変換部81から供給されたグローバルモード係数x’と、フィルタ係数更新部144から供給されたフィルタ係数wLMとに基づいてフィルタリング処理を行う。すなわち、フィルタリング部141では、グローバルモード係数x’に対してフィルタ係数wLMを用いたフィルタリング処理が行われてスピーカ駆動信号が生成される。
The
フィルタリング部141は、フィルタリング処理により得られたローカルなモードドメイン(波数領域)のスピーカ駆動信号、すなわち高次スピーカのローカルモード係数を駆動信号生成部142に供給する。このようにしてフィルタリング部141で生成されるスピーカ駆動信号は、ターゲット領域へと伝搬する空間ノイズ音をエリア制御によりキャンセルするためのものである。
The
駆動信号生成部142は、フィルタリング部141から供給されたスピーカ駆動信号と、予め保持している変換行列Tslに基づいて周波数領域のスピーカ駆動信号、つまり高次スピーカの各ドライバの駆動信号を生成し、時間周波数合成部24に供給する。駆動信号生成部142では、ローカルなモードドメインのスピーカ駆動信号、つまりローカルモード係数を変換行列Tslにより周波数領域のスピーカ駆動信号に変換する変換処理が行われる。
The drive
行列演算部143は、実際の測定等により予め求められた行列g’estTglを保持している。この行列g’estTglは、高次スピーカアレイ14を構成する高次スピーカから、エラーマイクロホンアレイ12を構成するマイクロホンまでの伝達特性(二次経路)の推定値を示している。なお、行列g’estTglは、高次スピーカアレイ14等の配置が変わるたびに更新されるようにすることができる。
The
行列演算部143は、モード変換部81から供給されたグローバルモード係数x’から得られる行列X’と、保持している行列g’estTglとの積g’estTglX’を求め、フィルタ係数更新部144に供給する。
The
フィルタ係数更新部144は、行列演算部143から供給された積g’estTglX’と、現時点におけるフィルタ係数wLMと、モード変換部85から供給されたグローバルモード係数e’とに基づいてフィルタ係数wLMを更新する。フィルタ係数更新部144は、更新後のフィルタ係数wLMをフィルタリング部141に供給する。なお、フィルタ係数wLMの更新は常時行われる必要はなく、一定の時間間隔など、適切なタイミングで行うようにすることができる。
The filter
ここでは、行列演算部143およびフィルタ係数更新部144において行われる処理が波数領域処理、つまりモードドメインでの演算処理となっている。
Here, the processing performed by the
また、MD-LMでは高次スピーカアレイ14を構成する高次スピーカの配置は環状配置に限らず、任意の配置とすることができる。すなわち、複数の高次スピーカを環状とは異なる任意の形状に並べて得られるスピーカアレイを高次スピーカアレイ14として用いることができる。したがって、MD-LMでは、より自由度の高い高次スピーカアレイ14配置を実現することができる。
Further, in the MD-LM, the arrangement of the high-order speakers constituting the high-
〈空間ノイズキャンセリング処理の説明〉
続いて、図6に示したMD-LM型の空間ノイズキャンセリングシステムの動作について説明する。すなわち、以下、図7のフローチャートを参照して、空間ノイズキャンセリングシステムによる空間ノイズキャンセリング処理について説明する。
<Explanation of spatial noise canceling processing>
Subsequently, the operation of the MD-LM type spatial noise canceling system shown in FIG. 6 will be described. That is, the spatial noise canceling process by the spatial noise canceling system will be described below with reference to the flowchart of FIG. 7.
なお、ステップS51乃至ステップS54の処理は図5のステップS11乃至ステップS14の処理と同様であるので、その説明は省略する。 Since the processing of steps S51 to S54 is the same as the processing of steps S11 to S14 of FIG. 5, the description thereof will be omitted.
ステップS55においてフィルタリング部141は、モード変換部81から供給されたグローバルモード係数x’と、フィルタ係数更新部144から供給されたフィルタ係数wLMとに基づいてフィルタリング処理を行う。
In step S55, the
すなわち、フィルタリング部141は、グローバルモード係数x’に基づいて上述の式(34)に示した行列X’を生成し、その行列X’とフィルタ係数wLMとの積X’wLMを求めることで得られるローカルモード係数をスピーカ駆動信号とする。フィルタリング部141は、このようにして得られたスピーカ駆動信号を駆動信号生成部142に供給する。
That is, the
ステップS56において駆動信号生成部142は、フィルタリング部141から供給されたスピーカ駆動信号と、変換行列Tslとに基づいて周波数領域のスピーカ駆動信号を生成し、時間周波数合成部24に供給する。
In step S56, the drive
すなわち、駆動信号生成部142は、スピーカ駆動信号X’wLMと変換行列Tslの積TslX’wLMを計算し、その計算結果を周波数領域のスピーカ駆動信号とする。積TslX’wLMを求める計算(演算)時には、少なくとも高次スピーカの1次以上の所定次数の放射パターンに対応する項まで演算が行われる。
That is, the drive
周波数領域のスピーカ駆動信号が生成されると、その後、ステップS57およびステップS58の処理が行われるが、これらの処理は図5のステップS17およびステップS18の処理と同様であるので、その説明は省略する。 When the speaker drive signal in the frequency domain is generated, the processes of steps S57 and S58 are subsequently performed, but since these processes are the same as the processes of steps S17 and S18 of FIG. 5, the description thereof is omitted. do.
ステップS59において制御部131は、フィルタ係数wLMを更新するか否かを判定する。
In step S59, the
ステップS59においてフィルタ係数wLMを更新しないと判定された場合、ステップS60およびステップS61の処理は行われず、その後、処理はステップS62へと進む。 If it is determined in step S59 that the filter coefficient w LM is not updated, the processing of steps S60 and S61 is not performed, and then the processing proceeds to step S62.
これに対して、ステップS59においてフィルタ係数wLMを更新すると判定された場合、処理はステップS60へと進む。 On the other hand, if it is determined in step S59 that the filter coefficient w LM is to be updated, the process proceeds to step S60.
ステップS60において行列演算部143は、モード変換部81から供給されたグローバルモード係数x’に対して、保持している行列g’estTglに基づく行列演算を行う。すなわち、行列演算部143は、グローバルモード係数x’に基づいて行列X’を生成し、その行列X’と行列g’estTglとの積g’estTglX’を求めてフィルタ係数更新部144に供給する。
In step S60, the
行列演算部143における行列演算も上述した行列演算部84における行列演算と同様に、波数領域(モードドメイン)における演算であり、演算量を削減することができる。
The matrix operation in the
ステップS61においてフィルタ係数更新部144は、行列演算部143から供給された積g’estTglX’と、現時点におけるフィルタ係数wLMと、モード変換部85から供給されたグローバルモード係数e’とに基づいてフィルタ係数wLMを更新する。
In step S61, the filter
すなわち、フィルタ係数更新部144は上述した式(38)に示した更新式と同様の計算を行うことでフィルタ係数wLMを更新し、更新後のフィルタ係数wLMをフィルタリング部141に供給する。フィルタ係数wLMが更新されると、その後、処理はステップS62へと進む。ステップS60およびステップS61では、MD-GMにおける場合と同様に、波数領域(モードドメイン)でフィルタ係数更新処理が行われる。
That is, the filter
ステップS61の処理が行われたか、またはステップS59においてフィルタ係数wLMを更新しないと判定された場合、ステップS62において制御部131は、処理を終了するか否かを判定する。
If the process of step S61 is performed or it is determined in step S59 that the filter coefficient w LM is not updated, the
ステップS62においてまだ処理を終了しないと判定された場合、処理はステップS51に戻り、上述した処理が繰り返し行われる。 If it is determined in step S62 that the process has not yet been completed, the process returns to step S51, and the above-mentioned process is repeated.
これに対して、ステップS62において処理を終了すると判定された場合、空間ノイズキャンセリングシステムの各部は行っている動作を停止させ、空間ノイズキャンセリング処理は終了する。 On the other hand, when it is determined in step S62 that the processing is terminated, each part of the spatial noise canceling system stops the operation being performed, and the spatial noise canceling processing is terminated.
以上のようにして空間ノイズキャンセリングシステムは、波数領域でフィルタ係数更新処理を行いながら高次スピーカアレイ14から音を出力する。このようにすることで演算量を低減させることができ、また高次スピーカアレイ14を用いることで省スペースで高性能な空間ノイズキャンセリングを実現することができる。すなわち、MD-LM型の空間ノイズキャンセリングシステムによれば、省スペースかつ少ない演算量で高性能な空間ノイズキャンセリングを実現することができる。
As described above, the spatial noise canceling system outputs sound from the high-
〈演算量の比較について〉
以上においては、空間ノイズキャンセリングのアルゴリズムとして、MIMO、MD-GM、およびMD-LMについて説明した。ここで、これらのMIMO、MD-GM、およびMD-LMにおける演算量について説明する。
<Comparison of arithmetic amount>
In the above, MIMO, MD-GM, and MD-LM have been described as spatial noise canceling algorithms. Here, the amount of computation in these MIMO, MD-GM, and MD-LM will be described.
上述したように空間ノイズキャンセリング時の処理は、大きく分けてフィルタリング処理とフィルタ係数更新処理に分けられる。 As described above, the processing at the time of spatial noise canceling can be roughly divided into a filtering process and a filter coefficient updating process.
フィルタリング処理では、高速かつ低遅延な処理が求められ、FPGA(Field Programmable Gate Array)やDSP(Digital Signal Processor)ボードを用いた実装を行う必要がある。一方で、フィルタ係数更新処理で許される遅延はフィルタリング処理に比べると大きく、汎用プロセッサによる実装も考えられる。 High-speed and low-delay processing is required for filtering processing, and it is necessary to implement it using an FPGA (Field Programmable Gate Array) or DSP (Digital Signal Processor) board. On the other hand, the delay allowed in the filter coefficient update process is larger than that in the filtering process, and implementation by a general-purpose processor is also conceivable.
図8にMIMO、MD-GM、およびMD-LMについて、フィルタの形状(次元)とフィルタリング処理に要する1サンプルごとの演算量(計算量)を示す。 FIG. 8 shows the shape (dimension) of the filter and the amount of calculation (calculation amount) for each sample required for the filtering process for MIMO, MD-GM, and MD-LM.
図8に示されるようにMIMOでは、フィルタの次元はQNl×Nrであり、フィルタリング処理の演算量はO(NtapQNlNr)である。また、MD-GMではフィルタの次元は(2Mg+1)×(2Mg+1)であり、フィルタリング処理の演算量はO(Ntap(2Mg+1))である。さらにMD-LMではフィルタの次元は(2Mg+1)×Nl(2Ml+1)であり、フィルタリング処理の演算量はO(Ntap(2Mg+1)(2Ml+1)Nl)である。ここでNtapはフィルタ長である。 As shown in FIG. 8, in MIMO, the dimension of the filter is QN l × N r , and the operation amount of the filtering process is O (N tap QN l N r ). In MD-GM, the dimension of the filter is (2M g +1) × (2M g +1), and the calculation amount of the filtering process is O (N tap (2M g +1)). Furthermore, in MD-LM, the dimension of the filter is (2M g +1) × N l (2M l +1), and the operation amount of the filtering process is O (N tap (2M g +1) (2M l +1) N. l ). Where N tap is the filter length.
したがって、例えばフィルタ長Ntap=1024、高次スピーカアレイ14の総ドライバ数QNl=192、参照マイクロホンアレイ11のマイクロホン数Nr=48、グローバルモードの最大次数Mg=14、ローカルモードの最大次数Ml=2、および高次スピーカアレイ14の高次スピーカ数Nl=12とすると、各モードの演算量は以下のようになる。
Therefore, for example, the filter length N tap = 1024, the total number of drivers of the high-
すなわち、MIMOにおけるフィルタリング処理の演算量O(NtapQNlNr)は約9.4×106となる。これに対して、MD-GMにおけるフィルタリング処理の演算量O(Ntap(2Mg+1))は約3.0×104となり、MD-LMにおけるフィルタリング処理の演算量O(Ntap(2Mg+1)(2Ml+1)Nl)は約1.8×106となる。 That is, the calculation amount O (N tap QN l N r ) of the filtering process in MIMO is about 9.4 × 10 6 . On the other hand, the calculation amount O (N tap (2M g +1)) of the filtering process in MD-GM is about 3.0 × 10 4 , and the calculation amount O (N tap (2M g +)) of the filtering process in MD-LM. 1) (2M l + 1) N l ) is about 1.8 × 10 6 .
このことから、MIMOと比較してMD-GMのフィルタリング処理の演算量は大幅に削減できていることが分かり、波数領域でのフィルタリング処理を行わないMD-LMでも演算量がMIMOにおける場合の約5分の1に削減されていることが分かる。 From this, it can be seen that the calculation amount of MD-GM filtering processing can be significantly reduced compared to MIMO, and even with MD-LM that does not perform filtering processing in the wavenumber region, the calculation amount is about the case of MIMO. It can be seen that it has been reduced to one-fifth.
また、図9にMIMO、MD-GM、およびMD-LMについて、フィルタ係数更新処理に要する周波数ごとの演算量(計算量)を示す。 Further, FIG. 9 shows the amount of calculation (calculation amount) for each frequency required for the filter coefficient update process for MIMO, MD-GM, and MD-LM.
フィルタ係数更新処理では、最も演算量が多くなるのは濾波されたFiltered-Xを求める演算である。ここでは、MIMOにおけるGestXを求める演算、MD-GMにおけるg’estX’を求める演算、およびMD-LMにおけるg’estTglX’を求める演算が、それぞれFiltered-Xを求める演算となる。 In the filter coefficient update process, the operation that requires the largest amount of calculation is the operation for obtaining the filtered Filtered-X. Here, the operation to obtain G est X in MIMO, the operation to obtain g'est X'in MD-GM, and the operation to obtain g'est T gl X'in MD-LM are the operation to obtain Filtered-X, respectively. Become.
図9に示すようにFiltered-X算出時の演算量は、MIMOではO(Ne(QNl)2Nr)となり、MD-GMではO(2Mg+1)であり、MD-LMではO((2Mg+1)(2Ml+1)Nl)である。 As shown in Fig. 9, the operation amount when calculating Filtered-X is O (N e (QN l ) 2 N r ) in MIMO, O (2M g +1) in MD-GM, and O (2M g +1) in MD-LM. O ((2M g +1) (2M l +1) N l ).
したがって、図8における場合と同様に、高次スピーカアレイ14の総ドライバ数QNl=192、参照マイクロホンアレイ11のマイクロホン数Nr=48、最大次数Mg=14、最大次数Ml=2、高次スピーカアレイ14の高次スピーカ数Nl=12、およびエラーマイクロホンアレイ12のマイクロホン数Ne=48とすると、各モードの演算量は以下のようになる。
Therefore, as in the case of FIG. 8, the total number of drivers of the high-
すなわち、MIMOにおける演算量O(Ne(QNl)2Nr)は約8.4×107となる。これに対して、MD-GMにおける演算量O(2Mg+1)は約29となり、MD-LMにおける演算量O((2Mg+1)(2Ml+1)Nl)は約1.7×103となる。 That is, the arithmetic amount O (N e (QN l ) 2 N r ) in MIMO is about 8.4 × 10 7 . On the other hand, the operation amount O (2M g +1) in MD-GM is about 29, and the operation amount O ((2M g +1) (2M l +1) N l ) in MD-LM is about 1.7 ×. It becomes 10 3 .
このことから、MIMOと比較してMD-GMやMD-LMでは大幅に演算量を削減できることが分かる。また、MD-GMとMD-LMとでは、演算量の観点からはMD-GMが優位であるが、二次経路を正確に求めて空間ノイズキャンセリングの性能低下が抑制できる点や、高次スピーカアレイ14の配置の自由度が高い点ではMD-LMが優位である。
From this, it can be seen that the amount of calculation can be significantly reduced with MD-GM and MD-LM compared with MIMO. In addition, MD-GM is superior to MD-GM and MD-LM from the viewpoint of the amount of calculation, but it is possible to accurately obtain the secondary path and suppress the deterioration of the spatial noise canceling performance, and the higher order. The MD-LM is superior in that the
また、MD-GMやMD-LMは、MIMOと比較して適応処理の収束速度、つまりフィルタ係数の収束速度も速いので、ターゲット領域における受聴者の位置などの環境が変化したときでも、その変化に迅速に追従し、性能の高い空間ノイズキャンセリングを実現することができる。特にMD-LMよりもMD-GMにおいてフィルタ係数の収束速度が速くなる。 In addition, MD-GM and MD-LM have a faster convergence speed of adaptive processing, that is, a faster convergence speed of the filter coefficient than MIMO, so even when the environment such as the position of the listener in the target area changes, the change. It is possible to quickly follow the above and realize high-performance spatial noise canceling. In particular, the convergence speed of the filter coefficient is faster in MD-GM than in MD-LM.
以上のように本技術を適用したMD-GMやMD-LMによれば、省スペースかつ少ない演算量で、十分な性能の空間ノイズキャンセリングを実現することができる。 According to MD-GM and MD-LM to which this technology is applied as described above, it is possible to realize spatial noise canceling with sufficient performance with space saving and a small amount of calculation.
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
<Computer configuration example>
By the way, the series of processes described above can be executed by hardware or software. When a series of processes is executed by software, the programs constituting the software are installed on the computer. Here, the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
図10は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。 FIG. 10 is a block diagram showing an example of hardware configuration of a computer that executes the above-mentioned series of processes programmatically.
コンピュータにおいて、CPU501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
In a computer,
バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
An input /
入力部506は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体511を駆動する。
The
以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
In the computer configured as described above, the
コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
The program executed by the computer (CPU 501) can be recorded and provided on a
コンピュータでは、プログラムは、リムーバブル記録媒体511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
In a computer, the program can be installed in the
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 Further, the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。 For example, the present technology can be configured as cloud computing in which one function is shared by a plurality of devices via a network and jointly processed.
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。 Further, each step described in the above-mentioned flowchart may be executed by one device or may be shared and executed by a plurality of devices.
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。 Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
さらに、本技術は、以下の構成とすることも可能である。 Further, the present technology can also have the following configurations.
(1)
複数のマイクロホンからなる第1のマイクロホンアレイで収音することで得られた第1のマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記第1のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる制御部を備える
信号処理装置。
(2)
前記制御部は、
前記第1のマイクロホン信号に対してフィルタ係数を用いたフィルタリング処理を行うことで前記スピーカ駆動信号を生成するフィルタリング部と、
前記第1のマイクロホン信号に基づいて前記フィルタ係数を更新するフィルタ係数更新部と
備える(1)に記載の信号処理装置。
(3)
前記フィルタリング部は、前記所定領域へと伝搬する音を点制御によりキャンセルするための前記スピーカ駆動信号を生成する
(2)に記載の信号処理装置。
(4)
前記フィルタリング部は、前記所定領域へと伝搬する音をエリア制御によりキャンセルするための前記スピーカ駆動信号を生成する
(2)に記載の信号処理装置。
(5)
前記フィルタ係数更新部は、波数領域で前記フィルタ係数を更新する
(4)に記載の信号処理装置。
(6)
前記フィルタリング部は、波数領域で前記フィルタリング処理を行う
(4)または(5)に記載の信号処理装置。
(7)
前記制御部は、前記高次スピーカの1次以上の所定次数の放射パターンに対応する項までの演算を行って前記スピーカ駆動信号を生成する
(4)乃至(6)の何れか一項に記載の信号処理装置。
(8)
前記フィルタリング部は、前記フィルタリング処理により、空間上の所定の基準位置を原点とするモード係数を前記スピーカ駆動信号として生成する
(6)に記載の信号処理装置。
(9)
前記基準位置は、前記高次スピーカの位置とは異なる位置である
(8)に記載の信号処理装置。
(10)
前記フィルタリング部は、前記フィルタリング処理により、前記高次スピーカの位置を原点とする前記高次スピーカのモード係数を前記スピーカ駆動信号として生成する
(4)または(5)に記載の信号処理装置。
(11)
前記スピーカアレイは、前記高次スピーカを含む複数のスピーカを環状とは異なる形状に並べて得られるスピーカアレイである
(10)に記載の信号処理装置。
(12)
前記フィルタ係数更新部は、前記スピーカアレイに対して前記第1のマイクロホンアレイとは反対側に配置された複数のマイクロホンからなる第2のマイクロホンアレイで収音することで得られた第2のマイクロホン信号と、前記第1のマイクロホン信号とに基づいて前記フィルタ係数を更新する
(2)乃至(11)の何れか一項に記載の信号処理装置。
(13)
信号処理装置が、
複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、
前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
信号処理方法。
(14)
複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、
前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
ステップを含む処理をコンピュータに実行させるプログラム。
(1)
Sound was picked up by the first microphone array propagating from outside the predetermined region to the predetermined region based on the first microphone signal obtained by picking up the sound by the first microphone array composed of a plurality of speakers. A signal processing device including a control unit that generates a speaker drive signal of output sound for canceling sound and outputs the output sound from a speaker array composed of at least one high-order speaker based on the speaker drive signal.
(2)
The control unit
A filtering unit that generates the speaker drive signal by performing a filtering process using a filter coefficient on the first microphone signal, and a filtering unit.
The signal processing device according to (1), comprising a filter coefficient updating unit for updating the filter coefficient based on the first microphone signal.
(3)
The signal processing device according to (2), wherein the filtering unit generates the speaker drive signal for canceling the sound propagating to the predetermined region by point control.
(4)
The signal processing device according to (2), wherein the filtering unit generates the speaker drive signal for canceling the sound propagating to the predetermined area by area control.
(5)
The signal processing device according to (4), wherein the filter coefficient updating unit updates the filter coefficient in the wave number region.
(6)
The signal processing device according to (4) or (5), wherein the filtering unit performs the filtering process in a wave number region.
(7)
Described in any one of (4) to (6), wherein the control unit performs calculations up to a term corresponding to a radiation pattern of a predetermined order of the first order or higher of the high-order speaker to generate the speaker drive signal. Signal processing equipment.
(8)
The signal processing device according to (6), wherein the filtering unit generates a mode coefficient having a predetermined reference position in space as an origin as the speaker drive signal by the filtering process.
(9)
The signal processing device according to (8), wherein the reference position is a position different from the position of the high-order speaker.
(10)
The signal processing device according to (4) or (5), wherein the filtering unit generates a mode coefficient of the high-order speaker with the position of the high-order speaker as an origin as the speaker drive signal by the filtering process.
(11)
The signal processing device according to (10), wherein the speaker array is a speaker array obtained by arranging a plurality of speakers including the high-order speaker in a shape different from that of a ring.
(12)
The filter coefficient updating unit is a second microphone obtained by picking up sound with a second microphone array composed of a plurality of microphones arranged on the side opposite to the first microphone array with respect to the speaker array. The signal processing device according to any one of (2) to (11), wherein the filter coefficient is updated based on the signal and the first microphone signal.
(13)
The signal processing device
Based on the microphone signal obtained by collecting sound with a microphone array consisting of a plurality of microphones, the output sound for canceling the sound collected by the microphone array propagating from outside the predetermined area to the predetermined area. Generates a speaker drive signal,
A signal processing method for outputting the output sound from a speaker array including at least one high-order speaker based on the speaker drive signal.
(14)
Based on the microphone signal obtained by collecting sound with a microphone array consisting of a plurality of microphones, the output sound for canceling the sound collected by the microphone array propagating from outside the predetermined area to the predetermined area. Generates a speaker drive signal,
A program that causes a computer to execute a process including a step of outputting the output sound from a speaker array consisting of at least one high-order speaker based on the speaker drive signal.
11 参照マイクロホンアレイ, 12 エラーマイクロホンアレイ, 14 高次スピーカアレイ, 61 信号処理装置, 21 時間周波数変換部, 22 時間周波数変換部, 71 制御部, 81 モード変換部, 82 フィルタリング部, 83 駆動信号生成部, 84 行列演算部, 85 モード変換部, 86 フィルタ係数更新部, 131 制御部 11 Reference microphone array, 12 Error microphone array, 14 High-order speaker array, 61 Signal processing device, 21-hour frequency conversion unit, 22-hour frequency conversion unit, 71 Control unit, 81 Mode conversion unit, 82 Filtering unit, 83 Drive signal generation Unit, 84 Matrix calculation unit, 85 mode conversion unit, 86 filter coefficient update unit, 131 control unit
Claims (14)
信号処理装置。 Sound was picked up by the first microphone array propagating from outside the predetermined region to the predetermined region based on the first microphone signal obtained by picking up the sound by the first microphone array composed of a plurality of speakers. A signal processing device including a control unit that generates a speaker drive signal of output sound for canceling sound and outputs the output sound from a speaker array composed of at least one high-order speaker based on the speaker drive signal.
前記第1のマイクロホン信号に対してフィルタ係数を用いたフィルタリング処理を行うことで前記スピーカ駆動信号を生成するフィルタリング部と、
前記第1のマイクロホン信号に基づいて前記フィルタ係数を更新するフィルタ係数更新部と
備える請求項1に記載の信号処理装置。 The control unit
A filtering unit that generates the speaker drive signal by performing a filtering process using a filter coefficient on the first microphone signal, and a filtering unit.
The signal processing device according to claim 1, further comprising a filter coefficient updating unit that updates the filter coefficient based on the first microphone signal.
請求項2に記載の信号処理装置。 The signal processing device according to claim 2, wherein the filtering unit generates the speaker drive signal for canceling the sound propagating to the predetermined region by point control.
請求項2に記載の信号処理装置。 The signal processing device according to claim 2, wherein the filtering unit generates the speaker drive signal for canceling the sound propagating to the predetermined area by area control.
請求項4に記載の信号処理装置。 The signal processing device according to claim 4, wherein the filter coefficient updating unit updates the filter coefficient in the wave number region.
請求項4に記載の信号処理装置。 The signal processing device according to claim 4, wherein the filtering unit performs the filtering process in the wave number region.
請求項4に記載の信号処理装置。 The signal processing device according to claim 4, wherein the control unit performs calculations up to a term corresponding to a radiation pattern of a predetermined order of a predetermined order or higher of the high-order speaker to generate the speaker drive signal.
請求項6に記載の信号処理装置。 The signal processing device according to claim 6, wherein the filtering unit generates a mode coefficient having a predetermined reference position in space as an origin as the speaker drive signal by the filtering process.
請求項8に記載の信号処理装置。 The signal processing device according to claim 8, wherein the reference position is a position different from the position of the high-order speaker.
請求項4に記載の信号処理装置。 The signal processing device according to claim 4, wherein the filtering unit generates a mode coefficient of the high-order speaker with the position of the high-order speaker as an origin as the speaker drive signal by the filtering process.
請求項10に記載の信号処理装置。 The signal processing device according to claim 10, wherein the speaker array is a speaker array obtained by arranging a plurality of speakers including the high-order speaker in a shape different from that of a ring.
請求項2に記載の信号処理装置。 The filter coefficient updating unit is a second microphone obtained by picking up sound with a second microphone array composed of a plurality of microphones arranged on the side opposite to the first microphone array with respect to the speaker array. The signal processing apparatus according to claim 2, wherein the filter coefficient is updated based on the signal and the first microphone signal.
複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、
前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
信号処理方法。 The signal processing device
Based on the microphone signal obtained by collecting sound with a microphone array consisting of a plurality of microphones, the output sound for canceling the sound collected by the microphone array propagating from outside the predetermined area to the predetermined area. Generates a speaker drive signal,
A signal processing method for outputting the output sound from a speaker array including at least one high-order speaker based on the speaker drive signal.
前記スピーカ駆動信号に基づいて、少なくとも1つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
ステップを含む処理をコンピュータに実行させるプログラム。 Based on the microphone signal obtained by collecting sound with a microphone array consisting of a plurality of microphones, the output sound for canceling the sound collected by the microphone array propagating from outside the predetermined area to the predetermined area. Generates a speaker drive signal,
A program that causes a computer to execute a process including a step of outputting the output sound from a speaker array consisting of at least one high-order speaker based on the speaker drive signal.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018200618A JP2022008732A (en) | 2018-10-25 | 2018-10-25 | Signal processing device and method, as well as program |
US17/286,121 US20210375256A1 (en) | 2018-10-25 | 2019-10-11 | Signal processing device and method, and program |
PCT/JP2019/040183 WO2020085117A1 (en) | 2018-10-25 | 2019-10-11 | Signal processing device, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018200618A JP2022008732A (en) | 2018-10-25 | 2018-10-25 | Signal processing device and method, as well as program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022008732A true JP2022008732A (en) | 2022-01-14 |
Family
ID=70331948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018200618A Pending JP2022008732A (en) | 2018-10-25 | 2018-10-25 | Signal processing device and method, as well as program |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210375256A1 (en) |
JP (1) | JP2022008732A (en) |
WO (1) | WO2020085117A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102431801B1 (en) * | 2022-03-23 | 2022-08-11 | 주식회사 크레스트 | Battery balancing apparatus and method using soc index |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112466271A (en) * | 2020-11-30 | 2021-03-09 | 声耕智能科技(西安)研究院有限公司 | Distributed active noise control method, system, equipment and storage medium |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5679304B2 (en) * | 2011-02-15 | 2015-03-04 | 日本電信電話株式会社 | Multipole loudspeaker group and arrangement method thereof, acoustic signal output device and method thereof, active noise control device and sound field reproduction device using the method, and method and program thereof |
JP6345634B2 (en) * | 2015-07-31 | 2018-06-20 | 日本電信電話株式会社 | Sound field reproducing apparatus and method |
JP7028238B2 (en) * | 2017-03-07 | 2022-03-02 | ソニーグループ株式会社 | Signal processing equipment and methods, as well as programs |
-
2018
- 2018-10-25 JP JP2018200618A patent/JP2022008732A/en active Pending
-
2019
- 2019-10-11 WO PCT/JP2019/040183 patent/WO2020085117A1/en active Application Filing
- 2019-10-11 US US17/286,121 patent/US20210375256A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102431801B1 (en) * | 2022-03-23 | 2022-08-11 | 주식회사 크레스트 | Battery balancing apparatus and method using soc index |
Also Published As
Publication number | Publication date |
---|---|
US20210375256A1 (en) | 2021-12-02 |
WO2020085117A1 (en) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7028238B2 (en) | Signal processing equipment and methods, as well as programs | |
US8718291B2 (en) | ANC for BT headphones | |
JP6113739B2 (en) | Method and apparatus for processing a spherical microphone array signal on a hard sphere used to generate an ambisonic representation of a sound field | |
US7991166B2 (en) | Microphone apparatus | |
US20130259253A1 (en) | Controllers for active noise control systems | |
CN110402540B (en) | Active noise reduction method, device, chip, active control system and storage medium | |
Iwai et al. | Multichannel feedforward active noise control system combined with noise source separation by microphone arrays | |
CN113574593B (en) | Tuning method, manufacturing method, computer-readable storage medium, and tuning system | |
EP3050322B1 (en) | System and method for evaluating an acoustic transfer function | |
WO2017096174A1 (en) | Multi-microphone feedforward active noise cancellation | |
Møller et al. | A moving horizon framework for sound zones | |
WO2020085117A1 (en) | Signal processing device, method, and program | |
JP2019047478A (en) | Acoustic signal processing apparatus, acoustic signal processing method, and acoustic signal processing program | |
JP5734329B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5240026B2 (en) | Device for correcting sensitivity of microphone in microphone array, microphone array system including the device, and program | |
JP6567216B2 (en) | Signal processing device | |
WO2021100461A1 (en) | Signal processing device, method, and program | |
JP6592838B2 (en) | Binaural signal generation apparatus, method, and program | |
Pasco et al. | Interior sound field control using generalized singular value decomposition in the frequency domain | |
JP2016092562A (en) | Audio processing device and method, and program | |
WO2018211984A1 (en) | Speaker array and signal processor | |
WO2022034795A1 (en) | Signal processing device and method, noise cancelling device, and program | |
Zotter et al. | Higher-order ambisonic microphones and the wave equation (linear, lossless) | |
Rafaely et al. | Beamforming with noise minimization | |
WO2022234822A1 (en) | Signal processing device, signal processing method, and program |