JP2022008732A - Signal processing device and method, as well as program - Google Patents

Signal processing device and method, as well as program Download PDF

Info

Publication number
JP2022008732A
JP2022008732A JP2018200618A JP2018200618A JP2022008732A JP 2022008732 A JP2022008732 A JP 2022008732A JP 2018200618 A JP2018200618 A JP 2018200618A JP 2018200618 A JP2018200618 A JP 2018200618A JP 2022008732 A JP2022008732 A JP 2022008732A
Authority
JP
Japan
Prior art keywords
speaker
order
sound
signal
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018200618A
Other languages
Japanese (ja)
Inventor
直毅 村田
Naoki Murata
祐基 光藤
Yuki Mitsufuji
悠 前野
Yu Maeno
ジーホイ チャン
Jihui Zhang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018200618A priority Critical patent/JP2022008732A/en
Priority to US17/286,121 priority patent/US20210375256A1/en
Priority to PCT/JP2019/040183 priority patent/WO2020085117A1/en
Publication of JP2022008732A publication Critical patent/JP2022008732A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17857—Geometric disposition, e.g. placement of microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3025—Determination of spectrum characteristics, e.g. FFT
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3028—Filtering, e.g. Kalman filters or special analogue or digital filters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3046—Multiple acoustic inputs, multiple acoustic outputs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/321—Physical
    • G10K2210/3212—Actuator details, e.g. composition or microstructure
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/321—Physical
    • G10K2210/3215—Arrays, e.g. for beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/321—Physical
    • G10K2210/3219—Geometry of the configuration

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

To achieve space noise canceling with space saving and a small amount of calculation.SOLUTION: A signal processing device includes a control unit that: generates a speaker drive signal of output sound for canceling picked up sound that propagates from outside a predetermined area to the predetermined area by a first microphone array, based on a first microphone signal obtained by picking up the sound by the first microphone array consisting of a plurality of microphones; and outputs output sound from a speaker array composed of at least one high-order speaker based on the speaker drive signal. This technology can be applied to signal processing device.SELECTED DRAWING: Figure 4

Description

本技術は、信号処理装置および方法、並びにプログラムに関し、特に、省スペースかつ少ない演算量で空間ノイズキャンセリングを実現することができるようにした信号処理装置および方法、並びにプログラムに関する。 The present technology relates to signal processing devices and methods, and programs, and in particular, to signal processing devices and methods, and programs that enable spatial noise canceling to be realized in a space-saving manner and with a small amount of calculation.

従来、複数のスピーカを並べて構成されるスピーカアレイを用いて、目的とする領域におけるノイズキャンセリングを行う空間ノイズキャンセリングが知られている。 Conventionally, spatial noise canceling is known in which noise canceling is performed in a target region by using a speaker array composed of a plurality of speakers arranged side by side.

そのような空間ノイズキャンセリングに関する技術として、例えば波数領域信号処理を行うことで演算量を削減する技術が提案されている（例えば、非特許文献１参照）。この技術では、単一の指向性を有する複数のスピーカにより構成されるスピーカアレイが用いられて空間ノイズキャンセリングが実現される。 As a technique related to such spatial noise canceling, for example, a technique for reducing the amount of calculation by performing wavenumber region signal processing has been proposed (see, for example, Non-Patent Document 1). In this technique, spatial noise canceling is realized by using a speaker array composed of a plurality of speakers having a single directivity.

J.Zhang, T. D. Abhayapala, W. Zhang, P. N. Samarasinghe, and S. Jiang. Active noise control over space: A wave domain approach. IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP), 26(4):774-786, 2018.J.Zhang, TD Abhayapala, W. Zhang, PN Samarasinghe, and S. Jiang. Active noise control over space: A wave domain approach. IEEE / ACM Transactions on Audio, Speech and Language Processing (TASLP), 26 (4): 774-786, 2018.

しかしながら、上述した技術では省スペースかつ少ない演算量で、十分な性能の空間ノイズキャンセリングを実現することは困難であった。 However, with the above-mentioned technology, it has been difficult to realize spatial noise canceling with sufficient performance with space saving and a small amount of calculation.

例えば非特許文献１に記載の技術では、演算量を低減させることはできるが、ノイズとなる音を十分にキャンセルしようとするとスピーカアレイを構成するスピーカの数を多くしなければならず、スピーカアレイを配置するのに広いスペースが必要となる。 For example, in the technique described in Non-Patent Document 1, the amount of calculation can be reduced, but in order to sufficiently cancel the noise that becomes noise, the number of speakers constituting the speaker array must be increased, and the speaker array must be increased. A large space is required to arrange the speakers.

本技術は、このような状況に鑑みてなされたものであり、省スペースかつ少ない演算量で空間ノイズキャンセリングを実現することができるようにするものである。 This technology was made in view of such a situation, and makes it possible to realize space noise canceling with space saving and a small amount of calculation.

本技術の一側面の信号処理装置は、複数のマイクロホンからなる第１のマイクロホンアレイで収音することで得られた第１のマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記第１のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、前記スピーカ駆動信号に基づいて、少なくとも１つの高次スピーカからなるスピーカアレイから前記出力音を出力させる制御部を備える。 The signal processing device of one aspect of the present technology propagates from outside the predetermined region to the predetermined region based on the first microphone signal obtained by picking up the sound with the first microphone array composed of a plurality of speakers. A speaker drive signal of the output sound for canceling the sound picked up by the first microphone array is generated, and the output sound is generated from the speaker array composed of at least one high-order speaker based on the speaker drive signal. A control unit for outputting is provided.

本技術の一側面の信号処理方法またはプログラムは、複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、前記スピーカ駆動信号に基づいて、少なくとも１つの高次スピーカからなるスピーカアレイから前記出力音を出力させるステップを含む。 The signal processing method or program of one aspect of the present technology is based on a microphone signal obtained by picking up sound with a microphone array consisting of a plurality of speakers, and is propagated from outside a predetermined region to the predetermined region by the microphone array. A step of generating a speaker drive signal of an output sound for canceling a picked-up sound and outputting the output sound from a speaker array composed of at least one high-order speaker based on the speaker drive signal is included.

本技術の一側面においては、複数のマイクロホンからなる第１のマイクロホンアレイで収音することで得られた第１のマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記第１のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号が生成され、前記スピーカ駆動信号に基づいて、少なくとも１つの高次スピーカからなるスピーカアレイから前記出力音が出力される。 In one aspect of the present technology, the first microphone propagating from outside a predetermined region to the predetermined region based on a first microphone signal obtained by collecting sound with a first microphone array composed of a plurality of speakers. A speaker drive signal of the output sound for canceling the sound picked up by the microphone array is generated, and the output sound is output from the speaker array consisting of at least one high-order speaker based on the speaker drive signal. ..

エラーマイクロホンアレイ、高次スピーカアレイ、および参照マイクロホンアレイの配置を示す図である。It is a figure which shows the arrangement of an error microphone array, a high-order speaker array, and a reference microphone array. グローバルモード係数とローカルモード係数について説明する図である。It is a figure explaining a global mode coefficient and a local mode coefficient. MIMO型の空間ノイズキャンセリングシステムの構成を示す図である。It is a figure which shows the structure of the MIMO type spatial noise canceling system. MD-GM型の空間ノイズキャンセリングシステムの構成を示す図である。It is a figure which shows the structure of the MD-GM type spatial noise canceling system. 空間ノイズキャンセリング処理を説明するフローチャートである。It is a flowchart explaining the spatial noise canceling process. MD-LM型の空間ノイズキャンセリングシステムの構成を示す図である。It is a figure which shows the structure of the MD-LM type spatial noise canceling system. 空間ノイズキャンセリング処理を説明するフローチャートである。It is a flowchart explaining the spatial noise canceling process. フィルタリング処理の演算量について説明する図である。It is a figure explaining the calculation amount of the filtering process. フィルタ係数更新処理の演算量について説明する図である。It is a figure explaining the calculation amount of the filter coefficient update process. コンピュータの構成例を示す図である。It is a figure which shows the configuration example of a computer.

以下、図面を参照して、本技術を適用した実施の形態について説明する。 Hereinafter, embodiments to which the present technology is applied will be described with reference to the drawings.

〈第１の実施の形態〉
〈空間ノイズキャンセリングシステムについて〉
本技術は、高次スピーカを利用するとともに、波数領域、すなわちモードドメインにおいてフィルタ係数更新の演算やフィルタリングの演算を行うことで、省スペースかつ少ない演算量で空間ノイズキャンセリングを実現することができるようにするものである。 <First Embodiment>
<About the spatial noise canceling system>
This technology can realize space noise canceling with space saving and a small amount of calculation by using a high-order speaker and performing filter coefficient update calculation and filtering calculation in the wavenumber region, that is, the mode domain. It is something to do.

例えばスピーカとして高次スピーカを用いれば、単一の指向性のみを再現可能な通常のスピーカを用いる場合と比較して、省スペースで空間ノイズキャンセリングを実現できる。また、本技術では、少なくともフィルタ係数の更新を波数領域の演算により実現するようにしたので、演算量を削減することができる。高次スピーカは複数のスピーカから構成されているので、通常のスピーカを用いる場合における波数領域での演算処理を、そのまま高次スピーカを用いる場合に適用することはできない。そこで、本技術では、高次スピーカを用いる場合でも波数領域での演算を行うことができるようにした。 For example, if a high-order speaker is used as the speaker, spatial noise canceling can be realized in a space-saving manner as compared with the case of using a normal speaker that can reproduce only a single directivity. Further, in the present technology, at least the update of the filter coefficient is realized by the calculation of the wave number region, so that the calculation amount can be reduced. Since the high-order speaker is composed of a plurality of speakers, the arithmetic processing in the wave number region when a normal speaker is used cannot be applied to the case where the high-order speaker is used as it is. Therefore, in this technology, it is possible to perform operations in the wavenumber region even when a high-order speaker is used.

まず、本技術について説明する。以下では説明を簡単にするため、２次元音場を対象とした空間ノイズキャンセリングについて説明するが、３次元音場を対象とした空間ノイズキャンセリングも２次元音場を対象とする場合と同様にして実現可能である。すなわち、２次元音場を対象とした空間ノイズキャンセリングを、３次元音場を対象とした空間ノイズキャンセリングへと拡張することは容易に行うことができる。 First, this technology will be described. In the following, for the sake of simplicity, spatial noise canceling for a two-dimensional sound field will be described, but spatial noise canceling for a three-dimensional sound field is also the same as for a two-dimensional sound field. It is feasible. That is, it is possible to easily extend the spatial noise canceling for the two-dimensional sound field to the spatial noise canceling for the three-dimensional sound field.

本技術では、図１に示す配置でエラーマイクロホンアレイEMA11、高次スピーカアレイSP11、および参照マイクロホンアレイRMA11が配置されるものとして説明を行う。 In the present technology, it is assumed that the error microphone array EMA11, the high-order speaker array SP11, and the reference microphone array RMA11 are arranged in the arrangement shown in FIG.

なお、本技術におけるエラーマイクロホンアレイや、高次スピーカアレイ、参照マイクロホンアレイの配置は、エラーマイクロホンアレイと参照マイクロホンアレイの間に高次スピーカアレイが配置されていれば、図１に示す配置に限らず、どのような配置であってもよい。 The arrangement of the error microphone array, the high-order speaker array, and the reference microphone array in the present technology is limited to the arrangement shown in FIG. 1 as long as the high-order speaker array is arranged between the error microphone array and the reference microphone array. However, any arrangement may be used.

また、エラーマイクロホンアレイや参照マイクロホンアレイは、環状マイクロホンアレイに限らず、直線マイクロホンアレイを組み合わせたものや球状マイクロホンアレイなど、どのようなものであってもよく、同様に高次スピーカアレイも環状のアレイに限らず、矩形状や球状など、どのような形状のアレイとされてもよい。 Further, the error microphone array and the reference microphone array are not limited to the annular microphone array, but may be any combination of linear microphone arrays, spherical microphone arrays, and the like, and the higher-order speaker array is also annular. The array is not limited to the array, and may be an array having any shape such as a rectangular shape or a spherical shape.

図１に示す例では、２次元空間上にエラーマイクロホンアレイEMA11、高次スピーカアレイSP11、および参照マイクロホンアレイRMA11が配置されて空間ノイズキャンセリングシステムが構成されている。 In the example shown in FIG. 1, an error microphone array EMA11, a high-order speaker array SP11, and a reference microphone array RMA11 are arranged in a two-dimensional space to form a spatial noise canceling system.

この例では、図中、中央にある円形状のターゲット領域R11が空間ノイズキャンセリングの対象となる領域とされている。例えばターゲット領域R11では、ターゲット領域R11外にあるノイズ源NS11-1やノイズ源NS11-2からターゲット領域R11内へと伝搬してくる音（以下、空間ノイズ音とも称する）が聞こえなくなるように、高次スピーカアレイSP11から音が出力される。すなわち、高次スピーカアレイSP11から出力される音によって、空間ノイズ音がキャンセルされる。 In this example, in the figure, the circular target region R11 in the center is the region targeted for spatial noise canceling. For example, in the target area R11, the sound propagating from the noise source NS11-1 or the noise source NS11-2 outside the target area R11 into the target area R11 (hereinafter, also referred to as spatial noise sound) cannot be heard. Sound is output from the high-order speaker array SP11. That is, the spatial noise sound is canceled by the sound output from the high-order speaker array SP11.

なお、以下、ノイズ源NS11-1およびノイズ源NS11-2を特に区別する必要のない場合、単にノイズ源NS11とも称することとする。 Hereinafter, when it is not necessary to distinguish between the noise source NS11-1 and the noise source NS11-2, they are also simply referred to as the noise source NS11.

エラーマイクロホンアレイEMA11は、ターゲット領域R11を囲むように環状に配置された複数のマイクロホンからなる環状マイクロホンアレイであり、ターゲット領域R11における空間ノイズ音が十分にキャンセルされているかをモニタリングするために用いられる。なお、エラーマイクロホンアレイEMA11は、ターゲット領域R11内に配置されるようにしてもよい。 The error microphone array EMA11 is an annular microphone array consisting of a plurality of microphones arranged in an annular shape so as to surround the target region R11, and is used to monitor whether the spatial noise sound in the target region R11 is sufficiently canceled. .. The error microphone array EMA11 may be arranged in the target area R11.

また、エラーマイクロホンアレイEMA11の外側には、そのエラーマイクロホンアレイEMA11を囲むように環状に配置された複数の高次スピーカからなる高次スピーカアレイSP11が配置されている。ここでは、高次スピーカアレイSP11は環状スピーカアレイとなっている。 Further, on the outside of the error microphone array EMA11, a high-order speaker array SP11 composed of a plurality of high-order speakers arranged in a ring shape so as to surround the error microphone array EMA11 is arranged. Here, the high-order speaker array SP11 is an annular speaker array.

高次スピーカアレイSP11を構成する高次スピーカは、例えば複数のスピーカを環状または球状に配置して得られる、自由に指向性を制御可能なスピーカアレイにより実現される。換言すれば、高次スピーカは任意の複数の指向性、つまり任意の複数の放射パターンを再現可能なスピーカである。 The high-order speaker constituting the high-order speaker array SP11 is realized by, for example, a speaker array whose directivity can be freely controlled, which is obtained by arranging a plurality of speakers in an annular shape or a spherical shape. In other words, a high-order speaker is a speaker capable of reproducing any plurality of directivity, that is, any plurality of radiation patterns.

ここでは、高次スピーカは少なくとも１次以上の次数の放射パターン（指向性）を再現可能であるとする。この放射パターンの次数は調和関数、すなわちここでは環状調和関数の基底のインデックスである。なお、高次スピーカアレイが球状スピーカアレイである場合には、球面調和関数の基底のインデックスが放射パターンの次数に対応する。また、以下、高次スピーカを構成するスピーカをドライバとも称することとする。その他、高次スピーカに代えて多重極音源を用いてもよいし、高次スピーカアレイSP11に代えて１つの高次スピーカからなるスピーカアレイを用いてもよい。 Here, it is assumed that the high-order speaker can reproduce the radiation pattern (directivity) of at least the first order or higher. The order of this radiation pattern is the harmonic function, that is, here the index of the basis of the circular harmonic function. When the high-order speaker array is a spherical speaker array, the index of the basis of the spherical harmonic function corresponds to the order of the radiation pattern. Further, hereinafter, the speaker constituting the high-order speaker will also be referred to as a driver. In addition, a multipole sound source may be used instead of the high-order speaker, or a speaker array composed of one high-order speaker may be used instead of the high-order speaker array SP11.

このような高次スピーカにより構成される高次スピーカアレイSP11は、単一の指向性のみを再現可能な通常のスピーカからなるスピーカアレイよりも設置に必要となるスペースが小さくて済むことが知られている。したがって、高次スピーカアレイSP11を用いれば、省スペースで空間ノイズキャンセリングを実現することができる。 It is known that the high-order speaker array SP11 composed of such high-order speakers requires less space for installation than a speaker array consisting of ordinary speakers capable of reproducing only a single directivity. ing. Therefore, if the high-order speaker array SP11 is used, space noise canceling can be realized in a small space.

また、図１では高次スピーカアレイSP11の外側を囲むように環状に配置された複数のマイクロホンからなる参照マイクロホンアレイRMA11が配置されている。すなわち、図１では、エラーマイクロホンアレイEMA11が、高次スピーカアレイSP11に対して参照マイクロホンアレイRMA11とは反対側に配置されている。 Further, in FIG. 1, a reference microphone array RMA11 composed of a plurality of microphones arranged in a ring shape so as to surround the outside of the high-order speaker array SP11 is arranged. That is, in FIG. 1, the error microphone array EMA11 is arranged on the opposite side of the reference microphone array RMA11 with respect to the higher-order speaker array SP11.

ここでは、参照マイクロホンアレイRMA11は環状マイクロホンアレイであり、空間ノイズ音を含む周囲の音を収音し、ターゲット領域R11内において、どのような空間ノイズ音の波面が生じているかを推定するために用いられる。 Here, the reference microphone array RMA11 is an annular microphone array, which collects ambient sound including spatial noise sound and estimates what kind of spatial noise sound wave surface is generated in the target region R11. Used.

このような空間ノイズキャンセリングシステムでは、参照マイクロホンアレイRMA11が収音することにより得られる参照マイクロホン信号と、エラーマイクロホンアレイEMA11が収音することにより得られるエラーマイクロホン信号とに基づいて、空間ノイズキャンセリングのためのフィルタ係数が生成（更新）される。 In such a spatial noise canceling system, the spatial noise canceling is based on the reference microphone signal obtained by collecting the sound of the reference microphone array RMA11 and the error microphone signal obtained by collecting the sound of the error microphone array EMA11. A filter coefficient for the ring is generated (updated).

そして、生成されたフィルタ係数が用いられて参照マイクロホン信号に対するフィルタリングが行われてスピーカ駆動信号が生成され、高次スピーカアレイSP11がスピーカ駆動信号に基づいて音を出力することで、ターゲット領域R11におけるノイズ音、つまりノイズ源NS11からの空間ノイズ音が低減（キャンセル）される。 Then, the generated filter coefficient is used to filter the reference microphone signal to generate a speaker drive signal, and the higher-order speaker array SP11 outputs sound based on the speaker drive signal in the target region R11. Noise sound, that is, spatial noise sound from the noise source NS11 is reduced (cancelled).

なお、参照マイクロホンアレイRMA11の外側を囲むように高次スピーカアレイSP11が配置され、さらにその高次スピーカアレイSP11の外側を囲むようにエラーマイクロホンアレイEMA11が配置されるようにしてもよい。そのような場合、エラーマイクロホンアレイEMA11の外側、つまり高次スピーカアレイSP11側とは反対側の領域が、空間ノイズキャンセリングの対象となるターゲット領域とされる。 The high-order speaker array SP11 may be arranged so as to surround the outside of the reference microphone array RMA11, and the error microphone array EMA11 may be arranged so as to surround the outside of the high-order speaker array SP11. In such a case, the area outside the error microphone array EMA11, that is, the area opposite to the high-order speaker array SP11 side is set as the target area to be the target of spatial noise canceling.

以下では、参照マイクロホンアレイRMA11を構成するマイクロホンの数がNr個であり、エラーマイクロホンアレイEMA11を構成するマイクロホンの数がNe個であり、高次スピーカアレイSP11を構成する高次スピーカの数がNl個であるとする。 In the following, the number of microphones that make up the reference microphone array RMA11 is N r , the number of microphones that make up the error microphone array EMA11 is N e , and the number of high-order speakers that make up the high-order speaker array SP11. Is N l .

また、高次スピーカアレイSP11を構成する１つの高次スピーカがQ個のドライバにより構成されるものとする。したがって、高次スピーカアレイSP11を構成するドライバの数はQNl個となる。 Further, it is assumed that one high-order speaker constituting the high-order speaker array SP11 is composed of Q drivers. Therefore, the number of drivers constituting the high-order speaker array SP11 is QN l .

さらに、以下では、参照マイクロホン信号をx(k)とも記し、エラーマイクロホン信号をe(k)とも記すこととする。 Further, in the following, the reference microphone signal is also referred to as x (k), and the error microphone signal is also referred to as e (k).

参照マイクロホン信号x(k)は、参照マイクロホンアレイRMA11を構成するNr個の各マイクロホンで得られた信号を要素としてもつ、ある波数kについての複素ベクトルである。 The reference microphone signal x (k) is a complex vector for a wave number k having signals obtained from each of the N r microphones constituting the reference microphone array RMA11 as an element.

同様に、エラーマイクロホン信号e(k)は、エラーマイクロホンアレイEMA11を構成するNe個の各マイクロホンで得られた信号を要素としてもつ、ある波数kについての複素ベクトルである。 Similarly, the error microphone signal e (k) is a complex vector for a wave number k having signals obtained from each of the N e microphones constituting the error microphone array EMA11 as an element.

ここで、時間周波数の変数をf [Hz]とし、音速をc [m/s]とすると、波数kはk＝2πf/c [1/m]で定義される。 Here, if the variable of time frequency is f [Hz] and the speed of sound is c [m / s], the wave number k is defined by k = 2πf / c [1 / m].

また、高次スピーカアレイSP11を構成するNl個の高次スピーカのうちのn_l番目の高次スピーカのQ×1の複素ベクトルである駆動信号をyn_l(k)＝[yn_l,1(k),・・・,yn_l,Q(k)]Tとする。さらに、これらのNl個の駆動信号yn_l(k)を並べて得られる、次式（１）に示すQNl×1の複素ベクトルをy(k)とする。このベクトルy(k)が高次スピーカアレイSP11のスピーカ駆動信号である。 In addition, the drive signal, which is a complex vector of Q × 1 of the n_lth high-order speaker among the N l -th high-order speakers constituting the high-order speaker array SP11, is y n_l (k) = [y n_l, 1 ( k), ..., y n_l, Q (k)] Let T be. Further, let y (k) be the complex vector of QN l × 1 shown in the following equation (1) obtained by arranging these N l drive signals y n_l (k). This vector y (k) is the speaker drive signal of the high-order speaker array SP11.

Figure 2022008732000002
Figure 2022008732000002

なお、以下においては表記の都合上、波数を表すkを省略することがある。 In the following, for convenience of notation, k indicating the wave number may be omitted.

〈グローバルモード係数について〉
次に、参照マイクロホンアレイRMA11やエラーマイクロホンアレイEMA11についてのモード係数について説明する。 <About the global mode coefficient>
Next, the mode coefficients for the reference microphone array RMA11 and the error microphone array EMA11 will be described.

空間ノイズキャンセリングをはじめとする空間音場制御技術において、複数の地点の音圧を制御するのではなく、空間的な音圧の分布をモードドメインと呼ばれる領域、すなわち波数領域の信号に変換したうえで制御する手法が数多く提案されている。 In spatial sound field control technology such as spatial noise canceling, instead of controlling the sound pressure at multiple points, the spatial sound pressure distribution is converted into a signal in a region called the mode domain, that is, a wave frequency region. Many methods to control the above have been proposed.

モードドメインの信号はモード係数と呼ばれており、音圧分布のモード係数への変換は、空間内の波動をいくつかの波動の基底を用いて展開することに対応しており、時間信号を複数の周波数の正弦波で展開するフーリエ変換と同様な処理である。 The signal of the mode domain is called the mode coefficient, and the transformation of the sound pressure distribution into the mode coefficient corresponds to the expansion of the wave in space using the basis of some waves, and the time signal. This process is similar to the Fourier transform that expands with sine waves of multiple frequencies.

ここで、例としてエラーマイクロホンアレイEMA11で観測されるエラーマイクロホン信号e(k)のモード係数への変換について説明する。なお、参照マイクロホンアレイRMA11で観測される参照マイクロホン信号x(k)のモード係数への変換も、以下で説明するエラーマイクロホン信号e(k)における場合と同様であるので、その説明は省略する。 Here, as an example, the conversion of the error microphone signal e (k) observed by the error microphone array EMA11 into the mode coefficient will be described. Since the conversion of the reference microphone signal x (k) observed by the reference microphone array RMA11 to the mode coefficient is the same as that of the error microphone signal e (k) described below, the description thereof will be omitted.

例えばエラーマイクロホンアレイEMA11を構成するNe個の各マイクロホンのうちのn_e番目のマイクロホンで観測された信号、つまり観測された音圧をpn_eとし、それらの音圧pn_eを並べて得られる、次式（２）に示すNe×1の複素ベクトルをpとする。なお、この複素ベクトルpがエラーマイクロホン信号e(k)である。 For example, the signal observed by the n_eth microphone of each of the N e microphones constituting the error microphone array EMA11, that is, the observed sound pressure is p n_e , and the sound pressures p n_e are arranged side by side. Let p be the complex vector of N e × 1 shown in equation (2). Note that this complex vector p is the error microphone signal e (k).

Figure 2022008732000003
Figure 2022008732000003

このとき、複素ベクトルpをモードドメインの信号に変換することで得られるモード係数p’は、以下のようにして求めることができる。ここで、モード係数p’は（2Mg+1）×1の複素ベクトルであり、p’＝[p-Mg,・・・,pMg]Tであるとする。 At this time, the mode coefficient p'obtained by converting the complex vector p into the signal of the mode domain can be obtained as follows. Here, it is assumed that the mode coefficient p'is a complex vector of (2M g + 1) × 1 and p'= [p -Mg , ..., p Mg ] T.

モード係数p’の要素は、虚数をjとし、エラーマイクロホンアレイEMA11の半径をReとして次式（３）により得ることができる。但し、m_g＝-Mg,・・・,Mgであり、Mgはモードの最大次数、すなわち後述するグローバルモード係数の最大次数を表している。 The element of the mode coefficient p'can be obtained by the following equation (3), where the imaginary number is j and the radius of the error microphone array EMA11 is R e . However, m_g = -M g , ..., M g , and M g represents the maximum order of the mode, that is, the maximum order of the global mode coefficient described later.

Figure 2022008732000004
Figure 2022008732000004

なお、式（３）においてJ_(m_g)(・)は，（m_g）次の第１種ベッセル関数である。また、式（３）に示す変換については、例えば「M. A. Poletti. A unified theory of horizontal holographic sound systems. Journal of the audio Engineering Society, 48(12):1155-1182, 2000.」などに詳細に記載されている。 In Eq. (3), J _ (m_g) (・) is (m_g) the following first-class Bessel function. The conversion shown in equation (3) is described in detail in, for example, "MA Poletti. A unified theory of horizontal holographic sound systems. Journal of the audio Engineering Society, 48 (12): 1155-1182, 2000." Has been done.

また、３次元音場における場合のモード係数への変換については、例えば「M. A. Poletti. Three-dimensional surround sound systems based on spherical harmonics. Journal of the Audio Engineering Society, 53(11):1004-1025, 2005.」などに詳細に記載されている。 Regarding the conversion to mode coefficients in the case of a three-dimensional sound field, for example, "MA Poletti. Three-dimensional surround sound systems based on spherical harmonics. Journal of the Audio Engineering Society, 53 (11): 1004-1025, 2005 It is described in detail in "."

このような式（３）による変換は線形変換である。そのため、式（３）は所定の（2Mg+1）×Neの変換行列Tgeを用いて次式（４）に示すように行列形式で記述することができる。 Such a transformation by the equation (3) is a linear transformation. Therefore, equation (3) can be described in a matrix format as shown in the following equation (4) using a transformation matrix T ge of a predetermined (2M g + 1) × N e .

Figure 2022008732000005
Figure 2022008732000005

ここで、(・)m,nが行列の(m,n)要素を表すとすると、変換行列Tgeの要素は、次式（５）に示すように表される。 Here, assuming that (・) m, n represents the (m, n) element of the matrix, the elements of the transformation matrix T ge are expressed as shown in the following equation (5).

Figure 2022008732000006
Figure 2022008732000006

式（４）で得られるモード係数p’は、空間上の所定の基準位置を原点とした、つまりグローバルな座標系の原点を基準としたモード係数であり、以下では、このようなモード係数を特にグローバルモード係数とも称することとする。 The mode coefficient p'obtained by the equation (4) is a mode coefficient with a predetermined reference position in space as the origin, that is, with the origin of the global coordinate system as a reference. In particular, it will also be referred to as the global mode coefficient.

また、参照マイクロホンアレイRMA11の参照マイクロホン信号x(k)についても、式（４）と同様の演算により、グローバルモード係数を求めることができる。以下では、参照マイクロホン信号x(k)をグローバルモード係数に変換するための変換行列をTgrと記すこととする。 Further, for the reference microphone signal x (k) of the reference microphone array RMA11, the global mode coefficient can be obtained by the same calculation as in the equation (4). In the following, the transformation matrix for converting the reference microphone signal x (k) to the global mode coefficient will be referred to as T gr .

〈ローカルモード係数について〉
続いて、高次スピーカのローカルモード係数について説明する。特に、以下では高次スピーカの位置を基準（原点）とする、その高次スピーカについてのモード係数をローカルモード係数とも称することとする。ローカルモード係数は、グローバルモード係数における原点とは異なる位置を原点とするモード係数である。 <About local mode coefficient>
Next, the local mode coefficient of the high-order speaker will be described. In particular, in the following, the mode coefficient for the high-order speaker with the position of the high-order speaker as a reference (origin) will also be referred to as a local mode coefficient. The local mode coefficient is a mode coefficient whose origin is a position different from the origin in the global mode coefficient.

例えば２次元空間において、高次スピーカが半径r_oと角度φ_oからなる極座標で表される位置R_o＝(r_o,φ_o)に形成する音場p(R_o)は、以下の式（６）のように表すことができる。 For example, in a two-dimensional space, the sound field p (R _o ) formed by a higher-order speaker at the position R _o = (r _o , φ _o ) represented by polar coordinates consisting of a radius r _o and an angle φ _o is given by the following equation. It can be expressed as (6).

Figure 2022008732000007
Figure 2022008732000007

式（６）において、H_(m_l)(ka_(n_l,o))e-j(m_l)θ_(n_l,o)は高次スピーカの異なる各放射パターンを表しており、それらの放射パターンがモードと呼ばれている。また、式（６）においてβ_(m_l)は、m_lに対応するモードの振幅の強さを表しており、このβ_(m_l)が高次スピーカのローカルモード係数である。さらにMlは最大ローカルモード次数、すなわちローカルモード係数の最大次数である。また、式（６）においてa_(n_l,o)は高次スピーカの位置から位置R_oまでの距離を示しており、θ_(n_l,o)は、高次スピーカの位置を始点とし、位置R_oを終点とするベクトルと、高次スピーカの位置を始点とし、グローバルな座標系の原点を終点とするベクトルとのなす角度を示している。 In equation (6), H _ (m_l) (ka _ (n_l, o) ) e -j (m_l) θ_ (n_l, o) represents each different radiation pattern of the higher-order speaker, and their radiation patterns. Is called a mode. Further, in equation (6), β _ (m_l) represents the strength of the amplitude of the mode corresponding to m_l, and this β _ (m_l) is the local mode coefficient of the high-order speaker. Furthermore, M l is the maximum local mode order, that is, the maximum order of the local mode coefficients. Further, in equation (6), a _ (n_l, o) indicates the distance from the position of the higher-order speaker to the position R _o , and θ _ (n_l, o) starts from the position of the higher-order speaker. It shows the angle between the vector whose end point is the position R _o and the vector whose start point is the position of the higher-order speaker and whose end point is the origin of the global coordinate system.

式（６）から分かるように、１つの高次スピーカにより形成される音場p(R_o)は、複数の放射パターンを組み合わせたものとなっている。 As can be seen from the equation (6), the sound field p (R _o ) formed by one high-order speaker is a combination of a plurality of radiation patterns.

したがって、高次スピーカから音を出力する際に、これらの各モードのローカルモード係数β_(m_l)を適切に決定（制御）することで、様々な指向性を有する音を出力することができる。すなわち、任意の指向性を形成（再現）することができる。 Therefore, when outputting sound from a high-order speaker, it is possible to output sound with various directivity by appropriately determining (controlling) the local mode coefficient β _ (m_l) of each of these modes. .. That is, any directivity can be formed (reproduced).

ここで、高次スピーカアレイSP11を構成するNl個の高次スピーカのうちのn_l番目の高次スピーカを構成するQ個のドライバの駆動信号がyn_lであるとする。ここで、yn_lは上述したQ×1の複素ベクトルである駆動信号yn_l(k)における波数kの表記を省略したものである。 Here, it is assumed that the drive signals of the Q drivers constituting the n_lth higher-order speaker among the N l -th higher-order speakers constituting the higher-order speaker array SP11 are y n_l . Here, y n_l omits the notation of the wave number k in the drive signal y n_l (k), which is a complex vector of Q × 1 described above.

このとき、Q個のドライバについて得られるローカルモード係数β_(n_l)は、（2Ml+1）×1の複素ベクトルとなり、次式（７）に示すように行列形式で記述することができる。 At this time, the local mode coefficient β _ (n_l) obtained for the Q drivers is a complex vector of (2M l +1) × 1 and can be described in the matrix format as shown in the following equation (7). ..

Figure 2022008732000008
Figure 2022008732000008

式（７）では（2Ml+1）×Qの行列であるTlsが、駆動信号yn_lをローカルモード係数β_(n_l)へと変換する変換行列となる。なお、変換行列Tlsは解析的に求めることもできるし、計測によって求めることもできる。 In equation (7), T ls , which is a matrix of (2M l + 1) × Q, is a transformation matrix that converts the drive signal y n _ l into the local mode coefficient β _ (n _ l) . The transformation matrix T ls can be obtained analytically or by measurement.

〈グローバルモード係数とローカルモード係数の相互変換について〉
さらに、グローバルモード係数とローカルモード係数の相互変換について説明する。 <Mutual conversion between global mode coefficient and local mode coefficient>
Further, the mutual conversion between the global mode coefficient and the local mode coefficient will be described.

上述したように、独立に駆動された高次スピーカの複数のドライバはローカルモード係数で表される指向性を形成する。ここで、注意すべきは、これらのローカルモード係数は、高次スピーカの原点に依存する係数であるということである。 As mentioned above, multiple drivers of independently driven high-order speakers form the directivity represented by the local mode factor. It should be noted here that these local mode coefficients are coefficients that depend on the origin of the higher order speaker.

一方で、空間ノイズキャンセリングを含む音場制御では、ある特定の対象の領域を考えることが多いため、その領域での音場制御をモードドメインで考える場合には、何らかの原点を設定し、その原点に依存するモード係数を制御することになる。このときの高次スピーカの位置、つまり高次スピーカの原点とは異なる位置を原点とするモード係数が、上述したグローバルモード係数である。 On the other hand, in sound field control including spatial noise canceling, a specific target area is often considered. Therefore, when considering sound field control in that area in the mode domain, some origin is set and the origin is set. The mode coefficient that depends on the origin will be controlled. The mode coefficient whose origin is the position of the high-order speaker at this time, that is, the position different from the origin of the high-order speaker is the above-mentioned global mode coefficient.

ここで、例えば図２に示すように所定の原点Ogを中心とする半径R_lの円周上に高次スピーカアレイSP11を構成するNl個の高次スピーカが等間隔で配置されている例について考える。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は省略する。 Here, for example, as shown in FIG. 2, an example in which N l high-order speakers constituting the high-order speaker array SP11 are arranged at equal intervals on the circumference of a radius R _l centered on a predetermined origin Og. think about. In FIG. 2, the parts corresponding to the case in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.

図２では、高次スピーカアレイSP11を構成するNl個の高次スピーカが原点Ogを中心として環状に配置されている。例えば矢印A11により示される１つの円が、高次スピーカアレイSP11を構成するn_l番目の高次スピーカを表している。 In FIG. 2, N l high-order speakers constituting the high-order speaker array SP11 are arranged in an annular shape with the origin Og as the center. For example, one circle indicated by the arrow A11 represents the n_lth high-order speaker constituting the high-order speaker array SP11.

ここでは、n_l番目の高次スピーカの位置は、原点Ogからの距離である半径R_lと、所定の軸に対する角度であるφ(n_l)とが用いられて、極座標により（R_l,φ(n_l)）と表される。また、高次スピーカの位置を始点とし、位置R_oを終点とするベクトルをベクトルA_(n_l,o)とすると、このベクトルA_(n_l,o)の長さ（大きさ）が上述の式（６）におけるa_(n_l,o)であり、高次スピーカの位置を始点とし、原点Ogを終点とするベクトルと、ベクトルA_(n_l,o)とのなす角度が上述の式（６）におけるθ_(n_l,o)である。 Here, the position of the n_lth higher-order speaker uses the radius R _l , which is the distance from the origin Og, and φ (n_l) , which is the angle with respect to a predetermined axis, by polar coordinates (R _l , φ ( R _l, φ). It is expressed as n_l) ). Further, if the vector whose starting point is the position of the higher-order speaker and whose ending point is the position R _o is the vector A _ (n_l, o), the length (magnitude) of this vector A _ (n_l, o) is described above. It is a _ (n_l, o) in the equation (6), and the angle between the vector whose starting point is the position of the higher-order speaker and whose ending point is the origin Og and the vector A _ (n_l, o) is the above equation ( It is θ _ (n_l, o) in 6).

いま、原点Og近傍の音場を制御したいものとすると、Nl個の高次スピーカについて、高次スピーカを構成する各ドライバの駆動信号を制御することにより、各高次スピーカのローカルモード係数を適切に制御し、所望の音場を形成することができる。 Now, if we want to control the sound field near the origin Og, we can control the local mode coefficient of each high-order speaker by controlling the drive signal of each driver that constitutes the high-order speaker for N l high-order speakers. It can be appropriately controlled to form a desired sound field.

しかしながら、制御対象となるのは原点Og近傍の音場である。すなわち、原点Ogを展開中心とするグローバルモード係数を制御する必要がある。そのため、ローカルモード係数をグローバルモード係数に変換する必要がある。 However, the control target is the sound field near the origin Og. That is, it is necessary to control the global mode coefficient centered on the origin Og. Therefore, it is necessary to convert the local mode coefficient to the global mode coefficient.

このようなローカルモード係数のグローバルモード係数への変換は、高次スピーカを用いた音場制御などで用いられている。 Such conversion of the local mode coefficient to the global mode coefficient is used in sound field control using a high-order speaker or the like.

ここでは、図２に示す高次スピーカの配置に基づいて、各高次スピーカのローカルモード係数から、原点Ogを中心とするグローバルモード係数への変換について説明する。なお、本技術では高次スピーカアレイSP11を構成する高次スピーカの配置は、図２に示す例に限らず、どのような配置であってもよい。 Here, the conversion from the local mode coefficient of each high-order speaker to the global mode coefficient centered on the origin Og will be described based on the arrangement of the high-order speakers shown in FIG. In the present technology, the arrangement of the high-order speakers constituting the high-order speaker array SP11 is not limited to the example shown in FIG. 2, and may be any arrangement.

例えば、原点Ogを中心として、その原点Og近傍にある位置R_oの音場p(R_o)が以下の式（８）に示すように展開されているとする。なお、この音場p(R_o)の最大グローバルモード次数、すなわちモードの最大次数がMgであるとする。 For example, it is assumed that the sound field p (R _o ) at the position R _o near the origin Og is expanded as shown in the following equation (8) with the origin Og as the center. It is assumed that the maximum global mode order of this sound field p (R _o ), that is, the maximum order of the mode is Mg .

Figure 2022008732000009
Figure 2022008732000009

式（８）においてp_(m_g)(R_o)は、音場p(R_o)をグローバルモードごとに展開したときの成分である。また、γ_(m_g)は複素数であり、原点Ogを中心として音場p(R_o)を展開したときのグローバルモード係数である。さらに、m_gはグローバルモードのインデックスを表している。 In equation (8), p _ (m_g) (R _o ) is a component when the sound field p (R _o ) is expanded for each global mode. In addition, γ _ (m_g) is a complex number, which is a global mode coefficient when the sound field p (R _o ) is expanded around the origin Og. In addition, m_g represents the global mode index.

ここで、位置（R_l,φ(n_l)）にある高次スピーカの(m_l)次のモード成分が形成する音場p_(n_l),(m_l)(R_o)は、以下の式（９）により表すことができる。但し、r_o＜R_lである。 Here, the sound field p _ (n_l), (m_l) (R _o) formed by the (m_l) next mode component of the high-order speaker at the position (R _l , φ (n_l) ) is the following equation (R _o ). It can be expressed by 9). However, r _o <R _l .

Figure 2022008732000010
Figure 2022008732000010

したがって、高次スピーカアレイSP11を構成するn_l番目の高次スピーカの(m_l)次のモード（ローカルモード）の係数をα_(n_l),(m_l)としたとき、高次スピーカアレイSP11全体により形成される音場p(R_o)は、次式（１０）に示すようになる。なお、このローカルモード係数α_(n_l),(m_l)は、式（６）におけるローカルモード係数β_(m_l)に対応する。 Therefore, when the coefficient of the (m_l) next mode (local mode) of the n_lth high-order speaker constituting the high-order speaker array SP11 is α _ (n_l), (m_l) , the whole high-order speaker array SP11 The formed sound field p (R _o ) is as shown in the following equation (10). The local mode coefficients α _ (n_l) and (m_l) correspond to the local mode coefficients β _ (m_l) in the equation (6).

Figure 2022008732000011
Figure 2022008732000011

上述の式（８）および式（１０）から、グローバルモード係数γ_(m_g)と、Nl個の高次スピーカのローカルモード係数α_(n_l),(m_l)との関係は、次式（１１）に示すようになる。 From the above equations (8) and (10), the relationship between the global mode coefficient γ _ (m_g) and the local mode coefficients α _ (n_l), (m_l) of N l high-order speakers is as follows. It becomes as shown in (11).

Figure 2022008732000012
Figure 2022008732000012

また、次式（１２）に示すように、グローバルモード係数γ_(m_g)を並べて得られる（2Mg+1）×1の複素ベクトルをγとする。 Further, as shown in the following equation (12), the complex vector of (2M g + 1) × 1 obtained by arranging the global mode coefficients γ _ (m_g) is defined as γ.

Figure 2022008732000013
Figure 2022008732000013

さらに、次式（１３）に示すように、高次スピーカアレイSP11を構成するNl個の高次スピーカのローカルモード係数α_(n_l),(m_l)を並べて得られる（2Ml+1）Nl×1の複素ベクトルをαとする。 Further, as shown in the following equation (13), the local mode coefficients α _ (n_l) and (m_l) of N l high-order speakers constituting the high-order speaker array SP11 are obtained side by side (2M l +1). Let α be a complex vector of N l × 1.

Figure 2022008732000014
Figure 2022008732000014

このとき、これらの複素ベクトルγと複素ベクトルαの関係は、次式（１４）に示すようになる。 At this time, the relationship between these complex vectors γ and the complex vector α is shown in the following equation (14).

Figure 2022008732000015
Figure 2022008732000015

なお、式（１４）においてI(n_l,m_l)は、インデックスを求める関数であり、Tglは（2Mg+1）×（2Ml+1）Nlの変換行列である。この変換行列Tglが各高次スピーカのローカルモード係数を、原点を中心とする高次スピーカアレイSP11全体のグローバルモード係数へと変換する行列である。 In equation (14), I (n_l, m_l) is a function for finding an index, and T gl is a transformation matrix of (2M g + 1) × (2M l + 1) N l . This transformation matrix T gl is a matrix that transforms the local mode coefficient of each high-order speaker into the global mode coefficient of the entire high-order speaker array SP11 centered on the origin.

〈MIMOについて〉
さらに、空間ノイズキャンセリングを実現する適応型ノイズキャンセリングアルゴリズムについて説明する。 <About MIMO>
Further, an adaptive noise canceling algorithm that realizes spatial noise canceling will be described.

本技術の空間ノイズキャンセリングのアルゴリズムは、FIR（Finite Impulse Response）型のフィルタのフィルタ係数を参照マイクロホン信号x(k)とエラーマイクロホン信号e(k)との関係から適応的に更新していくアルゴリズムであり、適応フィルタ手法の一種である。 The spatial noise canceling algorithm of this technology adaptively updates the filter coefficient of the FIR (Finite Impulse Response) type filter from the relationship between the microphone signal x (k) and the error microphone signal e (k). It is an algorithm and a kind of adaptive filter method.

適応フィルタ手法の一般的な手法としてFiltered-X LMS（Least Mean Square）アルゴリズムが知られている。Filtered-X LMSは、空間ノイズキャンセリングのような多チャンネルでの制御にも拡張されており、また制御対象の信号を異なるドメイン（領域）の信号に変換する手法も提案されている。 The Filtered-X LMS (Least Mean Square) algorithm is known as a general method of the adaptive filter method. Filtered-X LMS has been extended to multi-channel control such as spatial noise canceling, and a method of converting the signal to be controlled into a signal of a different domain (region) has also been proposed.

以下において説明する本技術を適用した空間ノイズキャンセリングの手法は、全てFiltered-X LMSアルゴリズムの構造を持つものである。 All of the spatial noise canceling methods to which this technique is applied, which will be described below, have the structure of the Filtered-X LMS algorithm.

ここでは、まずMIMO（Multi Input Multi Output）型のFiltered-X LMSアルゴリズム（以下、単にMIMOとも称する）について説明する。そして、その後、ローカルモード適応アルゴリズム（以下、単にMD-LMとも称する）とグローバルモード適応アルゴリズム（以下、単にMD-GMとも称する）について説明する。 Here, first, a MIMO (Multi Input Multi Output) type Filtered-X LMS algorithm (hereinafter, also simply referred to as MIMO) will be described. After that, the local mode adaptation algorithm (hereinafter, also simply referred to as MD-LM) and the global mode adaptation algorithm (hereinafter, also simply referred to as MD-GM) will be described.

MIMO-Filtered-X LMSアルゴリズムは、１入力１出力Filtered-X LMSアルゴリズムの自然な拡張として導出される。 The MIMO-Filtered-X LMS algorithm is derived as a natural extension of the 1-input, 1-output Filtered-X LMS algorithm.

ここで、図１に示したアレイ配置においてFiltered-X LMSアルゴリズムを定式化することを考える。 Here, consider formulating the Filtered-X LMS algorithm in the array arrangement shown in FIG.

まず、エラーマイクロホンアレイEMA11で観測されるノイズ（直接音）成分の信号、すなわち、ノイズ源NS11からエラーマイクロホンアレイEMA11へと伝搬してくる直接音の信号をdとする。この場合、エラーマイクロホンアレイEMA11で観測される周波数領域の信号eは、次式（１５）に示すようになる。ここで、周波数領域の信号eは、上述したエラーマイクロホン信号e(k)に対応する。また、直接音の信号dは、Ne×1の複素ベクトルである。 First, let d be a signal of a noise (direct sound) component observed by the error microphone array EMA11, that is, a signal of direct sound propagating from the noise source NS11 to the error microphone array EMA11. In this case, the signal e in the frequency domain observed by the error microphone array EMA11 is as shown in the following equation (15). Here, the signal e in the frequency domain corresponds to the error microphone signal e (k) described above. The direct sound signal d is a complex vector of N e × 1.

Figure 2022008732000016
Figure 2022008732000016

なお、式（１５）において、GはNe×QNlの行列であり、二次音源である高次スピーカアレイSP11の高次スピーカから、エラーマイクロホンアレイEMA11を構成するマイクロホンまでの伝達関数を要素としてもつ行列を示している。この伝達関数は二次経路と呼ばれる。 In equation (15), G is a matrix of N e × QN l , and the transfer function from the high-order speaker of the high-order speaker array SP11, which is the secondary sound source, to the microphones constituting the error microphone array EMA11 is an element. It shows the matrix that has as. This transfer function is called a quadratic path.

また、式（１５）においてWはQNl×Nrの行列であり、FIRフィルタ、より詳細にはFIRフィルタを構成するフィルタ係数の周波数領域での値を示している。さらに式（１５）におけるxはNr×1の複素ベクトルであり、上述の参照マイクロホン信号x(k)に対応する。 Further, in Eq. (15), W is a matrix of QN l × N r , and indicates the value of the FIR filter, more specifically, the value of the filter coefficient constituting the FIR filter in the frequency domain. Further, x in the equation (15) is a complex vector of N r × 1 and corresponds to the above-mentioned reference microphone signal x (k).

ここで、後の導出を簡単にするため、式（１５）を次式（１６）に示すように書き換える。 Here, in order to simplify the subsequent derivation, the equation (15) is rewritten as shown in the following equation (16).

Figure 2022008732000017
Figure 2022008732000017

なお、式（１６）においてXは、次式（１７）に示すように、参照マイクロホン信号xとゼロベクトルzとを要素として構成されるQNl×QNlNrの行列である。 In the equation (16), X is a matrix of QN l × QN l N r composed of the reference microphone signal x and the zero vector z as elements, as shown in the following equation (17).

Figure 2022008732000018
Figure 2022008732000018

また、式（１６）においてwは、次式（１８）に示すように、行列Wを構成する要素を並べて得られるQNlNr×1の行列（ベクトル）である。 Further, in the equation (16), w is a matrix (vector) of QN l N r × 1 obtained by arranging the elements constituting the matrix W as shown in the following equation (18).

Figure 2022008732000019
Figure 2022008732000019

さて、ここでの制御目標は、各周波数、つまり波数kで次式（１９）に示す二乗平均誤差Jを最小化することである。なお、式（１９）においてE[・]は期待値操作を表している。 Now, the control goal here is to minimize the root mean square error J shown in the following equation (19) at each frequency, that is, the wave number k. In equation (19), E [・] represents the expected value operation.

Figure 2022008732000020
Figure 2022008732000020

この二乗平均誤差Jを式（１６）を用いて書き換えると、次式（２０）に示すようになる。 When this root mean square error J is rewritten using the equation (16), it becomes as shown in the following equation (20).

Figure 2022008732000021
Figure 2022008732000021

したがって、二乗平均誤差Jのフィルタ係数による勾配は、次式（２１）に示すようになる。 Therefore, the gradient due to the filter coefficient of the root mean square error J is shown in the following equation (21).

Figure 2022008732000022
Figure 2022008732000022

このようにして得られた二乗平均誤差Jの勾配に基づいて、フィルタである行列W、すなわちフィルタを構成するフィルタ係数であるwが更新される。その際、期待値計算は多くのサンプルが必要となり実現が難しいため、LMSアルゴリズムでは期待値計算の結果が瞬時値で置き換えられる。 Based on the gradient of the root mean square error J thus obtained, the matrix W which is a filter, that is, the filter coefficient w which constitutes the filter is updated. At that time, since the expected value calculation requires many samples and is difficult to realize, the result of the expected value calculation is replaced with an instantaneous value in the LMS algorithm.

したがって、LMSアルゴリズムに基づくフィルタの更新式は、次式（２２）に示すようになる。 Therefore, the update formula of the filter based on the LMS algorithm is shown in the following formula (22).

Figure 2022008732000023
Figure 2022008732000023

なお、式（２２）において(i)は時間を示すインデックスを示している。例えばw(i)およびw(i+1)はともにフィルタ係数wを示しているが、フィルタ係数w(i+1)はフィルタ係数w(i)の更新後のものを示している。したがって(i)は、更新回数を示しているともいうことができる。 In equation (22), (i) indicates an index indicating time. For example, w (i) and w (i + 1) both indicate the filter coefficient w, but the filter coefficient w (i + 1) indicates the updated version of the filter coefficient w (i) . Therefore, it can be said that (i) indicates the number of updates.

また、式（２２）においてμはステップサイズパラメータと呼ばれており、フィルタ係数wの更新量を調整するパラメータである。 Further, in the equation (22), μ is called a step size parameter, which is a parameter for adjusting the update amount of the filter coefficient w.

例えばステップサイズパラメータμが大きいときにはフィルタ係数wの収束は早くなるが、一方で発散しやすくなる。逆にステップサイズパラメータμが小さいときにはフィルタ係数wの収束は遅くなる一方で発散しにくくなる。 For example, when the step size parameter μ is large, the filter coefficient w converges quickly, but on the other hand, it tends to diverge. On the contrary, when the step size parameter μ is small, the convergence of the filter coefficient w becomes slow, but it becomes difficult to diverge.

さらに式（２２）において、Gestは式（１５）に示した行列Gの推定値、つまり推定された二次経路である。 Further, in Eq. (22), G est is an estimated value of the matrix G shown in Eq. (15), that is, an estimated quadratic path.

〈MIMO型の空間ノイズキャンセリングシステムの構成例〉
以上において説明したMIMOにより空間ノイズキャンセリングを行うMIMO型の空間ノイズキャンセリングシステムは、例えば図３に示すように構成される。 <Configuration example of MIMO type spatial noise canceling system>
The MIMO-type spatial noise canceling system that performs spatial noise canceling by MIMO described above is configured as shown in FIG. 3, for example.

図３に示す空間ノイズキャンセリングシステムは、参照マイクロホンアレイ１１、エラーマイクロホンアレイ１２、信号処理装置１３、および高次スピーカアレイ１４を有している。 The spatial noise canceling system shown in FIG. 3 includes a reference microphone array 11, an error microphone array 12, a signal processing device 13, and a high-order speaker array 14.

なお、参照マイクロホンアレイ１１、エラーマイクロホンアレイ１２、および高次スピーカアレイ１４は、図１に示した参照マイクロホンアレイRMA11、エラーマイクロホンアレイEMA11、および高次スピーカアレイSP11に対応する。 The reference microphone array 11, the error microphone array 12, and the high-order speaker array 14 correspond to the reference microphone array RMA11, the error microphone array EMA11, and the high-order speaker array SP11 shown in FIG.

また、それらの参照マイクロホンアレイ１１、エラーマイクロホンアレイ１２、および高次スピーカアレイ１４の配置も、図１に示した参照マイクロホンアレイRMA11、エラーマイクロホンアレイEMA11、および高次スピーカアレイSP11の配置と同様である。 Further, the arrangement of the reference microphone array 11, the error microphone array 12, and the high-order speaker array 14 thereof is the same as the arrangement of the reference microphone array RMA11, the error microphone array EMA11, and the high-order speaker array SP11 shown in FIG. be.

信号処理装置１３は、参照マイクロホンアレイ１１から供給された参照マイクロホン信号と、エラーマイクロホンアレイ１２から供給されたエラーマイクロホン信号とに基づいてスピーカ駆動信号を生成し、高次スピーカアレイ１４に供給する。 The signal processing device 13 generates a speaker drive signal based on the reference microphone signal supplied from the reference microphone array 11 and the error microphone signal supplied from the error microphone array 12, and supplies the speaker drive signal to the higher-order speaker array 14.

なお、参照マイクロホンアレイ１１やエラーマイクロホンアレイ１２が信号処理装置１３に設けられるようにしてもよいし、高次スピーカアレイ１４が信号処理装置１３に設けられるようにしてもよい。 The reference microphone array 11 and the error microphone array 12 may be provided in the signal processing device 13, or the high-order speaker array 14 may be provided in the signal processing device 13.

信号処理装置１３は、時間周波数変換部２１、時間周波数変換部２２、制御部２３、および時間周波数合成部２４を有している。 The signal processing device 13 has a time-frequency conversion unit 21, a time-frequency conversion unit 22, a control unit 23, and a time-frequency synthesis unit 24.

時間周波数変換部２１には、参照マイクロホンアレイ１１が周囲の音を収音することで得られた時間領域の参照マイクロホン信号が供給される。 The time-frequency conversion unit 21 is supplied with a reference microphone signal in the time domain obtained by the reference microphone array 11 picking up ambient sound.

時間周波数変換部２１は、参照マイクロホンアレイ１１から供給された参照マイクロホン信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルである参照マイクロホン信号xを制御部２３に供給する。例えば時間周波数変換部２１は、時間周波数変換としてFFT（Fast Fourier Transform）を行うことで、参照マイクロホン信号を時間領域の信号から周波数領域の信号へと変換する。 The time-frequency conversion unit 21 performs time-frequency conversion on the reference microphone signal supplied from the reference microphone array 11, and supplies the reference microphone signal x, which is the time-frequency spectrum obtained as a result, to the control unit 23. For example, the time-frequency conversion unit 21 converts a reference microphone signal from a signal in the time domain to a signal in the frequency domain by performing an FFT (Fast Fourier Transform) as a time-frequency conversion.

時間周波数変換部２２には、エラーマイクロホンアレイ１２が周囲の音を収音することで得られた時間領域のエラーマイクロホン信号が供給される。 The error microphone signal in the time domain obtained by the error microphone array 12 picking up the ambient sound is supplied to the time frequency conversion unit 22.

時間周波数変換部２２は、エラーマイクロホンアレイ１２から供給されたエラーマイクロホン信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルであるエラーマイクロホン信号eを制御部２３に供給する。例えば時間周波数変換部２２は、時間周波数変換としてFFTを行うことで、エラーマイクロホン信号を時間領域の信号から周波数領域の信号へと変換する。 The time-frequency conversion unit 22 performs time-frequency conversion on the error microphone signal supplied from the error microphone array 12, and supplies the error microphone signal e, which is the time-frequency spectrum obtained as a result, to the control unit 23. For example, the time-frequency conversion unit 22 converts an error microphone signal from a signal in the time domain to a signal in the frequency domain by performing an FFT as a time-frequency conversion.

制御部２３は、時間周波数変換部２１から供給された参照マイクロホン信号x、および時間周波数変換部２２から供給されたエラーマイクロホン信号eに基づいて、周波数領域のスピーカ駆動信号を生成し、時間周波数合成部２４に供給する。 The control unit 23 generates a speaker drive signal in the frequency domain based on the reference microphone signal x supplied from the time-frequency conversion unit 21 and the error microphone signal e supplied from the time-frequency conversion unit 22, and time-frequency synthesis. Supply to unit 24.

制御部２３は、フィルタリング部３１、伝達関数乗算部３２、およびフィルタ係数更新部３３を有している。 The control unit 23 has a filtering unit 31, a transfer function multiplication unit 32, and a filter coefficient updating unit 33.

フィルタリング部３１は、時間周波数変換部２１から供給された参照マイクロホン信号xに基づいて、上述の式（１７）に示した行列Xを生成する。 The filtering unit 31 generates the matrix X shown in the above equation (17) based on the reference microphone signal x supplied from the time frequency conversion unit 21.

また、フィルタリング部３１は、得られた行列Xと、フィルタ係数更新部３３から供給されたフィルタ係数wとに基づいてフィルタリング処理を行い、周波数領域のスピーカ駆動信号を生成し、時間周波数合成部２４に供給する。フィルタリング処理では、行列Xとフィルタ係数wとが畳み込まれて式（１６）に示したXwが求められる。これにより、上述したベクトルy(k)に対応するスピーカ駆動信号が得られる。 Further, the filtering unit 31 performs filtering processing based on the obtained matrix X and the filter coefficient w supplied from the filter coefficient updating unit 33 to generate a speaker drive signal in the frequency domain, and the time frequency synthesis unit 24. Supply to. In the filtering process, the matrix X and the filter coefficient w are convoluted to obtain the Xw shown in the equation (16). As a result, the speaker drive signal corresponding to the above-mentioned vector y (k) can be obtained.

このようにしてフィルタリング部３１で生成されるスピーカ駆動信号は、点制御によりターゲット領域内の空間ノイズ音をキャンセルするためのものである。 The speaker drive signal generated by the filtering unit 31 in this way is for canceling the spatial noise sound in the target region by point control.

伝達関数乗算部３２は、実際の測定等により予め求められた二次経路である行列Gestを保持している。この行列Gestは、高次スピーカアレイ１４を構成する高次スピーカから、エラーマイクロホンアレイ１２を構成するマイクロホンまでの伝達特性を示す伝達関数からなる。なお、行列Gestは、高次スピーカアレイ１４等の配置が変わるたびに更新されるようにすることができる。 The transfer function multiplication unit 32 holds the matrix Gest , which is a quadratic path obtained in advance by actual measurement or the like. This matrix Gest consists of a transfer function showing the transfer characteristics from the high-order speaker constituting the high-order speaker array 14 to the microphones constituting the error microphone array 12. The matrix Gest can be updated every time the arrangement of the high-order speaker array 14 or the like is changed.

伝達関数乗算部３２は、時間周波数変換部２１から供給された参照マイクロホン信号xから得られる行列Xと、保持している行列Gestとの積GestXを求め、フィルタ係数更新部３３に供給する。このようにして得られる積GestXは、参照マイクロホン信号に伝達関数を乗算することで得られるものである。 The transfer function multiplication unit 32 obtains the product G est X of the matrix X obtained from the reference microphone signal x supplied from the time-frequency conversion unit 21 and the holding matrix G est , and supplies the product to the filter coefficient update unit 33. do. The product Gest X thus obtained is obtained by multiplying the reference microphone signal by the transfer function.

フィルタ係数更新部３３は、伝達関数乗算部３２から供給された積GestXと、現時点におけるフィルタ係数wと、時間周波数変換部２２から供給されたエラーマイクロホン信号eとに基づいて式（２２）の計算を行い、フィルタ係数wを更新する。 The filter coefficient update unit 33 has an equation (22) based on the product Gest X supplied from the transfer function multiplication unit 32, the filter coefficient w at the present time, and the error microphone signal e supplied from the time-frequency conversion unit 22. Is calculated and the filter coefficient w is updated.

フィルタ係数更新部３３は、更新後のフィルタ係数wをフィルタリング部３１に供給する。なお、フィルタ係数wの更新は常時行われる必要はなく、一定の時間間隔など、適切なタイミングで行うようにすることができる。 The filter coefficient updating unit 33 supplies the updated filter coefficient w to the filtering unit 31. It should be noted that the filter coefficient w does not have to be updated all the time, and can be updated at an appropriate timing such as at a fixed time interval.

時間周波数合成部２４は、フィルタリング部３１から供給された周波数領域のスピーカ駆動信号に対して時間周波数合成を行い、その結果得られた時間領域のスピーカ駆動信号を高次スピーカアレイ１４に供給し、音を出力させる。 The time-frequency synthesis unit 24 performs time-frequency synthesis on the speaker drive signal in the frequency domain supplied from the filtering unit 31, and supplies the speaker drive signal in the time domain obtained as a result to the higher-order speaker array 14. Output sound.

例えば時間周波数合成部２４は、時間周波数合成としてIFFT（Inverse Fast Fourier Transform）を行うことで、スピーカ駆動信号を周波数領域の信号から時間領域の信号へと変換する。 For example, the time-frequency synthesis unit 24 converts the speaker drive signal from the signal in the frequency domain to the signal in the time domain by performing IFFT (Inverse Fast Fourier Transform) as the time-frequency synthesis.

高次スピーカアレイ１４は、時間周波数合成部２４から供給されたスピーカ駆動信号に基づいて音を出力することで、ターゲット領域における空間ノイズ音をキャンセルし、ターゲット領域を対象とする空間ノイズキャンセリングを実現する。すなわち、複数の制御点において、高次スピーカアレイ１４から出力された音により、空間ノイズ音が打ち消される。 The high-order speaker array 14 cancels the spatial noise sound in the target region by outputting the sound based on the speaker drive signal supplied from the time-frequency synthesizing unit 24, and performs spatial noise canceling targeting the target region. Realize. That is, at the plurality of control points, the spatial noise sound is canceled by the sound output from the high-order speaker array 14.

以上のようにフィルタ係数wの更新を適宜、行いながら高次スピーカアレイ１４から音を出力することで、空間ノイズキャンセリングが実現される。 Spatial noise canceling is realized by outputting sound from the high-order speaker array 14 while appropriately updating the filter coefficient w as described above.

特に、図３に示したMIMO型の空間ノイズキャンセリングシステムによれば、高次スピーカアレイ１４を用いることで、任意の指向性を有する音を出力することができるので、性能の高い空間ノイズキャンセリングを行うことができる。すなわち、より高い空間ノイズ低減効果を得ることができる。しかも、高次スピーカアレイ１４を用いることで、省スペースで空間ノイズキャンセリングを実現することができる。 In particular, according to the MIMO-type spatial noise canceling system shown in FIG. 3, by using the high-order speaker array 14, sound having arbitrary directivity can be output, so that the spatial noise canceling with high performance can be performed. You can make a ring. That is, a higher spatial noise reduction effect can be obtained. Moreover, by using the high-order speaker array 14, space noise canceling can be realized in a small space.

なお、空間ノイズキャンセリングに高次スピーカアレイ１４を用いると説明したが、高次スピーカと、高次スピーカではない、単一の指向性のみを再現可能な通常のスピーカとを組み合わせて得られるスピーカアレイを用いるようにしてもよい。これは、MIMOに限らず、後述するMD-GMやMD-LMでも同様である。 Although it has been described that the high-order speaker array 14 is used for spatial noise canceling, a speaker obtained by combining a high-order speaker and a normal speaker that is not a high-order speaker and can reproduce only a single directivity. An array may be used. This applies not only to MIMO but also to MD-GM and MD-LM described later.

そのような場合、少なくとも１つの高次スピーカと、通常のスピーカとからなるスピーカアレイは、時間周波数合成部２４から供給されたスピーカ駆動信号に基づいて音を出力することで、空間ノイズキャンセリングを実現する。 In such a case, the speaker array consisting of at least one high-order speaker and a normal speaker outputs sound based on the speaker drive signal supplied from the time-frequency synthesizer 24, thereby performing spatial noise canceling. Realize.

このとき、例えば高次スピーカよりも径が大きい通常のスピーカを空間ノイズ音の低域成分のキャンセルに用いるなど、高次スピーカと、通常のスピーカとを異なる周波数帯域のキャンセルに用いるようにすると、より効果的である。 At this time, for example, a normal speaker having a diameter larger than that of the high-order speaker is used for canceling the low frequency component of the spatial noise sound, and the high-order speaker and the normal speaker are used for canceling different frequency bands. It is more effective.

ところで、図３に示したMIMO型の空間ノイズキャンセリングシステムでは、エラーマイクロホンアレイ１２を構成する各マイクロホンのある地点（位置）における信号、つまり空間ノイズ音の最小化が目的である。すなわち、点制御によりターゲット領域を対象とする空間ノイズキャンセリングが行われる。 By the way, in the MIMO type spatial noise canceling system shown in FIG. 3, the purpose is to minimize the signal at a certain point (position) of each microphone constituting the error microphone array 12, that is, the spatial noise sound. That is, spatial noise canceling targeting the target area is performed by point control.

そのため、図３に示したMIMO型の空間ノイズキャンセリングシステムでは、エラーマイクロホンアレイ１２を構成する各マイクロホンのある地点以外の場所での音圧の減少は保証されていない。 Therefore, in the MIMO-type spatial noise canceling system shown in FIG. 3, the reduction of the sound pressure at a place other than a certain point of each microphone constituting the error microphone array 12 is not guaranteed.

例えば「T. Nakashima and S. Ise. A theoretical study of the discretization of the boundary surface in the boundarysurface control principle. Acoustical science and technology, 27(4):199-205, 2006.」では、音の波長に比べて十分に小さい間隔で、エラーマイクロホンアレイ１２を構成するマイクロホンが並べられている場合には、それらのマイクロホンのある地点以外でも音圧が減少することが報告されている。 For example, in "T. Nakashima and S. Ise. A theoretical study of the discretization of the boundary surface in the boundary surface control principle. Acoustical science and technology, 27 (4): 199-205, 2006." It has been reported that when the microphones constituting the error microphone array 12 are arranged at sufficiently small intervals, the sound pressure decreases even at points other than the points where the microphones are located.

しかしながら、後述するMD-LMやMD-GM、つまりモードドメインで誤差を最小化する方法と比較すると、空間ノイズキャンセリングの性能が劣ってしまう。 However, the performance of spatial noise canceling is inferior to that of MD-LM and MD-GM, which will be described later, that is, the method of minimizing the error in the mode domain.

また、図３に示したMIMO型の空間ノイズキャンセリングシステムでは、フィルタ係数wを更新しながらスピーカ駆動信号を生成する適応処理の演算量が多くなってしまう。 Further, in the MIMO type spatial noise canceling system shown in FIG. 3, the amount of calculation of the adaptive process for generating the speaker drive signal while updating the filter coefficient w becomes large.

すなわち、図３の例では、空間ノイズキャンセリングシステム全体の処理は、主にフィルタ係数wを用いたフィルタリング処理と、そのフィルタ係数wを更新するフィルタ係数更新処理に分けられる。 That is, in the example of FIG. 3, the processing of the entire spatial noise canceling system is mainly divided into a filtering processing using the filter coefficient w and a filter coefficient updating process for updating the filter coefficient w.

フィルタリング処理は、式（１５）のWx、すなわち式（１６）のXwを求める処理であり、これはQNl×Nr個の時間領域畳み込み処理に相当する。 The filtering process is a process of obtaining Wx of the equation (15), that is, Xw of the equation (16), which corresponds to a time domain convolution process of QN l × N r .

また、フィルタ係数更新処理は、式（２２）に示した演算処理であり、このうちの最も演算量が多いのはGestXを求める演算である。 Further, the filter coefficient update process is the arithmetic process shown in the equation (22), and the operation for obtaining Gest X has the largest amount of arithmetic.

行列GestはNe×QNlであり、行列XはQNl×QNlNrであるから、仮に行列Xのゼロ行列部分の計算を行わないとしても、GestXを求める演算の演算量（計算量）は、周波数ごとにO(Ne(QNl)2Nr)となる。 Since the matrix G est is N e × QN l and the matrix X is QN l × QN l N r , even if the zero matrix part of the matrix X is not calculated, the computational complexity of the calculation for G est X is performed. (Computational complexity) is O (N e (QN l ) 2 N r ) for each frequency.

例としてNe＝16、Q＝16、Nl＝6（すなわち総ドライバ数QNl＝96）、Nr＝16、バッファサイズとフィルタ長を1024サンプル、サンプリング周波数を48kHzとしたとき、48000/1024×513×16×962×16＝5.7×1010となる。 As an example, when N e = 16, Q = 16, N l = 6 (that is, the total number of drivers QN l = 96), N r = 16, buffer size and filter length are 1024 samples, and sampling frequency is 48 kHz, 48000 / 1024 x 513 x 16 x 96 2 x 16 = 5.7 x 10 10 .

したがって、Cを定数としてC×5.7×1010回/秒の乗加算が必要となる。そのため、フィルタ係数wを更新する周波数を限定したり、更新の頻度を下げたりするなど、実際の演算量を減らす工夫はできるが、汎用のCPU（Central Processing Unit）といった通常のハードウェアにおいては空間ノイズキャンセリングの実現が困難となる。 Therefore, it is necessary to multiply and add C × 5.7 × 10 10 times / second with C as a constant. Therefore, it is possible to reduce the actual amount of calculation by limiting the frequency at which the filter coefficient w is updated or reducing the frequency of updating, but it is a space in normal hardware such as a general-purpose CPU (Central Processing Unit). It becomes difficult to realize noise canceling.

〈MD-GMについて〉
そこで、本技術では高次スピーカアレイを用いるだけでなく、モードドメイン（波数領域）においてフィルタリング処理とフィルタ係数更新処理を行うことで、省スペースかつ少ない演算量で、十分な性能の空間ノイズキャンセリングを実現できるようにした。 <About MD-GM>
Therefore, this technology not only uses a high-order speaker array, but also performs filtering processing and filter coefficient update processing in the mode domain (wavenumber region), which saves space and requires a small amount of calculation, and provides sufficient performance for spatial noise canceling. Was made possible.

このようにフィルタリング処理とフィルタ係数更新処理をモードドメインで行う手法が、グローバルモード適応アルゴリズム（MD-GM）である。 The global mode adaptation algorithm (MD-GM) is a method for performing filtering processing and filter coefficient updating processing in the mode domain in this way.

このMD-GMは、NWD-Mアルゴリズムにおいて高次スピーカを用いた状況下での自然な拡張である。なお、NWD-Mアルゴリズムについては、例えば「J. Zhang, T. D. Abhayapala, W. Zhang, P. N. Samarasinghe, and S. Jiang. Active noise control over space:A wave domain approach. IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP),26(4):774-786, 2018.」などに詳細に記載されている。 This MD-GM is a natural extension of the NWD-M algorithm in the context of using higher order speakers. For the NWD-M algorithm, for example, "J. Zhang, TD Abhayapala, W. Zhang, PN Samarasinghe, and S. Jiang. Active noise control over space: A wave domain approach. IEEE / ACM Transactions on Audio, Speech and Language Processing (TASLP), 26 (4): 774-786, 2018. "and so on."

また、MIMOが点制御であるのに対して、MD-GMはターゲット領域全体で音圧を減少させるエリア制御の空間ノイズキャンセリングとなっている。すなわち、エリア制御では、ターゲット領域全体における音の波面が、複数の高次スピーカを用いた波面合成によって目的とする波面となるようにスピーカ駆動信号が生成される。ここでいう目的とする波面とは、空間ノイズ音の波面が打ち消されるような波面である。 In addition, while MIMO is point control, MD-GM is area control spatial noise canceling that reduces the sound pressure over the entire target area. That is, in the area control, the speaker drive signal is generated so that the wavefront of the sound in the entire target region becomes the target wavefront by wavefield synthesis using a plurality of high-order speakers. The target wavefront here is a wavefront that cancels out the wavefront of spatial noise sound.

まず、準備として以下の式（２３）および式（２４）に示す変換行列を定義する。 First, as a preparation, the transformation matrices shown in the following equations (23) and (24) are defined.

Figure 2022008732000024
Figure 2022008732000024

Figure 2022008732000025
Figure 2022008732000025

なお、式（２３）および式（２４）において、A+は行列Aの擬似逆行列を表している。 In Eqs. (23) and (24), A + represents the pseudo-inverse matrix of the matrix A.

例えば式（１４）に示したように、変換行列Tglは高次スピーカのローカルモード係数をグローバルモード係数へと変換する行列であるから、変換行列Tlgはグローバルモード係数を高次スピーカのローカルモード係数へと変換する行列となる。 For example, as shown in Eq. (14), since the transformation matrix T gl is a matrix that converts the local mode coefficient of the higher-order speaker into the global mode coefficient, the transformation matrix T lg converts the global mode coefficient to the local of the higher-order speaker. It becomes a matrix that is converted into a mode coefficient.

同様に、式（７）に示したように変換行列Tlsは高次スピーカの周波数領域の駆動信号yn_l、すなわちスピーカ駆動信号を、高次スピーカの各ドライバのローカルモード係数に変換する行列である。したがって、変換行列Tslは高次スピーカの各ドライバのローカルモード係数を、高次スピーカの周波数領域のスピーカ駆動信号に変換する行列となる。 Similarly, as shown in Eq. (7), the transformation matrix T ls is a matrix that converts the drive signal y n_l in the frequency domain of the high-order speaker, that is, the speaker drive signal into the local mode coefficient of each driver of the high-order speaker. be. Therefore, the transformation matrix T sl is a matrix that converts the local mode coefficient of each driver of the high-order speaker into the speaker drive signal in the frequency domain of the high-order speaker.

MD-GMでは、参照マイクロホン信号xが変換行列Tgrによりグローバルなモードドメインの信号、つまりグローバルモード係数に変換される。 In MD-GM, the reference microphone signal x is converted into a signal of the global mode domain, that is, a global mode coefficient by the transformation matrix T gr .

そして、得られたグローバルモード係数に対してフィルタ係数を用いたフィルタリング処理が行われ、そのフィルタ出力としてグローバルモード係数を得る。このときに得られるグローバルモード係数が、グローバルなモードドメインのスピーカ駆動信号である。 Then, a filtering process using the filter coefficient is performed on the obtained global mode coefficient, and the global mode coefficient is obtained as the filter output. The global mode coefficient obtained at this time is the speaker drive signal of the global mode domain.

その後、モードドメインのスピーカ駆動信号として得られたグローバルモード係数が変換行列Tlgにより各高次スピーカのローカルモード係数に変換される。さらにそのローカルモード係数が変換行列Tslにより、高次スピーカの各ドライバの周波数領域のスピーカ駆動信号に変換される。 After that, the global mode coefficient obtained as the speaker drive signal of the mode domain is converted into the local mode coefficient of each higher-order speaker by the transformation matrix T lg . Further, the local mode coefficient is converted into a speaker drive signal in the frequency domain of each driver of the higher-order speaker by the transformation matrix T sl .

このとき、エラーマイクロホン信号eは、次式（２５）に示すように表すことができる。 At this time, the error microphone signal e can be expressed as shown in the following equation (25).

Figure 2022008732000026
Figure 2022008732000026

なお、式（２５）において、dは式（１５）における場合と同様に直接音の信号であり、Gは高次スピーカアレイSP11の高次スピーカから、エラーマイクロホンアレイEMA11を構成するマイクロホンまでの伝達関数を要素としてもつNe×QNlの行列である。 In the equation (25), d is a direct sound signal as in the equation (15), and G is a transmission from the high-order speaker of the high-order speaker array SP11 to the microphones constituting the error microphone array EMA11. It is a matrix of N e × QN l having a function as an element.

また、式（２５）においてWGMはフィルタ係数であり、(2Mg+1)×(2Mg+1)の対角行列である。以下では、導出のために行列WGMを次式（２６）に示すように定義する。 Further, in Eq. (25), W GM is a filter coefficient, which is a diagonal matrix of (2M g +1) × (2M g +1). In the following, the matrix W GM is defined as shown in the following equation (26) for derivation.

Figure 2022008732000027
Figure 2022008732000027

ここで、エラーマイクロホン信号eのグローバルモード係数e’は、変換行列Tgeとエラーマイクロホン信号eとから、次式（２７）により求めることができる。 Here, the global mode coefficient e'of the error microphone signal e can be obtained from the transformation matrix T ge and the error microphone signal e by the following equation (27).

Figure 2022008732000028
Figure 2022008732000028

なお、式（２７）において、d’＝Tgedであり、g’＝TgeGTslTlgであり、x’＝Tgrxである。x’は参照マイクロホン信号xのグローバルモード係数である。高次スピーカが環状で等間隔に並べられた理想配置においては、TgeGTslTlgは対角行列に近似できる。よって、ここでは行列g’をTgeGTslTlgの対角成分だけを取り出した対角行列とする。 In equation (27), d'= T ge d, g'= T ge GT sl T lg , and x'= T gr x. x'is the global mode factor of the reference microphone signal x. In an ideal arrangement of high-order speakers arranged in a circle and evenly spaced, the T ge GT sl T lg can be approximated to a diagonal matrix. Therefore, here, the matrix g'is a diagonal matrix obtained by extracting only the diagonal components of T ge GT sl T lg .

また、式（２７）においてX’は、グローバルモード係数x’の成分を対角に並べて得られる(2Mg+1)×(2Mg+1)の対角行列である。 Further, in the equation (27), X'is a diagonal matrix of (2M g +1) × (2M g +1) obtained by arranging the components of the global mode coefficient x'diagonally.

さらに、wGMは次式（２８）に示すように、行列WGMの対角成分からなるベクトルであり、以下ではフィルタ係数wGMとも称する。 Further, w GM is a vector consisting of diagonal components of the matrix W GM as shown in the following equation (28), and is also referred to as a filter coefficient w GM below.

Figure 2022008732000029
Figure 2022008732000029

ここで、グローバルモード係数e’の二乗平均誤差Jglobalの最小化を考えると、次式（２９）に示すようになる。 Here, considering the minimization of the root mean square error J global of the global mode coefficient e', it becomes as shown in the following equation (29).

Figure 2022008732000030
Figure 2022008732000030

したがって、二乗平均誤差Jglobalのフィルタ係数wGMに関する勾配は次式（３０）に示すようになるので、LMSアルゴリズムに基づくフィルタの更新式は以下の式（３１）に示すようになる。 Therefore, since the gradient with respect to the filter coefficient w GM of the root mean square error J global is shown in the following equation (30), the update equation of the filter based on the LMS algorithm is shown in the following equation (31).

Figure 2022008732000031
Figure 2022008732000031

Figure 2022008732000032
Figure 2022008732000032

なお、式（３１）において(i)は時間を示すインデックスを示している。例えばwGM (i)およびwGM (i+1)はともにフィルタ係数wGMを示しているが、フィルタ係数wGM (i+1)はフィルタ係数wGM (i)の更新後のものを示している。したがって(i)は、更新回数を示しているともいうことができる。 In equation (31), (i) indicates an index indicating time. For example, w GM (i) and w GM (i + 1) both indicate the filter coefficient w GM , while the filter coefficient w GM (i + 1) indicates the updated version of the filter coefficient w GM (i) . ing. Therefore, it can be said that (i) indicates the number of updates.

また、式（３１）においてμは式（２２）における場合と同様のステップサイズパラメータである。さらに式（３１）において、g’estは行列g’の推定値、つまり推定された二次経路（伝達関数）からなる行列である。 Further, in the equation (31), μ is the same step size parameter as in the equation (22). Further, in the equation (31), g'est is an estimated value of the matrix g', that is, a matrix consisting of the estimated quadratic path (transfer function).

〈MD-GM型の空間ノイズキャンセリングシステムの構成例〉
以上において説明したMD-GMにより空間ノイズキャンセリングを行うMD-GM型の空間ノイズキャンセリングシステムは、例えば図４に示すように構成される。なお、図４において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。 <Configuration example of MD-GM type spatial noise canceling system>
The MD-GM type spatial noise canceling system that performs spatial noise canceling by the MD-GM described above is configured as shown in FIG. 4, for example. In FIG. 4, the same reference numerals are given to the portions corresponding to those in FIG. 3, and the description thereof will be omitted as appropriate.

図４に示す空間ノイズキャンセリングシステムは、参照マイクロホンアレイ１１、エラーマイクロホンアレイ１２、信号処理装置６１、および高次スピーカアレイ１４を有している。 The spatial noise canceling system shown in FIG. 4 includes a reference microphone array 11, an error microphone array 12, a signal processing device 61, and a high-order speaker array 14.

信号処理装置６１は、時間周波数変換部２１、時間周波数変換部２２、制御部７１、および時間周波数合成部２４を有している。また、制御部７１は、モード変換部８１、フィルタリング部８２、駆動信号生成部８３、行列演算部８４、モード変換部８５、およびフィルタ係数更新部８６を有している。 The signal processing device 61 has a time frequency conversion unit 21, a time frequency conversion unit 22, a control unit 71, and a time frequency synthesis unit 24. Further, the control unit 71 includes a mode conversion unit 81, a filtering unit 82, a drive signal generation unit 83, a matrix calculation unit 84, a mode conversion unit 85, and a filter coefficient updating unit 86.

モード変換部８１は、時間周波数変換部２１から供給された参照マイクロホン信号xと、予め保持している変換行列Tgrとに基づいて、参照マイクロホン信号xをグローバルモード係数x’に変換し、フィルタリング部８２および行列演算部８４に供給する。 The mode conversion unit 81 converts the reference microphone signal x into the global mode coefficient x'based on the reference microphone signal x supplied from the time-frequency conversion unit 21 and the conversion matrix T gr held in advance, and filters the reference microphone signal x. It is supplied to the unit 82 and the matrix calculation unit 84.

フィルタリング部８２は、モード変換部８１から供給されたグローバルモード係数x’と、フィルタ係数更新部８６から供給されたフィルタ係数wGMとに基づいて、波数領域でのフィルタリング処理を行う。すなわち、フィルタリング部８２では、グローバルモード係数x’に対してフィルタ係数wGMを用いたフィルタリング処理が行われてスピーカ駆動信号が生成される。 The filtering unit 82 performs filtering processing in the wavenumber region based on the global mode coefficient x'supplied from the mode conversion unit 81 and the filter coefficient w GM supplied from the filter coefficient updating unit 86. That is, in the filtering unit 82, the filtering process using the filter coefficient w GM is performed on the global mode coefficient x'to generate a speaker drive signal.

フィルタリング部８２は、フィルタリング処理により得られたグローバルなモードドメイン（波数領域）のスピーカ駆動信号を駆動信号生成部８３に供給する。このようにしてフィルタリング部８２で生成されるスピーカ駆動信号は、ターゲット領域へと伝搬する空間ノイズ音をエリア制御によりキャンセルするためのものである。 The filtering unit 82 supplies the speaker drive signal of the global mode domain (wavenumber region) obtained by the filtering process to the drive signal generation unit 83. The speaker drive signal generated by the filtering unit 82 in this way is for canceling the spatial noise sound propagating to the target region by area control.

駆動信号生成部８３は、フィルタリング部８２から供給されたスピーカ駆動信号と、予め保持している変換行列Tlgおよび変換行列Tslに基づいて、周波数領域のスピーカ駆動信号、つまり高次スピーカの各ドライバの駆動信号を生成し、時間周波数合成部２４に供給する。 The drive signal generation unit 83 is a speaker drive signal in the frequency domain, that is, each of the higher-order speakers, based on the speaker drive signal supplied from the filtering unit 82 and the conversion matrix T lg and the conversion matrix T sl held in advance. A driver drive signal is generated and supplied to the time-frequency synthesis unit 24.

駆動信号生成部８３では、グローバルなモードドメインのスピーカ駆動信号、つまりグローバルモード係数を、変換行列Tlgによりローカルなモードドメインのスピーカ駆動信号、つまりローカルモード係数に変換する変換処理と、ローカルなモードドメインのスピーカ駆動信号を変換行列Tslにより周波数領域のスピーカ駆動信号に変換する変換処理とが行われる。 The drive signal generation unit 83 converts the speaker drive signal of the global mode domain, that is, the global mode coefficient, into the speaker drive signal of the local mode domain, that is, the local mode coefficient by the transformation matrix T lg , and the local mode. The conversion process of converting the speaker drive signal of the domain into the speaker drive signal of the frequency region by the conversion matrix T sl is performed.

なお、駆動信号生成部８３では、これらの変換処理が順番に行われてもよいし、同時に行われてもよい。さらに、これらの変換処理と、時間周波数合成とが駆動信号生成部８３において同時に行われるようにしてもよい。 In the drive signal generation unit 83, these conversion processes may be performed in order or at the same time. Further, these conversion processes and time-frequency synthesis may be performed simultaneously in the drive signal generation unit 83.

行列演算部８４は、予め求められた行列g’estを保持している。この行列g’estは、高次スピーカアレイ１４を構成する高次スピーカから、エラーマイクロホンアレイ１２を構成するマイクロホンまでの伝達特性（二次経路）の推定値を示している。なお、行列g’estは、高次スピーカアレイ１４等の配置が変わるたびに更新されるようにすることができる。 The matrix calculation unit 84 holds a matrix g'est obtained in advance. This matrix g'est shows the estimated value of the transmission characteristic (secondary path) from the high-order speaker constituting the high-order speaker array 14 to the microphone constituting the error microphone array 12. The matrix g'est can be updated every time the arrangement of the high-order speaker array 14 or the like is changed.

行列演算部８４は、モード変換部８１から供給されたグローバルモード係数x’から得られる行列X’と、保持している行列g’estとの積g’estX’を求め、フィルタ係数更新部８６に供給する。 The matrix calculation unit 84 obtains a product g'est X'of the matrix X'obtained from the global mode coefficient x'supplied from the mode conversion unit 81 and the retained matrix g'est, and the filter coefficient update unit. Supply to 86.

モード変換部８５は、時間周波数変換部２２から供給されたエラーマイクロホン信号eと、予め保持している変換行列Tgeとに基づいて、エラーマイクロホン信号eをグローバルモード係数e’に変換し、フィルタ係数更新部８６に供給する。 The mode conversion unit 85 converts the error microphone signal e into a global mode coefficient e'based on the error microphone signal e supplied from the time-frequency conversion unit 22 and the conversion matrix T ge held in advance, and filters the error microphone signal e. It is supplied to the coefficient updating unit 86.

フィルタ係数更新部８６は、行列演算部８４から供給された積g’estX’と、現時点におけるフィルタ係数wGMと、モード変換部８５から供給されたグローバルモード係数e’とに基づいてフィルタ係数wGMを更新する。フィルタ係数更新部８６は、更新後のフィルタ係数wGMをフィルタリング部８２に供給する。なお、フィルタ係数wGMの更新は常時行われる必要はなく、一定の時間間隔など、適切なタイミングで行うようにすることができる。 The filter coefficient update unit 86 has a filter coefficient based on the product g'est X'supplied from the matrix calculation unit 84, the current filter coefficient w GM , and the global mode coefficient e'supplied from the mode conversion unit 85. w Update GM . The filter coefficient updating unit 86 supplies the updated filter coefficient w GM to the filtering unit 82. The filter coefficient w GM does not have to be updated all the time, but can be updated at an appropriate timing such as at a fixed time interval.

ここでは、フィルタリング部８２、行列演算部８４、およびフィルタ係数更新部８６において行われる処理が波数領域処理、つまりモードドメインでの演算処理となっている。 Here, the processing performed by the filtering unit 82, the matrix calculation unit 84, and the filter coefficient updating unit 86 is wave number region processing, that is, arithmetic processing in the mode domain.

〈空間ノイズキャンセリング処理の説明〉
続いて、図４に示したMD-GM型の空間ノイズキャンセリングシステムの動作について説明する。すなわち、以下、図５のフローチャートを参照して、空間ノイズキャンセリングシステムによる空間ノイズキャンセリング処理について説明する。 <Explanation of spatial noise canceling processing>
Subsequently, the operation of the MD-GM type spatial noise canceling system shown in FIG. 4 will be described. That is, the spatial noise canceling process by the spatial noise canceling system will be described below with reference to the flowchart of FIG.

なお、空間ノイズキャンセリング処理が開始されると、参照マイクロホンアレイ１１は周囲の音を収音し、その結果得られた時間領域の参照マイクロホン信号を、逐次、時間周波数変換部２１へと供給する。また、エラーマイクロホンアレイ１２は、周囲の音を収音し、その結果得られた時間領域のエラーマイクロホン信号を、逐次、時間周波数変換部２２へと供給する。 When the spatial noise canceling process is started, the reference microphone array 11 picks up the ambient sound, and sequentially supplies the reference microphone signal in the time domain obtained as a result to the time frequency conversion unit 21. .. Further, the error microphone array 12 collects ambient sounds, and sequentially supplies the error microphone signal in the time domain obtained as a result to the time frequency conversion unit 22.

ステップＳ１１において時間周波数変換部２１は、参照マイクロホンアレイ１１から供給された参照マイクロホン信号に対して時間周波数変換を行い、その結果得られた参照マイクロホン信号xをモード変換部８１に供給する。例えばステップＳ１１では、時間周波数変換としてFFTが行われる。 In step S11, the time-frequency conversion unit 21 performs time-frequency conversion on the reference microphone signal supplied from the reference microphone array 11, and supplies the resulting reference microphone signal x to the mode conversion unit 81. For example, in step S11, FFT is performed as a time frequency conversion.

ステップＳ１２においてモード変換部８１は、時間周波数変換部２１から供給された参照マイクロホン信号xを変換行列Tgrによりグローバルモード係数x’に変換し、フィルタリング部８２および行列演算部８４に供給する。すなわち、ステップＳ１２では変換行列Tgrと参照マイクロホン信号xの積Tgrxが求められ、グローバルモード係数x’とされる。 In step S12, the mode conversion unit 81 converts the reference microphone signal x supplied from the time-frequency conversion unit 21 into a global mode coefficient x'by the conversion matrix T gr , and supplies the reference microphone signal x to the filtering unit 82 and the matrix calculation unit 84. That is, in step S12, the product T gr x of the transformation matrix T gr and the reference microphone signal x is obtained, and the global mode coefficient x'is set.

ステップＳ１３において時間周波数変換部２２は、エラーマイクロホンアレイ１２から供給されたエラーマイクロホン信号に対して時間周波数変換を行い、その結果得られたエラーマイクロホン信号eをモード変換部８５に供給する。例えばステップＳ１３では、時間周波数変換としてFFTが行われる。 In step S13, the time-frequency conversion unit 22 performs time-frequency conversion on the error microphone signal supplied from the error microphone array 12, and supplies the error microphone signal e obtained as a result to the mode conversion unit 85. For example, in step S13, FFT is performed as a time frequency conversion.

ステップＳ１４においてモード変換部８５は、時間周波数変換部２２から供給されたエラーマイクロホン信号eを変換行列Tgeによりグローバルモード係数e’に変換し、フィルタ係数更新部８６に供給する。すなわち、ステップＳ１４では変換行列Tgeとエラーマイクロホン信号eの積Tgeeが求められ、グローバルモード係数e’とされる。 In step S14, the mode conversion unit 85 converts the error microphone signal e supplied from the time-frequency conversion unit 22 into a global mode coefficient e'by the conversion matrix Tge, and supplies the error microphone signal e to the filter coefficient update unit 86. That is, in step S14, the product T ge e of the transformation matrix T ge and the error microphone signal e is obtained, and the global mode coefficient e'is set.

ステップＳ１５においてフィルタリング部８２は、モード変換部８１から供給されたグローバルモード係数x’と、フィルタ係数更新部８６から供給されたフィルタ係数wGMとに基づいて、波数領域（モードドメイン）でのフィルタリング処理を行う。 In step S15, the filtering unit 82 filters in the wave number region (mode domain) based on the global mode coefficient x'supplied from the mode conversion unit 81 and the filter coefficient w GM supplied from the filter coefficient updating unit 86. Perform processing.

すなわち、フィルタリング部８２はグローバルモード係数x’に基づいて、上述の式（２７）に示した行列X’を生成し、その行列X’とフィルタ係数wGMとの積X’wGMを求めることで得られるグローバルモード係数を波数領域のスピーカ駆動信号とする。フィルタリング部８２は、このようにして得られたスピーカ駆動信号を駆動信号生成部８３に供給する。 That is, the filtering unit 82 generates the matrix X'shown in the above equation (27) based on the global mode coefficient x', and obtains the product X'w GM of the matrix X'and the filter coefficient w GM . The global mode coefficient obtained in is used as the speaker drive signal in the wavenumber region. The filtering unit 82 supplies the speaker drive signal thus obtained to the drive signal generation unit 83.

フィルタリング部８２では、式（２７）に示したWGMTgrx＝X’wGMがスピーカ駆動信号として求められるが、フィルタ係数の行列WGMは対角行列であるため、少ない演算量でスピーカ駆動信号を得ることができる。このような演算量の削減は、フィルタリング処理を波数領域（モードドメイン）で行うことにより実現できる。 In the filtering unit 82, the W GM T gr x = X'w GM shown in the equation (27) is obtained as the speaker drive signal, but since the filter coefficient matrix W GM is a diagonal matrix, the speaker requires a small amount of calculation. A drive signal can be obtained. Such a reduction in the amount of calculation can be realized by performing the filtering process in the wave number region (mode domain).

ステップＳ１６において駆動信号生成部８３は、フィルタリング部８２から供給されたスピーカ駆動信号と、変換行列Tlgおよび変換行列Tslとに基づいて周波数領域のスピーカ駆動信号を生成し、時間周波数合成部２４に供給する。 In step S16, the drive signal generation unit 83 generates a speaker drive signal in the frequency domain based on the speaker drive signal supplied from the filtering unit 82 and the transformation matrix T lg and the transformation matrix T sl , and the time-frequency synthesis unit 24 Supply to.

すなわち、駆動信号生成部８３は、スピーカ駆動信号X’wGM、変換行列Tlg、および変換行列Tslの積TslTlgX’wGMを計算し、その計算結果を周波数領域のスピーカ駆動信号とする。 That is, the drive signal generation unit 83 calculates the product T sl T lg X'w GM of the speaker drive signal X'w GM , the transformation matrix T lg , and the transformation matrix T sl , and drives the calculation result to the speaker in the frequency domain. It is a signal.

積TslTlgX’wGMを求める計算（演算）時には、駆動信号生成部８３は少なくとも高次スピーカの１次以上の所定次数の放射パターンに対応する項、つまり環状調和関数の基底のインデックスに対応する項まで演算を行う。 At the time of calculation (calculation) to obtain the product T sl T lg X'w GM , the drive signal generator 83 is a term corresponding to a radiation pattern of a predetermined order of at least the first order or higher of the higher-order speaker, that is, the index of the base of the circular harmonization function. Performs operations up to the term corresponding to.

ここでは、変換行列Tlgや変換行列Tslにおけるインデックス（m_l）が環状調和関数の基底のインデックスに対応している。したがって、例えば最大次数Ml＝1である場合には、高次スピーカの0次の放射パターンと、高次スピーカの1次の放射パターンとを組み合わせて得られる指向性の音の波面をターゲット領域に形成することができる。 Here, the index (m_l) in the transformation matrix T lg and the transformation matrix T sl corresponds to the base index of the circular harmonic function. Therefore, for example, when the maximum order M l = 1, the wavefront of the directional sound obtained by combining the 0th-order radiation pattern of the high-order speaker and the 1st-order radiation pattern of the high-order speaker is the target region. Can be formed into.

同様に、最大次数Ml＝2である場合には、高次スピーカの0次の放射パターン乃至2次の放射パターンを組み合わせて得られる指向性の音の波面をターゲット領域に形成することができる。 Similarly, when the maximum order M l = 2, a directional sound wavefront obtained by combining the 0th-order radiation pattern or the 2nd-order radiation pattern of the high-order speaker can be formed in the target region. ..

駆動信号生成部８３では、最大次数Mlが1以上とされて周波数領域のスピーカ駆動信号が求められる。このようにすることで、より多くの放射パターンを組み合わせて適切な波面をターゲット領域に形成し、空間ノイズキャンセリングの性能を向上させることができる。 In the drive signal generation unit 83, the speaker drive signal in the frequency domain is obtained by setting the maximum order M l to 1 or more. By doing so, it is possible to combine more radiation patterns to form an appropriate wavefront in the target region and improve the performance of spatial noise canceling.

ステップＳ１７において時間周波数合成部２４は、駆動信号生成部８３から供給された周波数領域のスピーカ駆動信号に対して時間周波数合成を行い、その結果得られた時間領域のスピーカ駆動信号を高次スピーカアレイ１４に供給する。例えばステップＳ１７では、時間周波数合成としてIFFTが行われる。 In step S17, the time frequency synthesis unit 24 performs time frequency synthesis with respect to the speaker drive signal in the frequency domain supplied from the drive signal generation unit 83, and the speaker drive signal in the time domain obtained as a result is used as a higher-order speaker array. Supply to 14. For example, in step S17, IFFT is performed as time-frequency synthesis.

ステップＳ１８において高次スピーカアレイ１４は、時間周波数合成部２４から供給されたスピーカ駆動信号に基づいて音を出力し、ターゲット領域に空間ノイズ音をキャンセルする音の波面を形成する。すなわち、空間ノイズ音をキャンセルする音が出力される。 In step S18, the high-order speaker array 14 outputs sound based on the speaker drive signal supplied from the time-frequency synthesis unit 24, and forms a sound wave surface in the target region that cancels the spatial noise sound. That is, a sound that cancels the spatial noise sound is output.

これにより、高次スピーカアレイ１４により囲まれるターゲット領域では、外部から伝搬してきた音（空間ノイズ音）がキャンセルされて聞こえなくなる。 As a result, in the target region surrounded by the high-order speaker array 14, the sound (spatial noise sound) propagated from the outside is canceled and becomes inaudible.

ステップＳ１９において制御部７１は、フィルタ係数wGMを更新するか否かを判定する。 In step S19, the control unit 71 determines whether or not to update the filter coefficient w GM .

ステップＳ１９においてフィルタ係数wGMを更新しないと判定された場合、ステップＳ２０およびステップＳ２１の処理は行われず、その後、処理はステップＳ２２へと進む。 If it is determined in step S19 that the filter coefficient w GM is not updated, the processing of step S20 and step S21 is not performed, and then the processing proceeds to step S22.

これに対して、ステップＳ１９においてフィルタ係数wGMを更新すると判定された場合、処理はステップＳ２０へと進む。 On the other hand, if it is determined in step S19 that the filter coefficient w GM is to be updated, the process proceeds to step S20.

ステップＳ２０において行列演算部８４は、モード変換部８１から供給されたグローバルモード係数x’に対して、保持している行列g’estに基づく行列演算を行う。すなわち、行列演算部８４は、グローバルモード係数x’に基づいて行列X’を生成し、その行列X’と行列g’estとの積g’estX’を求めてフィルタ係数更新部８６に供給する。 In step S20, the matrix calculation unit 84 performs a matrix operation based on the held matrix g'est with respect to the global mode coefficient x'supplied from the mode conversion unit 81. That is, the matrix calculation unit 84 generates a matrix X'based on the global mode coefficient x', finds the product g'est X'of the matrix X'and the matrix g'est, and supplies it to the filter coefficient update unit 86. do.

行列g’estは対角行列であるから、行列演算部８４では少ない演算量でg’estX’を求めることが可能である。特に、フィルタ係数を更新する処理では、フィルタ係数更新部８６での演算よりも行列演算部８４での演算の方が演算量が多いことから、行列演算部８４での演算量を削減することの効果は大きい。このような演算量の削減は、フィルタ係数更新処理を波数領域（モードドメイン）で行うことにより実現できる。 Since the matrix g'est is a diagonal matrix, the matrix calculation unit 84 can obtain g'est X'with a small amount of calculation. In particular, in the process of updating the filter coefficient, the calculation amount in the matrix calculation unit 84 is larger than the calculation in the filter coefficient update unit 86, so that the calculation amount in the matrix calculation unit 84 can be reduced. The effect is great. Such a reduction in the amount of calculation can be realized by performing the filter coefficient update process in the wave number region (mode domain).

ステップＳ２１においてフィルタ係数更新部８６は、行列演算部８４から供給された積g’estX’と、現時点におけるフィルタ係数wGMと、モード変換部８５から供給されたグローバルモード係数e’とに基づいてフィルタ係数wGMを更新する。 In step S21, the filter coefficient update unit 86 is based on the product g'est X'supplied from the matrix calculation unit 84, the current filter coefficient w GM , and the global mode coefficient e'supplied from the mode conversion unit 85. And update the filter coefficient w GM .

すなわち、フィルタ係数更新部８６は上述した式（３１）に示した更新式を計算することでフィルタ係数wGMを更新し、更新後のフィルタ係数wGMをフィルタリング部８２に供給する。フィルタ係数wGMが更新されると、その後、処理はステップＳ２２へと進む。 That is, the filter coefficient updating unit 86 updates the filter coefficient w GM by calculating the updating expression shown in the above-mentioned equation (31), and supplies the updated filter coefficient w GM to the filtering unit 82. When the filter coefficient w GM is updated, the process then proceeds to step S22.

ステップＳ２１の処理が行われたか、またはステップＳ１９においてフィルタ係数wGMを更新しないと判定された場合、ステップＳ２２において制御部７１は、処理を終了するか否かを判定する。例えばステップＳ２２では、空間ノイズキャンセリングを終了する場合に処理を終了すると判定される。 If the process of step S21 is performed or it is determined in step S19 that the filter coefficient w GM is not updated, the control unit 71 determines in step S22 whether or not to end the process. For example, in step S22, it is determined that the process is terminated when the spatial noise canceling is terminated.

ステップＳ２２においてまだ処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返し行われる。 If it is determined in step S22 that the process has not yet been completed, the process returns to step S11, and the above-mentioned process is repeated.

これに対して、ステップＳ２２において処理を終了すると判定された場合、空間ノイズキャンセリングシステムの各部は行っている動作を停止させ、空間ノイズキャンセリング処理は終了する。 On the other hand, when it is determined in step S22 that the processing is terminated, each part of the spatial noise canceling system stops the operation being performed, and the spatial noise canceling processing is terminated.

以上のようにして空間ノイズキャンセリングシステムは、波数領域でフィルタリング処理およびフィルタ係数更新処理を行いながら高次スピーカアレイ１４から音を出力する。 As described above, the spatial noise canceling system outputs sound from the high-order speaker array 14 while performing filtering processing and filter coefficient updating processing in the wave number region.

このように波数領域でフィルタリング処理およびフィルタ係数更新処理を行うことで、演算量を低減させることができ、また高次スピーカアレイ１４を用いることで省スペースで高性能な空間ノイズキャンセリングを実現することができる。すなわち、MD-GM型の空間ノイズキャンセリングシステムによれば、省スペースかつ少ない演算量で高性能な空間ノイズキャンセリングを実現することができる。 By performing the filtering process and the filter coefficient update process in the wavenumber region in this way, the amount of calculation can be reduced, and by using the high-order speaker array 14, space-saving and high-performance spatial noise canceling can be realized. be able to. That is, according to the MD-GM type spatial noise canceling system, high-performance spatial noise canceling can be realized with space saving and a small amount of calculation.

〈第２の実施の形態〉
〈MD-LMについて〉
ところで、MD-GMでは二次経路の推定値、すなわち行列g’の推定値として行列g’estが用いられるが、行列g’を推定することは容易ではない。 <Second embodiment>
<About MD-LM>
By the way, in MD-GM, the matrix g'est is used as the estimated value of the quadratic path, that is, the estimated value of the matrix g', but it is not easy to estimate the matrix g'.

通常、二次経路の推定はインパルス応答の測定によって行われるが、直接測定される値は行列Gである。したがって、アルゴリズムごとに行列Gを適切な二次経路の形式に変換する必要がある。つまり、MD-GMでは行列Gを行列g’estへと変換する必要がある。 The estimation of the secondary path is usually done by measuring the impulse response, but the directly measured value is the matrix G. Therefore, it is necessary to convert the matrix G into an appropriate quadratic path format for each algorithm. In other words, in MD-GM, it is necessary to convert the matrix G to the matrix g'est .

上述したように、MD-GMでは二次経路の推定値である行列g’estはg’est＝TgeGTslTlgで定義されているが、適切な行列g’estを得ることは困難である。 As mentioned above, in MD-GM, the matrix g'est , which is an estimated value of the quadratic path, is defined by g'est = T ge GT sl T lg , but it is difficult to obtain an appropriate matrix g'est . Is.

すなわち、例えば測定雑音無しの自由空間、つまり理想環境では対角行列となる行列g’est＝TgeGTslTlgが、実環境においては対角行列とはならないことがある。また、実測ができない変換行列Tglに理想環境からの誤差がある場合には、空間ノイズキャンセリングの性能低下が生じやすくなってしまう。 That is, for example, the matrix g'est = T ge GT sl T lg , which is a diagonal matrix in a free space without measurement noise, that is, in an ideal environment, may not be a diagonal matrix in a real environment. In addition, if the transformation matrix T gl , which cannot be actually measured, has an error from the ideal environment, the performance of spatial noise canceling tends to deteriorate.

そこで、フィルタ係数更新処理のみ波数領域で行うようにすることで、MD-GMにおいて生じる二次経路推定の難しさを解決し、より高性能な空間ノイズキャンセリングを実現できるようにしてもよい。 Therefore, by performing only the filter coefficient update process in the wavenumber region, the difficulty of secondary path estimation that occurs in MD-GM may be solved, and higher-performance spatial noise canceling may be realized.

ローカルモード適応アルゴリズム（MD-LM）は、フィルタ係数更新処理のみを波数領域で行うことで、より適切な二次経路を利用して、より高性能な空間ノイズキャンセリングを実現可能なアルゴリズムである。 The local mode adaptation algorithm (MD-LM) is an algorithm that can realize higher-performance spatial noise canceling by using a more appropriate secondary path by performing only the filter coefficient update process in the wavenumber region. ..

まず、MD-LM導出の過程について説明する。 First, the process of deriving MD-LM will be described.

フィルタ係数からなる(2Ml+1)Nl×(2Mg+1)の行列をWLMとすると、エラーマイクロホン信号eは次式（３２）に示すように表すことができる。なお、変換行列Tslと変換行列Tgrは式（２５）における場合と同様である。 Assuming that the matrix of (2M l +1) N l × (2M g +1) consisting of the filter coefficients is W LM , the error microphone signal e can be expressed as shown in the following equation (32). The transformation matrix T sl and the transformation matrix T gr are the same as in the case of Eq. (25).

Figure 2022008732000033
Figure 2022008732000033

ここで、行列WLMは、入力をグローバルモード係数とし、出力を高次スピーカのローカルモード係数とする線形システムである。エラーマイクロホン信号eのグローバルモード係数e’は次式（３３）により求めることができる。 Here, the matrix W LM is a linear system in which the input is a global mode coefficient and the output is a local mode coefficient of a high-order speaker. The global mode coefficient e'of the error microphone signal e can be obtained by the following equation (33).

Figure 2022008732000034
Figure 2022008732000034

なお、式（３３）において、d’＝Tgedであり、g’＝TgeGTslTlgであり、x’＝Tgrxである。また、x’は参照マイクロホン信号xのグローバルモード係数である。 In equation (33), d'= T ge d, g'= T ge GT sl T lg , and x'= T gr x. Also, x'is the global mode coefficient of the reference microphone signal x.

のちの導出を簡単にするため、X’とwLMを以下の式（３４）および式（３５）に示すように定義する。なお、式（３４）においてzはゼロベクトルを表している。 To simplify later derivation, X'and w LM are defined as shown in equations (34) and (35) below. In equation (34), z represents a zero vector.

Figure 2022008732000035
Figure 2022008732000035

Figure 2022008732000036
Figure 2022008732000036

MD-GMにおける場合と同様にグローバルモード係数e’の二乗平均誤差Jglobalを計算すると、次式（３６）に示すようになる。 When the root mean square error J global of the global mode coefficient e'is calculated as in the case of MD-GM, it becomes as shown in the following equation (36).

Figure 2022008732000037
Figure 2022008732000037

したがって、二乗平均誤差Jglobalのフィルタ係数wLMに関する勾配は次式（３７）に示すようになるので、LMSアルゴリズムに基づくフィルタの更新式は式（３８）に示すようになる。 Therefore, since the gradient with respect to the filter coefficient w LM of the root mean square error J global is shown in the following equation (37), the update equation of the filter based on the LMS algorithm is shown in the equation (38).

Figure 2022008732000038
Figure 2022008732000038

Figure 2022008732000039
Figure 2022008732000039

なお、式（３８）において(i)は時間を示すインデックスを示している。例えばwLM (i)およびwLM (i+1)はともにフィルタ係数wLMを示しているが、フィルタ係数wLM (i+1)はフィルタ係数wLM (i)の更新後のものを示している。したがって(i)は、更新回数を示しているともいうことができる。また、式（３８）においてμは式（２２）における場合と同様のステップサイズパラメータである。 In equation (38), (i) indicates an index indicating time. For example, w LM (i) and w LM (i + 1) both indicate the filter coefficient w LM , while the filter coefficient w LM (i + 1) indicates the updated version of the filter coefficient w LM (i) . ing. Therefore, it can be said that (i) indicates the number of updates. Further, in the equation (38), μ is the same step size parameter as in the equation (22).

さらに式（３８）においては、実測で得られる二次経路を用いることができる。 Further, in the formula (38), a secondary route obtained by actual measurement can be used.

すなわち、MD-LMにおける二次経路は式（３３）からg’Tgl＝TgeGTslであり、変換行列Tgeおよび変換行列Tslはアルゴリズムを実行する際に自ら設定する定数行列であるので、正確な行列Gが得られていれば二次経路を正確に求めることができる。また、変換行列Tslは、その逆特性である変換行列Tlsが高次スピーカの各ドライバから周囲の環状マイクロホンアレイへのインパルス応答計測によって測定可能であるから、実測値を用いて計算することもできる。 That is, the quadratic path in MD-LM is g'T gl = T ge GT sl from Eq. (33), and the transformation matrix T ge and the transformation matrix T sl are constant matrices that are set by themselves when executing the algorithm. Therefore, if an accurate matrix G is obtained, the quadratic path can be obtained accurately. In addition, the transformation matrix T sl , which is the inverse characteristic of the transformation matrix T ls , can be measured by measuring the impulse response from each driver of the higher-order speaker to the surrounding annular microphone array, so it should be calculated using the measured values. You can also.

〈MD-LM型の空間ノイズキャンセリングシステムの構成例〉
以上において説明したMD-LMにより空間ノイズキャンセリングを行うMD-LM型の空間ノイズキャンセリングシステムは、例えば図６に示すように構成される。なお、図６において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。 <Configuration example of MD-LM type spatial noise canceling system>
The MD-LM type spatial noise canceling system that performs spatial noise canceling by MD-LM described above is configured as shown in FIG. 6, for example. In FIG. 6, the same reference numerals are given to the portions corresponding to those in FIG. 4, and the description thereof will be omitted as appropriate.

図６に示す空間ノイズキャンセリングシステムは、参照マイクロホンアレイ１１、エラーマイクロホンアレイ１２、信号処理装置１２１、および高次スピーカアレイ１４を有している。 The spatial noise canceling system shown in FIG. 6 includes a reference microphone array 11, an error microphone array 12, a signal processing device 121, and a high-order speaker array 14.

信号処理装置１２１は、時間周波数変換部２１、時間周波数変換部２２、制御部１３１、および時間周波数合成部２４を有している。また、制御部１３１は、モード変換部８１、フィルタリング部１４１、駆動信号生成部１４２、行列演算部１４３、モード変換部８５、およびフィルタ係数更新部１４４を有している。 The signal processing device 121 includes a time-frequency conversion unit 21, a time-frequency conversion unit 22, a control unit 131, and a time-frequency synthesis unit 24. Further, the control unit 131 includes a mode conversion unit 81, a filtering unit 141, a drive signal generation unit 142, a matrix calculation unit 143, a mode conversion unit 85, and a filter coefficient updating unit 144.

フィルタリング部１４１は、モード変換部８１から供給されたグローバルモード係数x’と、フィルタ係数更新部１４４から供給されたフィルタ係数wLMとに基づいてフィルタリング処理を行う。すなわち、フィルタリング部１４１では、グローバルモード係数x’に対してフィルタ係数wLMを用いたフィルタリング処理が行われてスピーカ駆動信号が生成される。 The filtering unit 141 performs a filtering process based on the global mode coefficient x'supplied from the mode conversion unit 81 and the filter coefficient w LM supplied from the filter coefficient updating unit 144. That is, in the filtering unit 141, the filtering process using the filter coefficient w LM is performed on the global mode coefficient x'to generate a speaker drive signal.

フィルタリング部１４１は、フィルタリング処理により得られたローカルなモードドメイン（波数領域）のスピーカ駆動信号、すなわち高次スピーカのローカルモード係数を駆動信号生成部１４２に供給する。このようにしてフィルタリング部１４１で生成されるスピーカ駆動信号は、ターゲット領域へと伝搬する空間ノイズ音をエリア制御によりキャンセルするためのものである。 The filtering unit 141 supplies the speaker drive signal of the local mode domain (wavenumber region) obtained by the filtering process, that is, the local mode coefficient of the higher-order speaker to the drive signal generation unit 142. The speaker drive signal generated by the filtering unit 141 in this way is for canceling the spatial noise sound propagating to the target region by area control.

駆動信号生成部１４２は、フィルタリング部１４１から供給されたスピーカ駆動信号と、予め保持している変換行列Tslに基づいて周波数領域のスピーカ駆動信号、つまり高次スピーカの各ドライバの駆動信号を生成し、時間周波数合成部２４に供給する。駆動信号生成部１４２では、ローカルなモードドメインのスピーカ駆動信号、つまりローカルモード係数を変換行列Tslにより周波数領域のスピーカ駆動信号に変換する変換処理が行われる。 The drive signal generation unit 142 generates a speaker drive signal in the frequency domain, that is, a drive signal of each driver of the higher-order speaker, based on the speaker drive signal supplied from the filtering unit 141 and the conversion matrix T sl held in advance. Then, it is supplied to the time-frequency synthesis unit 24. The drive signal generation unit 142 performs a conversion process of converting a speaker drive signal in the local mode domain, that is, a local mode coefficient into a speaker drive signal in the frequency domain by the conversion matrix T sl .

行列演算部１４３は、実際の測定等により予め求められた行列g’estTglを保持している。この行列g’estTglは、高次スピーカアレイ１４を構成する高次スピーカから、エラーマイクロホンアレイ１２を構成するマイクロホンまでの伝達特性（二次経路）の推定値を示している。なお、行列g’estTglは、高次スピーカアレイ１４等の配置が変わるたびに更新されるようにすることができる。 The matrix calculation unit 143 holds a matrix g'est T gl obtained in advance by actual measurement or the like. This matrix g'est T gl shows the estimated value of the transmission characteristic (secondary path) from the high-order speaker constituting the high-order speaker array 14 to the microphone constituting the error microphone array 12. The matrix g'est T gl can be updated every time the arrangement of the high-order speaker array 14 or the like is changed.

行列演算部１４３は、モード変換部８１から供給されたグローバルモード係数x’から得られる行列X’と、保持している行列g’estTglとの積g’estTglX’を求め、フィルタ係数更新部１４４に供給する。 The matrix calculation unit 143 obtains the product g'est T gl X'of the matrix X'obtained from the global mode coefficient x'supplied from the mode conversion unit 81 and the holding matrix g'est T gl . It is supplied to the filter coefficient update unit 144.

フィルタ係数更新部１４４は、行列演算部１４３から供給された積g’estTglX’と、現時点におけるフィルタ係数wLMと、モード変換部８５から供給されたグローバルモード係数e’とに基づいてフィルタ係数wLMを更新する。フィルタ係数更新部１４４は、更新後のフィルタ係数wLMをフィルタリング部１４１に供給する。なお、フィルタ係数wLMの更新は常時行われる必要はなく、一定の時間間隔など、適切なタイミングで行うようにすることができる。 The filter coefficient update unit 144 is based on the product g'est T gl X'supplied from the matrix calculation unit 143, the current filter coefficient w LM , and the global mode coefficient e'supplied from the mode conversion unit 85. Update the filter factor w LM . The filter coefficient updating unit 144 supplies the updated filter coefficient w LM to the filtering unit 141. The filter coefficient w LM does not have to be updated all the time, but can be updated at an appropriate timing such as at a fixed time interval.

ここでは、行列演算部１４３およびフィルタ係数更新部１４４において行われる処理が波数領域処理、つまりモードドメインでの演算処理となっている。 Here, the processing performed by the matrix calculation unit 143 and the filter coefficient update unit 144 is wave number region processing, that is, calculation processing in the mode domain.

また、MD-LMでは高次スピーカアレイ１４を構成する高次スピーカの配置は環状配置に限らず、任意の配置とすることができる。すなわち、複数の高次スピーカを環状とは異なる任意の形状に並べて得られるスピーカアレイを高次スピーカアレイ１４として用いることができる。したがって、MD-LMでは、より自由度の高い高次スピーカアレイ１４配置を実現することができる。 Further, in the MD-LM, the arrangement of the high-order speakers constituting the high-order speaker array 14 is not limited to the annular arrangement, and may be any arrangement. That is, a speaker array obtained by arranging a plurality of high-order speakers in an arbitrary shape different from the annular shape can be used as the high-order speaker array 14. Therefore, in MD-LM, it is possible to realize a high-order speaker array 14 arrangement with a higher degree of freedom.

〈空間ノイズキャンセリング処理の説明〉
続いて、図６に示したMD-LM型の空間ノイズキャンセリングシステムの動作について説明する。すなわち、以下、図７のフローチャートを参照して、空間ノイズキャンセリングシステムによる空間ノイズキャンセリング処理について説明する。 <Explanation of spatial noise canceling processing>
Subsequently, the operation of the MD-LM type spatial noise canceling system shown in FIG. 6 will be described. That is, the spatial noise canceling process by the spatial noise canceling system will be described below with reference to the flowchart of FIG. 7.

なお、ステップＳ５１乃至ステップＳ５４の処理は図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。 Since the processing of steps S51 to S54 is the same as the processing of steps S11 to S14 of FIG. 5, the description thereof will be omitted.

ステップＳ５５においてフィルタリング部１４１は、モード変換部８１から供給されたグローバルモード係数x’と、フィルタ係数更新部１４４から供給されたフィルタ係数wLMとに基づいてフィルタリング処理を行う。 In step S55, the filtering unit 141 performs a filtering process based on the global mode coefficient x'supplied from the mode conversion unit 81 and the filter coefficient w LM supplied from the filter coefficient updating unit 144.

すなわち、フィルタリング部１４１は、グローバルモード係数x’に基づいて上述の式（３４）に示した行列X’を生成し、その行列X’とフィルタ係数wLMとの積X’wLMを求めることで得られるローカルモード係数をスピーカ駆動信号とする。フィルタリング部１４１は、このようにして得られたスピーカ駆動信号を駆動信号生成部１４２に供給する。 That is, the filtering unit 141 generates the matrix X'shown in the above equation (34) based on the global mode coefficient x', and obtains the product X'w LM of the matrix X'and the filter coefficient w LM . The local mode coefficient obtained in is used as the speaker drive signal. The filtering unit 141 supplies the speaker drive signal thus obtained to the drive signal generation unit 142.

ステップＳ５６において駆動信号生成部１４２は、フィルタリング部１４１から供給されたスピーカ駆動信号と、変換行列Tslとに基づいて周波数領域のスピーカ駆動信号を生成し、時間周波数合成部２４に供給する。 In step S56, the drive signal generation unit 142 generates a speaker drive signal in the frequency domain based on the speaker drive signal supplied from the filtering unit 141 and the transformation matrix T sl , and supplies the speaker drive signal to the time frequency synthesis unit 24.

すなわち、駆動信号生成部１４２は、スピーカ駆動信号X’wLMと変換行列Tslの積TslX’wLMを計算し、その計算結果を周波数領域のスピーカ駆動信号とする。積TslX’wLMを求める計算（演算）時には、少なくとも高次スピーカの１次以上の所定次数の放射パターンに対応する項まで演算が行われる。 That is, the drive signal generation unit 142 calculates the product T sl X'w LM of the speaker drive signal X'w LM and the transformation matrix T sl , and uses the calculation result as the speaker drive signal in the frequency domain. At the time of calculation (calculation) for obtaining the product T sl X'w LM , the calculation is performed up to the term corresponding to the radiation pattern of at least the first order or higher of the higher order speaker.

周波数領域のスピーカ駆動信号が生成されると、その後、ステップＳ５７およびステップＳ５８の処理が行われるが、これらの処理は図５のステップＳ１７およびステップＳ１８の処理と同様であるので、その説明は省略する。 When the speaker drive signal in the frequency domain is generated, the processes of steps S57 and S58 are subsequently performed, but since these processes are the same as the processes of steps S17 and S18 of FIG. 5, the description thereof is omitted. do.

ステップＳ５９において制御部１３１は、フィルタ係数wLMを更新するか否かを判定する。 In step S59, the control unit 131 determines whether or not to update the filter coefficient w LM .

ステップＳ５９においてフィルタ係数wLMを更新しないと判定された場合、ステップＳ６０およびステップＳ６１の処理は行われず、その後、処理はステップＳ６２へと進む。 If it is determined in step S59 that the filter coefficient w LM is not updated, the processing of steps S60 and S61 is not performed, and then the processing proceeds to step S62.

これに対して、ステップＳ５９においてフィルタ係数wLMを更新すると判定された場合、処理はステップＳ６０へと進む。 On the other hand, if it is determined in step S59 that the filter coefficient w LM is to be updated, the process proceeds to step S60.

ステップＳ６０において行列演算部１４３は、モード変換部８１から供給されたグローバルモード係数x’に対して、保持している行列g’estTglに基づく行列演算を行う。すなわち、行列演算部１４３は、グローバルモード係数x’に基づいて行列X’を生成し、その行列X’と行列g’estTglとの積g’estTglX’を求めてフィルタ係数更新部１４４に供給する。 In step S60, the matrix calculation unit 143 performs a matrix operation based on the held matrix g'est T gl with respect to the global mode coefficient x'supplied from the mode conversion unit 81. That is, the matrix calculation unit 143 generates a matrix X'based on the global mode coefficient x', finds the product g'est T gl X'of the matrix X'and the matrix g'est T gl , and updates the filter coefficient. Supply to unit 144.

行列演算部１４３における行列演算も上述した行列演算部８４における行列演算と同様に、波数領域（モードドメイン）における演算であり、演算量を削減することができる。 The matrix operation in the matrix calculation unit 143 is also an operation in the wave number region (mode domain) like the matrix operation in the matrix calculation unit 84 described above, and the amount of calculation can be reduced.

ステップＳ６１においてフィルタ係数更新部１４４は、行列演算部１４３から供給された積g’estTglX’と、現時点におけるフィルタ係数wLMと、モード変換部８５から供給されたグローバルモード係数e’とに基づいてフィルタ係数wLMを更新する。 In step S61, the filter coefficient updating unit 144 includes the product g'est T gl X'supplied from the matrix calculation unit 143, the current filter coefficient w LM , and the global mode coefficient e'supplied from the mode conversion unit 85. Update the filter factor w LM based on.

すなわち、フィルタ係数更新部１４４は上述した式（３８）に示した更新式と同様の計算を行うことでフィルタ係数wLMを更新し、更新後のフィルタ係数wLMをフィルタリング部１４１に供給する。フィルタ係数wLMが更新されると、その後、処理はステップＳ６２へと進む。ステップＳ６０およびステップＳ６１では、MD-GMにおける場合と同様に、波数領域（モードドメイン）でフィルタ係数更新処理が行われる。 That is, the filter coefficient updating unit 144 updates the filter coefficient w LM by performing the same calculation as the updating expression shown in the above-mentioned equation (38), and supplies the updated filter coefficient w LM to the filtering unit 141. When the filter coefficient w LM is updated, the process then proceeds to step S62. In step S60 and step S61, the filter coefficient update process is performed in the wave number region (mode domain) as in the case of MD-GM.

ステップＳ６１の処理が行われたか、またはステップＳ５９においてフィルタ係数wLMを更新しないと判定された場合、ステップＳ６２において制御部１３１は、処理を終了するか否かを判定する。 If the process of step S61 is performed or it is determined in step S59 that the filter coefficient w LM is not updated, the control unit 131 determines in step S62 whether or not to end the process.

ステップＳ６２においてまだ処理を終了しないと判定された場合、処理はステップＳ５１に戻り、上述した処理が繰り返し行われる。 If it is determined in step S62 that the process has not yet been completed, the process returns to step S51, and the above-mentioned process is repeated.

これに対して、ステップＳ６２において処理を終了すると判定された場合、空間ノイズキャンセリングシステムの各部は行っている動作を停止させ、空間ノイズキャンセリング処理は終了する。 On the other hand, when it is determined in step S62 that the processing is terminated, each part of the spatial noise canceling system stops the operation being performed, and the spatial noise canceling processing is terminated.

以上のようにして空間ノイズキャンセリングシステムは、波数領域でフィルタ係数更新処理を行いながら高次スピーカアレイ１４から音を出力する。このようにすることで演算量を低減させることができ、また高次スピーカアレイ１４を用いることで省スペースで高性能な空間ノイズキャンセリングを実現することができる。すなわち、MD-LM型の空間ノイズキャンセリングシステムによれば、省スペースかつ少ない演算量で高性能な空間ノイズキャンセリングを実現することができる。 As described above, the spatial noise canceling system outputs sound from the high-order speaker array 14 while performing filter coefficient update processing in the wave number region. By doing so, the amount of calculation can be reduced, and by using the high-order speaker array 14, space-saving and high-performance spatial noise canceling can be realized. That is, according to the MD-LM type spatial noise canceling system, high-performance spatial noise canceling can be realized with a small amount of calculation and space saving.

〈演算量の比較について〉
以上においては、空間ノイズキャンセリングのアルゴリズムとして、MIMO、MD-GM、およびMD-LMについて説明した。ここで、これらのMIMO、MD-GM、およびMD-LMにおける演算量について説明する。 <Comparison of arithmetic amount>
In the above, MIMO, MD-GM, and MD-LM have been described as spatial noise canceling algorithms. Here, the amount of computation in these MIMO, MD-GM, and MD-LM will be described.

上述したように空間ノイズキャンセリング時の処理は、大きく分けてフィルタリング処理とフィルタ係数更新処理に分けられる。 As described above, the processing at the time of spatial noise canceling can be roughly divided into a filtering process and a filter coefficient updating process.

フィルタリング処理では、高速かつ低遅延な処理が求められ、FPGA（Field Programmable Gate Array）やDSP（Digital Signal Processor）ボードを用いた実装を行う必要がある。一方で、フィルタ係数更新処理で許される遅延はフィルタリング処理に比べると大きく、汎用プロセッサによる実装も考えられる。 High-speed and low-delay processing is required for filtering processing, and it is necessary to implement it using an FPGA (Field Programmable Gate Array) or DSP (Digital Signal Processor) board. On the other hand, the delay allowed in the filter coefficient update process is larger than that in the filtering process, and implementation by a general-purpose processor is also conceivable.

図８にMIMO、MD-GM、およびMD-LMについて、フィルタの形状（次元）とフィルタリング処理に要する１サンプルごとの演算量（計算量）を示す。 FIG. 8 shows the shape (dimension) of the filter and the amount of calculation (calculation amount) for each sample required for the filtering process for MIMO, MD-GM, and MD-LM.

図８に示されるようにMIMOでは、フィルタの次元はQNl×Nrであり、フィルタリング処理の演算量はO(NtapQNlNr)である。また、MD-GMではフィルタの次元は(2Mg+1)×(2Mg+1)であり、フィルタリング処理の演算量はO(Ntap(2Mg+1))である。さらにMD-LMではフィルタの次元は(2Mg+1)×Nl(2Ml+1)であり、フィルタリング処理の演算量はO(Ntap(2Mg+1)(2Ml+1)Nl)である。ここでNtapはフィルタ長である。 As shown in FIG. 8, in MIMO, the dimension of the filter is QN l × N r , and the operation amount of the filtering process is O (N tap QN l N r ). In MD-GM, the dimension of the filter is (2M g +1) × (2M g +1), and the calculation amount of the filtering process is O (N tap (2M g +1)). Furthermore, in MD-LM, the dimension of the filter is (2M g +1) × N l (2M l +1), and the operation amount of the filtering process is O (N tap (2M g +1) (2M l +1) N. l ). Where N tap is the filter length.

したがって、例えばフィルタ長Ntap＝1024、高次スピーカアレイ１４の総ドライバ数QNl＝192、参照マイクロホンアレイ１１のマイクロホン数Nr＝48、グローバルモードの最大次数Mg＝14、ローカルモードの最大次数Ml＝2、および高次スピーカアレイ１４の高次スピーカ数Nl＝12とすると、各モードの演算量は以下のようになる。 Therefore, for example, the filter length N tap = 1024, the total number of drivers of the high-order speaker array 14 QN l = 192, the number of microphones of the reference microphone array 11 N r = 48, the maximum order of the global mode Mg = 14, and the maximum of the local mode. Assuming that the order M l = 2 and the number of high-order speakers N l = 12 of the high-order speaker array 14, the amount of calculation in each mode is as follows.

すなわち、MIMOにおけるフィルタリング処理の演算量O(NtapQNlNr)は約9.4×106となる。これに対して、MD-GMにおけるフィルタリング処理の演算量O(Ntap(2Mg+1))は約3.0×104となり、MD-LMにおけるフィルタリング処理の演算量O(Ntap(2Mg+1)(2Ml+1)Nl)は約1.8×106となる。 That is, the calculation amount O (N tap QN l N r ) of the filtering process in MIMO is about 9.4 × 10 6 . On the other hand, the calculation amount O (N tap (2M g +1)) of the filtering process in MD-GM is about 3.0 × 10 4 , and the calculation amount O (N tap (2M g +)) of the filtering process in MD-LM. 1) (2M l + 1) N l ) is about 1.8 × 10 6 .

このことから、MIMOと比較してMD-GMのフィルタリング処理の演算量は大幅に削減できていることが分かり、波数領域でのフィルタリング処理を行わないMD-LMでも演算量がMIMOにおける場合の約５分の１に削減されていることが分かる。 From this, it can be seen that the calculation amount of MD-GM filtering processing can be significantly reduced compared to MIMO, and even with MD-LM that does not perform filtering processing in the wavenumber region, the calculation amount is about the case of MIMO. It can be seen that it has been reduced to one-fifth.

また、図９にMIMO、MD-GM、およびMD-LMについて、フィルタ係数更新処理に要する周波数ごとの演算量（計算量）を示す。 Further, FIG. 9 shows the amount of calculation (calculation amount) for each frequency required for the filter coefficient update process for MIMO, MD-GM, and MD-LM.

フィルタ係数更新処理では、最も演算量が多くなるのは濾波されたFiltered-Xを求める演算である。ここでは、MIMOにおけるGestXを求める演算、MD-GMにおけるg’estX’を求める演算、およびMD-LMにおけるg’estTglX’を求める演算が、それぞれFiltered-Xを求める演算となる。 In the filter coefficient update process, the operation that requires the largest amount of calculation is the operation for obtaining the filtered Filtered-X. Here, the operation to obtain G est X in MIMO, the operation to obtain g'est X'in MD-GM, and the operation to obtain g'est T gl X'in MD-LM are the operation to obtain Filtered-X, respectively. Become.

図９に示すようにFiltered-X算出時の演算量は、MIMOではO(Ne(QNl)2Nr)となり、MD-GMではO(2Mg+1)であり、MD-LMではO((2Mg+1)(2Ml+1)Nl)である。 As shown in Fig. 9, the operation amount when calculating Filtered-X is O (N e (QN l ) 2 N r ) in MIMO, O (2M g +1) in MD-GM, and O (2M g +1) in MD-LM. O ((2M g +1) (2M l +1) N l ).

したがって、図８における場合と同様に、高次スピーカアレイ１４の総ドライバ数QNl＝192、参照マイクロホンアレイ１１のマイクロホン数Nr＝48、最大次数Mg＝14、最大次数Ml＝2、高次スピーカアレイ１４の高次スピーカ数Nl＝12、およびエラーマイクロホンアレイ１２のマイクロホン数Ne＝48とすると、各モードの演算量は以下のようになる。 Therefore, as in the case of FIG. 8, the total number of drivers of the high-order speaker array 14 is QN l = 192, the number of microphones of the reference microphone array 11 is N r = 48, the maximum order is Mg = 14, and the maximum order is M l = 2. Assuming that the number of high-order speakers N l = 12 of the high-order speaker array 14 and the number of microphones N e = 48 of the error microphone array 12, the amount of calculation in each mode is as follows.

すなわち、MIMOにおける演算量O(Ne(QNl)2Nr)は約8.4×107となる。これに対して、MD-GMにおける演算量O(2Mg+1)は約29となり、MD-LMにおける演算量O((2Mg+1)(2Ml+1)Nl)は約1.7×103となる。 That is, the arithmetic amount O (N e (QN l ) 2 N r ) in MIMO is about 8.4 × 10 7 . On the other hand, the operation amount O (2M g +1) in MD-GM is about 29, and the operation amount O ((2M g +1) (2M l +1) N l ) in MD-LM is about 1.7 ×. It becomes 10 3 .

このことから、MIMOと比較してMD-GMやMD-LMでは大幅に演算量を削減できることが分かる。また、MD-GMとMD-LMとでは、演算量の観点からはMD-GMが優位であるが、二次経路を正確に求めて空間ノイズキャンセリングの性能低下が抑制できる点や、高次スピーカアレイ１４の配置の自由度が高い点ではMD-LMが優位である。 From this, it can be seen that the amount of calculation can be significantly reduced with MD-GM and MD-LM compared with MIMO. In addition, MD-GM is superior to MD-GM and MD-LM from the viewpoint of the amount of calculation, but it is possible to accurately obtain the secondary path and suppress the deterioration of the spatial noise canceling performance, and the higher order. The MD-LM is superior in that the speaker array 14 has a high degree of freedom in arrangement.

また、MD-GMやMD-LMは、MIMOと比較して適応処理の収束速度、つまりフィルタ係数の収束速度も速いので、ターゲット領域における受聴者の位置などの環境が変化したときでも、その変化に迅速に追従し、性能の高い空間ノイズキャンセリングを実現することができる。特にMD-LMよりもMD-GMにおいてフィルタ係数の収束速度が速くなる。 In addition, MD-GM and MD-LM have a faster convergence speed of adaptive processing, that is, a faster convergence speed of the filter coefficient than MIMO, so even when the environment such as the position of the listener in the target area changes, the change. It is possible to quickly follow the above and realize high-performance spatial noise canceling. In particular, the convergence speed of the filter coefficient is faster in MD-GM than in MD-LM.

以上のように本技術を適用したMD-GMやMD-LMによれば、省スペースかつ少ない演算量で、十分な性能の空間ノイズキャンセリングを実現することができる。 According to MD-GM and MD-LM to which this technology is applied as described above, it is possible to realize spatial noise canceling with sufficient performance with space saving and a small amount of calculation.

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。 <Computer configuration example>
By the way, the series of processes described above can be executed by hardware or software. When a series of processes is executed by software, the programs constituting the software are installed on the computer. Here, the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.

図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。 FIG. 10 is a block diagram showing an example of hardware configuration of a computer that executes the above-mentioned series of processes programmatically.

コンピュータにおいて、CPU５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。 In a computer, CPU 501, ROM (Read Only Memory) 502, and RAM (Random Access Memory) 503 are connected to each other by a bus 504.

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。 An input / output interface 505 is further connected to the bus 504. An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。 The input unit 506 includes a keyboard, a mouse, a microphone, an image pickup device, and the like. The output unit 507 includes a display, a speaker, and the like. The recording unit 508 includes a hard disk, a non-volatile memory, and the like. The communication unit 509 includes a network interface and the like. The drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。 In the computer configured as described above, the CPU 501 loads the program recorded in the recording unit 508 into the RAM 503 via the input / output interface 505 and the bus 504 and executes the above-mentioned series. Is processed.

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。 The program executed by the computer (CPU 501) can be recorded and provided on a removable recording medium 511 as a package medium or the like, for example. The program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。 In a computer, the program can be installed in the recording unit 508 via the input / output interface 505 by mounting the removable recording medium 511 in the drive 510. Further, the program can be received by the communication unit 509 and installed in the recording unit 508 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 502 or the recording unit 508.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 Further, the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。 For example, the present technology can be configured as cloud computing in which one function is shared by a plurality of devices via a network and jointly processed.

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。 Further, each step described in the above-mentioned flowchart may be executed by one device or may be shared and executed by a plurality of devices.

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。 Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.

さらに、本技術は、以下の構成とすることも可能である。 Further, the present technology can also have the following configurations.

（１）
複数のマイクロホンからなる第１のマイクロホンアレイで収音することで得られた第１のマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記第１のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、前記スピーカ駆動信号に基づいて、少なくとも１つの高次スピーカからなるスピーカアレイから前記出力音を出力させる制御部を備える
信号処理装置。
（２）
前記制御部は、
前記第１のマイクロホン信号に対してフィルタ係数を用いたフィルタリング処理を行うことで前記スピーカ駆動信号を生成するフィルタリング部と、
前記第１のマイクロホン信号に基づいて前記フィルタ係数を更新するフィルタ係数更新部と
備える（１）に記載の信号処理装置。
（３）
前記フィルタリング部は、前記所定領域へと伝搬する音を点制御によりキャンセルするための前記スピーカ駆動信号を生成する
（２）に記載の信号処理装置。
（４）
前記フィルタリング部は、前記所定領域へと伝搬する音をエリア制御によりキャンセルするための前記スピーカ駆動信号を生成する
（２）に記載の信号処理装置。
（５）
前記フィルタ係数更新部は、波数領域で前記フィルタ係数を更新する
（４）に記載の信号処理装置。
（６）
前記フィルタリング部は、波数領域で前記フィルタリング処理を行う
（４）または（５）に記載の信号処理装置。
（７）
前記制御部は、前記高次スピーカの１次以上の所定次数の放射パターンに対応する項までの演算を行って前記スピーカ駆動信号を生成する
（４）乃至（６）の何れか一項に記載の信号処理装置。
（８）
前記フィルタリング部は、前記フィルタリング処理により、空間上の所定の基準位置を原点とするモード係数を前記スピーカ駆動信号として生成する
（６）に記載の信号処理装置。
（９）
前記基準位置は、前記高次スピーカの位置とは異なる位置である
（８）に記載の信号処理装置。
（１０）
前記フィルタリング部は、前記フィルタリング処理により、前記高次スピーカの位置を原点とする前記高次スピーカのモード係数を前記スピーカ駆動信号として生成する
（４）または（５）に記載の信号処理装置。
（１１）
前記スピーカアレイは、前記高次スピーカを含む複数のスピーカを環状とは異なる形状に並べて得られるスピーカアレイである
（１０）に記載の信号処理装置。
（１２）
前記フィルタ係数更新部は、前記スピーカアレイに対して前記第１のマイクロホンアレイとは反対側に配置された複数のマイクロホンからなる第２のマイクロホンアレイで収音することで得られた第２のマイクロホン信号と、前記第１のマイクロホン信号とに基づいて前記フィルタ係数を更新する
（２）乃至（１１）の何れか一項に記載の信号処理装置。
（１３）
信号処理装置が、
複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、
前記スピーカ駆動信号に基づいて、少なくとも１つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
信号処理方法。
（１４）
複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、
前記スピーカ駆動信号に基づいて、少なくとも１つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
ステップを含む処理をコンピュータに実行させるプログラム。 (1)
Sound was picked up by the first microphone array propagating from outside the predetermined region to the predetermined region based on the first microphone signal obtained by picking up the sound by the first microphone array composed of a plurality of speakers. A signal processing device including a control unit that generates a speaker drive signal of output sound for canceling sound and outputs the output sound from a speaker array composed of at least one high-order speaker based on the speaker drive signal.
(2)
The control unit
A filtering unit that generates the speaker drive signal by performing a filtering process using a filter coefficient on the first microphone signal, and a filtering unit.
The signal processing device according to (1), comprising a filter coefficient updating unit for updating the filter coefficient based on the first microphone signal.
(3)
The signal processing device according to (2), wherein the filtering unit generates the speaker drive signal for canceling the sound propagating to the predetermined region by point control.
(4)
The signal processing device according to (2), wherein the filtering unit generates the speaker drive signal for canceling the sound propagating to the predetermined area by area control.
(5)
The signal processing device according to (4), wherein the filter coefficient updating unit updates the filter coefficient in the wave number region.
(6)
The signal processing device according to (4) or (5), wherein the filtering unit performs the filtering process in a wave number region.
(7)
Described in any one of (4) to (6), wherein the control unit performs calculations up to a term corresponding to a radiation pattern of a predetermined order of the first order or higher of the high-order speaker to generate the speaker drive signal. Signal processing equipment.
(8)
The signal processing device according to (6), wherein the filtering unit generates a mode coefficient having a predetermined reference position in space as an origin as the speaker drive signal by the filtering process.
(9)
The signal processing device according to (8), wherein the reference position is a position different from the position of the high-order speaker.
(10)
The signal processing device according to (4) or (5), wherein the filtering unit generates a mode coefficient of the high-order speaker with the position of the high-order speaker as an origin as the speaker drive signal by the filtering process.
(11)
The signal processing device according to (10), wherein the speaker array is a speaker array obtained by arranging a plurality of speakers including the high-order speaker in a shape different from that of a ring.
(12)
The filter coefficient updating unit is a second microphone obtained by picking up sound with a second microphone array composed of a plurality of microphones arranged on the side opposite to the first microphone array with respect to the speaker array. The signal processing device according to any one of (2) to (11), wherein the filter coefficient is updated based on the signal and the first microphone signal.
(13)
The signal processing device
Based on the microphone signal obtained by collecting sound with a microphone array consisting of a plurality of microphones, the output sound for canceling the sound collected by the microphone array propagating from outside the predetermined area to the predetermined area. Generates a speaker drive signal,
A signal processing method for outputting the output sound from a speaker array including at least one high-order speaker based on the speaker drive signal.
(14)
Based on the microphone signal obtained by collecting sound with a microphone array consisting of a plurality of microphones, the output sound for canceling the sound collected by the microphone array propagating from outside the predetermined area to the predetermined area. Generates a speaker drive signal,
A program that causes a computer to execute a process including a step of outputting the output sound from a speaker array consisting of at least one high-order speaker based on the speaker drive signal.

１１ 参照マイクロホンアレイ， １２ エラーマイクロホンアレイ， １４ 高次スピーカアレイ， ６１ 信号処理装置， ２１ 時間周波数変換部， ２２ 時間周波数変換部， ７１ 制御部， ８１ モード変換部， ８２ フィルタリング部， ８３ 駆動信号生成部， ８４ 行列演算部， ８５ モード変換部， ８６ フィルタ係数更新部， １３１ 制御部 11 Reference microphone array, 12 Error microphone array, 14 High-order speaker array, 61 Signal processing device, 21-hour frequency conversion unit, 22-hour frequency conversion unit, 71 Control unit, 81 Mode conversion unit, 82 Filtering unit, 83 Drive signal generation Unit, 84 Matrix calculation unit, 85 mode conversion unit, 86 filter coefficient update unit, 131 control unit

Claims (14)

複数のマイクロホンからなる第１のマイクロホンアレイで収音することで得られた第１のマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記第１のマイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、前記スピーカ駆動信号に基づいて、少なくとも１つの高次スピーカからなるスピーカアレイから前記出力音を出力させる制御部を備える
信号処理装置。 Sound was picked up by the first microphone array propagating from outside the predetermined region to the predetermined region based on the first microphone signal obtained by picking up the sound by the first microphone array composed of a plurality of speakers. A signal processing device including a control unit that generates a speaker drive signal of output sound for canceling sound and outputs the output sound from a speaker array composed of at least one high-order speaker based on the speaker drive signal. 前記制御部は、
前記第１のマイクロホン信号に対してフィルタ係数を用いたフィルタリング処理を行うことで前記スピーカ駆動信号を生成するフィルタリング部と、
前記第１のマイクロホン信号に基づいて前記フィルタ係数を更新するフィルタ係数更新部と
備える請求項１に記載の信号処理装置。 The control unit
A filtering unit that generates the speaker drive signal by performing a filtering process using a filter coefficient on the first microphone signal, and a filtering unit.
The signal processing device according to claim 1, further comprising a filter coefficient updating unit that updates the filter coefficient based on the first microphone signal. 前記フィルタリング部は、前記所定領域へと伝搬する音を点制御によりキャンセルするための前記スピーカ駆動信号を生成する
請求項２に記載の信号処理装置。 The signal processing device according to claim 2, wherein the filtering unit generates the speaker drive signal for canceling the sound propagating to the predetermined region by point control. 前記フィルタリング部は、前記所定領域へと伝搬する音をエリア制御によりキャンセルするための前記スピーカ駆動信号を生成する
請求項２に記載の信号処理装置。 The signal processing device according to claim 2, wherein the filtering unit generates the speaker drive signal for canceling the sound propagating to the predetermined area by area control. 前記フィルタ係数更新部は、波数領域で前記フィルタ係数を更新する
請求項４に記載の信号処理装置。 The signal processing device according to claim 4, wherein the filter coefficient updating unit updates the filter coefficient in the wave number region. 前記フィルタリング部は、波数領域で前記フィルタリング処理を行う
請求項４に記載の信号処理装置。 The signal processing device according to claim 4, wherein the filtering unit performs the filtering process in the wave number region. 前記制御部は、前記高次スピーカの１次以上の所定次数の放射パターンに対応する項までの演算を行って前記スピーカ駆動信号を生成する
請求項４に記載の信号処理装置。 The signal processing device according to claim 4, wherein the control unit performs calculations up to a term corresponding to a radiation pattern of a predetermined order of a predetermined order or higher of the high-order speaker to generate the speaker drive signal. 前記フィルタリング部は、前記フィルタリング処理により、空間上の所定の基準位置を原点とするモード係数を前記スピーカ駆動信号として生成する
請求項６に記載の信号処理装置。 The signal processing device according to claim 6, wherein the filtering unit generates a mode coefficient having a predetermined reference position in space as an origin as the speaker drive signal by the filtering process. 前記基準位置は、前記高次スピーカの位置とは異なる位置である
請求項８に記載の信号処理装置。 The signal processing device according to claim 8, wherein the reference position is a position different from the position of the high-order speaker. 前記フィルタリング部は、前記フィルタリング処理により、前記高次スピーカの位置を原点とする前記高次スピーカのモード係数を前記スピーカ駆動信号として生成する
請求項４に記載の信号処理装置。 The signal processing device according to claim 4, wherein the filtering unit generates a mode coefficient of the high-order speaker with the position of the high-order speaker as an origin as the speaker drive signal by the filtering process. 前記スピーカアレイは、前記高次スピーカを含む複数のスピーカを環状とは異なる形状に並べて得られるスピーカアレイである
請求項１０に記載の信号処理装置。 The signal processing device according to claim 10, wherein the speaker array is a speaker array obtained by arranging a plurality of speakers including the high-order speaker in a shape different from that of a ring. 前記フィルタ係数更新部は、前記スピーカアレイに対して前記第１のマイクロホンアレイとは反対側に配置された複数のマイクロホンからなる第２のマイクロホンアレイで収音することで得られた第２のマイクロホン信号と、前記第１のマイクロホン信号とに基づいて前記フィルタ係数を更新する
請求項２に記載の信号処理装置。 The filter coefficient updating unit is a second microphone obtained by picking up sound with a second microphone array composed of a plurality of microphones arranged on the side opposite to the first microphone array with respect to the speaker array. The signal processing apparatus according to claim 2, wherein the filter coefficient is updated based on the signal and the first microphone signal. 信号処理装置が、
複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、
前記スピーカ駆動信号に基づいて、少なくとも１つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
信号処理方法。 The signal processing device
Based on the microphone signal obtained by collecting sound with a microphone array consisting of a plurality of microphones, the output sound for canceling the sound collected by the microphone array propagating from outside the predetermined area to the predetermined area. Generates a speaker drive signal,
A signal processing method for outputting the output sound from a speaker array including at least one high-order speaker based on the speaker drive signal. 複数のマイクロホンからなるマイクロホンアレイで収音することで得られたマイクロホン信号に基づいて、所定領域外から前記所定領域へと伝搬する前記マイクロホンアレイにより収音された音をキャンセルするための出力音のスピーカ駆動信号を生成し、
前記スピーカ駆動信号に基づいて、少なくとも１つの高次スピーカからなるスピーカアレイから前記出力音を出力させる
ステップを含む処理をコンピュータに実行させるプログラム。 Based on the microphone signal obtained by collecting sound with a microphone array consisting of a plurality of microphones, the output sound for canceling the sound collected by the microphone array propagating from outside the predetermined area to the predetermined area. Generates a speaker drive signal,
A program that causes a computer to execute a process including a step of outputting the output sound from a speaker array consisting of at least one high-order speaker based on the speaker drive signal.
JP2018200618A 2018-10-25 2018-10-25 Signal processing device and method, as well as program Pending JP2022008732A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018200618A JP2022008732A (en) 2018-10-25 2018-10-25 Signal processing device and method, as well as program
US17/286,121 US20210375256A1 (en) 2018-10-25 2019-10-11 Signal processing device and method, and program
PCT/JP2019/040183 WO2020085117A1 (en) 2018-10-25 2019-10-11 Signal processing device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018200618A JP2022008732A (en) 2018-10-25 2018-10-25 Signal processing device and method, as well as program

Publications (1)

Publication Number Publication Date
JP2022008732A true JP2022008732A (en) 2022-01-14

Family

ID=70331948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018200618A Pending JP2022008732A (en) 2018-10-25 2018-10-25 Signal processing device and method, as well as program

Country Status (3)

Country Link
US (1) US20210375256A1 (en)
JP (1) JP2022008732A (en)
WO (1) WO2020085117A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102431801B1 (en) * 2022-03-23 2022-08-11 주식회사 크레스트 Battery balancing apparatus and method using soc index

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466271A (en) * 2020-11-30 2021-03-09 声耕智能科技(西安)研究院有限公司 Distributed active noise control method, system, equipment and storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5679304B2 (en) * 2011-02-15 2015-03-04 日本電信電話株式会社 Multipole loudspeaker group and arrangement method thereof, acoustic signal output device and method thereof, active noise control device and sound field reproduction device using the method, and method and program thereof
JP6345634B2 (en) * 2015-07-31 2018-06-20 日本電信電話株式会社 Sound field reproducing apparatus and method
JP7028238B2 (en) * 2017-03-07 2022-03-02 ソニーグループ株式会社 Signal processing equipment and methods, as well as programs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102431801B1 (en) * 2022-03-23 2022-08-11 주식회사 크레스트 Battery balancing apparatus and method using soc index

Also Published As

Publication number Publication date
US20210375256A1 (en) 2021-12-02
WO2020085117A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
JP7028238B2 (en) Signal processing equipment and methods, as well as programs
US8718291B2 (en) ANC for BT headphones
JP6113739B2 (en) Method and apparatus for processing a spherical microphone array signal on a hard sphere used to generate an ambisonic representation of a sound field
US7991166B2 (en) Microphone apparatus
US20130259253A1 (en) Controllers for active noise control systems
CN110402540B (en) Active noise reduction method, device, chip, active control system and storage medium
Iwai et al. Multichannel feedforward active noise control system combined with noise source separation by microphone arrays
CN113574593B (en) Tuning method, manufacturing method, computer-readable storage medium, and tuning system
EP3050322B1 (en) System and method for evaluating an acoustic transfer function
WO2017096174A1 (en) Multi-microphone feedforward active noise cancellation
Møller et al. A moving horizon framework for sound zones
WO2020085117A1 (en) Signal processing device, method, and program
JP2019047478A (en) Acoustic signal processing apparatus, acoustic signal processing method, and acoustic signal processing program
JP5734329B2 (en) Sound field recording / reproducing apparatus, method, and program
JP5240026B2 (en) Device for correcting sensitivity of microphone in microphone array, microphone array system including the device, and program
JP6567216B2 (en) Signal processing device
WO2021100461A1 (en) Signal processing device, method, and program
JP6592838B2 (en) Binaural signal generation apparatus, method, and program
Pasco et al. Interior sound field control using generalized singular value decomposition in the frequency domain
JP2016092562A (en) Audio processing device and method, and program
WO2018211984A1 (en) Speaker array and signal processor
WO2022034795A1 (en) Signal processing device and method, noise cancelling device, and program
Zotter et al. Higher-order ambisonic microphones and the wave equation (linear, lossless)
Rafaely et al. Beamforming with noise minimization
WO2022234822A1 (en) Signal processing device, signal processing method, and program