JP2013150027A - Acoustic field collected sound reproduction device, method, and program - Google Patents
Acoustic field collected sound reproduction device, method, and program Download PDFInfo
- Publication number
- JP2013150027A JP2013150027A JP2012006724A JP2012006724A JP2013150027A JP 2013150027 A JP2013150027 A JP 2013150027A JP 2012006724 A JP2012006724 A JP 2012006724A JP 2012006724 A JP2012006724 A JP 2012006724A JP 2013150027 A JP2013150027 A JP 2013150027A
- Authority
- JP
- Japan
- Prior art keywords
- axis direction
- function
- space
- domain signal
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
この発明は、ある音場に設置されたマイクアレーで音信号を収音し、その音信号を用いてスピーカアレーでその音場を再現する波面合成法(Wave Field Synthesis)の技術に関する。 The present invention relates to a technique of wave field synthesis that collects a sound signal with a microphone array installed in a certain sound field and reproduces the sound field with a speaker array using the sound signal.
ある音場に設置されたマイクアレーで信号を収音し、その信号を用いてスピーカアレーでその音場を再現する波面合成法(Wave Field Synthesis)の技術として、例えば非特許文献1に記載された技術が知られている。
Non-Patent
非特許文献1に記載された技術では、スピーカアレーを構成するスピーカは無指向性であることを前提としてフィルタを構成している。
In the technique described in Non-Patent
しかしながら、非特許文献1に記載された技術では、スピーカアレーを構成するスピーカは無指向性であることを前提としてフィルタを構成しているため、スピーカアレーを構成するスピーカが無指向性でない場合には、非特許文献1に記載された技術を適用することができない。
However, in the technology described in Non-Patent
この発明の目的は、スピーカアレーを構成するスピーカの指向性が任意の指向性であっても適用することができる音場収音再生装置、方法及びプログラムを提供することである。 An object of the present invention is to provide a sound field sound collecting / reproducing apparatus, method, and program that can be applied even if the directivity of speakers constituting the speaker array is arbitrary.
上記の課題を解決するために、この発明の一態様による音場収音再生装置は、マイクアレーはxz平面上に配置されており、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、kz,mをz軸方向の波数とし、mをそのインデックスとし、3次元自由空間グリーン関数をx軸方向及びz軸方向に空間のフーリエ変換をした関数を関数G~とし、音場が再現される空間のスピーカアレーの位置とその位置からyrefだけ離れた位置との間の予め測定された伝達特性をx軸方向及びz軸方向に空間のフーリエ変換をした関数を関数G~spとして、マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタ部と、 In order to solve the above problems, in the sound field sound-collecting / reproducing apparatus according to one aspect of the present invention, the microphone array is arranged on the xz plane, j is an imaginary unit, ω is a frequency, and c is a sound velocity. , K = ω / c, k x, n is the wave number in the x-axis direction, n is the index, k z, m is the wave number in the z-axis direction, m is the index, and the three-dimensional free space Green function A function obtained by performing Fourier transform of the space in the x-axis direction and the z-axis direction as function G ~, and measuring in advance between the position of the speaker array in the space where the sound field is reproduced and the position separated by y ref from that position Spatio-temporal frequency domain signals P to nm () generated based on signals collected by the microphone array, using functions G to sp as functions obtained by performing Fourier transform of the spatial characteristics in the x-axis direction and z-axis direction on the transfer characteristics. After applying the filter F ~ nm (ω) defined by A conversion filter unit for generating a signal D to nm (ω);
空間の逆フーリエ変換により、フィルタ処理後信号D~nm(ω)を周波数領域信号に変換する空間周波数逆変換部と、周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換部と、を含む。 A spatial frequency inverse transform unit that transforms the filtered signal D to nm (ω) into a frequency domain signal by inverse Fourier transform of space, and a frequency inverse transform unit that transforms the frequency domain signal into a time domain signal by inverse Fourier transform. ,including.
この発明の一態様による音場収音再生装置は、マイクアレーはxz平面上に配置されており、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、kz,mをz軸方向の波数とし、mをそのインデックスとし、3次元自由空間グリーン関数をx軸方向及びz軸方向に空間のフーリエ変換をした関数を関数G~とし、xz平面上に配置されたスピーカアレーと位置yrefとの間の予め測定された伝達関数をx軸方向及びz軸方向に空間のフーリエ変換をした関数を関数G~spとして、マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換部と、空間のフーリエ変換により、周波数領域信号を時空間周波数領域信号P~nm(ω)に変換する空間周波数変換部と、時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタ部と、 In the sound field collecting and reproducing device according to one aspect of the present invention, the microphone array is arranged on the xz plane, j is an imaginary unit, ω is a frequency, c is a sound velocity, k = ω / c, k x, n is the wave number in the x-axis direction, n is the index, k z, m is the wave number in the z-axis direction, m is the index, and the three-dimensional free space Green function is in the x-axis direction and the z-axis direction. A function obtained by performing a Fourier transform of the space is a function G ~, and a pre-measured transfer function between the speaker array arranged on the xz plane and the position y ref is subjected to a Fourier transform of the space in the x-axis direction and the z-axis direction. The function G ~ sp is used as a function G ~ sp , and the frequency converter that converts the signal collected by the microphone array into the frequency domain signal by Fourier transform, and the space-time frequency domain signal P ~ nm by the spatial Fourier transform Spatial frequency converter to convert to (ω) and spatio-temporal frequency A conversion filter unit to generate a filtered signal after D ~ nm (ω) and apply a filter F ~ nm defined by the following equation with respect to frequency signal P ~ nm (ω) (ω ),
を含む。
この発明の一態様による音場収音再生装置は、直線状に配置されたマイクアレーの配列方向をx軸方向とし、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、2次元自由空間グリーン関数をx軸方向に空間のフーリエ変換をした関数を関数G~2Dとし、音場が再現される空間のスピーカアレーの位置とその位置からyrefだけ離れた位置との間の予め測定された伝達特性をx軸方向に空間のフーリエ変換をした関数を関数G~spとして、マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタ部と、
including.
The sound field sound collecting and reproducing device according to one aspect of the present invention has an arrangement direction of microphone arrays arranged in a straight line as an x-axis direction, j as an imaginary unit, ω as a frequency, c as a sound velocity, and k = ω / c, where k x, n is the wave number in the x-axis direction, n is the index, and the two-dimensional free space Green function is the function G ~ 2D of the Fourier transform of the space in the x-axis direction. A function obtained by performing a Fourier transform of the space in the x-axis direction on the pre-measured transfer characteristics between the position of the speaker array in the reproduced space and the position separated by y ref from that position is used as a function G ~ sp. Filtered signals D to n by applying filters F to n (ω) defined by the following equations to spatio-temporal frequency domain signals P to n (ω) generated based on the signals collected at a conversion filter unit for generating (ω);
空間の逆フーリエ変換により、フィルタ処理後信号D~n(ω)を周波数領域信号に変換する空間周波数逆変換部と、周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換部と、を含む。 A spatial frequency inverse transform unit that converts the filtered signal D to n (ω) into a frequency domain signal by inverse Fourier transform of the space, and a frequency inverse transform unit that converts the frequency domain signal into a time domain signal by an inverse Fourier transform. ,including.
この発明の一態様による音場収音再生装置は、直線状に配置されたマイクアレーの配列方向をx軸方向とし、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、2次元自由空間グリーン関数をx軸方向に空間のフーリエ変換をした関数を関数G~2Dとし、音場が再現される空間のスピーカアレーの位置とその位置からyrefだけ離れた位置との間の予め測定された伝達特性をx軸方向に空間のフーリエ変換をした関数を関数G~spとして、マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換部と、空間のフーリエ変換により、周波数領域信号を時空間周波数領域信号P~n(ω)に変換する空間周波数変換部と、時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタ部と、 The sound field sound collecting and reproducing device according to one aspect of the present invention has an arrangement direction of microphone arrays arranged in a straight line as an x-axis direction, j as an imaginary unit, ω as a frequency, c as a sound velocity, and k = ω / c, where k x, n is the wave number in the x-axis direction, n is the index, and the two-dimensional free space Green function is the function G ~ 2D of the Fourier transform of the space in the x-axis direction. A function obtained by performing a Fourier transform of the space in the x-axis direction on the pre-measured transfer characteristics between the position of the speaker array in the reproduced space and the position separated by y ref from that position is used as a function G ~ sp. A frequency conversion unit that converts the signal collected by the frequency domain signal by Fourier transform, and a spatial frequency conversion unit that converts the frequency domain signal to a spatio-temporal frequency domain signal P ~ n (ω) by Fourier transform of space. , the following equation with respect to spatio-temporal frequency domain signal P ~ n (ω) A conversion filter unit to generate a filtered signal after D ~ n (ω) and apply a filter F ~ n (ω) which is more defined,
を含む。 including.
予め測定された伝達特性を用いてフィルタを構成することにより、スピーカアレーを構成するスピーカの指向性が任意の指向性であっても音場の再現をすることができる。 By configuring the filter using the transfer characteristics measured in advance, the sound field can be reproduced even if the directivity of the speakers constituting the speaker array is arbitrary.
以下、図面を参照してこの発明の実施形態を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
[第一実施形態]
第一実施形態の音場収音再生装置及び方法は、図2に示すように、第一の部屋のy=0の位置に配置されたNx×Nz個のマイクロホンで構成される二次元マイクアレーM1−1,M2−1,…,MNx−Nzと、第二の部屋に配置されたNx×Nz個のスピーカで構成される二次元スピーカアレーS1−1,S2−1,…,SNx−Nzとを用いて、音源Sで発生した音によって形成された第一の部屋の音場を第二の部屋で再現する。
[First embodiment]
As shown in FIG. 2, the sound field collecting and reproducing apparatus and method according to the first embodiment are two-dimensionally configured by N x × N z microphones arranged at a position of y = 0 in the first room. Two-dimensional speaker arrays S1-1 and S2-1 composed of microphone arrays M1-1, M2-1,..., MN x -N z and N x × N z speakers arranged in the second room. ,..., SN x -N z is used to reproduce the sound field of the first room formed by the sound generated by the sound source S in the second room.
Nx,Nzは任意の整数である。この実施形態では、マイクアレーM1−1,M2−1,…,MNx−Nzを構成するマイクの数とスピーカアレーS1−1,S2−1,…,SNx−Nzを構成するスピーカの数は同じである。マイクアレーM1−1,M2−1,…,MNx−Nzを構成するマイクMi−jはy=0のxz平面に格子状に配置されている。スピーカアレーS1−1,S2−1,…,SNx−Nzを構成するスピーカもxz平面に格子状に配置されている。マイクアレーM1−1,M2−1,…,MNx−Nzの大きさと、スピーカアレーS1−1,S2−1,…,SNx−Nzの大きさはほぼ同じである。各マイクMi−jのマイクアレーM1−1,M2−1,…,MNx−Nzにおける位置は、その各マイクMi−jに対応するスピーカSi−jのスピーカアレーS1−1,S2−1,…,SNx−Nzにおける位置と同じであることが望ましいが、異なっていても良い。この位置が同じであれば、より忠実に音場の再生を行うことができる。 N x and N z are arbitrary integers. In this embodiment, the microphone array M1-1, M2-1, ..., MN x the number and the speaker array microphone constituting the -N z S1-1, S2-1, ..., constituting the SN x -N z speaker The number of is the same. The microphones Mi-j constituting the microphone arrays M1-1, M2-1,..., MN x -N z are arranged in a grid on the xz plane where y = 0. Speakers constituting the speaker arrays S1-1, S2-1,..., SN x -N z are also arranged in a grid on the xz plane. Microphone array M1-1, M2-1, ..., and the size of MN x -N z, a speaker array S1-1, S2-1, ..., the magnitude of SN x -N z are approximately the same. Microphone array M1-1 of the microphones Mi-j, M2-1, ..., position in MN x -N z is the speaker Si-j of the speaker array S1-1 corresponding to the respective microphones Mi-j, S2-1 ,..., SN x −N z is preferably the same as the position, but may be different. If this position is the same, the sound field can be reproduced more faithfully.
第一の部屋のy=0の平面状に配置されたマイクアレーM1−1,M2−1,…,MNx−Nzを構成する各マイクの位置をrs=(xi,0,zj)と表わすことにする。 The positions of the microphones constituting the microphone arrays M1-1, M2-1,..., MN x -N z arranged in a plane of y = 0 in the first room are expressed as r s = (x i , 0, z j ).
第一実施形態の音場収音再生装置は、図1に示すように周波数変換部1、空間周波数変換部2、変換フィルタ部3、空間周波数逆変換部4、周波数逆変換部5及び窓関数部6を例えば含み、図3に例示された各ステップの処理を行う。
As shown in FIG. 1, the sound field sound collecting and reproducing apparatus according to the first embodiment includes a
第一の部屋のマイクアレーM1−1,M2−1,…,MNx−Nzは、第一の部屋の音源Sで発せられた音を収音して時間領域の信号を生成する。生成された信号は、周波数変換部1に送られる。rs=(xi,0,zj)のマイクMi−jで収音された時間領域の時刻tの信号をpij(t)と表記する。
The microphone arrays M1-1, M2-1,..., MN x -N z in the first room pick up the sound emitted from the sound source S in the first room and generate a time domain signal. The generated signal is sent to the
周波数変換部1は、マイクアレーM1−1,M2−1,…,MNx−Nzで収音された信号pij(t)をフーリエ変換により周波数領域信号Pij(ω)に変換する(ステップS1)。生成された周波数領域信号Pij(ω)は、空間周波数変換部2に送られる。ωは周波数である。例えば、短時間離散フーリエ変換により周波数領域信号Pij(ω)が生成される。もちろん、他の既存の方法により周波数領域信号Pij(ω)を生成してもよい。また、オーバーラップアド等の方法を用いて周波数領域信号Pij(ω)を生成してもよい。入力信号が長い場合や、リアルタイム処理のように連続して信号が入力される場合には、例えば10msごとといったフレームごとに処理を行う。周波数領域信号Pij(ω)は、例えば以下のように定義される。関数expの引数の中のjは虚数単位である。
The
空間周波数変換部2は、空間のフーリエ変換により周波数領域信号Pij(ω)を時空間周波数領域信号P~nm(ω)に変換する(ステップS2)。時空間周波数領域信号P~nm(ω)は、各ωごとに計算される。変換された時空間周波数領域信号P~nm(ω)は、変換フィルタ部3に送られる。空間周波数変換部2は、具体的には下記式(1)により定義されるP~nm(ω)を計算する。
Spatial
kx,nはx軸方向の波数であり、nは波数kx,nのインデックスであり、kz,mはz軸方向の波数であり、mは波数kz,mのインデックスである。波数とは、いわゆる空間周波数又は角度スペクトルのことである。上記式(1)は、時空間周波数領域への変換の一例であり、他の方法により空間のフーリエ変換を行ってもよい。 k x, n is the wave number in the x-axis direction, n is the index of the wave number k x, n , k z, m is the wave number in the z-axis direction, and m is the index of the wave number k z, m . The wave number is a so-called spatial frequency or angular spectrum. The above formula (1) is an example of conversion to the spatio-temporal frequency domain, and spatial Fourier transform may be performed by other methods.
変換フィルタ部3は、時空間周波数領域信号P~nm(ω)に対して下式(2)により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する(ステップS3)。フィルタ処理後信号D~nm(ω)は、空間周波数逆変換部4に送信される。 Conversion filter unit 3, the spatio-temporal frequency domain signal P ~ nm (omega) by applying a filter F ~ nm (omega) filtering after signal D ~ nm defined by the following equation (2) with respect to (omega) Is generated (step S3). The filtered signal D˜nm (ω) is transmitted to the spatial frequency inverse transform unit 4.
式(2)において、G~は、理想的な伝達特性を表す3次元自由空間グリーン関数をx軸方向及びz軸方向に空間のフーリエ変換をした関数である。yrefは、伝達特性を一致させる位置である。より具体的には、yrefは、図2に示すように、スピーカアレーS1−1,S2−1,…,SNx−Nzと再現する信号の振幅を合わせる直線状の位置との距離を表す。G~spは、音場が再現される空間のスピーカアレーの位置とその位置からyrefだけ離れた位置との間の予め測定された伝達特性をx軸方向及びz軸方向に空間のフーリエ変換をした関数である。 In Expression (2), G˜ is a function obtained by subjecting a three-dimensional free space Green function representing ideal transfer characteristics to a Fourier transform of space in the x-axis direction and the z-axis direction. y ref is a position where transfer characteristics are matched. More specifically, as shown in FIG. 2, y ref is the distance between the speaker array S1-1, S2-1,..., SN x -N z and the linear position that matches the amplitude of the reproduced signal. Represent. G ~ sp is the Fourier transform of space in the x-axis and z-axis directions, measured in advance in the x-axis and z-axis directions, between the position of the speaker array in the space where the sound field is reproduced and the position away from that position by y ref It is a function that
空間周波数逆変換部4は、フィルタ処理後信号D~nm(ω)を空間の逆フーリエ変換により周波数領域信号Dij(ω)に変換する(ステップS4)。変換された周波数領域信号Dij(ω)は、周波数逆変換部5に送られる。空間周波数逆変換部4は、具体的には下記式(3)により定義される周波数領域信号Dij(ω)を計算する。 The spatial frequency inverse transform unit 4 transforms the filtered signal D˜nm (ω) into the frequency domain signal D ij (ω) by inverse spatial Fourier transform (step S4). The converted frequency domain signal D ij (ω) is sent to the frequency inverse transform unit 5. Specifically, the spatial frequency inverse transform unit 4 calculates a frequency domain signal D ij (ω) defined by the following equation (3).
周波数逆変換部5は、周波数領域信号Dij(ω)を逆フーリエ変換により時間領域信号Pd ij(t)に変換する(ステップS5)。逆フーリエ変換によりフレーム毎に得られた時間領域信号Pd ij(t)は適宜シフトされて線形和が取られて、連続した時間領域信号となる。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。時間領域信号Pd ij(t)は、窓関数部6に送られる。 The frequency inverse transform unit 5 transforms the frequency domain signal D ij (ω) into a time domain signal P d ij (t) by inverse Fourier transform (step S5). The time domain signal P d ij (t) obtained for each frame by the inverse Fourier transform is appropriately shifted to obtain a linear sum to be a continuous time domain signal. For the inverse Fourier transform, an existing method such as a short-time discrete inverse Fourier transform may be used. The time domain signal P d ij (t) is sent to the window function unit 6.
窓関数部6は、時間領域信号Pd ij(t)に窓関数を乗じて窓関数後時間領域信号dij(t)を生成する(ステップS6)。窓関数後時間領域信号dij(t)は、スピーカアレーS1−1,S2−1,…,SNx−Nzに送られる。 The window function unit 6 generates a post-window function time domain signal d ij (t) by multiplying the time domain signal P d ij (t) by the window function (step S6). After the window function time domain signal d ij (t) is the speaker array S1-1, S2-1, ..., it is sent to the SN x -N z.
窓関数として、以下の式より定義されるいわゆるターキー(Tukey)窓関数wijを例えば用いる。Ntprは、テーパーを適用する点数であり1以上Nx,Nz以下の整数である。もちろん、他の窓関数を用いてもよい。 For example, a so-called tukey window function w ij defined by the following equation is used as the window function. N tpr is the number of points to which the taper is applied, and is an integer of 1 or more and N x or N z . Of course, other window functions may be used.
スピーカアレーS1−1,S2−1,…,SNx−Nzは、窓関数後時間領域信号dij(t)に基づいて音を再生する。具体的には、i=1,…,Nx,j=1,…,Nzとして、スピーカSi−jが窓関数後時間領域信号dij(t)に基づいて音を再生する。これにより、第一の部屋のy=0の位置の波面を第二の部屋のスピーカアレーS1−1,S2−1,…,SNx−Nzで再現して、第一の部屋の音場を第二の部屋に再現することができる。 The speaker arrays S1-1, S2-1,..., SN x -N z reproduce sound based on the time domain signal dij (t) after the window function. Specifically, as i = 1,..., N x , j = 1,..., N z , the speaker Si-j reproduces sound based on the time domain signal dij (t) after the window function. Thereby, the wavefront of the position of y = 0 in the first room second room loudspeaker array S1-1, S2-1, ..., and reproduced in SN x -N z, the sound field of the first room Can be reproduced in the second room.
マイクアレーを構成するマイクロホンの数が、スピーカアレーを構成するスピーカの数よりも多い場合には、窓関数後時間領域信号dij(t)を間引いてもよい。一方、マイクアレーを構成するマイクロホンの数が、スピーカアレーを構成するスピーカの数よりも少ない場合には、窓関数後時間領域信号dij(t)の平均を取るなどして補間を行ってもよい。 When the number of microphones constituting the microphone array is larger than the number of speakers constituting the speaker array, the post-window function time domain signal dij (t) may be thinned out. On the other hand, when the number of microphones constituting the microphone array is smaller than the number of speakers constituting the speaker array, interpolation may be performed by averaging the time domain signal dij (t) after the window function. Good.
以下、フィルタF~nm(ω)が上記式(2)のように表される理由について説明する。 Hereinafter, the reason why the filter F˜nm (ω) is expressed as the above formula (2) will be described.
再現領域の位置ベクトルをr=(x,y,z)とし、二次音源平面の位置ベクトルをr0=(x0,0,z0)とする。再現領域における周波数ωの音圧分布をP(r,ω)とし、二次音源の駆動信号をD(r0,ω)とすると、以下の関係式が書ける。 The position vector of the reproduction region is r = (x, y, z), and the position vector of the secondary sound source plane is r 0 = (x 0 , 0, z 0 ). If the sound pressure distribution of the frequency ω in the reproduction region is P (r, ω) and the driving signal of the secondary sound source is D (r 0 , ω), the following relational expression can be written.
ここで、Gsp(r-r0,ω)は、rとr0との間の伝達関数である。式(4)をx軸方向及びy軸方向に空間のフーリエ変換をすると、以下のようになる。 Here, G sp (rr 0 , ω) is a transfer function between r and r 0 . When Expression (4) is Fourier-transformed in space in the x-axis direction and the y-axis direction, the result is as follows.
ここで、kx及びkzは、それぞれx軸方向の空間周波数及びz軸方向の空間周波数を表す。また、空間周波数領域を「〜」で示している。ここでは、空間のフーリエ変換を以下のように定義している。 Here, k x and k z represent the spatial frequency in the x-axis direction and the spatial frequency in the z-axis direction, respectively. The spatial frequency region is indicated by “ ˜ ”. Here, the Fourier transform of the space is defined as follows.
次に、理想音場として第一種レイリー積分を導入する。 Next, the first kind Rayleigh integration is introduced as an ideal sound field.
ここで、G(r-r0,ω)は、3次元自由空間グリーン関数である。 Here, G (rr 0 , ω) is a three-dimensional free space Green function.
ここで、k=ω/cは波数であり、cは音速である。この式を空間のフーリエ変換をすると、以下の式が得られる。 Here, k = ω / c is the wave number, and c is the speed of sound. When this formula is subjected to Fourier transform of space, the following formula is obtained.
ここで、 here,
である。
式(5)及び式(6)により、二次音源の駆動信号は以下のように得られる。
It is.
The driving signal of the secondary sound source is obtained as follows by the equations (5) and (6).
このとき、G~sp(kx,y,kz,ω)は未知であるため、実測に得る必要がある。 At this time, G˜sp (k x , y, k z , ω) is unknown, so it is necessary to obtain it through actual measurement.
ここで、具体的なフィルタ設計方法を考える。原点からある平面状の格子点rij=(xi,yref,zj)(1≦i≦Nx,1≦j≦Ny)までの理想的な伝達特性をGとし、実測により得られた伝達特性をGspとする。ここではFFTなどを用いて時間周波数領域に変換された伝達特性として、単一の周波数ωについて考える。G,Gspは、Nx×Nyの行列であり、各要素は周波数ωにおける各点rijまでの伝達特性である。したがって、Gの(i,j)番目の要素Gijは、以下のように書ける。 Here, a specific filter design method is considered. G is an ideal transfer characteristic from the origin to a planar lattice point r ij = (x i , y ref , z j ) (1≤i≤N x , 1≤j≤N y ). Let G sp be the obtained transfer characteristic. Here, a single frequency ω is considered as a transfer characteristic converted into the time-frequency domain using an FFT or the like. G and G sp are N x × N y matrices, and each element is a transfer characteristic up to each point r ij at the frequency ω. Therefore, the (i, j) -th element G ij of G can be written as follows:
同じように、Gspの(i,j)番目の要素Gsp,ijは、以下のように書ける。 Similarly, the (i, j) -th element G sp, ij of G sp can be written as follows.
Gsp(rij,ω)はrijまでの測定された伝達特性を表わす。スピーカ特性の測定では、図4のように、音場が再現される空間である第二の部屋のスピーカアレーS1−1,S2−1,…,SNx−Nzの位置にスピーカSpを配置し、その位置から前方y=yrefの位置に平面状マイクロホンアレーMaを設置し、インパルス応答を測定後、周波数領域に変換すればよい。 G sp (r ij , ω) represents the measured transfer characteristic up to r ij . In the measurement of the speaker characteristics, as shown in FIG. 4, the speakers Sp are arranged at the positions of the speaker arrays S1-1, S2-1,..., SN x -N z in the second room, which is a space where the sound field is reproduced. Then, a planar microphone array Ma may be installed at a position where y = y ref forward from that position, and the impulse response may be measured and then converted to the frequency domain.
次に、G及びGspをDFTやFFTなどを用いて時空間周波数領域表現G~及びG~spに変換する。 Then, into a spatio-temporal frequency domain representation G ~ and G ~ sp with the G and G sp such as DFT and FFT.
DFTはNx×Nyの2次元離散フーリエ変換である。よって、式(2)にはG~とG~spの各空間周波数に対応する要素を代入すればよい。この際、フィルタ式には一つの特性のみが必要なため、いくつかのスピーカ特性を測定し、それらの平均を取るようなことをしてもよい。また、測定に用いるマイクロホンアレーとスピーカとの位置関係はどのような形でも構わないが、同じ位置関係でG~spとG~とを計算するとフィルタの安定性が増す。また、各周波数変換においてゼロ詰めなどを行ってもよい。 DFT is an N x × N y two-dimensional discrete Fourier transform. Therefore, elements corresponding to the respective spatial frequencies of G ~ and G ~ sp may be substituted into Expression (2). At this time, since only one characteristic is required for the filter expression, some speaker characteristics may be measured and averaged thereof may be taken. In addition, the positional relationship between the microphone array and the speaker used for measurement may be any shape, but if G˜sp and G˜ are calculated with the same positional relationship, the stability of the filter increases. Further, zero padding or the like may be performed in each frequency conversion.
このように、予め測定された伝達特性を用いてフィルタを構成することにより、スピーカアレーを構成するスピーカの指向性が任意の指向性であっても音場の再現をすることができる。 Thus, by configuring the filter using the transfer characteristics measured in advance, the sound field can be reproduced even if the directivity of the speakers constituting the speaker array is arbitrary.
[第二実施形態]
第二実施形態の音場収音再生装置及び方法は、図6に示すように、第一の部屋のy=0,z=0の位置に直線状に配置されたNx個のマイクロホンで構成される一次元マイクアレーM1,M2,…,MNxと、第二の部屋に直線状に配置されたNx個のスピーカで構成される一次元スピーカアレーS1,S2,…,SNxとを用いて、音源Sで発生した音によって形成された第一の部屋の音場を第二の部屋で再現する。第一実施形態と比較すると、マイク数、スピーカ数及びチャネル数を少なくすることができるため、実装が比較的容易となる。
[Second Embodiment]
As shown in FIG. 6, the sound field sound collecting / reproducing apparatus and method according to the second embodiment includes N x microphones arranged linearly at positions y = 0 and z = 0 in the first room. , MN x and one-dimensional
Nxは任意の整数である。この実施形態では、マイクアレーM1,M2,…,MNxを構成するマイクの数とスピーカアレーS1,S2,…,SNxを構成するスピーカの数は同じである。マイクアレーM1,M2,…,MNxを構成するマイクMiは等間隔に配置されている。また、スピーカアレーS1,S2,…,SNxを構成するスピーカも等間隔に配置されている。マイクアレーM1,M2,…,MNxの大きさと、スピーカアレーS1,S2,…,SNxの大きさはほぼ同じである。各マイクMiのマイクアレーM1,M2,…,MNxにおける位置は、その各マイクMiに対応するスピーカSiのスピーカアレーS1,S2,…,SNxにおける位置と同じであることが望ましいが、異なっていても良い。この位置が同じであれば、より忠実に音場の再生を行うことができる。 N x is an arbitrary integer. In this embodiment, the microphone array M1, M2, ..., the number and the speaker array S1 of microphone constituting the MN x, S2, ..., the number of speakers constituting the SN x is the same. Microphones Mi constituting the microphone arrays M1, M2,..., MN x are arranged at equal intervals. Further, the speakers constituting the speaker arrays S1, S2,..., SN x are also arranged at equal intervals. Microphone array M1, M2, ..., and the size of MN x, speaker array S1, S2, ..., the magnitude of SN x is about the same. Microphone array M1, M2 of the microphones Mi, ..., position in MN x is speaker Si speaker array S1, S2 corresponding to the respective microphones Mi, ..., but it is desirable that the same as the position in the SN x, different May be. If this position is the same, the sound field can be reproduced more faithfully.
第一の部屋のy=0,z=0の位置に配置されたマイクアレーM1,M2,…,MNxを構成する各マイクの位置をrs=(xi,0,0)と表わすことにする。 Representing the position of each microphone constituting the microphone arrays M1, M2,..., MN x arranged at positions y = 0, z = 0 in the first room as r s = (x i , 0,0). To.
第二実施形態の音場収音再生装置は、図5に示すように周波数変換部1、空間周波数変換部2、変換フィルタ部3、空間周波数逆変換部4、周波数逆変換部5及び窓関数部6を例えば含み、図3に例示された各ステップの処理を行う。
As shown in FIG. 5, the sound field sound collecting / reproducing apparatus of the second embodiment includes a
第一の部屋のy=0,z=0の位置に配置されたマイクアレーM1,M2,…,MNxは、第一の部屋の音源Sで発せられた音を収音して時間領域の信号を生成する。生成された信号は、周波数変換部1に送られる。rs=(xi,0,0)のマイクMiで収音された時間領域の時刻tの信号をpi(t)と表記する。
The microphone arrays M1, M2,..., MN x arranged at positions y = 0, z = 0 in the first room pick up the sound emitted from the sound source S in the first room and Generate a signal. The generated signal is sent to the
周波数変換部1は、マイクアレーM1,M2,…,MNxで収音された信号pi(t)をフーリエ変換により周波数領域信号Pi(ω)に変換する(ステップS1)。生成された周波数領域信号Pi(ω)は、空間周波数変換部2に送られる。ωは周波数である。例えば、短時間離散フーリエ変換により周波数領域信号Pi(ω)が生成される。もちろん、他の既存の方法により周波数領域信号Pi(ω)を生成してもよい。また、オーバーラップアド等の方法を用いて周波数領域信号Pij(ω)を生成してもよい。入力信号が長い場合や、リアルタイム処理のように連続して信号が入力される場合には、例えば10msごとといったフレームごとに処理を行う。周波数領域信号Pi(ω)は、例えば以下のように定義される。関数expの引数の中のjは虚数単位である。
The
空間周波数変換部2は、空間のフーリエ変換により周波数領域信号Pi(ω)を時空間周波数領域信号P~n(ω)に変換する(ステップS2)。時空間周波数領域信号P~n(ω)は、各ωごとに計算される。変換された時空間周波数領域信号P~n(ω)は、変換フィルタ部3に送られる。空間周波数変換部2は、具体的には下記式(7)により定義されるP~n(ω)を計算する。
kx,nはx軸方向の波数であり、nは波数kx,nのインデックスである。波数とは、いわゆる空間周波数又は角度スペクトルのことである。上記式(7)は、時空間周波数領域への変換の一例であり、他の方法により空間のフーリエ変換を行ってもよい。 k x, n is a wave number in the x-axis direction, and n is an index of the wave number k x, n . The wave number is a so-called spatial frequency or angular spectrum. The above equation (7) is an example of conversion to the spatio-temporal frequency domain, and spatial Fourier transform may be performed by other methods.
変換フィルタ部3は、時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する(ステップS3)。フィルタ処理後信号D~n(ω)は、空間周波数逆変換部4に送信される。 Conversion filter unit 3 applies a filter F ~ n (ω) which is defined by the following equation to generate a filtered signal after D ~ n (ω) with respect to spatio-temporal frequency domain signal P ~ n (ω) (Step S3). The filtered signal D˜n (ω) is transmitted to the spatial frequency inverse transform unit 4.
式(8)において、G~2Dは、理想的な伝達特性を表す2次元自由空間グリーン関数をx軸方向に空間のフーリエ変換をした関数である。yrefは、伝達特性を一致させる位置である。より具体的には、yrefは、図6に示すように、スピーカアレーS1,S2,…,SNxと再現する信号の振幅を合わせる直線状の位置との距離を表す。G~spは、音場が再現される空間のスピーカアレーの位置とその位置からyrefだけ離れた位置との間の予め測定された伝達特性をx軸方向に空間のフーリエ変換をした関数である。 In Equation (8), G to 2D are functions obtained by subjecting a two-dimensional free space Green function representing ideal transfer characteristics to a spatial Fourier transform in the x-axis direction. y ref is a position where transfer characteristics are matched. More specifically, as shown in FIG. 6, y ref represents the distance between the speaker arrays S1, S2,..., SN x and the linear position that matches the amplitude of the reproduced signal. G ~ sp is a function obtained by performing a Fourier transform of the space in the x-axis direction on the pre-measured transfer characteristics between the position of the speaker array in the space where the sound field is reproduced and the position away from that position by yref. is there.
空間周波数逆変換部4は、フィルタ処理後信号D~n(ω)を空間の逆フーリエ変換により周波数領域信号Di(ω)に変換する(ステップS4)。変換された周波数領域信号Di(ω)は、周波数逆変換部5に送られる。空間周波数逆変換部4は、具体的には下記式(9)により定義される周波数領域信号Di(ω)を計算する。 The spatial frequency inverse transform unit 4 transforms the filtered signal D˜n (ω) into the frequency domain signal D i (ω) by inverse Fourier transform of the space (step S4). The converted frequency domain signal D i (ω) is sent to the frequency inverse transform unit 5. Specifically, the spatial frequency inverse transform unit 4 calculates a frequency domain signal D i (ω) defined by the following equation (9).
周波数逆変換部5は、周波数領域信号Di(ω)を逆フーリエ変換により時間領域信号Pd i(t)に変換する(ステップS5)。逆フーリエ変換によりフレーム毎に得られた時間領域信号Pd i(t)は適宜シフトされて線形和が取られて、連続した時間領域信号となる。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。時間領域信号Pd i(t)は、窓関数部6に送られる。 The frequency inverse transform unit 5 transforms the frequency domain signal D i (ω) into the time domain signal P d i (t) by inverse Fourier transform (step S5). The time domain signal P d i (t) obtained for each frame by the inverse Fourier transform is appropriately shifted to obtain a linear sum to be a continuous time domain signal. For the inverse Fourier transform, an existing method such as a short-time discrete inverse Fourier transform may be used. The time domain signal P d i (t) is sent to the window function unit 6.
窓関数部6は、時間領域信号Pd i(t)に窓関数を乗じて窓関数後時間領域信号di(t)を生成する(ステップS6)。窓関数後時間領域信号di(t)は、スピーカアレーS1,S2,…,SNxに送られる。 The window function unit 6 multiplies the time domain signal P d i (t) by the window function to generate a post-window function time domain signal d i (t) (step S6). Window function after a time-domain signal d i (t) is the speaker array S1, S2, ..., it is sent to the SN x.
窓関数として、以下の式より定義されるいわゆるターキー(Tukey)窓関数wiを例えば用いる。Ntprは、テーパーを適用する点数であり1以上Nx以下の整数である。もちろん、他の窓関数を用いてもよい。 For example, a so-called Tukey window function w i defined by the following equation is used as the window function. N tpr is the number of points to which the taper is applied, and is an integer from 1 to N x . Of course, other window functions may be used.
スピーカアレーS1,S2,…,SNxは、窓関数後時間領域信号di(t)に基づいて音を再生する。具体的には、i=1,…,Nxとして、スピーカSiが窓関数後時間領域信号di(t)に基づいて音を再生する。 The speaker arrays S1, S2,..., SN x reproduce sound based on the time domain signal d i (t) after the window function. Specifically, with i = 1,..., N x , the speaker Si reproduces sound based on the time domain signal d i (t) after the window function.
これにより、第一の部屋のy=0の位置の波面を第二の部屋のスピーカアレーS1,S2,…,SNxで再現して、第一の部屋の音場を第二の部屋に再現することができる。 As a result, the wavefront at the position y = 0 in the first room is reproduced by the speaker arrays S1, S2,..., SN x in the second room, and the sound field of the first room is reproduced in the second room. can do.
この際、再現される信号の振幅は、yrefで表される直線上の位置で振幅が一致する。具体的には、図6に示すように、スピーカアレーS1,S2,…,SNxと同じ高さであり、スピーカアレーS1,S2,…,SNxからyrefだけ離れた位置にあり、スピーカアレーS1,S2,…,SNxが配置されている直線と平行な直線上の位置で振幅が一致する。 At this time, the amplitude of the reproduced signal matches at a position on a straight line represented by y ref . Specifically, as shown in FIG. 6, the speaker array S1, S2, ..., are the same height as the SN x, speaker array S1, S2, ..., in a position at a distance y ref from SN x, speaker array S1, S2, ..., amplitude coincides with the position on the straight line and a straight line parallel to the SN x is located.
マイクアレーを構成するマイクロホンの数が、スピーカアレーを構成するスピーカの数よりも多い場合には、窓関数後時間領域信号di(t)を間引いてもよい。一方、マイクアレーを構成するマイクロホンの数が、スピーカアレーを構成するスピーカの数よりも少ない場合には、窓関数後時間領域信号di(t)の平均を取るなどして補間を行ってもよい。 The number of microphones constituting the microphone array is, if more than the number of speakers constituting the speaker array may thinned window function after a time-domain signal d i (t). On the other hand, when the number of microphones constituting the microphone array is smaller than the number of speakers constituting the speaker array, interpolation may be performed by taking an average of the time domain signals d i (t) after the window function. Good.
以下、フィルタF~n(ω)が上記式(8)のように表される理由について説明する。 Hereinafter, the reason why the filter F n (ω) is expressed as the above equation (8) will be described.
直線状アレーを用いて、xy平面上のみの再現をすることを考える。再現領域の位置ベクトルをr=(x,y,0)とし、二次音源平面の位置ベクトルをr0=(x0,0,0)とする。再現領域における周波数ωの音圧分布をP(r,ω)とし、二次音源の駆動信号をD(r0,ω)とすると、以下の関係式が書ける。 Consider using a linear array to reproduce only the xy plane. The position vector of the reproduction area is r = (x, y, 0), and the position vector of the secondary sound source plane is r 0 = (x 0 , 0 , 0). If the sound pressure distribution of the frequency ω in the reproduction region is P (r, ω) and the driving signal of the secondary sound source is D (r 0 , ω), the following relational expression can be written.
ここで、Gsp(r-r0,ω)は、rとr0との間の伝達関数である。式(10)をx軸方向に空間のフーリエ変換をすると、以下のようになる。 Here, G sp (rr 0 , ω) is a transfer function between r and r 0 . If the Fourier transform of the space in the x-axis direction is performed using Expression (10), the result is as follows.
ここで、kxは、x軸方向の空間周波数を表す。また、空間周波数領域を「〜」で示している。ここでは、空間のフーリエ変換を以下のように定義している。 Here, k x represents a spatial frequency in the x-axis direction. The spatial frequency region is indicated by “ ˜ ”. Here, the Fourier transform of the space is defined as follows.
次に、2次元の第一種レイリー積分を導入する。 Next, a two-dimensional first kind Rayleigh integration is introduced.
ここで、 here,
である。k=ω/cは波数であり、cは音速である。H0 (2)は、n=0の第二種ハンケル関数である。第二種ハンケル関数Hn (2)は、第一種ベッセル関数Jn(x)及び第二種ベッセル関数Yn(x)を用いて、以下のように定義される。 It is. k = ω / c is the wave number, and c is the speed of sound. H 0 (2) is a second kind Hankel function with n = 0. The second kind Hankel function H n (2) is defined as follows using the first kind Bessel function J n (x) and the second kind Bessel function Y n (x).
式(12)を空間のフーリエ変換をすると、以下の式が得られる。 When Expression (12) is Fourier-transformed in space, the following expression is obtained.
ここで、 here,
である。したがって、二次音源の駆動信号は以下のように得られる。 It is. Therefore, the driving signal of the secondary sound source is obtained as follows.
このとき、G~sp(kx,y,ω)は未知であるため、平面状アレーの場合と同じく、実測により得る必要がある。 At this time, G˜sp (k x , y, ω) is unknown, so it must be obtained by actual measurement as in the case of the planar array.
ここで、具体的なフィルタ設計方法を考える。原点からある直線状の格子点ri=(xi,yref,0)(1≦i≦Nx)までの理想的な伝達特性をG2Dとし、実測により得られた伝達特性をGspとする。ここではFFTなどを用いて時間周波数領域に変換された伝達特性として、単一の周波数ωについて考える。Gspは1×Nxのベクトルであり、各要素は周波数ωにおける各点riまでの伝達特性である。したがって、G2Dのi番目の要素G2D ,iは、以下のように書ける。 Here, a specific filter design method is considered. G 2D is the ideal transfer characteristic from the origin to the linear grid point r i = (x i , y ref , 0) (1 ≦ i ≦ N x ), and the transfer characteristic obtained by measurement is G sp And Here, a single frequency ω is considered as a transfer characteristic converted into the time-frequency domain using an FFT or the like. G sp is a 1 × N x vector, and each element is a transfer characteristic up to each point r i at the frequency ω. Thus, G 2D of i-th element G 2D, i can be written as follows.
同じように、Gspのi番目の要素Gsp,iは、以下のように書ける。 Similarly, the i-th element G sp, i of G sp can be written as follows.
Gsp(ri,ω)はriまでの測定された伝達特性を表わす。スピーカ特性の測定では,図7のように、音場が再現される空間である第二の部屋のスピーカアレーS1,S2,…,SNxの位置にスピーカSpを配置し、その位置から前方y=yrefの位置に直線状マイクロホンアレーMaを設置し、インパルス応答を測定後,周波数領域に変換すればよい。 G sp (r i , ω) represents the measured transfer characteristic up to r i . In the measurement of the speaker characteristic, as shown in FIG. 7, the second room of the speaker array S1, S2 is a space sound field can be reproduced, ..., a speaker Sp is disposed at a position of SN x, front y from the position A linear microphone array Ma is installed at the position of = y ref , and the impulse response is measured and then converted to the frequency domain.
次に、G2D及びGspをDFTやFFTなどを用いて時空間周波数領域表現G~2D及びGsp~に変換する。 Next, G 2D and G sp are converted into spatio-temporal frequency domain representations G˜2D and G sp˜ using DFT, FFT, or the like.
DFTはNxの1次元離散フーリエ変換である。よって、式(8)にはG~2DとGsp~の各空間周波数に対応する要素を代入すればよい。この際、フィルタ式には一つの特性のみが必要なため、いくつかのスピーカ特性を測定し、それらの平均を取るようなことをしてもよい。また、測定に用いるマイクロホンアレーとスピーカとの位置関係はどのような形でも構わないが、同じ位置関係でG~2DとG~spとを計算するとフィルタの安定性が増す。また、各周波数変換においてゼロ詰めなどを行ってもよい.
このように、予め測定された伝達特性を用いてフィルタを構成することにより、スピーカアレーを構成するスピーカの指向性が任意の指向性であっても音場の再現をすることができる。
DFT is an N x one-dimensional discrete Fourier transform. Therefore, elements corresponding to the respective spatial frequencies of G ~ 2D and Gsp ~ may be substituted into Expression (8). At this time, since only one characteristic is required for the filter expression, some speaker characteristics may be measured and averaged thereof may be taken. In addition, the positional relationship between the microphone array and the speaker used for measurement may be any shape, but if G ~ 2D and G ~ sp are calculated with the same positional relation, the stability of the filter increases. In addition, zero padding may be performed in each frequency conversion.
Thus, by configuring the filter using the transfer characteristics measured in advance, the sound field can be reproduced even if the directivity of the speakers constituting the speaker array is arbitrary.
[変形例等]
第一実施形態において、マイクアレーM1−1,M2−1,…,MNx−Nz及びスピーカアレーS1−1,S2−1,…,SNx−Nzは、一直線上に並ばない位置にあれば、平面上にある必要はない。
[Modifications, etc.]
In a first embodiment, the microphone array M1-1, M2-1, ..., MN x -N z and the speaker array S1-1, S2-1, ..., SN x -N z is a position not aligned in a straight line If so, it need not be on a flat surface.
マイクアレーを構成するマイクロホンの数と、スピーカアレーを構成するスピーカの数とは、異なっていてもよい。マイクアレーを構成するマイクロホンの数がスピーカアレーを構成するスピーカの数よりも多い場合には、スピーカの出力信号を間引けばよい。一方、スピーカアレーを構成するスピーカの数がマイクアレーを構成するマイクロホンの数よりも多い場合には、スピーカの出力信号間の平均を取る等の補完を行えばよい。 The number of microphones constituting the microphone array and the number of speakers constituting the speaker array may be different. When the number of microphones constituting the microphone array is larger than the number of speakers constituting the speaker array, the output signals of the speakers may be thinned out. On the other hand, when the number of speakers constituting the speaker array is larger than the number of microphones constituting the microphone array, complementation such as averaging between the output signals of the speakers may be performed.
音場収音再生装置を構成する各部は、第一の部屋に配置された収音装置と第二の部屋に配置された再生装置の何れに備えられていてもよい。換言すれば、周波数変換部1、空間周波数変換部2、変換フィルタ部3、空間周波数逆変換部4、周波数逆変換部5、窓関数部6のそれぞれの処理は、第一の部屋に配置された収音装置で実行されてもよいし、第二の部屋に配置された再生装置で実行されてもよい。収音装置で生成された信号は、再生装置に送信される。
Each unit constituting the sound field sound collecting / reproducing device may be provided in either the sound collecting device arranged in the first room or the reproducing device arranged in the second room. In other words, the processes of the
第一の部屋と第二の部屋の位置は、図2及び図6に示したものに限定されない。第一の部屋と第二の部屋は、隣接していても互いに離れた位置にあってもよい。また、第一の部屋と第二の部屋の向きもどのようなものであってもよい。 The positions of the first room and the second room are not limited to those shown in FIGS. The first room and the second room may be adjacent to each other or separated from each other. Also, the orientation of the first room and the second room may be any.
窓関数部6による窓関数の処理は、どの段階で行ってもよいし、多段で行ってもよい。すなわち、窓関数部6は、マイクアレーと周波数変換部1との間、周波数変換部1と空間周波数変換部2との間、空間周波数変換部2と変換フィルタ部3との間、変換フィルタ部3と空間周波数逆変換部4との間、空間周波数逆変換部4と周波数逆変換部5との間の少なくとも1つの間に備えられていてもよい。音場収音再生装置の各部は、その各部に入力される信号について窓関数の処理が行われた場合には、その入力される信号に代えて上記と同様にしてその窓関数の処理がされた後の信号に対して処理を行う。
The window function processing by the window function unit 6 may be performed at any stage or in multiple stages. That is, the window function unit 6 is provided between the microphone array and the
また、窓関数部6はなくてもよい。この場合、第一実施形態においてはi=1,…,Nx,j=1,…,NzとしてスピーカSi−jが時間領域信号Pd ij(t)に基づいて音を再生し、第二実施形態においてはi=1,…,NxとしてスピーカSiが時間領域信号Pd i(t)に基づいて音を再生する。 Further, the window function unit 6 may not be provided. In this case, in the first embodiment i = 1, ..., N x , j = 1, ..., to play the sound based on the speaker Si-j is the time domain signal P d ij (t) as a N z, the In the second embodiment, i = 1,..., N x and the speaker Si reproduces the sound based on the time domain signal P d i (t).
音場収音再生装置は、変換フィルタ部3を含みさえすれば、他の部を備えていなくてもよい。例えば、音場収音再生装置は、変換フィルタ部3、空間周波数逆変換部4及び周波数逆変換部5から構成されていてもよい。また、音場収音再生装置は、周波数変換部1、空間周波数変換部2及び変換フィルタ部3から構成されていてもよい。
As long as the sound field sound collecting / reproducing apparatus includes the conversion filter unit 3, the sound field collecting / reproducing device may not include other units. For example, the sound field sound collecting / reproducing apparatus may include a transform filter unit 3, a spatial frequency inverse transform unit 4, and a frequency inverse transform unit 5. Further, the sound field sound collecting / reproducing apparatus may include a
周波数変換部1の処理と空間周波数変換部2の処理とを同時に行ってもよい。同様に、空間周波数逆変換部4の処理と周波数逆変換部5の処理とを同時に行ってもよい。また、空間周波数変換部2と空間周波数逆変換部4とを入れ替えてもよい。
You may perform the process of the
音場収音再生装置は、コンピュータによって実現することができる。この場合、この装置の各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、この装置における各部がコンピュータ上で実現される。 The sound field sound collecting / reproducing apparatus can be realized by a computer. In this case, the processing content of each part of this apparatus is described by a program. Then, by executing this program on a computer, each unit in this apparatus is realized on the computer.
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 The program describing the processing contents can be recorded on a computer-readable recording medium. In this embodiment, these devices are configured by executing a predetermined program on a computer. However, at least a part of these processing contents may be realized by hardware.
この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。 The present invention is not limited to the above-described embodiment, and can be modified as appropriate without departing from the spirit of the present invention.
1 周波数変換部
2 空間周波数変換部
3 変換フィルタ部
4 空間周波数逆変換部
5 周波数逆変換部
6 窓関数部
DESCRIPTION OF
Claims (11)
上記マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタ部と、
空間の逆フーリエ変換により、上記フィルタ処理後信号D~nm(ω)を周波数領域信号に変換する空間周波数逆変換部と、
上記周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換部と、
を含む音場収音再生装置。 The microphone array is arranged on the xz plane, j is the imaginary unit, ω is the frequency, c is the speed of sound, k = ω / c, k x, n is the wave number in the x-axis direction, and n is the The index is k z, m is the wave number in the z-axis direction, m is the index, the three-dimensional free space Green function is the function of the Fourier transform of the space in the x-axis direction and the z-axis direction, and the function G ~ A function obtained by performing a Fourier transform of the space in the x-axis direction and the z-axis direction on the pre-measured transfer characteristics between the position of the speaker array in the space where the field is reproduced and the position away from the position by y ref ~ as sp
Filtered signal by applying filter F ~ nm (ω) defined by the following equation to spatio-temporal frequency domain signal P ~ nm (ω) generated based on the signal collected by the microphone array A conversion filter unit for generating D to nm (ω);
A spatial frequency inverse transform unit that transforms the filtered signal D to nm (ω) into a frequency domain signal by inverse Fourier transform of space;
A frequency inverse transform unit for transforming the frequency domain signal into a time domain signal by inverse Fourier transform;
Sound field collection and playback device including
上記マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換部と、
空間のフーリエ変換により、上記周波数領域信号を時空間周波数領域信号P~nm(ω)に変換する空間周波数変換部と、
上記時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタ部と、
を含む音場収音再生装置。 The microphone array is arranged on the xz plane, j is the imaginary unit, ω is the frequency, c is the speed of sound, k = ω / c, k x, n is the wave number in the x-axis direction, and n is the An index, k z, m is a wave number in the z-axis direction, m is an index thereof, a three-dimensional free-space Green function is a function obtained by performing a Fourier transform of space in the x-axis direction and the z-axis direction, and a function G˜. A function obtained by performing a Fourier transform of a space between the speaker array arranged on the plane and the position y ref in the x-axis direction and the z-axis direction as a function G ~ sp ,
A frequency converter that converts the signal collected by the microphone array into a frequency domain signal by Fourier transform;
A spatial frequency converter that converts the frequency domain signal into a spatio-temporal frequency domain signal P to nm (ω) by Fourier transform of space;
A conversion filter unit that generates a filtered signal D to nm (ω) by applying a filter F to nm (ω) defined by the following equation to the spatio-temporal frequency domain signal P to nm (ω):
Sound field collection and playback device including
上記マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタ部と、
空間の逆フーリエ変換により、上記フィルタ処理後信号D~n(ω)を周波数領域信号に変換する空間周波数逆変換部と、
上記周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換部と、
を含む音場収音再生装置。 The array direction of the microphone arrays arranged in a straight line is the x-axis direction, j is the imaginary unit, ω is the frequency, c is the speed of sound, k = ω / c, and k x, n is the wave number in the x-axis direction. Where n is the index, and the function of the two-dimensional free space Green's function that is the Fourier transform of the space in the x-axis direction is the function G ~ 2D, and the position of the speaker array in the space where the sound field is reproduced and the position y A function G ~ sp is a function obtained by performing a Fourier transform of a space measured in advance in the x-axis direction on a transfer characteristic measured in advance with respect to a position separated by ref .
Signals after filtering by applying filters F to n (ω) defined by the following equations to spatio-temporal frequency domain signals P to n (ω) generated based on the signals collected by the microphone array A conversion filter unit for generating D to n (ω);
A spatial frequency inverse transform unit that transforms the filtered signal D to n (ω) into a frequency domain signal by spatial inverse Fourier transform,
A frequency inverse transform unit for transforming the frequency domain signal into a time domain signal by inverse Fourier transform;
Sound field collection and playback device including
上記マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換部と、
空間のフーリエ変換により、上記周波数領域信号を時空間周波数領域信号P~n(ω)に変換する空間周波数変換部と、
上記時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタ部と、
を含む音場収音再生装置。 The array direction of the microphone arrays arranged in a straight line is the x-axis direction, j is the imaginary unit, ω is the frequency, c is the speed of sound, k = ω / c, and k x, n is the wave number in the x-axis direction. Where n is the index, and the function of the two-dimensional free space Green's function that is the Fourier transform of the space in the x-axis direction is the function G ~ 2D, and the position of the speaker array in the space where the sound field is reproduced and the position y A function G ~ sp is a function obtained by performing a Fourier transform of a space measured in advance in the x-axis direction on a transfer characteristic measured in advance with respect to a position separated by ref .
A frequency converter that converts the signal collected by the microphone array into a frequency domain signal by Fourier transform;
A spatial frequency converter that converts the frequency domain signal into a spatio-temporal frequency domain signal P n (ω) by Fourier transform of space;
A transform filter unit that generates a filtered signal D to n (ω) by applying a filter F to n (ω) defined by the following equation to the spatio-temporal frequency domain signal P to n (ω):
Sound field collection and playback device including
上記時空間周波数領域信号P~nm(ω),P~n(ω)と、上記周波数領域信号と、周波数逆変換部により変換された時間領域信号との少なくともひとつは、所定の窓関数により窓関数処理が行われた信号である、
音場収音再生装置。 In the sound field sound collecting and reproducing device according to claim 1 or 3,
At least one of the spatio-temporal frequency domain signals P to nm (ω), P to n (ω), the frequency domain signal, and the time domain signal converted by the frequency inverse transform unit is a window by a predetermined window function. A signal that has undergone function processing.
Sound field recording and playback device.
上記マイクアレーで収音された信号と、上記周波数領域信号と、上記時空間周波数領域信号P~nm(ω),P~n(ω)との少なくともひとつは、所定の窓関数により窓関数処理が行われた信号である、
音場収音再生装置。 In the sound field sound collecting and reproducing device according to claim 2 or 4,
At least one of the signals collected by the microphone array, the frequency domain signal, and the spatio-temporal frequency domain signals P to nm (ω) and P to n (ω) is processed by a window function using a predetermined window function. Is the signal made,
Sound field recording and playback device.
変換フィルタ部が、上記マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタステップと、
空間周波数逆変換部が、空間の逆フーリエ変換により、上記フィルタ処理後信号D~nm(ω)を周波数領域信号に変換する空間周波数逆変換ステップと、
周波数逆変換部が、上記周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換ステップと、
を含む音場収音再生方法。 The microphone array is arranged on the xz plane, j is the imaginary unit, ω is the frequency, c is the speed of sound, k = ω / c, k x, n is the wave number in the x-axis direction, and n is the The index is k z, m is the wave number in the z-axis direction, m is the index, the three-dimensional free space Green function is the function of the Fourier transform of the space in the x-axis direction and the z-axis direction, and the function G ~ A function obtained by performing a Fourier transform of the space in the x-axis direction and the z-axis direction on the pre-measured transfer characteristics between the position of the speaker array in the space where the field is reproduced and the position away from the position by y ref ~ as sp
The conversion filter unit applies a filter F to nm (ω) defined by the following equation to the spatio-temporal frequency domain signal P to nm (ω) generated based on the signals collected by the microphone array. A conversion filter step for generating a filtered signal D ~ nm (ω),
A spatial frequency inverse transform unit transforms the filtered signal D to nm (ω) into a frequency domain signal by inverse Fourier transform of the space, and a spatial frequency inverse transform step,
A frequency inverse transform unit that transforms the frequency domain signal into a time domain signal by inverse Fourier transform;
Sound field collection and playback method including
周波数変換部が、上記マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換ステップと、
空間周波数変換部が、空間のフーリエ変換により、上記周波数領域信号を時空間周波数領域信号P~nm(ω)に変換する空間周波数変換ステップと、
変換フィルタ部が、上記時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタステップと、
を含む音場収音再生方法。 The microphone array is arranged on the xz plane, j is the imaginary unit, ω is the frequency, c is the speed of sound, k = ω / c, k x, n is the wave number in the x-axis direction, and n is the An index, k z, m is a wave number in the z-axis direction, m is an index thereof, a three-dimensional free-space Green function is a function obtained by performing a Fourier transform of space in the x-axis direction and the z-axis direction, and a function G˜. A function obtained by performing a Fourier transform of a space between the speaker array arranged on the plane and the position y ref in the x-axis direction and the z-axis direction as a function G ~ sp ,
A frequency conversion step in which a frequency conversion unit converts a signal collected by the microphone array into a frequency domain signal by Fourier transformation;
A spatial frequency conversion unit that converts the frequency domain signal into a spatio-temporal frequency domain signal P to nm (ω) by Fourier transform of the space; and
Conversion filter portion, by applying a filter F ~ nm (ω) defined by the following equation to generate a filtered signal after D ~ nm (ω) with respect to the space-time frequency domain signal P ~ nm (ω) A transform filter step;
Sound field collection and playback method including
変換フィルタ部が、上記マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタステップと、
空間周波数逆変換部が、空間の逆フーリエ変換により、上記フィルタ処理後信号D~n(ω)を周波数領域信号に変換する空間周波数逆変換ステップと、
周波数逆変換部が、上記周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換ステップと、
を含む音場収音再生方法。 The array direction of the microphone arrays arranged in a straight line is the x-axis direction, j is the imaginary unit, ω is the frequency, c is the speed of sound, k = ω / c, and k x, n is the wave number in the x-axis direction. Where n is the index, and the function of the two-dimensional free space Green's function that is the Fourier transform of the space in the x-axis direction is the function G ~ 2D, and the position of the speaker array in the space where the sound field is reproduced and the position y A function G ~ sp is a function obtained by performing a Fourier transform of a space measured in advance in the x-axis direction on a transfer characteristic measured in advance with respect to a position separated by ref .
The transform filter unit applies a filter F n (ω) defined by the following equation to the spatio-temporal frequency domain signal P n (ω) generated based on the signals collected by the microphone array. A conversion filter step for generating a filtered signal D ~ n (ω),
A spatial frequency inverse transform unit transforms the filtered signal D to n (ω) into a frequency domain signal by inverse Fourier transform of space,
A frequency inverse transform unit that transforms the frequency domain signal into a time domain signal by inverse Fourier transform;
Sound field collection and playback method including
周波数変換部が、上記マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換ステップと、
空間周波数変換部が、空間のフーリエ変換により、上記周波数領域信号を時空間周波数領域信号P~n(ω)に変換する空間周波数変換ステップと、
変換フィルタ部が、上記時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタステップと、
を含む音場収音再生方法。 The array direction of the microphone arrays arranged in a straight line is the x-axis direction, j is the imaginary unit, ω is the frequency, c is the speed of sound, k = ω / c, and k x, n is the wave number in the x-axis direction. Where n is the index, and the function of the two-dimensional free space Green's function that is the Fourier transform of the space in the x-axis direction is the function G ~ 2D, and the position of the speaker array in the space where the sound field is reproduced and the position y A function G ~ sp is a function obtained by performing a Fourier transform of a space measured in advance in the x-axis direction on a transfer characteristic measured in advance with respect to a position separated by ref .
A frequency conversion step in which a frequency conversion unit converts a signal collected by the microphone array into a frequency domain signal by Fourier transformation;
A spatial frequency transforming step, wherein the spatial frequency transforming unit transforms the frequency domain signal into a spatiotemporal frequency domain signal P to n (ω) by Fourier transform of the space;
Conversion filter portion, by applying a filter F ~ n (ω) which is defined by the following equation to generate a filtered signal after D ~ n (ω) with respect to the space-time frequency domain signal P ~ n (ω) A transform filter step;
Sound field collection and playback method including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012006724A JP5628219B2 (en) | 2012-01-17 | 2012-01-17 | Sound field recording / reproducing apparatus, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012006724A JP5628219B2 (en) | 2012-01-17 | 2012-01-17 | Sound field recording / reproducing apparatus, method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013150027A true JP2013150027A (en) | 2013-08-01 |
JP5628219B2 JP5628219B2 (en) | 2014-11-19 |
Family
ID=49047151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012006724A Expired - Fee Related JP5628219B2 (en) | 2012-01-17 | 2012-01-17 | Sound field recording / reproducing apparatus, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5628219B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101405247B1 (en) | 2014-02-17 | 2014-06-17 | 연세대학교 산학협력단 | Apparatus and method for predicting transmission loss of underwater acoustic channel |
WO2015137146A1 (en) * | 2014-03-12 | 2015-09-17 | ソニー株式会社 | Sound field sound pickup device and method, sound field reproduction device and method, and program |
-
2012
- 2012-01-17 JP JP2012006724A patent/JP5628219B2/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101405247B1 (en) | 2014-02-17 | 2014-06-17 | 연세대학교 산학협력단 | Apparatus and method for predicting transmission loss of underwater acoustic channel |
WO2015137146A1 (en) * | 2014-03-12 | 2015-09-17 | ソニー株式会社 | Sound field sound pickup device and method, sound field reproduction device and method, and program |
CN106105261A (en) * | 2014-03-12 | 2016-11-09 | 索尼公司 | Sound field sound pickup device and method, sound field transcriber and method and program |
JPWO2015137146A1 (en) * | 2014-03-12 | 2017-04-06 | ソニー株式会社 | Sound field collecting apparatus and method, sound field reproducing apparatus and method, and program |
US10206034B2 (en) | 2014-03-12 | 2019-02-12 | Sony Corporation | Sound field collecting apparatus and method, sound field reproducing apparatus and method |
CN106105261B (en) * | 2014-03-12 | 2019-11-05 | 索尼公司 | Sound field sound pickup device and method, sound field transcriber and method and program |
Also Published As
Publication number | Publication date |
---|---|
JP5628219B2 (en) | 2014-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5346321B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP6508539B2 (en) | Sound field collecting apparatus and method, sound field reproducing apparatus and method, and program | |
JP5346322B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP6604331B2 (en) | Audio processing apparatus and method, and program | |
JPWO2015159731A1 (en) | Sound field reproduction apparatus and method, and program | |
JP5734329B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5628219B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5583089B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5986966B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5603307B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5713964B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5698164B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5749221B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP6087760B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP6323901B2 (en) | Sound collection device, sound collection method, and program | |
JP5713988B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5741866B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5954713B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5442652B2 (en) | Sound source signal extraction apparatus, method and program | |
JP5826737B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5734267B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5831910B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5831909B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP5734327B2 (en) | Sound field recording / reproducing apparatus, method, and program | |
JP2012049965A (en) | Acoustic field acquisition/reproduction apparatus and method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5628219 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |