WO2006131959A1 - 信号分離装置 - Google Patents

信号分離装置 Download PDF

Info

Publication number
WO2006131959A1
WO2006131959A1 PCT/JP2005/010341 JP2005010341W WO2006131959A1 WO 2006131959 A1 WO2006131959 A1 WO 2006131959A1 JP 2005010341 W JP2005010341 W JP 2005010341W WO 2006131959 A1 WO2006131959 A1 WO 2006131959A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
output
separation device
separation
signals
Prior art date
Application number
PCT/JP2005/010341
Other languages
English (en)
French (fr)
Inventor
Kenbu Teramoto
Kosuke Tsuruta
Original Assignee
Saga University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saga University filed Critical Saga University
Priority to PCT/JP2005/010341 priority Critical patent/WO2006131959A1/ja
Priority to JP2007520126A priority patent/JPWO2006132249A1/ja
Priority to PCT/JP2006/311334 priority patent/WO2006132249A1/ja
Publication of WO2006131959A1 publication Critical patent/WO2006131959A1/ja

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Definitions

  • the present invention relates to a signal for separating each output signal before superposition from a superposition signal on which each output signal such as an audio signal or a radio signal output from a different position in a two-dimensional plane or three-dimensional space is superposed.
  • the present invention relates to a separation device.
  • This human auditory ability is called the cocktail party effect. Even if a large number of sound sources are mixed, even if recording is performed using a normal microphone, only the necessary sound can be efficiently collected due to the effects of the distance to the sound source, the direction of arrival of the sound source, the strength of the sound, etc. It is very difficult to do.
  • Blind signal separation is one method for restoring an original signal from a signal in which a plurality of signals are superimposed.
  • Blind signal separation is a technique for estimating a source signal based on the assumption that the source signal is statistically independent and the observed signal is linearly mixed by the source signal.
  • a sound source signal circuit relating to these separation methods and a microphone device using the same are disclosed in Japanese Patent Application Laid-Open No. 2000-181499.
  • a sound source separation and collection microphone device and method thereof are disclosed in Japanese Patent Laid-Open No. 2003-98003. Furthermore, a sound source separation method, apparatus, and recording medium are disclosed in JP-A-10-31349.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2000-181499
  • Patent Document 2 JP 2003-98003 A
  • Patent Document 3 JP-A-10-313497 Disclosure of the invention
  • Patent Document 1 in the above prior art describes that a plurality of mixed signals X (t) in which a plurality of linearly independent sounds (sound source signals) are linearly added.
  • Patent Document 2 has the same problem because the mixed signal is divided for each sound source signal after being divided for each frame, as in Patent Document 1.
  • Patent Document 3 divides each channel signal of a plurality of microphone forces into a plurality of bands so that the main component is only the power of one sound source signal, and from these, the level, By detecting the arrival time and determining and separating which sound source signal for each band from these, each sound source signal is separated, so that only one sound source signal component can be used.
  • the division process cannot be executed unless the pre-processing for dividing into a plurality of bands is performed, so that the processing steps and the circuit configuration are complicated, and the separation processing time is delayed.
  • the present invention has been made to solve the above-described problems. Output signals output from different positions in a two-dimensional plane or a three-dimensional space can be quickly and reliably output with simple processing steps and apparatus configurations. It is an object of the present invention to provide a signal separation device that can be separated.
  • the signal separation device is a signal separation device that separates the superimposed signals on which the output signals output at different positions in a two-dimensional plane or three-dimensional space are superimposed.
  • a spatial gradient detecting means for detecting a signal as an instantaneous mixed sum of time gradients for each output signal; and a signal separating means for separating the output signals based on the instantaneous mixed sum of time gradients.
  • the output signals output from the output sources at different positions are superimposed.
  • the detected superimposed signal is detected as an instantaneous mixed sum of time gradients for each output signal, and the output signals are separated based on this instantaneous mixed sum of time gradients! /.
  • This detected signal can be detected not as a scalar quantity (sound pressure) but as a vector quantity (sound pressure gradient), and the separation of each output signal as well as the direction of each output source can be performed with simple processing steps and equipment.
  • the structure has an effect that can be quickly and surely separated.
  • the spatial gradient detection unit is configured as a microphone array that detects each output signal as each audio signal, as necessary, and the microphone mouth array is configured to detect the audio signal. This is detected as a sound pressure gradient.
  • the detection of the time gradient for each output signal is detected by the microphone array as each sound signal as each sound signal, and this microphone array is detected as the sound pressure gradient of the sound signal.
  • each audio signal can be separated quickly and reliably with a simple processing process and device configuration.
  • the signal separation device obtains the sound pressure gradient detected by the microphone array as needed by time differentiation of the particle velocity.
  • each output signal itself is estimated by time differentiation of each output signal.
  • Each process of integration is unnecessary, and there is an effect that high-speed and reliable separation is possible with a simpler process and apparatus configuration.
  • the microphone array measures a sound pressure difference at least in the X-axis direction or the y-axis direction at an observation point with respect to a different position where each audio signal is output. It consists of a bidirectional microphone. According to the present invention, the microphone array is composed of a bi-directional microphone that measures a sound pressure difference at least in the X-axis direction or the y-axis direction at an observation point for a different position where each audio signal is output. In addition to the direction of each sound source, each audio signal can be separated quickly and reliably with a simple processing process and device configuration.
  • the signal separation means separates the superimposed signal into output signals as necessary, and the direction and Z or standard of each output signal in each output source. It outputs the bias.
  • the signal separation means separates the superimposed signal into each output signal, and outputs the direction and Z or standard deviation of each output signal at each output source. In addition, it has the effect of separating each audio signal quickly and reliably with a simple processing process and apparatus configuration.
  • FIG. 1 is an overall circuit configuration diagram of a signal separation device according to a first embodiment of the present invention.
  • FIG. 2 is an arrangement configuration diagram of the bidirectional microphone shown in FIG. 1.
  • FIG. 2 is an arrangement configuration diagram of the bidirectional microphone shown in FIG. 1.
  • FIG. 3 is an operation flowchart of the signal separation device shown in FIG.
  • FIG. 4 is an overall circuit configuration diagram of a signal separation device according to a second embodiment of the present invention.
  • FIG. 5 is an operation flowchart of the signal separation device shown in FIG. 1.
  • FIG. 6 is an overall circuit configuration diagram of a signal separation device according to a third embodiment of the present invention.
  • FIG. 7 is an arrangement configuration diagram of the particle velocity microphone described in FIG.
  • FIG. 8 is an operation flowchart of the signal separation device shown in FIG.
  • FIG. 9 is a block diagram of a confusion process “separation process” for explaining the arithmetic logic of each embodiment of the present invention.
  • FIG. 10 is a speech waveform diagram used in a numerical experiment 'acoustic experiment in each embodiment of the present invention.
  • FIG. 11 is a power spectrum of two source signals of each embodiment of the present invention.
  • FIG. 12 is a time gradient characteristic diagram of a source signal in each embodiment of the present invention.
  • FIG. 13 is a spatial gradient diagram of an observation signal in each embodiment of the present invention.
  • FIG. 14 is a characteristic diagram of a separated signal in each embodiment of the present invention.
  • FIG. 15 is a characteristic diagram of a separated signal in each embodiment of the present invention.
  • FIG. 16 is a characteristic diagram of a separated signal in each embodiment of the present invention.
  • FIG. 17 is a block diagram of a spatial integration microphone used in an acoustic experiment of the present invention.
  • FIG. 18 is an experimental schematic diagram of an acoustic experiment of the present invention.
  • FIG. 19 is a spatial gradient characteristic diagram of an observation signal in an acoustic experiment of the present invention.
  • FIG. 20 is a characteristic diagram of the spatial gradient of the observation signal in the acoustic experiment of the present invention.
  • FIG. 21 is a waveform diagram of a separated signal in an acoustic experiment of the present invention.
  • FIG. 22 is a characteristic diagram of the direction of arrival in an acoustic experiment of the present invention.
  • FIGS. 1 is an overall circuit configuration diagram of the signal separation device according to the present embodiment
  • FIG. 2 is an arrangement configuration diagram of the bidirectional microphone described in FIG. 1
  • FIG. 3 is a signal separation device described in FIG. FIG.
  • the signal separation device collects source signals P (t) and P (t) from sound sources 201 and 202 existing at different positions in a homogeneous three-dimensional space.
  • the bidirectional microphone 1 includes an X-axis bidirectional microphone 11 that measures the sound pressure difference in the X-axis direction, and a sound pressure difference in the y-axis direction from the vicinity of the observation point 100.
  • the y-axis direction bidirectional microphone 12 to be measured is provided.
  • the bidirectional microphone 11 in the X-axis direction has directivity 11a used for spatial differentiation in the X-axis direction at the observation point 100 as shown in FIGS. 2 (A) and 2 (B).
  • the y-axis direction bidirectional microphone 12 has a directivity 12a used for spatial differentiation in the y-axis direction, like the X-axis direction bidirectional microphone 11.
  • the spatial differentiator 2 has a spatial gradient in the X-axis direction (f-f
  • the directional space differentiator 22 is provided.
  • the separation processing operation of the signal separation device according to the present embodiment based on the above configuration will be described.
  • the source signals P (t) and P (t) from the sound sources 201 and 202 arranged in a homogeneous three-dimensional space are converted into both the X-axis bidirectional microphone 11 and the y-axis direction near the observation point 100.
  • 2-axis spatial differentiator 21 and y-axis direction spatial differentiator 22 calculate the spatial gradients fx and fy due to the spatial differentiation in the X-axis and y-axis directions, and a matrix operation circuit based on these spatial gradients fx and fy 3 multiplies the amount of space (sound pressure gradient) of the spatial gradient signals fx (t) and fy (t) by the inverse of the mixing matrix. Step 2).
  • the matrix operation circuit 3 determines whether or not there is a signal input from the bidirectional microphone 1, the spatial differentiator 2, and the matrix operation circuit 3 which are input devices in the previous stage (step 3). Is determined by blind signal separation (step 4), and the estimated separation signals P (t) and P (t) are calculated (step 5). ).
  • the estimated separation signals P (t) and P (t) are converted into an x-axis time integrator 61 and
  • the calculated separation signals P (t) and P (t) are output to a display device (not shown).
  • the direction “standard deviation calculation circuit 5 determines the arrival directions ⁇ and ⁇ of the source signals Pl (t) and P2 (t) and the sound source. 201, 202 hours
  • ⁇ and standard deviations ⁇ and ⁇ of the sound sources 201 and 202 are output to the display device (steps
  • the signal separation device is based on the spatiotemporal gradient analysis, and in a homogeneous space, the spatial gradient at an arbitrary observation point 100 is linear in the temporal gradient at the sound sources 201 and 202. Take advantage of the fact that it is expressed as a mixture. That is, the features of the present embodiment are summarized as follows. By measuring the spatial gradient at only one observation point 100 and its vicinity, the instantaneous mixed sum of the time gradients of the source signals P (t) and P (t) can be obtained.
  • the spatial gradient of the observed signal that does not need to take into account the difference in the arrival time of the signal between the observation points 100 can be regarded as the instantaneous linear mixed signal. Separation signals P (t) and P (t) can be estimated
  • FIG. 3 is an overall circuit configuration diagram of the signal separation device according to the present embodiment
  • FIG. 5 is an operation flowchart of the signal separation device described in FIG.
  • the signal separation apparatus is similar to the first embodiment in that the bidirectional microphone 1, the spatial differentiator 2, the matrix operation circuit 3, the separation matrix element calculation circuit 4, and the direction ' A standard deviation calculation circuit 5 is provided in common, and the sound pressure gradient signals fx (t) and fy (t) output from the spatial differentiator 2 are time integrated, and the integrated sound pressure gradient signal fx (t),
  • an integrator 7 (corresponding to the integrator 6 in the first embodiment) that outputs fy (t) to the matrix operation circuit 3 is provided.
  • the separation processing operation of the signal separation device according to the present embodiment based on the above configuration is processed in substantially the same manner as in the first embodiment, but the X-axis direction spatial differentiator 21
  • the spatial gradients fx and fy are calculated (step 11) by the y-axis direction spatial differentiator 22, the spatial gradients fx and fy are spatially integrated by the integrator 7. (Step 12).
  • the spatial gradient signals fx (t) and fy (t) of the spatially integrated spatial gradients fx and fy are multiplied by the inverse matrix of the mixing matrix by the matrix operation circuit 3. Thereafter, separation signals P (t) and P (t) are output in steps 13 to 18 as in the first embodiment, and at the observation point 100.
  • FIGS. 6 is an overall circuit configuration diagram of the signal separation device according to the present embodiment
  • FIG. 7 is an arrangement configuration diagram of the particle velocity microphone described in FIG. 6
  • FIG. 8 is an operation flowchart of the signal separation device described in FIG. Show.
  • the signal separation device is similar to the first embodiment in that the matrix calculation circuit 30 (corresponding to the matrix calculation circuit 3 in the first embodiment), the separation matrix element calculation circuit 4 and Direction 'Standard deviation calculation circuit 5 is provided in common, and particle velocity microphone 10 that measures source signals P (t) and P (t) from sound sources 201 and 202 as particle velocity Vx and Vy is provided.
  • the particle velocity signals Vx (t) and Vy (t) measured by the particle velocity microphone 10 are output to the matrix operation circuit 30.
  • step 20 It is determined whether or not the particle velocity signals Vx (t) and Vy (t) based on the particle velocities Vx and Vy from the input device including the particle velocity microphone 10 are output (step 21).
  • step 21 if it is determined that the particle velocity signals Vx (t) and Vy (t) are output, the subsequent particle velocity signals Vx (t) and Vy (t) Is multiplied by the inverse matrix of the mixing matrix by the matrix operation circuit 30. Thereafter, as in the second embodiment, the separation signals P (t) and P (t) are output in steps 22 to 26, and the source signal P (t) at the observation point 100 is output.
  • the arrival directions 0 and ⁇ of P (t) and the standard deviations ⁇ and ⁇ of the sound sources 201 and 202 are set as the display device or the like.
  • the spatial gradient at the observation point 100 is expressed by a linear combination of the time gradients of the source signal according to the wave equation.
  • the sound pressure satisfies the following wave equation in a far field that does not include the sound source 201 and the sound source 202.
  • Equation (1) shows the existence of two wavefronts traveling in opposite directions. Here, we focus on one wavefront and focus on the following advection equation.
  • This equation expresses the linear relationship between the temporal and spatial gradients of sound pressure at observation point 100. It shows. Assuming a homogeneous space, the time gradient of the sound pressure at a certain observation point is represented by the sum of the time gradients of the sound pressure past the propagation delay times in the sound sources 201 and 202.
  • the spatiotemporal gradient method using the linear relationship between the temporal gradient and the spatial gradient is applied to the blind signal separation problem in the wave field satisfying the advection type equation expressed by Equation (2).
  • FIGs. 9 (A) and 9 (B) an outline of the instantaneous linear mixed blind signal separation problem is shown in Figs. 9 (A) and 9 (B).
  • ( ⁇ ) indicates the mixing process
  • ( ⁇ ) indicates the separation process.
  • the separation process consists of a whitening process in which the two observed signals are decorrelated with W and a rotation process in which R (r?) Is separated into independent components.
  • R (r?) Is separated into independent components.
  • R (r?) And W are determined by the blind signal separation algorithm described later.
  • the arrival direction and standard deviation of each sound source can also be estimated.
  • the spatial gradient of the observed signal is whitened by the matrix W, and the separated signal is estimated by rotating the output signals so that they are independent of each other by the matrix R (r?) To do.
  • the whitening can be calculated by the following equation.
  • the speech waveform shown in Fig. 10 is the source signal used in numerical and acoustic experiments.
  • Table 1 shows the source signal
  • each standard is shown. Looking at the power spectrum of these two source signals, it can be seen that each has a component mainly in the same band (200 [Trial mode] around 350 Hz).
  • blind signal separation is applied to the spatial gradient of the observation signal formed by the time gradient of the source signal created based on the Fourier series expansion.
  • estimation of the separation matrix starts 1 second after the moment calculation starts.
  • the following equation is used to obtain the source signal by integrating the estimated separated signal with time. [0065] [Equation 24]
  • Table 2 shows the setting values of the numerical experiment. This is the same setting as the acoustic experiment shown below.
  • Fig. 12 shows the time gradient of the source signal
  • Fig. 13 shows the spatial gradients of the observed signal fx (t) and fy (t)
  • the separation signals P (t) and P (t) and their time integration Estimated tl t2 in Fig. 14, Fig. 15 and Fig. 16
  • FIG. 16B shows the estimated direction of the sound source.
  • 1 2 represents the joint probability density function.
  • the probability density function was calculated from the amplitude values of each signal and quantized to 129 gradations including 0 and 64 gradations and 0, respectively, and the mutual information was calculated.
  • Table 3 showing the amount of mutual information between each signal, the mutual information g [(P (t), P (t) 9) between source signals is 0.048 bits, and this value is reduced by t 2
  • the observation point 100 is centered on the X axis and the y axis and separated by a predetermined distance.
  • is the distance between the microphones, and the wavelength of the signal of interest is sufficiently longer than this distance.
  • is 18mm.
  • a separated signal is obtained by the following processing.
  • the separation process at this time is shown in Fig. 17 (B).
  • Figure 18 shows a schematic diagram of the experiment. Play audio signal P (t) from the right speaker and P (t) from the left speaker at the same time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

【課題】 二次元平面又は三次元空間の異なる位置から出力される出力信号を簡易な処理工程及び装置構成で迅速かつ確実に分離できるできる信号分離装置を提供する。 【解決手段】異なる位置の出力源201、202から出力される各出力信号が重畳された重畳信号を各出力信号に関する時間勾配の瞬時混合和として検出し、この時間勾配の瞬時混合和に基づいて前記各出力信号を分離するようにしているので、この検出された信号をスカラー量(音圧)でなく、ベクトル量(音圧勾配)として検出できることとなり、各出力源の方向と共に、各出力信号の分離を簡易な処理工程及び装置構成で迅速且つ確実に分離できる。

Description

明 細 書
信号分離装置
技術分野
[0001] 本発明は、二次元平面または三次元空間の異なる位置から出力される音声信号又 は電波信号等の各出力信号が重畳された重畳信号から重畳前の各出力信号を分 離する信号分離装置に関する。
背景技術
[0002] 人間は多くの人が話している中で、特定の人の声を選択して聞き取ることができる。
この人間の聴覚的な能力をカクテルパーティ効果と呼ぶ。し力し多数の音源が混在 する中、通常のマイクロホンを用いて録音を行ったとしても、 音源までの距離、音源 の到来方向、音の強弱などの影響によって必要な音だけを効率よく収音することは 非常に困難である。
[0003] 複数の信号が重畳した信号から元の信号を復元する手法の一つにブラインド信号 分離がある。ブラインド信号分離は、源信号が統計的に独立であり、観測信号が源信 号によって線形的に混合されるという仮定に基づき、源信号を推定する手法である。
[0004] ブラインド信号分離は様々な手法が提案されているが、特に実環境中での音声の 観測を考慮したコンボリューシヨン型のものが研究されてきた。近年その中でも信号を 狭帯域信号に分割し、帯域ごとに瞬時混合型のブラインド信号分離を行う分離手法 が盛んに研究されている。
[0005] これらの分離手法に関する音源信号回路及びこれを用いたマイクロホン装置が特 開 2000— 181499号公報に開示されている。
また、音源分離集音マイクロホン装置及びその方法が特開 2003— 98003号公報 に開示されている。さらに音源分離方法、装置及び記録媒体が特開平 10— 31349
7号公報に開示されている。
特許文献 1 :特開 2000— 181499号公報
特許文献 2:特開 2003 - 98003号公報
特許文献 3 :特開平 10— 313497号公報 発明の開示
発明が解決しょうとする課題
[0006] 前記従来技術における特許文献 1は、互!、に線形独立な複数の音 (音源信号)が 線形加算された複数の混合信号 X (t
1 )、x (t)をフレーム分割し、フレーム毎に分割 2
された複数の信号 y (t)、y (t)相互間のラグタイムゼロの相関を最小にする混合行
1 2
列の逆行列を乗算するようにして複数の音源力も音 (音源信号)を分離して 、ること から、分離処理の前提として複数の混合信号をフレーム毎に分割しなければならず、 処理工程及び回路構成が複雑化すると共に、分離処理時間を遅延させるという課題 を有する。
[0007] また、特許文献 2にも前記特許文献 1と同様に混合信号をフレーム毎に分割した後 に音源信号ごとに分離していることから、同様の課題を有する。
さらに、特許文献 3は、複数のマイクロホン力 の各チャンネル信号を、主な成分が 1つの音源信号の成分のみ力 なる程度に複数の帯域に分割し、これらから、各同 一帯域について、レベル、到達時間を検出し、これらから、各帯域毎にいずれの音源 信号かを判定分離することにより、各音源信号を分離するようにしていることから、 1つ の音源信号の成分のみ力 なる程度に複数の帯域に分割する前処理を経なければ 分割処理が実行できず、処理工程及び回路構成が複雑化すると共に、分離処理時 間を遅延させるという課題を有する。
[0008] 本発明は、前記課題を解消するためになされたもので、二次元平面又は三次元空 間の異なる位置から出力される出力信号を簡易な処理工程及び装置構成で迅速か つ確実に分離できるできる信号分離装置を提供することを目的とする。
課題を解決するための手段
[0009] 本発明に係る信号分離装置は、二次元平面又は三次元空間の異なる位置の出力 源力 出力される各出力信号が重畳された重畳信号を分離する信号分離装置にお いて、前記重畳信号を各出力信号に関する時間勾配の瞬時混合和として検出する 空間勾配検出手段と、前記時間勾配の瞬時混合和に基づいて前記各出力信号を 分離する信号分離手段とを備えるものである。
[0010] このように本発明によれば、異なる位置の出力源から出力される各出力信号が重畳 された重畳信号を各出力信号に関する時間勾配の瞬時混合和として検出し、この時 間勾配の瞬時混合和に基づ!/、て前記各出力信号を分離するようにして!/、るので、こ の検出された信号をスカラー量 (音圧)でなく、ベクトル量 (音圧勾配)として検出でき ることとなり、各出力源の方向と共に、各出力信号の分離を簡易な処理工程及び装 置構成で迅速且つ確実に分離できる効果を奏する。
[0011] また、本発明に係る信号分離装置は必要に応じて、前記空間勾配検出手段が、各 出力信号を各音声信号として検出するマイクロホンアレイとして構成され、当該マイク 口ホンアレイが前記音声信号の音圧勾配として検出するものである。
本発明によれば、各出力信号に関する時間勾配の検出をマイクロホンアレイが各 出力信号を各音声信号として検出し、このマイクロホンアレイが前記音声信号の音圧 勾配として検出するようにしているので、各音源の方向と共に、各音声信号の分離を 簡易な処理工程及び装置構成で迅速且つ確実に分離できる効果を有する。
[0012] また、本発明に係る信号分離装置は必要に応じて、前記マイクロホンアレイが検出 する音圧勾配を粒子速度の時間微分により求めるものである。本発明によれば、マイ クロホンアレイが検出する音圧勾配を粒子速度の時間微分により求めることから、各 出力信号の時間微分でなぐ各出力信号そのものを推定するようにしているので、微 分、積分の各処理が不用となり、より簡易な処理工程及び装置構成で高速'確実な 分離が可能となる効果を有する。
[0013] また、本発明に係る信号分離装置は必要に応じて、前記マイクロホンアレイが、各 音声信号が出力される異なる位置に対する観測点における少なくとも X軸方向又は y 軸方向の音圧差分を計測する双指向性のマイクロホンで構成されるものである。 本発明よれば、マイクロホンアレイが、各音声信号が出力される異なる位置に対す る観測点における少なくとも X軸方向又は y軸方向の音圧差分を計測する双指向性 のマイクロホンで構成されるので、各音源の方向と共に、各音声信号の分離を簡易な 処理工程及び装置構成で迅速且つ確実に分離できる効果を有する。
[0014] さらに、本発明に係る信号分離装置は必要に応じて、前記信号分離手段が、重畳 信号を各出力信号に分離すると共に、当該各出力信号の各出力源における方向及 び Z又は標準偏着を出力するものである。 本発明によれば、信号分離手段が、重畳信号を各出力信号に分離すると共に、こ の各出力信号の各出力源における方向及び Z又は標準偏着を出力するので、各音 源の方向と共に、各音声信号の分離を簡易な処理工程及び装置構成で迅速且つ確 実に分離できる効果を有する。
図面の簡単な説明
[図 1]本発明の第 1の実施形態に係る信号分離装置における全体回路構成図である
[図 2]図 1に記載の双指向性マイクロホンの配置構成図である。
[図 3]図 1に記載の信号分離装置の動作フローチャートである。
[図 4]本発明の第 2の実施形態に係る信号分離装置における全体回路構成図である
[図 5]図 1に記載の信号分離装置の動作フローチャートである。
[図 6]本発明の第 3の実施形態に係る信号分離装置における全体回路構成図である
[図 7]図 6に記載する粒子速度マイクロホンの配置構成図である。
[図 8]図 6に記載の信号分離装置の動作フローチャートである。
[図 9]本発明の各実施形態の演算論理を説明するための混同過程'分離過程のプロ ック図である。
[図 10]本発明の各実施形態における数値実験'音響実験に使用する音声波形図で ある。
[図 11]本発明の各実施形態の 2つの源信号のパワースペクトルである。
[図 12]本発明の各実施形態の源信号の時間勾配特性図である。
[図 13]本発明の各実施形態における観測信号の空間勾配図である。
[図 14]本発明の各実施形態における分離信号の特性図である。
[図 15]本発明の各実施形態における分離信号の特性図である。
[図 16]本発明の各実施形態における分離信号の特性図である。
[図 17]本発明の音響実験に用いる空間積分マイクロホンのブロック図である。
[図 18]本発明の音響実験の実験概略図である。 [図 19]本発明の音響実験における観測信号の空間勾配特性図である。
[図 20]本発明の音響実験における観測信号の空間勾配特性図である。
[図 21]本発明の音響実験における分離信号の波形図である。
[図 22]本発明の音響実験における到来方向の特性図である。
符号の説明
[0016] 1 双方向性マイクロホン
10 粒子速度マイクロホン
11 X軸方向双方向性マイクロホン
12 y軸方向双方向性マイクロホン
l la、 12a 指向性
2 空間微分器
21 X軸方向空間微分器
22 y軸方向空間微分器
3、 30 行列演算回路
4 分離行列要素算出回路
5 方向,標準偏差算出回路
6、 7 積分器
61 X軸時間積分器
62 y軸時間積分器
100 観測点
201、 202 音源
P (t)、 P (t) 源信号
1 2
fx(t)、fy(t) 音圧勾配信号
発明を実施するための最良の形態
[0017] (本発明の第 1の実施形態)
以下、本発明の第 1の実施形態に係る信号分離装置を、図 1ないし図 3に基づいて 説明する。この図 1は本実施形態に係る信号分離装置の全体回路構成図、図 2は図 1に記載する双指向性マイクロホンの配置構成図、図 3は図 1に記載する信号分離装 置の動作フローチャートを示す。
[0018] 前記各図において本実施形態に係る信号分離装置は、均質な三次元空間中の異 なる位置に存在する音源 201、 202からの源信号 P (t)、 P (t)を集音する双方向性マ
1 2
イク口ホン 1と、この双方向性マイクロホン 1で集音した源信号 P (t)、 P (t)に関する音
1 2
圧の勾配を求める空間微分器 2と、この求められた音圧勾配信号 fx(t)、 fy(t)のべタト ル量 (音圧勾配)に混合行列の逆行列を乗算する行列演算回路 3と、この行列演算 値をブラインド信号分離で分離行列要素 a'ijを推定して推定分離信号 Pti(t) ;i= l, 2 を推定算出する分離行列要素算出回路 4と、前記分離行列要素 a'ijに基づいて音源 201、 202の到来方向 0 、 0 (X軸正方向とのなす角度)及び音源 201、 202の時
1 2
間勾配の標準偏着 σ ti、 σ tjを算出する方向,標準偏差算出回路 5と、前記推定分離 信号 Pti(t)を時間積分として分離信号 P (t)、 P (t)を演算する積分器 6とを備える構成
1 2
である。
[0019] 前記双方向性マイクロホン 1は、観測点 100近傍力も X軸方向の音圧差分を計測す る X軸方向双方向性マイクロホン 11と、観測点 100近傍から y軸方向の音圧差分を計 測する y軸方向双方向性マイクロホン 12とを備える構成である。この X軸方向双方向 性マイクロホン 11は、図 2 (A)、(B)に示すように観測点 100における X軸方向の空 間微分に用いられる指向性 11aを有する。また、前記 y軸方向双方向性マイクロホン 12は X軸方向双方向性マイクロホン 11と同様に y軸方向の空間微分用に用いられる 指向性 12aを有する。前記空間微分器 2は、 X軸方向の空間勾配 (f - f
xl x2 )ΖΔχを 求める x軸方向空間微分器 21と、 y軸方向の空間勾配 (f f )ΖΔχを求める y軸 yi 2
方向空間微分器 22とを備える構成である。
[0020] 次に、前記構成に基づく本実施形態に係る信号分離装置の分離処理動作につい て説明する。まず、均質な三次元空間中に配設された音源 201、 202からの源信号 P (t)、 P (t)を観測点 100近傍の X軸方向双方向性マイクロホン 11及び y軸方向双方
1 2
向性マイクロホン 12で収音する (ステップ 1)。この収音された源信号 P (t)、 P (t)を X
1 2 軸方向空間微分器 21、 y軸方向空間微分器 22により X軸、 y軸各方向の空間微分に よる空間勾配 fx、 fyを演算し、この空間勾配 fx、 fyに基づいて行列演算回路 3が空 間勾配信号 fx(t)、 fy(t)のべ外ル量 (音圧勾配)に混合行列の逆行列を乗算する (ス テツプ 2)。
[0021] 前記行列演算回路 3は、前段の入力機器である双方向性マイクロホン 1、空間微分 器 2及び行列演算回路 3から信号の入力が有る力否かを判断し (ステップ 3)、この信 号の入力が有ると判断した場合にはブラインド信号分離で分離行列要素 a'ijを推定し (ステップ 4)、この推定した推定分離信号 P (t)、P (t)を算出する (ステップ 5)。
tl t2
[0022] この分離行列要素 a'ijに基づくを推定分離信号 P (t)、 P (t)を x軸時間積分器 61及
tl t2
び y軸時間積分器 62が各々時間積分し、分離信号 P (t)、 P (t)を演算し (ステップ 6)
1 2
、この演算された分離信号 P (t)、 P (t)を図示を省略する表示装置等へ出力する (ス
1 2
テツプ 7)。
[0023] 他方、前記ステップ 4で推定算出された分離行列要素 a'ijに基づいて方向'標準偏 差算出回路 5が源信号 Pl(t)、 P2(t)の到来方向 θ 、 Θ 及び音源 201、 202の時間
1 2
勾配における標準偏着 σ ΐί、 a tjを推定算出する (ステップ 8)。この方向'標準偏差 算出回路 5で推定算出された観測点 100における源信号 P (t)、 P (t)の到来方向 Θ
1 2 1
、 Θ 及び音源 201、 202の標準編差 σ 、 σ を前記表示装置等へ出力する (ステツ
2 1 2
プ 9)。
[0024] このようにして本実施形態に係る信号分離装置は、時空間勾配解析に基づき、 均 質な空間中では、任意の観測点 100における空間勾配が、音源 201、 202における 時間勾配の線形混合で表現されるという事実を利用する。即ち、本実施形態の特徴 は次のように集約される。ただ一つの観測点 100及びその近傍における空間勾配を 計測することにより、源信号 P (t)、 P (t)の時間勾配の瞬時混合和を取得することがで
1 2
きる。そのため最も簡単な瞬時混合型ブラインド信号分離問題に帰着することができ る。さらに、観測量力 Sスカラー量 (音圧)ではなぐベクトル量 (音圧の空間勾配)なので 音源の到来方向を含めた源信号 P (t)、 P (t)の分離が可能である。本時空間勾配解
1 2
析手法を採用することにより、観測点 100間に生じる信号の到達時間差を考慮する 必要がなぐ観測信号の空間勾配を瞬時線形混合信号とみなすことができるため, 最も簡単な瞬時線形混合に対する処理で分離信号 P (t)、 P (t)を推定することが可
1 2
能となる。
[0025] (本発明の第 2の実施形態) 以下、本発明の第 2の実施形態に係る信号分離装置を、図 4及び図 5に基づいて 説明する。この図 3は本実施形態に係る信号分離装置の全体回路構成図、図 5は図 4に記載する信号分離装置の動作フローチャートを示す。
前記各図において本実施形態に係る信号分離装置は、前記第 1の実施形態と同 様に双方向性マイクロホン 1、空間微分器 2、行列演算回路 3、分離行列要素算出回 路 4及び方向'標準偏差算出回路 5を共通して備え、この空間微分器 2から出力され る音圧勾配信号 fx(t)、 fy(t)を時間積分し、積分された音圧勾配信号 fx(t)、 fy(t)を行 列演算回路 3へ出力する積分器 7 (第 1の実施形態における積分器 6に相当)を備え る構成である。
[0026] 次に、前記構成に基づく本実施形態に係る信号分離装置の分離処理動作は、前 記第 1の実施形態とほぼ同様に処理されるものであるが、 X軸方向空間微分器 21、 y 軸方向空間微分器 22により X軸、 y軸各方向の空間微分による空間勾配 fx、 fyが演 算 (ステップ 11)された後に、この空間勾配 fx、 fyを積分器 7により空間積分する (ス テツプ 12)。
[0027] この空間積分された空間勾配 fx、 fyの各空間勾配信号 fx(t)、 fy(t)が行列演算回 路 3により混合行列の逆行列を乗算される。以下、前記第 1の実施形態と同様ステツ プ 13ないしステップ 18により分離信号 P (t)、 P (t)を出力すると共に観測点 100にお
1 2
ける源信号 P (t)、 P (t)の到来方向 θ 、 Θ 及び音源 201、 202の標準編差 σ 、 σ
1 2 1 2 1 2 を前記表示装置等へ出力する
[0028] (本発明の第 3の実施形態)
本発明の第 3の実施形態に係る信号分離装置を、図 6ないし図 8に基づいて説明 する。この図 6は本実施形態に係る信号分離装置の全体回路構成図、図 7は図 6〖こ 記載する粒子速度マイクロホンの配置構成図、図 8は図 6に記載する信号分離装置 の動作フローチャートを示す。
前記各図において本実施形態に係る信号分離装置は、前記第 1の実施形態と同 様に行列演算回路 30 (第 1の実施形態における行列演算回路 3に相当)、分離行列 要素算出回路 4及び方向 '標準偏差算出回路 5を共通して備え、音源 201、 202から の源信号 P (t)、 P (t)を粒子速度 Vx、 Vyとして計測する粒子速度マイクロホン 10を 備え、この粒子速度マイクロホン 10で計測された粒子速度信号 Vx(t)、 Vy(t)を前記 行列演算回路 30へ出力する構成である。
[0029] 次に^、 2.前記構成に基づく本実施形態に係る信号分離装置分離処理動作はまず、 音源 201、 202からの 源信号 P (t)、 P (t)が粒子速度マイクロホン 10により粒子速
1 2
度 Vx、 Vyとして計測される(ステップ 20)。この粒子速度マイクロホン 10からなる入力 機器からの粒子速度 Vx、 Vyに基づく粒子速度信号 Vx(t)、 Vy(t)が出力されたカゝ否 かを判断する (ステップ 21)。
[0030] このステップ 21にお 、て粒子速度信号 Vx(t)、 Vy(t)が出力されて 、ると判断された 場合には、以降の粒子速度信号 Vx(t)、 Vy(t)が行列演算回路 30により混合行列の 逆行列を乗算される。以下、前記第 2の実施形態と同様にステップ 22ないしステップ 26により分離信号 P (t)、 P (t)を出力すると共に、観測点 100における源信号 P (t)、
1 2 1
P (t)の到来方向 0 、 Θ 及び音源 201、 202の標準編差 σ 、 σ を前記表示装置等
2 1 2 1 2
へ出力する。
[0031] (本発明の各実施形態の演算倫理)
以下、前記各実施形態の演算倫理を図 9に基づき前記第 1の実施形態の図 2を参 照して説明する。
前記図 2及び図 9において本発明の各実施形態に係る信号分離装置は、波動方 程式により、観測点 100における空間勾配が源信号の時間勾配の線形結合で表現 される。この波動場の時空間勾配法においては、音源 201、音源 202を含んでいな い遠方場で、音圧は次の波動方程式を満たす。
[0032] [数 1]
P(x, y、 z、 t ) c 2P(x, y, z, t) 二 0. (1 )
[0033] ここで cは位相速度ベクトルである。 式 (1)は逆向きに進行する 2つの波面の存在を 示して 、る。ここでは片方の波面に着目し次の移流方程式に注目する。
[0034] [数 2] — (; , y, z, t) = -c VP{x, y, z, t). (2 ) [0035] この方程式は、観測点 100における音圧の時間勾配と空間勾配の線形関係を示し ている。均質な空間を仮定すると、ある観測点での音圧の時間勾配は、各音源 201、 202における伝播遅延時間過去の音圧の時間勾配の総和で表される。本発明は式 ( 2)で示される移流型の方程式を満たす波動場にお 、て、時間勾配と空間勾配の線 形関係を利用する時空間勾配法をブラインド信号分離問題に適用させる。
次に、波面の重畳と瞬時混合については、簡単のため同一平面上を進行する 2つ の独立な平面波を仮定する。任意の点における音圧は次式で与えられる。
[0036] [数 3]
2
(1 , 、 π , X cos θt- + sin 0; . ,、、 ( y、 t、二 P人 t + —— - )·
Figure imgf000012_0001
(3)
[0037] ここで cは音速、 θ 、 Θ は各波面の到来方向を示す。関数 P (t)、 P (t)は帯域幅 ω
1 2 1 2
の信号の音圧であり、次式で定義する。
[0038] [数 4]
Figure imgf000012_0002
'ゾ—ωί 任意の点で得られる情報は観測信号 f (x, y, t)のみであり、元の信号や音源の到 来方向は未知である。このような観測信号から源信号 P (t)、 P (t)を推定するために、
1 2
時空間勾配法を適用し、観測信号の空間勾配を源信号 P (t)、 P (t)の時間勾配の線
1 2
形混合信号として表現する。原点 0 (観測点 100)における時間勾配は次式で得られ る。
[0039] [数 5] ' X ' —v—0
Figure imgf000013_0001
:で P (t)、 P (t)の時間勾配である。
[0040] [数 6]
Figure imgf000013_0002
式(5)を用いると、 f(x, y, t)の空間勾配は次のように導出される。
[数 7]
2
(t) = --f(x,y,t) = - ^ P _ 1 (t) cos 、
― ;=1
[0042] [数 8]
fyit)
Figure imgf000013_0003
すなわち f(x, y, t)の空間勾配 P (t)、P (t)を源信号とした場合の瞬時線形混合 信号として表される。
[数 9]
Figure imgf000014_0001
ここで行列 Aを混合行列として 次式で定義する。
[0044] [数 10]
Figure imgf000014_0002
[0045] また、信号の分離と音源方向の推定につ!ヽては、瞬時線形混合型ブラインド信号 分離問題の概略を図 9 (A)、(Β)に示す。(Α)は混合過程を示し、(Β)は分離過程を 示す。(Β)に示されるように、分離過程は観測された 2信号を Wで無相関化する白色 化過程と R( r? )で独立した成分に分離する回転過程から構成される。白色化後、分 離行列を求めるため、分離信号 P (t)、 P (t)と観測信号の空間勾配は次の関係式を
tl t2
満たす。
[0046] [数 11]
Figure imgf000014_0003
ここで分離行列を
[0047] [数 12]
Af 二 R( ))W
Figure imgf000014_0004
[0048] とおく。 R( r? )と Wは後述するブラインド信号分離のアルゴリズムによって決定される
1S 混合行列の逆行列 A_1を用いて次式でも表わすことができる。 [0049] [数 13]
Figure imgf000015_0001
[0050] ここで σ とび はそれぞれ観測点 P (t)、P (t)におけるの標準偏差である。式(13)
tl t2 tl t2
において の要素と A一1の各要素を比較することで、式(14)、(15)の推定式を得 る。
[0051] [数 14]
0
Figure imgf000015_0002
[0052] [数 15]
び ti 二 c
Figure imgf000015_0003
[0053] このとき分離信号と各パラメータ P (t)、 θ 、 σ 、i=l、 2は次の 2通りのどちらかで
tl il ti
推定される。
[0054] [数 16]
(i) θ! = Θい <7ti = ati, Ptl(t) = Ptt(t),
Figure imgf000015_0004
[0055] [数 17] (ii) ei = 0J,au = atJ,Pt,(t) = Pt3(t),
Figure imgf000016_0001
[0056] すなわち分離信号を推定するのと同時に、個々の音源の到来方向、標準偏差も推 定することができる。
さらに、瞬時混合に対するブラインド信号分離については、観測信号の空間勾配は 行列 Wによって白色化され、行列 R( r? )によって出力信号が互いに独立になるように 回転変換させることにより、分離信号を推定する。白色化については、次式で求める ことができる。
[0057] [数 18]
Figure imgf000016_0002
[0058] [数 19] =く 〉, 8 7
Figure imgf000016_0003
[0059] 回転変換については、次式で求めることができる。
[数 20]
Figure imgf000016_0004
ここでは 7?を推定するために次式の評価関数を導入する
[0060] [数 21] 0(//) = く ))〉 + H(P.- -→ max .
(21 )
[0061] ここで r?は分離パラメータであり、単位は度 (° )である。最適な r?を推定するために 次式の評価関数を導入する。
[0062] ここで関数 H ( は 4次の Hermite多項式である。
4
[数 22]
H4 (Z) = Z4- - 6Z2 + 3. (22)
[0063] 勾配法を適用した 7?を逐次的に推定する式は次式となる。
[数 23]
ήけ + 1 ) = ] ( t ) + ( 23 )
Figure imgf000017_0001
ここで μは適当な定数である。
[0064] (本発明における数値実験)
本発明における数値実験により、ブラインド信号分離を用いた音源方向の推定をす る。図 10に示す音声波形は数値実験、音響実験で使用する源信号である。源信号 P (t)、 P (t)として 10秒間の異なる 2人の女性の音声信号を用いる。表 1には源信号
1 2
の各規格を示す。これら 2つの源信号のパワースペクトルを示した図 11をみると、そ れぞれが同様の帯域 (200 [Trial mode] 350Hz付近)に主に成分を持っていることがわ かる。本発明ではフーリエ級数展開に基づいて作成した源信号の時間勾配により構 成される観測信号の空間勾配に対してブラインド信号分離を適用する。本発明で用 いたブラインド信号分離では白色化過程で用いられるモーメントを安定させるため、 分離行列の推定はモーメント算出開始から 1秒後に開始する。また推定した分離信 号を時間積分して源信号を求めるため、次式を採用する。 [0065] [数 24]
.V
Pi(N t) = ^ Pfl((N - n) t) t,
[0066] [表 1] n i I:
Figure imgf000018_0001
[0067] 表 2に数値実験の設定値を示す。これは以降に示す音響実験と同様の設定にして いる。源信号の時間勾配を図 12に、観測信号の空間勾配 fx(t)、 fy(t)を図 13に、分 離信号 P (t)、 P (t)とそれらの時間積分、逐次的に推定したを図 14、図 15、図 16に tl t2
それぞれ示す。数値実験の初期値として分離パラメータの初期値数 r? (to)=0° t
0
= lsec、収束係数 =0.001を与えている。図 14より、推定開始直後は波形が乱れ ているが、 t = 2secには元の波形はほぼ復元されている。このとき推定した分離行列 R (r?) Wを次式に示す。
[0068] [数 25] τ i -0-030 0.0丄 7 ι
Β(ή)\Υ = (25)
1 0.029 -0.01G 1 、 '
[0069] 音源の到来方向を推定した図 16 (Α)では、 t=secには 0
1、 Θ は徐々に安定し始 2
め、 t=sec以降は収束している。その後源信号 P 、 P の振幅が同時に急激な変化 tl t2
をしているため、 t = 7sec付近に多少乱れが生じている力 再び真値付近に収束して いる。また最終的に推定された音源の到来方向は 0 =60.8°
1 、 Θ =120. 1°
2 で あった。標準偏差は σ =11835. 2、 σ =11535. 9であり、表 1の真値とほぼ一致
1 2
する。次に分離パラメータの初期値 r? (to) =270° を与えた場合、分離行列 R( 7? ) Wは次式となった。
[0070] [数 26]
Figure imgf000019_0001
[0071] 図 16(B)には推定した音源の方向を示す。このとき最終的に推定された音源の方 向は 0 =120. 1° 、 Θ =60.8° 標準偏差は σ =11835. 2、 Θ =11535. 9
1 2 1 2 であった。初期値 r? (to) =0の場合、分離信号は式(16)のように推定されるが、初 期値 r? (to) =270° をとると、ブラインド信号分離で得られる分離行列の成分が変化 し、全ての推定値が式 (17)のように逆に推定された。このように本手法ではブラインド 信号分離によって分離行列がどのように推定されたとしても、出力される分離信号と 推定されたそれらの音源 201、 202の到来方向、標準偏差を適宜に推定できること が確認された。
[0072] 相互情報量にっ 、ては、混合前後または分離処理前後の信号間の統計的独立性 を確かめるために、相互情報量
[数 27] I(ZL. Z2) = log- p(ZL)p(Z2)
[0073] を算出する。相互情報量は常に正であり, Zと Zが互いに独立のとき 0になる。ここで
1 2
p(Z ), (pZ ),
1 2 は結合確率密度関数を表わす。各信号の振幅値を +側と 側それぞ れ 64諧調ずつと 0を含む 129諧調に量子化したものから確率密度関数を求め、相互 情報量を算出した。相互情報量は分離信号が安定して得られている t=2〜: LOsecの 区間のものをそれぞれ求めている。各信号間の相互情報量を示した表 3をみると、源 信号間の相互情報 g[(P(t)、 P (t)9)は 0.048bitであり、分離によってこの値を下 t 2
回ることはない限界の値を意味する。表 3より、相互情報量における観測信号の空間 勾配からのそれぞれの距離の比:
[0074] [数 28]
(り
Figure imgf000020_0001
を比較すると d〜一 99.0%となり、得られた分離信号は分離処理によってほぼ統計 的独立になったと考えられる。
[0075] [表 3] :3 J¾iii ¾i.:i ;
Figure imgf000020_0002
lul 3 ixiut lictl 111 ί'リ r ui at. luii t^r liiiiii I'IC I f.xpfjri- lllUllt
Figure imgf000020_0003
[0076] (本発明における音響実験) 本発明における音響実験にぉ 、て、本発明における空間微分マイクロホンを用い て観測信号の空間微分を実現するために、観測点 100を中心として X軸、 y軸各方向 に所定間隔離反させて 2対を配設させて形成されるマイクロホンを導入する。空間微 分マイクロホン本体中央の点(0, 0)で得られる観測信号を f(0, 0, t)とすると、その 前後左右に位置するマイクロホンで得られる fl (x、 y、 t) =ίΔ (x、 y、 t)はそれぞれ 次のように表わされる。
[0077] [数 29] fi( - y- t) = f( /2.0. t). (29)
[0078] [数 30] ( . y. t) = (Ο.Δ/2;ί). (30)
[0079] [数 31] h( - y- t) 二 (-Δ/2.0.ί). (31)
[0080] [数 32]
Mx.y.t) 二 (0. -A/ .f). (32) これらの関係式より差分法を用いた観測信号の χ, y方向の空間微分は、 [数 33]
Figure imgf000021_0001
[数 34]
Figure imgf000021_0002
[0083] で表される。ここで△はマイクロホン間の距離であり、対象の信号の波長はこの距離よ りも十分に長いものとする。制作した図 17のマイクロホンにおいて、△は 18mmであ る。
時間積分によるノイズの低減にっ ヽては、実環境中で観測された信号は反射の影 響により、精度の良い分離処理や音源の到来方向、標準偏差の推定を行うことがで きな 、。そこで分離信号に対して行って 、た時間積分を観測信号の空間勾配に対し て行う。すなわち次式の処理で分離信号を得る。
[0084] [数 35]
Figure imgf000022_0001
(35) ここで忘却係数は α =e_At/l〜― O. 9991であり、時定数 γは 25msに設定してい る。このときの分離過程を図 17 (B)に示す。
[0085] 実環境中での信号分離と音源方向の推定については、 2つのスピーカーと空間微 分マイクロホンを用いて信号分離の実験を行った。実験の概略図を図 18に示す。右 側のスピーカーから音声信号 P (t)、左側のスピーカーからは P (t)を同時に再生し、
1 2
空間微分マイクロホンを用いて録音を行った。ただし本システムでは 4音声を同時録 音できないので、マイク fl〜f4の位置でそれぞれ録音し、同時刻に記録された音声 信号に対して分離処理を行っている。観測信号の音圧勾配 fx(t)、 fy(t)とそれらの時 間積分値を図 19、図 20に、分離信号 P (t)、P (t)を図 21に推定した θ 、 Θ を図 22 にそれぞれ示す。実験の初期値として分離パラメータの初期値 r? (to) = 270° 、to = lsec、収束係数 =0. 0001を与えている。このときブラインド信号分離で推定し た分離行列を次式に示す。
[0086] [数 36] R(fj)W
[0087] 推定した音源の到来方向 0 、 Θ はともに t=l. 5secには安定し、 t = 3せ c以降に
1 2
はほぼ真値付近に収束しており、精度良く推定されている。このとき最終的に推定さ れた音源の到来方向は 0 63. 4° 、 Θ =126. 4° であった。標準偏差は σ =3
1= 2 tl
459. 2、 σ =3483. 3であり、 σ : σ はほぼ 1: 1でとなるので、表 1の真値の比
t2 tl t2は
と一致する。また分離信号を音声に変換して聞いてみると、多少相手側の音声が重 畳しているが、所望の信号は強調されていた。表 3, 4より、この実験の相互情報量も 式 (28)を用いると、 d〜一 85. 3%とすることができた。
[0088] [表 4]
Figure imgf000023_0001
■i山 -: 4 Mntiifil ίηΐυΐ liifi i n t r ;M: 11 K'iil (j f.i ι- 11 .iit
Figure imgf000023_0002

Claims

請求の範囲
[1] 二次元平面又は三次元空間の異なる位置の出力源力 出力される各出力信号が重 畳された重畳信号を分離する信号分離装置にお!、て、
前記重畳信号を各出力信号に関する時間勾配の瞬時混合和として検出する空間 勾配検出手段と、
前記時間勾配の瞬時混合和に基づいて前記各出力信号を分離する信号分離手 段とを備えることを
特徴とする信号分離装置。
[2] 前記請求項 1に記載の信号分離装置にお!、て、
前記空間勾配検出手段が、各出力信号を各音声信号として検出するマイクロホン アレイとして構成され、当該マイクロホンアレイが前記音声信号の音圧勾配として検 出することを
特徴とする信号分離装置。
[3] 前記請求項 2に記載の信号分離装置において、
前記マイクロホンアレイが検出する音圧勾配を粒子速度の時間微分により求めるこ とを
特徴とする信号分離装置。
[4] 前記請求項 2又は 3に記載の信号分離装置において、
前記マイクロホンアレイが、各音声信号が出力される異なる位置に対する観測点に おける少なくとも X軸方向又は y軸方向の音圧差分を計測する双指向性のマイクロホ ンで構成されることを
特徴とする信号分離装置。
[5] 前記請求項 1な!、し 4の 、ずれかに記載の信号分離装置にお!、て、
前記信号分離手段が、重畳信号を各出力信号に分離すると共に、当該各出力信 号の各出力源における方向及び Z又は標準偏差を出力することをことを
特徴とする信号分離装置。
PCT/JP2005/010341 2005-06-06 2005-06-06 信号分離装置 WO2006131959A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2005/010341 WO2006131959A1 (ja) 2005-06-06 2005-06-06 信号分離装置
JP2007520126A JPWO2006132249A1 (ja) 2005-06-06 2006-06-06 信号分離装置
PCT/JP2006/311334 WO2006132249A1 (ja) 2005-06-06 2006-06-06 信号分離装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/010341 WO2006131959A1 (ja) 2005-06-06 2005-06-06 信号分離装置

Publications (1)

Publication Number Publication Date
WO2006131959A1 true WO2006131959A1 (ja) 2006-12-14

Family

ID=37498171

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2005/010341 WO2006131959A1 (ja) 2005-06-06 2005-06-06 信号分離装置
PCT/JP2006/311334 WO2006132249A1 (ja) 2005-06-06 2006-06-06 信号分離装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/311334 WO2006132249A1 (ja) 2005-06-06 2006-06-06 信号分離装置

Country Status (2)

Country Link
JP (1) JPWO2006132249A1 (ja)
WO (2) WO2006131959A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304555A (ja) * 2007-06-05 2008-12-18 Panasonic Electric Works Co Ltd 音響入力装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970564B2 (en) * 2006-05-02 2011-06-28 Qualcomm Incorporated Enhancement techniques for blind source separation (BSS)
US8954324B2 (en) 2007-09-28 2015-02-10 Qualcomm Incorporated Multiple microphone voice activity detector
US8175871B2 (en) 2007-09-28 2012-05-08 Qualcomm Incorporated Apparatus and method of noise and echo reduction in multiple microphone audio systems
US8223988B2 (en) 2008-01-29 2012-07-17 Qualcomm Incorporated Enhanced blind source separation algorithm for highly correlated mixtures
JP5593547B2 (ja) * 2010-02-26 2014-09-24 日産自動車株式会社 波動源位置演算方法及び波動源位置演算装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06195097A (ja) * 1992-12-22 1994-07-15 Sony Corp 音源信号推定装置
JPH0728492A (ja) * 1993-07-09 1995-01-31 Sony Corp 音源信号推定装置
JPH10313497A (ja) * 1996-09-18 1998-11-24 Nippon Telegr & Teleph Corp <Ntt> 音源分離方法、装置及び記録媒体
JPH11508105A (ja) * 1995-09-18 1999-07-13 インターヴァル リサーチ コーポレイション 信号処理のための適応フィルタおよびその方法
JP2000181499A (ja) * 1998-12-10 2000-06-30 Nippon Hoso Kyokai <Nhk> 音源信号分離回路およびそれを用いたマイクロホン装置
JP2002507351A (ja) * 1997-06-18 2002-03-05 クラリティー リミテッド ライアビリティ カンパニー ブラインド信号分離方法及び装置
JP2002232989A (ja) * 2001-02-01 2002-08-16 Matsushita Electric Ind Co Ltd マルチチャンネル音場収音装置
JP2003098003A (ja) * 2001-09-20 2003-04-03 Nippon Hoso Kyokai <Nhk> 音源分離収音マイクロホン装置および方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732143A (en) * 1992-10-29 1998-03-24 Andrea Electronics Corp. Noise cancellation apparatus
US6594367B1 (en) * 1999-10-25 2003-07-15 Andrea Electronics Corporation Super directional beamforming design and implementation
US6954745B2 (en) * 2000-06-02 2005-10-11 Canon Kabushiki Kaisha Signal processing system
JP2004325127A (ja) * 2003-04-22 2004-11-18 Nippon Telegr & Teleph Corp <Ntt> 音源検出方法、音源分離方法、およびこれらを実施する装置
DE602004027774D1 (de) * 2003-09-02 2010-07-29 Nippon Telegraph & Telephone Signaltrennverfahren, Signaltrenneinrichtung,und Signaltrennprogramm
JP4090969B2 (ja) * 2003-09-03 2008-05-28 独立行政法人科学技術振興機構 信号分離方法、信号分離プログラム及びそのプログラムを記録した記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06195097A (ja) * 1992-12-22 1994-07-15 Sony Corp 音源信号推定装置
JPH0728492A (ja) * 1993-07-09 1995-01-31 Sony Corp 音源信号推定装置
JPH11508105A (ja) * 1995-09-18 1999-07-13 インターヴァル リサーチ コーポレイション 信号処理のための適応フィルタおよびその方法
JPH10313497A (ja) * 1996-09-18 1998-11-24 Nippon Telegr & Teleph Corp <Ntt> 音源分離方法、装置及び記録媒体
JP2002507351A (ja) * 1997-06-18 2002-03-05 クラリティー リミテッド ライアビリティ カンパニー ブラインド信号分離方法及び装置
JP2000181499A (ja) * 1998-12-10 2000-06-30 Nippon Hoso Kyokai <Nhk> 音源信号分離回路およびそれを用いたマイクロホン装置
JP2002232989A (ja) * 2001-02-01 2002-08-16 Matsushita Electric Ind Co Ltd マルチチャンネル音場収音装置
JP2003098003A (ja) * 2001-09-20 2003-04-03 Nippon Hoso Kyokai <Nhk> 音源分離収音マイクロホン装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STANACEVIC M. ET AL: "Gradient flow adaptive beamforming and signal separation in a miniature microphone array.", PROC. IEEE INT.CONF.ACOUSTIC, SPEECH AND SIGNAL PROCESSING (ICASSP'2002), vol. 4, 2002, pages 4016 - 4019, XP010804511 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304555A (ja) * 2007-06-05 2008-12-18 Panasonic Electric Works Co Ltd 音響入力装置

Also Published As

Publication number Publication date
JPWO2006132249A1 (ja) 2009-01-08
WO2006132249A1 (ja) 2006-12-14

Similar Documents

Publication Publication Date Title
EP3320692B1 (en) Spatial audio processing apparatus
CN110089134B (zh) 用于再现空间分布声音的方法、***及计算机可读介质
JP5878549B2 (ja) 幾何ベースの空間オーディオ符号化のための装置および方法
US8180062B2 (en) Spatial sound zooming
KR101471798B1 (ko) 다운믹스기를 이용한 입력 신호 분해 장치 및 방법
US11032663B2 (en) System and method for virtual navigation of sound fields through interpolation of signals from an array of microphone assemblies
JP2022544138A (ja) 選択的受聴を補助するためのシステムおよび方法
US10218327B2 (en) Dynamic enhancement of audio (DAE) in headset systems
EP2449795B1 (en) Positional disambiguation in spatial audio
EP2984852B1 (en) Method and apparatus for recording spatial audio
CN103339961B (zh) 用于通过声波三角测量进行空间性选择声音获取的装置及方法
KR101235543B1 (ko) 공간 오디오 스트림을 병합하는 장치
US7710826B2 (en) Method and apparatus for measuring sound source distance using microphone array
WO2019049276A1 (ja) 雑音除去装置および雑音除去方法
JP5053849B2 (ja) マルチチャンネル音響信号処理装置およびマルチチャンネル音響信号処理方法
EP3133833B1 (en) Sound field reproduction apparatus, method and program
EP2242286B1 (en) Sound collecting device, sound collecting method, sound collecting program, and integrated circuit
WO2006131959A1 (ja) 信号分離装置
JP2021511755A (ja) 音声認識オーディオシステムおよび方法
CN114450977A (zh) 用于在空间变换域中处理声场表示的装置、方法或计算机程序
EP3787311B1 (en) Sound image reproduction device, sound image reproduction method and sound image reproduction program
EP2757811A1 (en) Modal beamforming
Alexandridis et al. Development and evaluation of a digital MEMS microphone array for spatial audio
Pörschmann et al. Analysis and visualization of dynamic human voice directivity
Krikke et al. Who Said That? A Comparative Study of Non-Negative Matrix Factorisation and Deep Learning Techniques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05751044

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP