EP2293594B1 - Method for filtering lateral non stationary noise for a multi-microphone audio device - Google Patents

Abstract

The method involves estimating a main arrival direction of transients from a set of signals collected by microphones and from probability of presence of the transients. Probability of presence of speech on space criterion is calculated, so as to discriminate transients between the speech and lateral noise from the estimated main arrival direction of the transients. The noise is selectively reduced by application of a specific variable gain to a frequency band and a temporal frame based on the calculated probability of presence of the speech.

Description

L'invention concerne le traitement de la parole en milieu bruité.The invention relates to the treatment of speech in a noisy environment.

Elle concerne notamment, mais de façon non limitative, le traitement des signaux de parole captés par des dispositifs de téléphonie pour véhicules automobiles.It concerns in particular, but without limitation, the processing of speech signals received by telephone devices for motor vehicles.

Ces appareils comportent un microphone ("micro") sensible captant non seulement la voix de l'utilisateur, mais également le bruit environnant, bruit qui constitue un élément perturbateur pouvant aller, dans certains cas, jusqu'à rendre incompréhensibles les paroles du locuteur. Il en est de même si l'on veut mettre en oeuvre des techniques de reconnaissance vocale, car il est très difficile d'opérer une reconnaissance de forme sur des mots noyés dans un niveau de bruit élevé.These devices include a microphone ("microphone") sensitive sensing not only the voice of the user, but also the surrounding noise, noise that is a disruptive element that can go, in some cases, to make incomprehensible the speaker's words. It is the same if one wants to implement speech recognition techniques, because it is very difficult to perform a form recognition on words embedded in a high noise level.

Cette difficulté liée aux bruits environnants est particulièrement contraignante dans le cas des dispositifs "mains-libres". En particulier, la distance importante entre le micro et le locuteur entraîne un niveau relatif de bruit élevé qui rend difficile l'extraction du signal utile noyé dans le bruit. De plus, le milieu très bruité typique de l'environnement automobile présente des caractéristiques spectrales non stationnaires, c'est-à-dire qui évoluent de manière imprévisible en fonction des conditions de conduite : passage sur des chaussées déformées ou pavées, autoradio en fonctionnement, etc.This difficulty related to surrounding noise is particularly restrictive in the case of devices "hands-free". In particular, the large distance between the microphone and the speaker causes a high relative level of noise that makes it difficult to extract the useful signal embedded in the noise. In addition, the highly noisy environment typical of the automotive environment has non-stationary spectral characteristics, that is to say that evolve unpredictably depending on the driving conditions: passage on deformed or paved roads, car radio operating etc.

Certains de ces dispositifs prévoient l'utilisation de plusieurs micros, généralement deux micros, et utilisent la moyenne des signaux captés, ou d'autres opérations plus complexes, pour obtenir un signal avec un niveau de perturbations moindre. En particulier, une technique dite beamforming permet de créer par des moyens logiciels une directivité qui améliore le rapport signal/bruit, mais les performances de cette technique sont très limitées lorsque seulement deux microphones sont utilisés.Some of these devices provide for the use of several microphones, usually two microphones, and use the average of the signals picked up, or other more complex operations, to obtain a signal with a lower level of interference. In particular, a so-called beamforming technique makes it possible to create, by software means, a directivity that improves the signal-to-noise ratio, but the performances of this technique are very limited when only two microphones are used.

Par ailleurs, les techniques classiques sont surtout adaptées au filtrage des bruits diffus, stationnaires, provenant des alentours du dispositif et se retrouvant à des niveaux comparables dans les signaux captés par les deux micros.Moreover, conventional techniques are especially adapted to the filtering of diffuse noise, stationary, coming from the surroundings of the device and found at comparable levels in the signals picked up by the two microphones.

En revanche, un bruit non stationnaire, c'est-à-dire évoluant de manière imprévisible en fonction du temps, ne sera pas discriminé de la parole et ne sera donc pas atténué.On the other hand, a nonstationary noise, that is to say, evolving unpredictably as a function of time, will not be discriminated from the speech and will not be attenuated.

Or, dans un environnement automobile ces bruits non stationnaires et directifs sont très fréquents : coup de klaxon, passage d'un scooter, dépassement par une voiture, etc.However, in an automotive environment these nonstationary and directive noises are very common: blow of horn, passage of a scooter, overtaking by a car, etc.

L'une des difficultés du filtrage de ces bruits non stationnaires tient au fait que leurs caractéristiques temporelles et spatiales sont très proches de celles de la parole, d'où la difficulté d'une part, d'estimer la présence d'une parole (car le locuteur ne parle pas tout le temps) et d'autre part d'extraire le signal utile de parole dans un environnement très bruité tel qu'un habitacle de véhicule automobile.One of the difficulties of filtering these nonstationary noises lies in the fact that their temporal and spatial characteristics are very close to those of speech, which makes it difficult to estimate the presence of speech ( because the speaker does not speak all the time) and on the other hand to extract the useful speech signal in a very noisy environment such as a passenger compartment of a motor vehicle.

L'un des buts de l'invention est de mettre à profit la structure multi-microphone du dispositif pour opérer une détection spatiale de ces bruits non stationnaires, puis de discriminer, parmi toutes les composantes non stationnaires (ci-après "transients") celles qui sont des composantes de bruit non stationnaires d'avec celles qui sont des composantes de parole, et enfin de traiter le signal capté pour le débruiter de manière efficace tout en minimisant les distorsions introduites par ce traitement.One of the aims of the invention is to take advantage of the multi-microphone structure of the device to operate a spatial detection of these nonstationary noises, then to discriminate, among all the nonstationary components (hereinafter "transients") those which are nonstationary noise components from those which are speech components, and finally to process the captured signal to effectively denoise it while minimizing the distortions introduced by this processing.

Dans la suite, on appellera "bruit latéral" un bruit non stationnaire directif dont la direction d'arrivée est éloignée de celle du signal utile, et on appellera "cône privilégié" la direction ou secteur angulaire de l'espace où se trouve la source de signal utile (la parole du locuteur) par rapport au réseau de micros. Lorsqu'une source sonore se manifestera en dehors du cône privilégié, il s'agira donc d'un bruit latéral, que l'on cherchera à atténuer.In the following, we will call "lateral noise" a directional non-stationary noise whose direction of arrival is far from that of the useful signal, and will be called "privileged cone" the direction or angular sector of the space where the source is located of useful signal (the speech of the speaker) compared to the network of microphones. When a sound source will manifest outside the preferred cone, it will be a lateral noise, which we seek to mitigate.

Le point de départ de l'invention consiste à associer les propriétés de non-stationnarité temporelle et fréquentielle, d'une part, et de directivité spatiale, d'autre part, pour détecter un type de bruit qu'il est d'ordinaire difficile de discriminer de la parole, puis pour en déduire une probabilité de présence de la parole qui servira à atténuer ce bruit.The starting point of the invention consists in associating the properties of temporal and frequency non-stationarity, on the one hand, and spatial directivity, on the other hand, to detect a type of noise that is usually difficult. to discriminate from the speech, then to deduce a probability of presence of the speech which will serve to attenuate this noise.

Plus précisément, l'invention a pour objet un procédé de débruitage d'un signal acoustique bruité capté par une pluralité de microphones d'un dispositif audio multi-microphone opérant dans un milieu bruité. Le signal acoustique bruité comprend une composante utile de parole issue d'une source de parole directive et une composante parasite de bruit, cette composante de bruit incluant elle-même une composante de bruit latéral non stationnaire directif.More specifically, the invention relates to a method of denoising a noisy acoustic signal picked up by a plurality of microphones of a multi-microphone audio device operating in a noisy environment. The noisy acoustic signal includes a speech component derived from a directional speech source and a noise noise component, said noise component itself including a directional non-stationary side noise component.

Un tel procédé est par exemple divulgué par : 1. Cohen, Analysis of Two-Channel Generalized Sidelobe Canceller (GSC) with Post-Filtering, IEEE Transactions on Speech and Audio Processing, Vol. 11, No 6, November 2003, pp. 684-699 .Such a method is for example disclosed by: Cohen, Analysis of Two-Channel Generalized Sidelobe Canceller (GSC) with Post-Filtering, IEEE Transactions on Speech and Audio Processing, Vol. 11, No. 6, November 2003, pp. 684-699 .

Essentiellement, et de façon caractéristique de l'invention, le procédé comporte les étapes suivantes de traitement, exécutées dans le domaine fréquentiel:

1. a) combinaison de la pluralité de signaux captés par la pluralité correspondante de microphones en un signal combiné bruité ;
2. b) à partir du signal combiné bruité, estimation d'une composante de bruit pseudo-stationnaire contenue dans ce signal combiné bruité ;
3. c) à partir de la composante de bruit pseudo-stationnaire estimée à l'étape b) et du signal combiné bruité, calcul d'une probabilité de présence de transients dans le signal combiné bruité ;
4. d) à partir de la pluralité de signaux captés par la pluralité correspondante de microphones et de la probabilité de présence de transients calculée à l'étape c), estimation d'une direction principale d'arrivée des transients ;
5. e) à partir de la direction principale d'arrivée des transients estimée à l'étape d), calcul d'une probabilité de présence de parole sur un critère spatial, propre à discriminer entre parole utile et bruit latéral parmi les transients ;
6. f) à partir de la probabilité de présence de parole calculée à l'étape e) et du signal combiné bruité, réduction sélective du bruit par application d'un gain variable propre à chaque bande de fréquences et à chaque trame temporelle.

Essentially, and in a characteristic manner of the invention, the method comprises the following processing steps, executed in the frequency domain:

1. a) combining the plurality of signals picked up by the corresponding plurality of microphones into a noisy combined signal;
2. b) from the noisy combined signal, estimating a pseudo-stationary noise component contained in this noisy combined signal;
3. c) from the pseudo-stationary noise component estimated in step b) and the noisy combined signal, calculating a probability of presence of transients in the noisy combined signal;
4. d) from the plurality of signals picked up by the corresponding plurality of microphones and the probability of presence of transients calculated in step c), estimating a main direction of arrival of the transients;
5. e) from the main direction of arrival of the transients estimated in step d), calculating a probability of presence of speech on a spatial criterion, able to discriminate between useful speech and lateral noise among the transients;
6. f) from the probability of presence of speech calculated in step e) and the noisy combined signal, selective noise reduction by applying a variable gain specific to each frequency band and each time frame.

Selon diverses formes de mise en oeuvre subsidiaires avantageuses :

• le traitement de l'étape a) est un traitement de préfiltrage de type fixed beamforming ;
• le traitement de l'étape d) comprend les sous-étapes successives suivantes : d1) partition de l'espace en une pluralité de secteurs angulaires ; d2) pour chaque secteur, évaluation d'un estimateur de direction d'arrivée à partir de la pluralité de signaux captés par la pluralité correspondante de microphones ; d3) pondération de chaque estimateur par la probabilité de présence de transients calculée à l'étape c) ; d4) à partir des valeurs d'estimateurs pondérées calculées à l'étape d3), estimation d'une direction principale d'arrivée des transients ; et d5) validation ou invalidation de l'estimation de la direction principale d'arrivée des transients opérée à l'étape d4).
• à l'étape d5) l'estimation n'est validée que si la valeur de l'estimateur pondéré correspondant à la direction estimée est supérieure à un seuil prédéterminé, et/ou en l'absence de maximum local de l'estimateur pondéré dans le secteur angulaire d'origine du signal de parole utile, et/ou que si la valeur de l'estimateur est croissante de façon monotone sur une pluralité de trames temporelles successives ;
• le procédé comprend en outre une étape de maintien de l'estimation de la direction principale d'arrivée pendant un laps de temps minimal prédéterminé ;
• la probabilité de présence de parole calculée à l'étape e) est soit une probabilité binaire, prenant une valeur 1 ou 0 selon que la direction principale d'arrivée des transients estimée à l'étape d) est située ou non dans le secteur angulaire d'origine du signal de parole utile, soit une probabilité à valeurs multiples, fonction de l'écart angulaire entre la direction principale d'arrivée des transients estimée à l'étape d) et la direction d'origine du signal de parole utile ;
• le traitement de l'étape f) est un traitement de réduction sélective du bruit par application d'un gain à amplitude log-spectrale modifié optimisé OM-LSA.

According to various advantageous subsidiary implementation forms:

• the processing of step a) is a pre-filtering treatment of fixed beamforming type;
• the processing of step d) comprises the following successive sub-steps: d1) partitioning the space into a plurality of angular sectors; d2) for each sector, evaluating an arrival direction estimator from the plurality of signals picked up by the corresponding plurality of microphones; d3) weighting of each estimator by the probability of presence of transients calculated in step c); d4) to from the weighted estimator values calculated in step d3), estimating a principal direction of arrival of the transients; and d5) validating or invalidating the estimate of the main direction of arrival of the transients operated in step d4).
• in step d5) the estimate is validated only if the value of the weighted estimator corresponding to the estimated direction is greater than a predetermined threshold, and / or in the absence of local maximum of the weighted estimator in the original angular sector of the useful speech signal, and / or that if the value of the estimator is increasing monotonically over a plurality of successive time frames;
• the method further comprises a step of maintaining the estimation of the main direction of arrival for a predetermined minimum period of time;
• the probability of presence of speech calculated in step e) is either a binary probability, taking a value 1 or 0 depending on whether the main direction of arrival of the transients estimated in step d) is located or not in the angular sector source of the useful speech signal, a multi-value probability, a function of the angular difference between the main direction of arrival of the transients estimated in step d) and the direction of origin of the useful speech signal;
• the processing of step f) is a selective noise reduction processing by applying OM-LSA optimized modified log-spectral amplitude gain.

On va maintenant décrire un exemple de mise en oeuvre du procédé de l'invention en référence à la figure annexée.An example embodiment of the method of the invention will now be described with reference to the appended figure.

La Figure 1 est un schéma par blocs montrant les différents modules et fonctions mis en oeuvre par le procédé de l'invention ainsi que leurs interactions.The Figure 1 is a block diagram showing the different modules and functions implemented by the method of the invention as well as their interactions.

Le procédé de l'invention est mis en oeuvre par des moyens logiciels, qu'il est possible de décomposer et schématiser par un certain nombre de modules 10 à 24 illustrés Figure 1.The method of the invention is implemented by software means, which can be broken down and schematized by a number of modules 10 to 24 illustrated Figure 1 .

Ces traitements sont mis en oeuvre sous forme d'algorithmes appropriés exécutés par un microcontrôleur ou un processeur numérique de signal. Bien que, pour la clarté de l'exposé, ces divers traitements soient présentés sous forme de modules distincts, ils mettent en oeuvre des éléments communs et correspondent en pratique à une pluralité de fonctions globalement exécutées par un même logiciel.These processes are implemented in the form of appropriate algorithms executed by a microcontroller or a digital signal processor. Although, for the sake of clarity, these various treatments are presented as separate modules, they implement common elements and correspond in practice to a plurality of functions globally executed by the same software.

Le signal que l'on souhaite débruiter est issu d'une pluralité de signaux captés par un réseau de micros (qui, dans la configuration minimale, peut être simplement un réseau de deux micros) disposés selon une configuration prédéterminée.The signal which one wishes to denoise comes from a plurality of signals picked up by a network of microphones (which, in the minimum configuration, can be simply a network of two microphones) arranged in a predetermined configuration.

Le réseau de micros capte le signal émis par la source de signal utile (signal de parole), et la différence de position entre les micros induit un ensemble de déphasages et variations d'amplitude dans l'enregistrement des signaux émis par la source de signal utile.The microphone array captures the signal transmitted by the useful signal source (speech signal), and the difference in position between the microphones induces a set of phase shifts and amplitude variations in the recording of the signals emitted by the signal source. useful.

Plus précisément, le micro d'indice n délivre un signal : $$x_n\left(t\right)=a_n\times s\left(t-{\tau }_n\right)+v_n\left(t\right)$$

où a_n est l'atténuation d'amplitude due à la perte d'énergie entre la position de la source sonore s et le micro, τ _n est le déphasage entre le signal émis et reçu par le micro et v_n représente la valeur du champ de bruit diffus à la position du micro.More precisely, the micro of index n delivers a signal: $$x_{\mathrm{not}}\left(t\right)={\mathrm{at}}_{\mathrm{not}}\times s\left(t-{\tau }_{\mathrm{not}}\right)+v_{\mathrm{not}}\left(t\right)$$

where _n is the amplitude attenuation due to the energy loss between the position of the sound source s and the microphone, τ _n is the phase shift between the signal transmitted and received by the microphone and v _n represents the value of the diffuse noise field at the microphone position.

Dans la mesure où la source est éloignée d'au moins quelques centimètres des micros, on pourra faire l'approximation que la source sonore émet une onde plane. Les retards τ _n pourront alors être calculés à partir de l'angle θ _s, défini comme l'angle entre les médiatrices des couples de micros (n, m) et la direction de référence correspondant à la source s de signal utile. Lorsque le système considéré comporte deux micros dont la médiatrice coupe la source, l'angle θ _s est nul.Insofar as the source is at least a few centimeters away from the microphones, we can make the approximation that the sound source emits a plane wave. The delays τ _n can then be calculated from the angle θ _s , defined as the angle between the mediators of the pairs of microphones (n, m) and the reference direction corresponding to the source s of useful signal. When the considered system comprises two microphones whose mediator cuts the source, the angle θ _s is zero.

Transformée de Fourier des signaux captés par les micros (blocs 10)Fourier transform of the signals picked up by the microphones (blocks 10)

Le signal dans le domaine temporel x_n (t) issu de chacun des N micros est numérisé, découpé en trames de T points temporels, fenêtré temporellement par une fenêtre de type Hanning, puis la transformée de Fourier rapide FFT (transformée à court terme) X_n (k, l) est calculée pour chacun de ces signaux : $$X_n\left(k,l\right)=a_n\mathrm{.}{d}_n\left(k\right)\times S\left(k,l\right)+V_n\left(k,l\right)$$

avec : $$d_n\left(k\right)=e^{-i2\pi f_k{\tau }_n}$$

1 étant l'indice de la trame temporelle,
k étant l'indice de la bande de fréquences, et
f_k étant la fréquence centrale de la bande de fréquence indicée par k.The signal in the time domain x _n (t) coming from each of the N micros is digitized, cut into frames of T time points, temporally windowed by a Hanning type window, then the fast Fourier transform FFT (short-term transform) X _n ( k, l ) is calculated for each of these signals: $$X_{\mathrm{not}}\left(k,l\right)={\mathrm{at}}_{\mathrm{not}}\mathrm{.}{d}_{\mathrm{not}}\left(k\right)\times S\left(k,l\right)+V_{\mathrm{not}}\left(k,l\right)$$

with: $$d_{\mathrm{not}}\left(k\right)=e^{-i2\pi f_k{\tau }_{\mathrm{not}}}$$

1 being the index of the time frame,
k being the index of the frequency band, and
f _k being the center frequency of the frequency band indexed by k.

Constitution d'un signal combiné partiellement débruité (bloc 12)Constitution of a combined signal partially denuded (block 12)

Les signaux X_n (k,l) peuvent être combinés entre eux par une technique simple de préfiltrage par beamforming du type Delay and Sum qui est appliquée pour obtenir un signal combiné X(k,l) partiellement débruité : $$X\left(k,l\right)=\frac{1}{N}{\displaystyle \sum _{n\in \left[1,N\right]}}\overline{d_n\left(k\right)}\mathrm{.}{X}_n\left(k,l\right)$$

The signals X _n ( k, l ) can be combined with each other by a simple beamforming pre- filtering technique of the Delay and Sum type which is applied to obtain a partially denoised combined signal X ( k, I ): $$X\left(k,l\right)=\frac{1}{\mathrm{NOT}}{\displaystyle \underset{\mathrm{not}\in \left[1,\mathrm{NOT}\right]}{\Sigma }}\widetilde{d_{\mathrm{not}}\left(k\right)}\mathrm{.}{X}_{\mathrm{not}}\left(k,l\right)$$

Il est à noter que, concrètement, le nombre de micros étant limité, ce traitement ne procure qu'une faible amélioration du rapport signal/bruit, de l'ordre de 1 dB seulement.It should be noted that, specifically, the number of microphones being limited, this treatment provides only a slight improvement in the signal / noise ratio, of the order of 1 dB only.

Lorsque le système considéré comporte deux micros dont la médiatrice coupe la source, l'angle θ _s est nul et il s'agit d'une simple moyenne qui est faite sur les deux microphones.When the considered system comprises two microphones whose mediator cuts the source, the angle θ _s is zero and it is a simple average that is made on both microphones.

Estimation du bruit pseudo-stationnaire (bloc 14)Estimation of pseudo-stationary noise (block 14)

Cette étape a pour objet de calculer une estimation de la composante de bruit pseudo-stationnaire V̂(k,l) présente sur le signal X(k,l).The purpose of this step is to calculate an estimate of the pseudo-stationary noise component V ( k, l ) present on the signal X ( k, l ).

Il existe de très nombreuses publications sur ce sujet, l'estimation et la réduction du bruit pseudo-stationnaire étant en effet un problème classique assez bien résolu. Différentes méthodes sont efficaces et utilisables pour obtenir V̂(k,l), notamment un algorithme d'estimation de l'énergie de la composante de bruit pseudo-stationnaire à moyennage récursif par contrôle des minima (MCRA) comme celui décrit par I. Cohen et B. Berdugo, Noise Estimation by Minima Controlled Recursive Averaging for Robust Speech Enhancement, IEEE Signal Processing Letters, Vol. 9, No 1, pp. 12-15, Jan. 2002 .There are many publications on this subject, the estimation and reduction of pseudo-stationary noise being indeed a classic problem fairly well resolved. Different methods are efficient and usable to obtain V ( k, l ) , notably an algorithm for estimating the energy of the pseudo-stationary minimum recursive averaging noise component (MCRA) as described by I. Cohen and B. Berdugo, Noise Estimation by Minima Controlled Recursive Averaging for Robust Speech Enhancement, IEEE Signal Processing Letters, Vol. 9, No. 1, pp. 12-15, Jan. 2002 .

Calcul de la probabilité de présence des transients (bloc 16)Calculation of the probability of presence of transients (block 16)

Les "transients" désignent tous les signaux non-stationnaires, incluant aussi bien la parole utile que les bruits non-stationnaires sporadiques, qui peuvent avoir une énergie équivalente ou parfois supérieure à la parole utile (passage d'un véhicule, sirène, klaxon, parole d'autres personnes etc.)."Transients" refers to all non-stationary signals, including both useful speech and sporadic non-stationary noises, which may have energy equivalent to or sometimes greater than useful speech (passing a vehicle, siren, horn, other people's words etc.).

Il est possible de détecter ces transients à l'aide de l'estimation précédemment établie de la composante de bruit pseudo-stationnaire V̂(k,l), en retranchant cette dernière du signal global X(k,l).It is possible to detect these transients using the previously established estimate of the pseudo-stationary noise component V ( k, l ) , subtracting the latter from the global signal X ( k, l ).

On verra plus loin (description détaillée des blocs 18 et 20) la manière dont il est possible de discriminer parmi ces transients entre ceux qui correspondent à la parole utile et ceux qui correspondent à des bruits non-stationnaires et qui ont des caractéristiques similaires à la parole utile. Le traitement opéré par le bloc 16 consiste seulement à calculer une probabilité p_Trausient (k,l) de présence de signaux transients, sans distinction entre parole utile et bruits parasites non-stationnaires. L'algorithme est le suivant :We will see below (detailed description of blocks 18 and 20) how it is possible to discriminate among these transients between those which correspond to the useful speech and those which correspond to non-stationary noises and which have characteristics similar to the useful word. The processing performed by the block 16 consists only in calculating a probability p _Trausient ( k, l ) of presence of transient signals, without distinction between useful speech and non-stationary noise noises. The algorithm is as follows:

Pour chaque trame I et pour chaque bande de fréquence k,For each I frame and for each frequency band k,

1. (i) Calculer le "Transient to Stationary Ratio" :(i) Calculate the "Transient to Stationary Ratio": $\mathit{TSR}\left(k,l\right)=\frac{X\left(k,l\right)-\hat{V}\left(k,l\right)}{\hat{V}\left(k,l\right)}$
   
   $\mathit{TSR}\left(k,l\right)=\frac{X\left(k,l\right)-\hat{V}\left(k,l\right)}{\hat{V}\left(k,l\right)}$
   
2. (ii) Si TSR(k,l) ≤ TSR _min :
   • p_Transient (k,l) = 0
   (ii) If TSR ( k, l ) ≤ TSR _min :
   • p _Transient ( k, l ) = 0
3. (iii) Si TSR(k,1) ≥ TSR _max :
   • p_Transient (k,l) = 1
   (iii) If TSR ( k, 1 ) ≥ TSR _max :
   • p _Transient ( k, l ) = 1
4. (iv) Si TSR _min < TSR(k,l) < TSR _max : $p_{\mathit{Transient}}\left(k,l\right)=\frac{\mathit{TSR}\left(k,l\right)-{\mathit{TSR}}_{\min }}{{\mathit{TSR}}_{\max }-{\mathit{TSR}}_{\min }}$
   
   (iv) If TSR _min <TSR ( k, l ) <TSR _max : $p_{\mathit{Transient}}\left(k,l\right)=\frac{\mathit{TSR}\left(k,l\right)-{\mathit{TSR}}_{\min }}{{\mathit{TSR}}_{\max }-{\mathit{TSR}}_{\min }}$
   

Les constantes TSR _min et TSR _max sont choisies de manière à correspondre à des situations typiques, proches de la réalité.The constants TSR _min and TSR _max are chosen so as to correspond to typical situations, close to reality.

Calcul de la direction d'arrivée des transients (bloc 18)Calculating the direction of arrival of transients (block 18)

Ce calcul tire parti du fait que, à la différence de la composante pseudo-stationnaire du bruit qui est diffuse, les transients sont souvent directifs, c'est-à-dire issus d'une source sonore ponctuelle (comme la bouche du locuteur pour la parole utile, ou le moteur d'une motocyclette pour un bruit latéral). Il est donc judicieux de calculer la direction d'arrivée de ces signaux, qui sera en général bien définie, et de comparer cette direction d'arrivée à l'angle θ _s correspondant à la direction d'origine parole utile), de manière à déterminer si le signal non-stationnaire considéré est utile ou parasite, et d'effectuer ainsi la discrimination entre parole utile et bruit non-stationnaire.This calculation takes advantage of the fact that, unlike the pseudo-stationary component of the noise that is diffuse, the transients are often directional, that is to say from a point sound source (such as the mouth of the speaker for useful speech, or the engine of a motorcycle for a lateral noise). It is therefore advisable to calculate the direction of arrival of these signals, which will be generally well defined, and to compare this direction of arrival at the angle θ _s corresponding to the direction of origin (useful speech), so as to determine whether the non-stationary signal considered is useful or parasitic, and thus to discriminate between useful speech and non-stationary noise.

La première étape consiste à estimer la direction d'arrivée du transient. La méthode utilisée ici est basée sur l'utilisation de la probabilité de présence des transients p_Transient (k,l) déterminée par le bloc 18 de la manière exposée plus haut.The first step is to estimate the direction of arrival of the transient. The method used here is based on the use of the probability of transient ( k, 1 ) transient p- _transients determined by block 18 as discussed above.

Plus précisément, on opère une partition de l'espace en secteurs angulaires, chacun correspondant à une direction définie par un angle θ _i , i ∈ [1,M] (par exemple M=19, avec la collection d'angles {-90°,-80°...,o°,...+80°,+90°}). On notera qu'il n'y a aucun lien entre le nombre N de micros et le nombre M d'angles testés. Par exemple, il est tout à fait possible de tester une dizaine d'angles (M =10) avec un seul couple de micros (N = 2). More precisely, a partition of the space into angular sectors is performed, each corresponding to a direction defined by an angle θ _i , i ∈ [1, M ] (for example M = 19, with the collection of angles {-90 °, -80 ° ... o ° ... + 80 °, + 90 °}). It will be noted that there is no connection between the number N of microphones and the number M of angles tested. For example, it is quite possible to test a dozen angles ( M = 10) with a single pair of microphones ( N = 2) .

Chaque angle θ _i est testé de façon à déterminer celui qui est le plus proche de la direction d'arrivée du signal non-stationnaire étudié. Pour ce faire, on considère chaque couple de micros (n, m) et on calcule un estimateur de direction d'arrivée P_n,m (θ _i ,k,l) correspondant, dont le module sera maximal lorsque l'angle θ _i testé sera le plus proche de la direction d'arrivée du transient.Each angle θ _i is tested to determine the one that is closest to the direction of arrival of the non-stationary signal studied. To do this, we consider each pair of microphones ( n, m ) and we calculate an estimator corresponding direction of arrival P _{n, m} (θ _i , k , l ), whose module will be maximum when the angle θ _i tested is closest to the direction of arrival of the transient.

Cet estimateur peut par exemple s'appuyer sur un calcul d'intercorrélation et prendre la forme : $$P_{n,m}\left({\theta }_i,k,l\right)=E\left(X_m\left(k,l\right)\mathrm{.}{\bar{X}}_n\left(k,l\right)\mathrm{.}{e}^{-i2\pi f_k{\tau }_i}\right)$$

, avec $${\tau }_i=\frac{l_{n,m}}{c}\sin {\theta }_i$$

l_n,m étant la distance entre les micros d'indices n et m, et c étant la célérité du son.This estimator can for example be based on an intercorrelation calculation and take the form: $$P_{\mathrm{not},m}\left({\theta }_i,k,l\right)=E\left(X_m\left(k,l\right)\mathrm{.}{\tilde{X}}_{\mathrm{not}}\left(k,l\right)\mathrm{.}{e}^{-i2\pi f_k{\tau }_i}\right)$$

with $${\tau }_i=\frac{l_{\mathrm{not},m}}{\mathrm{vs}}\sin {\theta }_i$$

l _{n, m} being the distance between the microphones of indices n and m, and c being the celerity of the sound.

Une première méthode, classique, consiste à prendre pour estimation de la direction d'arrivée l'angle qui maximise le module de cet estimateur, soit : $${\hat{\theta }}_{\mathit{std}}\left(k,l\right)=\underset{{\theta }_i,i\in \left[1,M\right]}{\mathrm{arg\; max}}\Vert P_{n,m}\left({\theta }_i,k,l\right)\Vert$$

A first, classical method consists in taking as an estimate of the direction of arrival the angle that maximizes the modulus of this estimator, namely: $${\hat{\theta }}_{\mathit{std}}\left(k,l\right)=\underset{{\theta }_i,i\in \left[1,M\right]}{\mathrm{arg\; max}}\Vert P_{\mathrm{not},m}\left({\theta }_i,k,l\right)\Vert$$

Une autre méthode, utilisée ici de façon préférentielle, consiste à pondérer l'estimateur P_n,m (θ _i,k,l) par la probabilité de présence de transients p_Transient (k,l), et définir une nouvelle stratégie de décision. L'estimateur de direction d'arrivée correspondant sera : $$P_{{\mathit{New}}_{n,m}}\left({\theta }_j,k,l\right)=P_{n,m}\left({\theta }_j,k,l\right)\times p_{\mathit{Transient}}\left(k,l\right)$$

Another method, used here in a preferential way, consists in weighting the estimator P _{n, m} (θ _i , k, l ) by the probability of presence of transients p _Transient ( k, l ) , and defining a new decision strategy. . The corresponding arrival direction estimator will be: $$P_{{\mathit{New}}_{\mathrm{not},m}}\left({\theta }_j,k,l\right)=P_{\mathrm{not},m}\left({\theta }_j,k,l\right)\times p_{\mathit{Transient}}\left(k,l\right)$$

L'estimateur peut être moyenné sur les couples de micros (n,m) : $$P_{\mathit{New}}\left({\theta }_i,k,l\right)=\frac{1}{N\left(N-1\right)}{\displaystyle \sum _{n\ne m}}{P}_{{\mathit{New}}_{n,m}}\left({\theta }_i,k,l\right)$$

The estimator can be averaged over the pairs of microphones ( n, m ): $$P_{\mathit{New}}\left({\theta }_i,k,l\right)=\frac{1}{\mathrm{NOT}\left(\mathrm{NOT}-1\right)}{\displaystyle \underset{\mathrm{not}\ne m}{\Sigma }}{P}_{{\mathit{New}}_{\mathrm{not},m}}\left({\theta }_i,k,l\right)$$

L'intégration de la probabilité de présence de transients dans l'estimateur de direction d'arrivée présente trois avantages importants :

• l'estimation de direction est ciblée sur les parties non-stationnaires du signal (où la probabilité p_Transient (k,l) est proche de 1), dont la direction d'arrivée est bien définie, ce qui rend l'estimation consistante ;
• l'estimation de direction est robuste au bruit diffus (où la probabilité p_Transient (k,l) est proche de zéro), qui d'ordinaire perturbe les estimations de direction d'arrivée ;
• la fiabilité de l'estimateur P_Newn,m (θ _i,k,l) permet de distinguer plusieurs signaux non-stationnaires correspondant à différentes directions et simultanément présents (on verra plus bas que cette distinction peut se faire par bande de fréquences ou par analyse des maxima angulaires locaux sur une même bande de fréquences). Ainsi, si l'on a en même temps un signal de parole utile et un bruit latéral puissant, les deux types de signaux seront détectés, évitant que le signal de parole utile concomitant soit éliminé par erreur dans la suite du processus, même si son énergie est faible.

The integration of the probability of presence of transients in the arrival direction estimator has three important advantages:

• the direction estimate is targeted at the non-stationary parts of the signal (where the probability p _Transient ( k, l ) is close to 1), whose direction of arrival is well defined, which makes the estimate consistent;
• the directional estimate is robust to diffuse noise (where the probability p _Transient ( k, l ) is close to zero), which usually disturbs the direction of arrival estimates;
• the reliability of the P _Newn estimator _{, m} (θ _i , k, l ) makes it possible to distinguish several non-stationary signals corresponding to different directions and simultaneously present (it will be seen below that this distinction can be made by frequency band or by analysis of local angular maxima on the same frequency band). Thus, if one simultaneously has a useful speech signal and a powerful lateral noise, both types of signals will be detected, avoiding that the concomitant useful speech signal is erroneously eliminated in the following process, even if its energy is low.

On va maintenant expliciter les règles de décision permettant à partir de P_New :

• - soit de délivrer une estimation θ́(k,l) de la direction d'arrivée du transient,
• - soit d'indiquer qu'aucune estimation de direction d'arrivée ne peut être fournie, si ces règles ne sont pas satisfaites.
  1. 1°) Significaivité de P_New (θ_max ,k,l) (θ_max étant l'angle qui maximise la valeur ∥P_New (θ _i,k,)∥)
     Règle 1 :
     • Une estimation de direction ne peut être fournie que si ∥P_New (θ_max,k,l)∥ dépasse un seuil donné P_MIN,
     Cette première règle permet de s'assurer que sur la partie (k,l) du signal considéré, la probabilité de présence d'un transient et le niveau d'inter-corrélation sont assez élevés pour que l'estimation soit consistante.
  2. 2°) Monotonie de P_New sur l'intervalle |θ _s - θ_max ; θ_max| (pour alléger les notations, dans la suite les barres de module de P_New seront enlevées)
     Règle 2 :
     • Si θ _max est en dehors du cône privilégié, une estimation d'angle ne sera validée que si P_new augmente de façon monotone sur l'intervalle [θ _s - θ_max ; θ_max ].
     Cette deuxième règle analyse le contenu du "cône privilégié", correspondant au secteur angulaire sur lequel est centré la source s et qui présente une étendue angulaire de θ₀. Ce cône privilégié est défini par les angles θ̂ tels que |θ - θ _s | ≤θ₀.
     Le "bruit latéral" correspondra à un signal dont la direction d'arrivée est extérieure au cône privilégié, et l'on considèrera donc qu'un bruit latéral est présent si |θ_max - θ _s | dépasse le seuil θ₀.
     Pour valider cette détection d'un bruit latéral, il faut vérifier qu'un signal de parole utile ne se trouve pas simultanément à l'entrée du système.
     Pour cela, P_New (θ_mzx,k,l) est confronté aux valeurs de P_New (θ _i ,k,l) obtenues pour d'autres angles, notamment ceux qui appartiennent au cône privilégié. La règle permet ainsi de s'assurer qu'il n'y a pas de maximum local dans le cône privilégié.
• 3°) Fiabilisation de la détection d'un bruit latéral
  Règle 3 :
  • Si θ_max est en dehors du cône privilégié pour la première fois sur la trame l considérée, une estimation d'angle ne sera validée que si : $$P_{\mathit{New}}\left({\theta }_{\max },k,l\right)\ge {\mathrm{<figure-callout\; id="1"\; label="\alpha "\; filenames="imgf0001.png"\; state="\{\{state\}\}">\alpha </figure-callout>}}_1\times P_{\mathit{New}}\left({\theta }_{\max },k,l-1\right),$$
    
    
    et si $$P_{\mathit{New}}\left({\theta }_{\max },k,l\right)\ge {\alpha }_2\times \frac{1}{5}{\displaystyle \sum _{i\in \left[l-5:l-1\right]}}{P}_{\mathit{New}}\left({\theta }_{\max },k,i\right)\mathrm{.}$$
    
    
    Si un bruit latéral est détecté, cette troisième règle tient compte des trames précédentes pour éviter les faux déclenchements. Elle ne s'applique qu'à la première trame d'un bruit latéral présumé, et vérifie que P_New (θ_max,k,l) augmente de façon significative par rapport aux données correspondantes obtenues sur les cinq trames précédentes.
    Les paramètres α₁ et α₂ sont choisis de manière à correspondre à des situations typiques, proches de la réalité.
    Si les trois règles 1 à 3 ci-dessus sont vérifiées, l'estimation θ́(k,l) de la direction d'arrivée sera donnée par : θ́(k,l) = θ_max.
• 4°) Stabilisation de la détection d'un bruit latéral :
  • Les deux dernières règles sont destinées à empêcher les coupures dans la détection d'un bruit latéral. Après une période de détection, elles continuent à maintenir cet état pendant un laps de temps dit de hangover, quand bien même les règles de décision précédentes ne seraient plus vérifiées. Cela permet de détecter les éventuelles périodes à basse énergie d'un bruit non-stationnaire.
  Règle 4 :
  • Si θ́(k,l -1) est en dehors du cône privilégié (trame précédente), si cpt ₁ ≤ HangoverTime ₁ , (i.e. la période de Hangover n'est pas terminée),
  • et si P_New (θ(k,l - 1), k,l) est supérieur à un seuil donné P ₁ alors l'estimation d'angle est maintenue et cpt ₁ est incrémenté.
  Règle 5 :
  • Si θ́(k, l -1) est en dehors du cône privilégié (trame précédente), si cpt₂ ≤ HangoverTime ₂ et si $\frac{1}{5}{\displaystyle \sum _{i\in \left[l-5;l-1\right]}}{P}_{\mathit{New}}\left(\hat{\theta }\left(k,l-1\right),k,i\right)$
    
    est supérieur à un seuil donné P ₂ alors l'estimation d'angle est maintenue et cpt ₂ est incrémenté.

We will now explain the decision rules allowing from P _New :

• either to deliver an estimate θ ( k, l ) of the direction of arrival of the transient,
• - to indicate that no estimate of direction of arrival can be provided, if these rules are not satisfied.
  1. 1 °) Significance of P _New (θ _max , k, l ) ( θ _max being the angle which maximizes the value ∥ P _New (θ _i , k, ) ∥)
     Rule 1:
     • An estimate of direction can only be provided if ∥ P _New (θ _max , k, l ) ∥ exceeds a given threshold P _MIN ,
     This first rule makes it possible to ensure that on the part ( k, l ) of the signal considered, the probability of presence of a transient and the level of inter-correlation are high enough for the estimate to be consistent.
  2. 2) Monotonicity of P _New over the interval | θ _s - θ _max ; θ _max | (to lighten the notations, in the following the P _New module bars will be removed)
     Rule 2:
     • If θ _max is outside the privileged cone , an angle estimate will be validated only if P _new increases monotonically over the interval [ θ _s - θ _max ; θ _max ] .
     This second rule analyzes the content of the "privileged cone", corresponding to the angular sector on which the source s is centered and which has an angular extent of θ ₀ . This privileged cone is defined by the angles θ such that | θ - θ _s | ≤θ ₀ .
     The "lateral noise" will correspond to a signal whose direction of arrival is outside the preferred cone, and it will therefore be considered that a lateral noise is present if | θ _max - θ _s | exceeds the threshold θ ₀ .
     To validate this detection of a lateral noise, it must be verified that a useful speech signal is not simultaneously at the input of the system.
     For this, P _New (θ _mzx , k, l ) is confronted with the values of P _New (θ _i , k, l ) obtained for other angles, especially those belonging to the privileged cone. The rule thus makes it possible to ensure that there is no local maximum in the privileged cone.
• 3 °) Reliability of the detection of a lateral noise
  Rule 3:
  • If θ _max is outside the cone privileged for the first time on the frame l considered, an angle estimate will be validated only if: $$P_{\mathit{New}}\left({\theta }_{\max },k,l\right)\ge {\mathrm{<figure-callout\; id="1"\; label="\alpha "\; filenames="imgf0001.png"\; state="\{\{state\}\}">\alpha </figure-callout>}}_1\times P_{\mathit{New}}\left({\theta }_{\max },k,l-1\right),$$
    
    
    and if $$P_{\mathit{New}}\left({\theta }_{\max },k,l\right)\ge {\alpha }_2\times \frac{1}{5}{\displaystyle \underset{i\in \left[l-5:l-1\right]}{\Sigma }}{P}_{\mathit{New}}\left({\theta }_{\max },k,i\right)\mathrm{.}$$
    
    
    If a side noise is detected, this third rule takes into account the previous frames to avoid false triggers. It only applies to the first frame of a presumed lateral noise, and verifies that P _New (θ _max , k, l ) increases significantly with respect to the corresponding data obtained on the five previous frames.
    The parameters α ₁ and α ₂ are chosen so as to correspond to typical situations, close to reality.
    If the three rules 1 to 3 above are satisfied, the estimate θ ( k, l ) of the direction of arrival will be given by: θ ( k, l ) = θ _max .
• 4 °) Stabilization of the detection of a lateral noise:
  • The last two rules are intended to prevent cuts in the detection of a side noise. After a period of detection, they continue to maintain this state for a period of time said hangover, even if the previous decision rules would no longer be verified. This makes it possible to detect possible low energy periods of non-stationary noise.
  Rule 4:
  • If θ ( k, l -1) is outside the privileged cone (previous frame), if cpt ₁ ≤ HangoverTime ₁ , (ie the Hangover period is not over),
  • and if P _New (θ ( k, l - 1) , k, l ) is greater than a given threshold P ₁ then the angle estimate is maintained and cpt ₁ is incremented.
  Rule 5:
  • If θ ( k, l -1) is outside the privileged cone (previous frame), if cpt ₂ ≤ HangoverTime ₂ and if $\frac{1}{5}{\displaystyle \underset{i\in \left[l-5;l-1\right]}{\Sigma }}{P}_{\mathit{New}}\left(\hat{\theta }\left(k,l-1\right),k,i\right)$
    
    is greater than a given threshold P ₂ while the angle estimate is maintained and cpt ₂ is incremented.

Si l'une de ces deux dernières règles (Règle n°4 ou n°5) est vérifiée, elle est prioritaire, et il en résulte : θ́(k,l) = θ́(k,l - 1), donc avec correction éventuelle de la valeur de θ́(k,l), qui ne sera pas égale à θ́_max mais qui sera maintenue à sa valeur précédente.If one of these two last rules (Rule n ° 4 or n ° 5) is checked, it has priority, and it follows: θ ( k, l ) = θ ( k, l - 1) , thus with correction possible value of θ ( k, l ) , which will not be equal to θ _max but which will be maintained at its previous value.

En résumé, le calcul de θ́(k,l) suit trois cas possibles :

1. (i) si la règle n°4 ou n°5 est vérifiée, alors θ́(k,l) = θ́(k,l - 1) ;
2. (ii) dans le cas contraire (ni la règle n°4, ni la règle n°5 n'est vérifiée), si les règles n°1, n°2 et n°3 sont vérifiées, alors θ́(k,l) = θ_max ;
3. (iii) sinon (ni la règle n°4, ni la règle n°5 n'est vérifiée, et l'une au moins des règles n°1, n°2 et n°3 n'est pas vérifiée), alors θ́(k,l) n'est pas défini.

In summary, the calculation of θ ( k, l ) follows three possible cases:

1. (i) if rule no. 4 or no. 5 is satisfied, then θ ( k, l ) = θ ( k, l - 1);
2. (ii) in the opposite case (neither rule 4 nor rule 5 is verified), if rules 1, 2 and 3 are satisfied, then θ ( k, l ) = θ _max ;
3. (iii) otherwise (neither rule 4 nor rule 5 is verified, and at least one of rules 1, 2 and 3 is not verified), then θ ( k, l ) is not defined.

Dans une variante, l'estimateur P_New est moyenne sur des paquets de bandes de fréquences K ₁,K ₂...,K_p : $$P_{\mathit{New}}\left({\theta }_i,K_j,l\right)=\frac{1}{N\left(N-1\right)}\frac{1}{C_j}{\displaystyle \sum _{n\ne m}}\left[{\displaystyle \sum _{k\in K_j}}{P}_{{\mathit{New}}_{n,m}}\left({\theta }_i,k,l\right)\right]$$

In a variant, the estimator P _New is average over packets of frequency bands K ₁ , K ₂ ..., K _p : $$P_{\mathit{New}}\left({\theta }_i,K_j,l\right)=\frac{1}{\mathrm{NOT}\left(\mathrm{NOT}-1\right)}\frac{1}{{\mathrm{VS}}_j}{\displaystyle \underset{\mathrm{not}\ne m}{\Sigma }}\left[{\displaystyle \underset{k\in K_j}{\Sigma }}{P}_{{\mathit{New}}_{\mathrm{not},m}}\left({\theta }_i,k,l\right)\right]$$

C_j désignant le cardinal de K_j . C _j designating the cardinal of K _j .

Dans ce cas, l'estimation d'angle θ_max n'est pas faite sur chaque bande de fréquences, mais sur chaque paquet K_j de bandes de fréquences.In this case, the estimate of angle θ _max is not made on each frequency band, but on each packet K _j of frequency bands.

On notera aussi qu'une approche "pleine bande" est possible (p = 1, un seul angle étant estimé par trame).Note also that a "full band" approach is possible ( p = 1, a single angle being estimated per frame).

On notera enfin que la méthode proposée est compatible avec l'utilisation de micros unidirectionnels. Dans ce cas il sera courant d'utiliser un réseau linéaire (micros alignés et dont les directions privilégiées sont identiques) et orienté vers le locuteur. Dans ce cas la valeur de θ _s est donc naturellement connue et égale à zéro.Finally, note that the proposed method is compatible with the use of unidirectional microphones. In this case it will be common to use a linear network (aligned microphones and whose preferred directions are identical) and oriented towards the speaker. In this case the value of θ _s is therefore naturally known and equal to zero.

Calcul d'une probabilité de présence de parole sur critère spatial (bloc 20)Calculation of a probability of presence of speech on spatial criterion (block 20)

L'étape suivante, caractéristique du procédé de l'invention, consiste à calculer une probabilité de présence de parole basée sur l'estimation de direction d'arrivée θ́(k,l) obtenue de la manière indiquée ci-dessus.The following step, which is characteristic of the method of the invention, consists in calculating a probability of presence of speech based on the arrival direction estimation θ ( k, l ) obtained in the manner indicated above.

Il s'agit d'une probabilité, notée p_spa (k,l), qui a donc pour originalité d'être calculée sur un critère spatial (à partir de θ́(k,l)), et qui permettra de distinguer parmi les signaux non-stationnaires la parole utile des bruits parasites. Cette probabilité sera ensuite utilisée dans une structure classique de débruitage (bloc 22, décrit ci-après).It is a probability, denoted p _spa ( k, l ) , which has the originality of being calculated on a spatial criterion (from θ ( k, l )) , which will make it possible to distinguish between non-stationary signals the useful word of the parasitic noises. This probability will then be used in a conventional denoising structure (block 22, described below).

La probabilité p_spa (k,l) peut être calculée de différentes manières, donnant une valeur binaire ou bien des valeurs multiples. On donnera ci-dessous deux exemples de calcul p_spa (k,l), sachant que d'autres lois peuvent être utilisées pour exprimer p_spa (k,l) à partir de θ́(k,l). The probability p _spa ( k, l ) can be calculated in different ways, giving a binary value or multiple values. Two examples of calculation p _spa ( k, l ) are given below , given that other laws can be used to express p _spa ( k, l ) from θ ( k, l ) .

1 °) Calcul d'une probabilité P_spa (k,l) binaire : 1 °) Calculation of a probability P _spa ( k, l ) binary:

La probabilité de présence de parole prendra les valeurs '0' ou '1' :

• elle sera mise à '0' lorsqu'un bruit latéral, c'est-à-dire un transient provenant d'une direction extérieure au cône privilégié, est détecté ;
• elle sera mise à '1' lorsque la direction d'arrivée du transient est à l'intérieur du cône privilégié, ou lorsqu'aucune estimation fiable n'a pu être faite sur cette direction.

The probability of presence of speech will take the values '0' or '1':

• it will be set to '0' when a lateral noise, that is to say a transient coming from a direction outside the privileged cone, is detected;
• it will be set to '1' when the direction of arrival of the transient is inside the privileged cone, or when no reliable estimate could be made on this direction.

L'algorithme correspondant est le suivant :

• Si θ́(k,l) est à l'intérieur du cône privilégié (|θ́(k,l) - θ _s |≤θ₀ ), alors p_spa (k,l) = 1
• Si θ́(k,l) est à l'extérieur du cône privilégié (|θ́(k,l)-θ _s | > θ₀ ), alors p_spa (k,l) = 0
• Si θ́(k,l) n'est pas défini, alors p_spa (k,l) = 1

The corresponding algorithm is as follows:

• If θ ( k, l ) is inside the privileged cone ( | θ ( k, l ) - θ _s | ≤θ ₀ ), then p _spa ( k, l ) = 1
• If θ ( k, l ) is outside the privileged cone ( | θ ( k, l ) - θ _s |> θ ₀ ), then p _spa ( k, l ) = 0
• If θ ( k, l ) is not defined, then p _spa ( k, l ) = 1

2°) Calcul d'une probabilité p_spa (k,l) à valeurs continues dans [0;1] : 2 °) Calculation of a probability p _spa ( k, l ) with continuous values in [0; 1]:

Il est possible d'utiliser pour p_spa (k,l) un calcul progressif, par exemple selon l'algorithme suivant :

• Si θ́(k,l) est à l'intérieur du cône privilégié |(θ́(k,l) - θ _s |≤ θ₀ ), alors p_spa (k,l) = 1
• Si θ́(k,l) est à l'extérieur du cône privilégié (|θ́(k,1) - θ_s |>θ ₀), alors $p_{\mathit{spa}}\left(k,l\right)=1-\frac{\left|\hat{\theta }\left(k,l\right)-{\theta }_0\right|}{\frac{\pi }{2}-{\theta }_0}$
  
• Si θ́(k,l) n'est pas défini, alors p_spa (k,l) = 1

It is possible to use for p _spa ( k, l ) a progressive calculation, for example according to the following algorithm:

• If θ ( k, l ) is inside the privileged cone | ( θ ( k, l ) - θ _s | ≤ θ ₀ ), then p _spa ( k, l ) = 1
• If θ ( k, l ) is outside the privileged cone ( | θ ( k, 1) - θ _s |> θ ₀ ), then $p_{\mathit{spa}}\left(k,l\right)=1-\frac{\left|\hat{\theta }\left(k,l\right)-{\theta }_0\right|}{\frac{\pi }{2}-{\theta }_0}$
  
• If θ (k, l) is not defined, then p _spa ( k, l ) = 1

Réduction de bruit latéral (bloc 22)Side Noise Reduction (Block 22)

La probabilité p_spa (k,l) de présence de parole calculée au bloc 20, dépendant elle-même de la probabilité p_Transient (k,l) de présence de transients calculée au bloc 16, va être utilisée comme paramètre d'entrée dans une technique classique de débruitage.The probability p _spa ( k, l ) of the presence of speech calculated in block 20, itself dependent on the probability p _Transient ( k, l ) of the presence of transients computed at block 16, will be used as input parameter in a classic technique of denoising.

On sait que la probabilité de présence de parole est un estimateur crucial pour le bon fonctionnement d'un algorithme de débruitage, car elle soustend la bonne estimation du bruit et le calcul d'un gain optimal efficace. On peut avantageusement utiliser une méthode de débruitage de type OM-LSA (Optimally Modified - Log Spectral Amplitude) telle que celle décrite par : I. Cohen, Optimal Speech Enhancement Under Signal Presence Uncertainty Using Log-Spectral Amplitude Estimator, IEEE Signal Processing Letters, Vol. 9, No 4, April 2002 .We know that the probability of presence of speech is a crucial estimator for the good functioning of a denoising algorithm, because it subtends the good estimate of the noise and the calculation of an effective optimal gain. It is advantageous to use an OM-LSA ( Optimally Modified Log Spectral Amplitude ) denoising method such as that described by: I. Cohen, Optimal Speech Enhancement Under Signal Presence Uncertainty Using Log-Spectral Amplitude Estimator, IEEE Signal Processing Letters, Vol. 9, No 4, April 2002 .

Essentiellement, l'application d'un gain nommé "gain LSA" (Log-Spectral Amplitude) permet de minimiser la distance quadratique moyenne entre le logarithme de l'amplitude du signal estimé et le logarithme de l'amplitude du signal de parole originel. Ce second critère se montre supérieur au premier car la distance choisie est en meilleure adéquation avec le comportement de l'oreille humaine et donne donc qualitativement de meilleurs résultats. Dans tous les cas, l'idée essentielle est de diminuer l'énergie des composantes fréquentielles très parasitées en leur appliquant un gain faible, tout en laissant intactes (par l'application d'un gain égal à 1) celles qui le sont peu ou pas du tout.Essentially, the application of a gain called Log-Spectral Amplitude (LSA) is used to minimize the mean squared distance between the logarithm of the amplitude of the estimated signal and the logarithm of the amplitude of the original speech signal. This second criterion is superior to the first because the distance chosen is in better adequacy with the behavior of the human ear and thus gives qualitatively better results. In all cases, the essential idea is to reduce the energy of the highly parasitized frequency components by applying a low gain, while leaving intact (by the application of a gain equal to 1) those that are little or not at all.

L'algorithme "OM-LSA" (Optimally-Modified Log-Spectral Amplitude) améliore le calcul du gain LSA à appliquer en le pondérant par la probabilité conditionnelle de présence de parole.The "OM-LSA" ( Optimally-Modified Log-Spectral Amplitude ) algorithm improves the calculation of the LSA gain to be applied by weighting it by the conditional probability of presence of speech.

Dans cette méthode, la probabilité de présence de parole intervient à deux moments importants, pour l'estimation de l'énergie du bruit et pour le calcul du gain final, et la probabilité p_spa (k,l) sera utilisée à ces deux niveaux.In this method, the probability of presence of speech occurs at two important moments, for the estimation of the noise energy and for the calculation of the final gain, and the probability p _spa ( k, l ) will be used at these two levels. .

Si l'on note λ̂ _Bruit (k,l)l'estimation de la densité spectrale de puissance du bruit, cette estimation est donnée par : $${\hat{\lambda }}_{\mathit{Bruit}}\left(k,l\right)={\alpha }_{\mathit{Bruit}}\left(k,l\right)\mathrm{.}{\hat{\lambda }}_{\mathit{Bruit}}\left(k,l-1\right)+\left[1-{\alpha }_{\mathit{Bruit}}\left(k,l\right)\right]\mathrm{.}{\left|X\left(k,l\right)\right|}^2$$

avec : $${\alpha }_{\mathit{Bruit}}\left(k,l\right)={\alpha }_B+\left(1-{\alpha }_B\right)\mathrm{.}{p}_{\mathit{spa}}\left(k,l\right)$$

If λ _Noise ( k, l ) is the estimate of the spectral power density of the noise, this estimate is given by: $${\hat{\lambda }}_{\mathit{Noise}}\left(k,l\right)={\alpha }_{\mathit{Noise}}\left(k,l\right)\mathrm{.}{\hat{\lambda }}_{\mathit{Noise}}\left(k,l-1\right)+\left[1-{\alpha }_{\mathit{Noise}}\left(k,l\right)\right]\mathrm{.}{\left|X\left(k,l\right)\right|}^2$$

with: $${\alpha }_{\mathit{Noise}}\left(k,l\right)={\alpha }_B+\left(1-{\alpha }_B\right)\mathrm{.}{p}_{\mathit{spa}}\left(k,l\right)$$

On peut noter ici que la probabilité p_spa (k,l) module le facteur d'oubli dans l'estimation du bruit, qui est mise à jour plus rapidement sur le signal bruité X(k,l) lorsque la probabilité de parole est faible, ce mécanisme conditionnant entièrement la qualité de λ̂ _Bruit (k,l). It can be noted here that the probability p _spa ( k, l ) modulates the forgetting factor in the noise estimate, which is updated more rapidly on the noisy signal X ( k, l ) when the probability of speech is weak, this mechanism completely conditioning the quality of λ _Noise ( k, l ) .

Le gain de débruitage G_OM-LSI (k,l) est donné par : $$G_{\mathit{OM}\mathit{-}\mathit{LSA}}\left(k,l\right)={\left\{G_{H1}\left(k,l\right)\right\}}^{p_{\mathit{spa}}\left(k,l\right)}\mathrm{.}{G}_{\min }^{1-p_{\mathit{spa}}\left(k,l\right)}$$

The gain of denoising G _OM-LSI ( k, l ) is given by: $${\mathrm{BOY\; WUT}}_{\mathit{OM}\mathit{-}\mathit{LSA}}\left(k,l\right)={\left\{{\mathrm{BOY\; WUT}}_{H1}\left(k,l\right)\right\}}^{p_{\mathit{spa}}\left(k,l\right)}\mathrm{.}{\mathrm{BOY\; WUT}}_{\min }^{1-p_{\mathit{spa}}\left(k,l\right)}$$

G _H1(k,l) étant un gain de débruitage (dont le calcul dépend de l'estimation du bruit λ̂ _Bruit ) décrit dans l'article précité de Cohen, et G _min étant une constante correspondant au débruitage appliqué lorsque la parole est considérée comme absente. G _{H 1} ( k, l ) being a denoising gain (whose calculation depends on the noise estimate λ _Noise ) described in the aforementioned article by Cohen, and G _min being a constant corresponding to the denoising applied when speech is considered absent.

On note ici que la probabilité p_spa (k,l) joue un grand rôle dans la détermination du gain G_OM-LSA(k,l). Notamment, lorsque cette probabilité est nulle le gain est égal à G _min et une réduction de bruit maximale est appliquée : si par exemple une valeur de 20 dB est choisie pour G _min, les bruits non-stationnaires précédemment détectés sont atténués de 20 dB.We note here that the probability p _spa ( k, l ) plays a large role in the determination of G _OM-LSA gain (k, l). In particular, when this probability is zero, the gain is equal to G _min and a maximum noise reduction is applied: if, for example, a value of 20 dB is chosen for G _min , the non-stationary noises previously detected are attenuated by 20 dB.

Le signal débruité Ŝ(k,l) en sortie du bloc 22 est donné par : $$\hat{S}\left(k,l\right)=G_{\mathit{OM}\mathit{-}\mathit{LSA}}\left(k,l\right)\mathrm{.}X\left(k,l\right)$$

The denoised signal Ŝ ( k, l ) at the output of the block 22 is given by: $$\hat{S}\left(k,l\right)={\mathrm{BOY\; WUT}}_{\mathit{OM}\mathit{-}\mathit{LSA}}\left(k,l\right)\mathrm{.}X\left(k,l\right)$$

On notera que d'ordinaire une telle structure de débruitage produit un résultat peu naturel et agressif sur les bruits non-stationnaires, qui sont confondus avec la parole utile. L'un des intérêts majeurs de la présente invention est d'éliminer efficacement ces bruits non-stationnaires.It will be noted that usually such a denoising structure produces an unnatural and aggressive result on non-stationary noises, which are confused with useful speech. One of the major interests of the present invention is to effectively eliminate these non-stationary noises.

Par ailleurs, il est possible d'utiliser dans les expressions ci-dessus une probabilité de présence de parole hybride p_hybrid (k,l), c'est-à-dire calculée à l'aide de p_spa (k,l) combinée à une autre probabilité de présence de parole p(k,l), par exemple calculée selon la méthode décrite dans le WO 2007/099222 A1 (Parrot SA). Il vient : $$p_{\mathit{hybrid}}\left(k,l\right)=\min \left(p\left(k,l\right),p_{\mathit{spa}}\left(k,l\right)\right)$$

On the other hand, it is possible to use in the above expressions a probability of presence of hybrid p _hybrid speech ( k, l ) , that is to say calculated using p _spa ( k, l ). combined with another probability of presence of speech p ( k, l ) , for example calculated according to the method described in WO 2007/099222 A1 (Parrot SA). He comes : $$p_{\mathit{hybrid}}\left(k,l\right)=\min \left(p\left(k,l\right),p_{\mathit{spa}}\left(k,l\right)\right)$$

Cette probabilité hybride permet de bénéficier du repérage des bruits non-stationnaires associé aux petites valeurs de p_spa (k,l), et de compléter l'estimation de la probabilité p_hybrid (k,l) sur les parties (k,l) où l'estimation de direction d'arrivée θ́(k,l) n'a pas été définie (produisant une probabilité p_spa (k,l) forcée à la valeur 1 par sécurité).This hybrid probability makes it possible to benefit from the identification of non-stationary noise associated with small values of p _spa ( k, l ) , and to complete the estimation of the probability p _hybrid ( k, l ) on parts ( k, l ). where the direction of arrival estimate θ ( k, l ) has not been defined (producing a probability p _spa ( k, l ) forced to the value 1 for safety).

La probabilité hybride p_hybrid (k,l) intègre ainsi à la fois les bruits non-stationnaires détectés par p_spa (k,l) et les autres bruits (par exemple pseudo-stationnaires) détectés par p(k,l). The hybrid p _hybrid probability ( k, l ) thus integrates both the non-stationary noises detected by p _spa ( k, l ) and the other noises (for example pseudo-stationary) detected by p ( k, l ) .

Reconstitution temporelle du signal (bloc 24)Time reconstitution of the signal (block 24)

La dernière étape consiste à appliquer au signal Ŝ(k,l) une transformée de Fourier rapide inverse iFFT pour obtenir dans le domaine temporel le signal de parole débruité ŝ(t). The last step consists in applying to the signal Ŝ ( k, l ) a fast inverse Fourier transform iFFT to obtain in the time domain the denoised speech signal ŝ ( t ) .

Claims (10)

1. Method for eliminating noise from a noise-affected acoustic signal picked up by a plurality of microphones of a multi-microphone audio device operating in a noise-affected environment, notably a "hands-free" telephone device for motor vehicles,
   the noise-affected acoustic signal comprising a wanted speech component from a directional speech source and a noise interference component, this noise component itself including a directional non-stationary lateral noise component,
   the method being characterized in that it comprises, in the frequency domain for a plurality of frequency bands defined for successive signal time frames, the following signal processing steps:

   a) combination (12) of the plurality of signals picked up by the corresponding plurality of microphones into a noise-affected combined signal (X(k,l));

   b) based on the noise-affected combined signal, estimation (14) of a pseudo-stationary noise component (V̂(k,l) contained in this noise-affected combined signal;

   c) based on the pseudo-stationary noise component estimated in the step b) and on the noise-affected combined signal, computation (16) of a probability of the presence of transients (p_Transient (k,l)) in the noise-affected combined signal;

   d) based on the plurality of signals picked up by the corresponding plurality of microphones and on the probability of presence of transients computed in the step c), estimation (18) of a main direction of arrival of the transients (θ́(k,l));

   e) based on the main direction of arrival of the transients estimated in the step d), computation (20) of a probability of presence of speech on a spatial criterion (p_spa(k,l)), suitable for discriminating between wanted speech and lateral noise among the transients;

   f) based on the probability of presence of speech computed in the step e) and on the noise-affected combined signal, selective reduction of the noise (22) by application of a variable gain specific to each frequency band and to each time frame.
2. Method according to Claim 1, in which the processing of the step a) is a prefiltering processing of fixed beamforming type.
3. Method according to Claim 1, in which the processing of the step d) comprises the following successive substeps:

   d1) partitioning of the space into a plurality of angular segments;

   d2) for each segment, evaluation of a direction of arrival estimator based on the plurality of signals picked up by the corresponding plurality of microphones;

   d3) weighting of each estimator by the probability of presence of transients computed in the step c);

   d4) based on the weighted estimator values computed in the step d3), estimation of a main direction of arrival of the transients;

   d5) validation or invalidation of the main direction of arrival of the transients estimated in the step d4).
4. Method according to Claim 3, in which, in the step d5), the estimation is validated only if the value of the weighted estimator corresponding to the estimated direction is above a predetermined threshold.
5. Method according to Claim 3, in which, in the step d5), the estimation is validated only in the absence of local maximum of the weighted estimator in the angular segment of origin of the wanted speech signal.
6. Method according to Claim 3, in which, in the step d5), the estimation is validated only if the value of the estimator is increasing monotonically over a plurality of successive time frames.
7. Method according to Claim 3, also comprising a step for maintaining the estimation of the main direction of arrival for a predetermined minimum time period.
8. Method according to Claim 1, in which the probability of presence of speech computed in the step e) is a binary probability, taking a 1 or 0 value depending on whether the main direction of arrival of the transients estimated in the step d) is situated or not in the angular segment of origin of the wanted speech signal.
9. Method according to Claim 1, in which the probability of presence of speech computed in the step e) is a probability with multiple values, a function of the angular deviation between the main direction of arrival of the transients estimated in the step d) and the direction of origin of the wanted speech signal.
10. Method according to Claim 1, in which the processing of the step f) is a selective noise
    reduction processing based on the application of an optimized modified log-spectral amplitude OM-LSA gain.

Images