FR3121542A1 - Estimation d’un masque optimisé pour le traitement de données sonores acquises - Google Patents
Estimation d’un masque optimisé pour le traitement de données sonores acquises Download PDFInfo
- Publication number
- FR3121542A1 FR3121542A1 FR2103400A FR2103400A FR3121542A1 FR 3121542 A1 FR3121542 A1 FR 3121542A1 FR 2103400 A FR2103400 A FR 2103400A FR 2103400 A FR2103400 A FR 2103400A FR 3121542 A1 FR3121542 A1 FR 3121542A1
- Authority
- FR
- France
- Prior art keywords
- time
- sound data
- sound
- mask
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 27
- 238000013459 approach Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 238000007476 Maximum Likelihood Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 description 10
- 238000000926 separation method Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 241000238366 Cephalopoda Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Estimation d’un masque optimisé pour le traitement de données sonores acquises La présente description concerne un traitement de données sonores acquises par une pluralité de microphones (MIC), dans lequel : - à partir des signaux acquis par la pluralité de microphones, on détermine une direction d’arrivée d’un son issu d’au moins une source acoustique d’intérêt (S4), - on applique aux données sonores un filtrage spatial fonction de la direction d’arrivée du son (S5), - on estime dans le domaine temps-fréquence des ratios d’une grandeur représentative d’une amplitude de signal, entre les données sonores filtrées d’une part et les données sonores acquises d’autre part (S6), - en fonction des ratios estimés, on élabore un masque de pondération à appliquer dans le domaine temp-fréquence aux données sonores acquises (S7) en vue de construire un signal acoustique représentant le son issu de la source d’intérêt et rehaussé par rapport à du bruit ambiant (S10 ; S9-S10). Figure de l’abrégé : Figure 2
Description
La présente description concerne le traitement de données sonores, notamment en contexte de prise de son lointaine.
La prise de son lointaine ou (“far-field” en anglais) se manifeste par exemple lorsqu’un locuteur est éloigné d’un équipement de prise de son. Elle offre toutefois des avantages se manifestant par un réel confort ergonomique pour l’utilisateur pour interagir “les mains-libres” avec un service en cours d’utilisation: passer un appel téléphonique, émettre des commandes vocales via un équipement de type « smartspeaker » (Google Home®, Amazon Echo®, etc).
En contrepartie, cette prise de son lointaine induit certains artefacts : la réverbération et les bruits environnants apparaissent amplifiés du fait de l’éloignement de l’utilisateur. Ces artefacts dégradent l’intelligibilité de la voix du locuteur, et par suite le fonctionnement des services. Il apparait que la communication est plus difficile, que ce soit avec un humain ou un moteur de reconnaissance vocale.
Aussi, les terminaux mains-libres (comme les smartspeakers ou les « pieuvres » de téléconférence) sont généralement équipés d’une antenne de microphones qui permet de rehausser le signal utile en réduisant ces perturbations. Le rehaussement à base d’antenne exploite les informations spatiales encodées lors de l’enregistrement multicanal et propres à chaque source pour discriminer le signal d’intérêt des autres sources de bruit.
De nombreuses techniques de traitement d’antenne existent telles qu’un filtre de type « Delay and Sum » réalisant un filtrage purement spatial grâce à la seule connaissance de la direction d’arrivée de la source d’intérêt ou d’autres sources, ou encore un filtre « MVDR » (pour « Minimum Variance Distorsionless Response ») se montrant un peu plus efficace grâce à la connaissance, en plus de la direction d’arrivée de la source d’intérêt, de la distribution spatiale du bruit. D’autres filtres encore plus performants comme les filtres de Wiener Multicanal nécessitent de disposer en outre de la distribution spatiale de la source d’intérêt.
En pratique, la connaissance de ces distributions spatiales découle de celle d’une carte temps-fréquence qui indique les points de cette carte dominés par la parole, et les points dominés par le bruit. L’estimation de cette carte, que l’on appelle aussi masque, est généralement inférée par un réseau de neurones préalablement entraîné.
Ci-après on note : un signal qui contient un mélange constitué et parole et bruit dans le domaine temps-fréquence, où est la parole et le bruit.
Un masque, noté (respectivement ), est défini comme un réel, généralement dans l’intervalle , tel qu’une estimation du signal d’intérêt (respectivement du bruit ) est obtenue par simple multiplication de ce masque avec les observations , soit :
On cherche alors une estimation de masques et , qui puisse mener à la dérivation de filtres de séparation ou de rehaussement qui soient efficaces.
L’utilisation de réseaux de neurones profonds (selon une approche mettant en œuvre une « intelligence artificielle ») a été utilisée pour la séparation de sources. Une description d’une telle réalisation est présentée par exemple dans le document [@umbachChallenge] dont les références sont données en annexe ci-après. Des architectures telles que les plus simples de type dit "Feed Forward" (FF) ont été investiguées et ont montré leur efficacité comparées aux méthodes de traitement du signal, généralement basées sur des modèles (comme décrit dans la référence [@heymannNNmask]). Des architectures « récurrentes » de type dit « LSTM » (Long-Short Term Memory, comme décrit dans [@laurelineLSTM]) ou Bi-LSTM (comme décrit dans [@heymannNNmask]), qui permettent de mieux exploiter les dépendances temporelles des signaux, montrent de meilleures performances, en contrepartie d’un coût de calcul très élevé. Pour réduire ce coût computationnel, que ce soit pour l’entraînement ou l’inférence, des architectures convolutionnelles dites « CNN » (Convolutional Neural Network) ont été proposées avec succès ([@amelieUnet], [@janssonUnetSinger]), améliorant les performances et réduisant le coût de calcul, avec en sus la possibilité de paralléliser les calculs. Si les approches d’intelligence artificielle pour la séparation exploitent généralement des caractéristiques dans le domaine temps-fréquence, des architectures purement temporelles ont aussi été employées avec succès ([@stollerWaveUnet]).
Toutes ces approches de rehaussement et de séparation par intelligence artificielle montrent une réelle valeur ajoutée pour les tâches où le bruit pose problème : transcriptions, reconnaissance, détection. Cependant, ces architectures ont en commun un coût élevé en termes de mémoire et de puissance de calcul. Les modèles de réseau de neurones profonds sont composées de dizaines de couches et des centaines de milliers, voire des millions, de paramètres. Par ailleurs, leur apprentissage nécessite de grandes bases des données exhaustives, annotées et enregistrées en conditions réalistes pour garantir une généralisation à toutes les conditions d’utilisation.
Résumé
La présente description vient améliorer la situation.
Il est proposé un procédé de traitement de données sonores acquises par une pluralité de microphones, dans lequel :
- à partir des signaux acquis par la pluralité de microphones, on détermine une direction d’arrivée d’un son issu d’au moins une source acoustique d’intérêt,
- on applique aux données sonores un filtrage spatial fonction de la direction d’arrivée du son,
- on estime dans le domaine temps-fréquence des ratios d’une grandeur représentative d’une amplitude de signal, entre les données sonores filtrées d’une part et les données sonores acquises d’autre part,
- en fonction des ratios estimés, on élabore un masque de pondération à appliquer dans le domaine temp-fréquence aux données sonores acquises en vue de construire un signal acoustique représentant le son issu de la source d’intérêt et rehaussé par rapport à du bruit ambiant.
- à partir des signaux acquis par la pluralité de microphones, on détermine une direction d’arrivée d’un son issu d’au moins une source acoustique d’intérêt,
- on applique aux données sonores un filtrage spatial fonction de la direction d’arrivée du son,
- on estime dans le domaine temps-fréquence des ratios d’une grandeur représentative d’une amplitude de signal, entre les données sonores filtrées d’une part et les données sonores acquises d’autre part,
- en fonction des ratios estimés, on élabore un masque de pondération à appliquer dans le domaine temp-fréquence aux données sonores acquises en vue de construire un signal acoustique représentant le son issu de la source d’intérêt et rehaussé par rapport à du bruit ambiant.
On entend ici par « grandeur représentative » d’une amplitude de signal, l’amplitude du signal mais aussi son énergie ou encore sa puissance, etc. Ainsi, les ratios précités peuvent être estimés en divisant l’amplitude (ou l’énergie, ou la puissance, etc.) du signal que représentent les données sonores filtrées par l’amplitude (ou l’énergie, ou la puissance, etc.) du signal que représentent les données sonores acquises (donc brutes).
Le masque de pondération ainsi obtenu est alors représentatif, en chaque point temps-fréquence du domaine temps-fréquence, d’un degré de prépondérance de la source acoustique d’intérêt, par rapport à du bruit ambiant.
Le masque de pondération peut être estimé pour construire directement un signal acoustique représentant le son issu de la source d’intérêt, et rehaussé par rapport à du bruit ambiant, ou encore pour calculer de seconds filtres spatiaux qui peuvent être plus efficaces pour réduire plus fortement le bruit que dans le cas précité d’une construction directe.
De manière générale, il est alors possible d’obtenir un masque temps-fréquence sans faire appel aux réseaux de neurones, avec pour seule connaissancea priorila direction d’arrivée de la source utile. Ce masque permet par la suite d’implémenter des filtres de séparation efficaces comme par exemple le filtre MVDR (pour « Minimum Variance Distorsionless Response ») ou ceux issus de la famille des filtres de Wiener Multicanal. L’estimation au fil de l’eau de ce masque permet de dériver des filtres à faible latence. En outre, son estimation reste efficace y compris en conditions adverses où le signal d’intérêt est noyé dans le bruit environnant.
Dans une réalisation, le premier filtrage spatial précité (appliqué aux données acquises avant d’estimer les ratios) peut être de type « Delay and Sum ».
En pratique, on peut appliquer dans ce cas des délais successifs aux signaux captés par les microphones agencés le long d’une antenne par exemple. Comme les distances entre les microphones et donc les déphasages inhérents à ces distances entre ces signaux captés sont connus, on peut procéder ainsi à une mise en phase de tous ces signaux que l’on peut sommer ensuite.
Dans le cas d’une transformation des signaux acquis dans le domaine ambisonique, l’amplitude des signaux représente ces déphasages inhérents aux distances entre microphones. Là encore, il est possible de pondérer ces amplitudes pour mettre en œuvre un traitement que l’on peut qualifier de « Delay and Sum ».
Dans une variante, ce premier filtrage spatial peut être de type MPDR (pour « Minimum Power Distortionless Response »). Il a l’avantage de mieux réduire le bruit environnant, tout en conservant le signal utile intact, et ne nécessite pas d’autre information que la direction d’arrivée. Ce type de procédé est décrit par exemple dans le document [@gannotResume] dont le contenu est détaillé plus loin et dont la référence complète est donnée en annexe.
Ici néanmoins, le filtrage spatial de type MPDR, noté , peut être donné dans une réalisation particulière par :
où représente un vecteur définissant la direction d’arrivée du son (ou « steering vector »), et est une matrice de covariance spatiale estimée en chaque point temps-fréquence par une relation de type :
où :
- est un voisinage du point temps-fréquence ,
- est l’opérateur « cardinal »,
- est un vecteur représentant les données sonores acquises dans le domaine temps-fréquence, et son conjugué hermitien.
-
-
-
Par ailleurs, comme indiqué précédemment, le procédé peut comporter optionnellement une étape ultérieure d’affinage du masque de pondération pour débruiter son estimation.
Pour mener cette étape ultérieure, l’estimation peut être débruitée par lissage en appliquant par exemple des moyennes locales, définies heuristiquement.
Alternativement, cette estimation peut être débruitée par définition d’un modèlea prioride distribution de masque.
La première approche permet de conserver une complexité faible, tandis-que la seconde approche, basée sur un modèle, obtient de meilleures performances, au prix d’une complexité accrue.
Ainsi, dans un premier mode de réalisation, le masque de pondération élaboré peut être en outre affiné par lissage en chaque point temps-fréquence en appliquant un opérateur statistique local, calculé sur un voisinage temps-fréquence du point temps-fréquence considéré. Cet opérateur peut prendre la forme d’une moyenne, d’un filtre Gaussien, d’un filtre médian, ou autre.
Dans un second mode de réalisation, pour mener la deuxième approche précitée, le masque de pondération élaboré peut être en outre affiné par lissage en chaque point temps-fréquence, en appliquant une approche probabiliste comportant :
- considérer le masque de pondération comme une variable aléatoire,
- définir un estimateur probabiliste d’un modèle de la variable aléatoire,
- chercher un optimum de l’estimateur probabiliste pour améliorer le masque de pondération.
- considérer le masque de pondération comme une variable aléatoire,
- définir un estimateur probabiliste d’un modèle de la variable aléatoire,
- chercher un optimum de l’estimateur probabiliste pour améliorer le masque de pondération.
Typiquement, le masque peut être considéré comme une variable aléatoire uniforme dans un intervalle [0,1].
L’estimateur probabiliste du masque peut être par exemple représentatif d’un maximum de vraisemblance, sur une pluralité d’observations d’un couple de variables , représentant respectivement :
- un signal acoustique issu de l’application du masque de pondération aux données sonores acquises, et
- les données sonores acquises ,
lesdites observations étant choisies dans un voisinage du point temps-fréquence considéré.
- un signal acoustique
- les données sonores acquises
lesdites observations étant choisies dans un voisinage
Ces deux modes de réalisation ont ainsi pour vocation d’affiner le masque après son estimation. Comme indiqué précédemment, le masque obtenu (affiné optionnellement) peut être appliqué directement, aux données acquises (brutes, captées par les microphones) ou servir à construire un second filtre spatial à appliquer à ces données acquises.
Ainsi, dans ce deuxième cas, la construction du signal acoustique représentant le son issu de la source d’intérêt et rehaussé par rapport à du bruit ambiant, peut impliquer l’application d’un second filtrage spatial, obtenu à partir du masque de pondération.
Ce second filtrage spatial peut être de type MVDR pour « Minimum Variance Distorsionless Response », et dans ce cas, on estime au moins une matrice de covariance spatiale du bruit ambiant, le filtrage spatial de type MVDR étant donné par , avec :
où :
- est un voisinage d’un point temps-fréquence ,
- est l’opérateur « cardinal »,
- est un vecteur représentant les données sonores acquises dans le domaine temps-fréquence, et son conjugué hermitien, et
- est l’expression du masque de pondération dans le domaine temps-fréquence.
-
-
-
-
Alternativement, le second filtrage spatial peut être de type MWF pour « Multichannel Wiener Filter », et dans ce cas on estime des matrices de covariance spatiale et , respectivement du signal acoustique représentant le son issu de la source d’intérêt, et du bruit ambiant,
le filtrage spatial de type MWF étant donné par :
, où , avec :
où :
- est un voisinage d’un point temps-fréquence ,
- est l’opérateur « cardinal »,
- est un vecteur représentant les données sonores acquises dans le domaine temps-fréquence, et son conjugué hermitien, et
- est l’expression du masque de pondération dans le domaine temps-fréquence.
le filtrage spatial de type MWF étant donné par :
-
-
-
-
La matrice de covariance spatiale ci-dessus représente le « bruit ambiant ». Ce dernier peut en réalité comporter des émissions de sources sonores qui n’ont pas été retenues toutefois comme étant la source sonore d’intérêt. Des traitements séparés peuvent être opérés pour chaque source dont une direction d’arrivée a été détectée (par exemple en dynamique) et, dans le traitement pour une source donnée, les émissions des autres sources sont considérées comme faisant partie du bruit.
On comprend dans cette forme de réalisation comment le filtrage spatial réalisé, de type MWF par exemple, peut être issu du masquage estimé pour des points temps-fréquence les plus avantageux car la source acoustique d’intérêt y est prépondérante. Il convient de noter en outre que deux optimisations conjointes peuvent être menées, l’une pour la covariance du signal acoustique faisant intervenir le masque temps-fréquence recherché et l’autre pour la covariance du bruit ambiant faisant intervenir un masque lié au bruit (en sélectionnant alors des points temps-fréquence en lesquels le bruit seul est prépondérant).
La solution décrite ci-avant permet ainsi, de façon générale, d’estimer dans un domaine temps-fréquence un masque optimal dans les points temps-fréquence où la source d’intérêt est prépondérante, à partir de la seule information de direction d’arrivée de la source d’intérêt, sans apport de réseau de neurones (soit pour appliquer le masque directement aux données acquises, soit pour construire un second filtrage spatial à appliquer aux données acquises).
La présente description propose aussi un programme informatique comportant des instructions pour la mise en œuvre de tout ou partie d’un procédé tel que défini dans les présentes lorsque ce programme est exécuté par un processeur. Selon un autre aspect, il est proposé un support d’enregistrement non transitoire, lisible par un ordinateur, sur lequel est enregistré un tel programme.
La présente description propose aussi un dispositif comportant (comme illustré sur la ) au moins une interface de réception (IN) de données sonores acquises par une pluralité de microphones (MIC) et un circuit de traitement (PROC, MEM) configuré pour :
- à partir des signaux acquis par la pluralité de microphones, déterminer une direction d’arrivée d’un son issu d’au moins une source acoustique d’intérêt,
- appliquer aux données sonores un filtrage spatial fonction de la direction d’arrivée du son,
- estimer dans le domaine temps-fréquence des ratios d’une grandeur représentative d’une amplitude de signal, entre les données sonores filtrées d’une part et les données sonores acquises d’autre part, et
- en fonction des ratios estimés, élaborer un masque de pondération à appliquer dans le domaine temp-fréquence aux données sonores acquises en vue de construire un signal acoustique représentant le son issu de la source d’intérêt et rehaussé par rapport à du bruit ambiant.
- à partir des signaux acquis par la pluralité de microphones, déterminer une direction d’arrivée d’un son issu d’au moins une source acoustique d’intérêt,
- appliquer aux données sonores un filtrage spatial fonction de la direction d’arrivée du son,
- estimer dans le domaine temps-fréquence des ratios d’une grandeur représentative d’une amplitude de signal, entre les données sonores filtrées d’une part et les données sonores acquises d’autre part, et
- en fonction des ratios estimés, élaborer un masque de pondération à appliquer dans le domaine temp-fréquence aux données sonores acquises en vue de construire un signal acoustique représentant le son issu de la source d’intérêt et rehaussé par rapport à du bruit ambiant.
Ainsi, le dispositif peut comporter en outre une interface de sortie (référence OUT de la ) pour délivrer ce signal acoustique. Cette interface OUT peut être reliée à un module de reconnaissance vocale par exemple pour interpréter correctement des commandes d’un utilisateur, malgré du bruit ambiant, le signal acoustique délivré ayant été alors traité selon le procédé présenté plus haut.
D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
Fig. 1
Fig. 2
Fig. 3
En référence encore à la ici, le circuit de traitement du dispositif DIS présenté précédemment peut comporter typiquement une mémoire MEM apte à stocker notamment les instructions du programme informatique précité, ainsi qu’un processeur PROC apte à coopérer avec la mémoire MEM pour exécuter le programme informatique.
Typiquement, l’interface de sortie OUT peut alimenter un module MOD de reconnaissance vocale d’un assistant personnel capable d’identifier dans le signal acoustique précité une commande vocale d’un utilisateur UT qui, comme illustré sur la , peut prononcer une commande vocale captée par une antenne de microphones MIC, et ce notamment en présence de bruit ambiant et/ou de réverbérations sonores REV, générées par les murs et/ou cloisons d’une pièce par exemple dans laquelle se situe l’utilisateur UT. Le traitement des données sonores acquises, au sens de la présente description et qui est détaillé ci-après, permet néanmoins de surmonter de telles difficultés.
Un exemple de procédé global au sens de la présente description est illustré sur la . Le procédé commence par une première étape S1 d'acquisition des données sonores captées par les microphones. Ensuite, il est procédé à une transformée temps-fréquence des signaux acquis à l'étape S3, après une apodisation réalisée à l'étape S2. La direction d'arrivée du son issu de la source d’intérêt (DoA) peut ensuite être estimée à l'étape S4 en donnant en particulier le vecteur as(f) de cette direction d'arrivée (ou « steering vector »). Ensuite, à l'étape S5, il est appliqué un premier filtrage spatial aux données sonores acquises par les microphones, par exemple dans l'espace temps-fréquence, et en fonction de la direction d’arrivée DoA. Le premier filtrage spatial peut être de type Delay and Sum ou MPDR et il est « centré » sur la DoA. Dans le cas où le filtre est de type MPDR, les données acquises exprimées dans le domaine temps-fréquence sont utilisées, en outre de la DoA, pour construire le filtre (flèche illustrée en traits pointillés à cet effet). Ensuite, à l'étape S6, il est estimé des ratios d'amplitude (ou d'énergie ou de puissance) entre les données acquises filtrées et les données acquises brutes (notées x(t,f) dans le domaine temps-fréquence). Cette estimation des ratios dans le domaine temps-fréquence permet de construire une première forme, approximative, du masque de pondération favorisant déjà la DoA à l'étape S7 car les ratios précités sont de niveaux élevés principalement dans la direction d'arrivée DoA. On peut prévoir ensuite une étape ultérieure S8, optionnelle, consistant à lisser ce premier masque pour l'affiner. Ensuite, à l'étape S9 (optionnelle également), il est possible en outre de générer un second filtrage spatial à partir de ce masque affiné. Ce second filtrage peut être appliqué alors ensuite dans le domaine temps-fréquence aux données sonores acquises afin de générer à l’étape S10 un signal acoustique dénué substantiellement de bruit et qui peut alors être interprété proprement par un module de reconnaissance vocale ou autre. On détaille ci-après chacune des étapes de ce procédé.
On note ci-après un signal d’antenne composé de canaux, organisés sous forme d’un vecteur colonne à l’étape S1 :
Ce vecteur est nommé « observation » ou « mélange ».
Les signaux , peuvent être les signaux captés directement par les microphones de l’antenne, ou une combinaison de ces signaux microphoniques comme dans le cas d’une antenne collectant les signaux selon une représentation au format ambiophonique (dit aussi « ambisonique »).
Dans la suite, les différentes quantités (signaux, matrices de covariance, masques, filtres), sont exprimées dans un domaine temps-fréquence, à l’étape S3, comme suit :
où est par exemple la transformée de Fourier à court-terme de taille :
Dans la relation précédente, est une version potentiellement apodisée à l’étape S2 par une fenêtre et complétée avec des 0 de la variable :
avec et où est une fenêtre d’apodisation de type Hann ou autre.
On peut définir plusieurs filtres de rehaussement selon les informations dont on dispose. Ils pourront être alors utilisés pour la déduction du masque dans le domaine temps-fréquence.
Pour une source de position donnée, on note le vecteur colonne qui pointe dans la direction de cette source (la direction d’arrivée du son), vecteur appelé « steering vector ». Dans le cas d’une antenne uniforme linéaire formée de capteurs, où chaque capteur est espacé de son voisin d’une distance , le steering vector d’une onde plane d’incidence par rapport à l’antenne est défini à l’étape S4 dans le domaine fréquentiel par :
Le premier canal correspond ici au dernier capteur rencontré par l’onde sonore. Ce steering vector donne alors la direction d’arrivée du son ou « DOA ».
Dans le cas d’une antenne ambisonique 3D d’ordre 1, typiquement au format SID/N3D, le steering vector peut être donné aussi par la relation :
A partir de la seule connaissance de la direction d’arrivée d’une source sonore (ou DOA), à l’étape S5 on peut définir un filtre de type delay-and-sum (DS) qui pointe dans la direction de cette source, comme suit :
On peut également utiliser un filtre un peu plus complexe, mais également plus performant, comme le filtre MPDR (pour « Minimum Power Distortionless Response »). Ce filtre nécessite, en plus de la direction d’arrivée du son émis par la source, la distribution spatiale du mélange à travers sa matrice de covariance spatiale :
Des détails d’une telle mise en œuvre sont décrits notamment dans la référence [@gannotResume] précisée en annexe.
Enfin, si on dispose des matrices de covariance spatiale et du signal d’intérêt et du bruit , on peut utiliser une famille de filtres beaucoup plus efficaces pour appliquer le second filtrage spatial précité (décrit plus loin en référence à l’étape S9 de la ). On indique simplement ici qu’à titre d’exemple, on peut utiliser comme second filtrage un filtrage spatial de type MWF pour « Multichannel Wiener Filter », donné par l’équation suivante :
et faisant intervenir les matrices de covariance spatiale représentant la distribution spatiale de l’énergie acoustique, émise par une source d’intérêt ou par du bruit ambiant , et se propageant dans l’environnement acoustique. En pratique, les propriétés acoustiques - réflexion, diffraction, diffusion - des matériaux des parois rencontrées par les ondes sonores - murs, plafond, sol, vitrage, etc. - varient fortement en fonction de la bande de fréquences considérée. Par la suite, cette distribution spatiale de l’énergie dépend également de la bande de fréquences. Par ailleurs, dans le cas de sources mobiles, cette covariance spatiale peut varier au cours du temps.
Une façon d’estimer la covariance spatiale du mélange est d’opérer une intégration temps-fréquence locale :
où est un voisinage plus ou moins large autour du point temps-fréquence , et est l’opérateur « cardinal ».
A partir de là, il est déjà possible d’estimer le premier filtrage qui peut être appliqué à l’étape S5.
Pour les matrices et , la situation est différente car elles ne sont pas directement accessibles depuis les observations et doivent être estimées. En pratique, on utilise un masque (respectivement ) qui permet de “sélectionner” les points temps-fréquence où la source utile (respectivement le bruit) est prépondérante, ce qui permet de calculer ensuite sa matrice de covariance par une intégration classique, par pondération avec un masque adéquat de type :
Le masque du bruit peut être dérivé directement du masque utile (i.e. associé à la source d’intérêt) par la formule : . Dans ce cas, la matrice de covariance spatiale de bruit peut se calculer de la même façon que celle du signal utile, et plus particulièrement sous la forme :
L’objectif visé ici est d’estimer ces masques temps-fréquence et .
On considère connue la direction d’arrivée du son (ou « DOA », obtenue à l’étape S4), issu de la source utile à l’instant , notée . Cette DOA peut être estimée par un algorithme de localisation comme le « SRP-phat » ([@diBiaseSRPPhat]), et suivie par un algorithme de suivi ou (« tracking ») comme un filtre de Kalman par exemple. Elle peut être composée d’une seule composante comme dans le cas d’une antenne linéaire, ou des composantes d’azimut et d’élévation dans le cas d’une antenne sphérique de type ambisonique par exemple.
Ainsi, à partir de la seule connaissance de la DOA de la source utile , on cherche à l’étape S7 à estimer ces masques. On dispose d’une version rehaussée du signal utile dans le domaine temps-fréquence. Cette version rehaussée est obtenue par application à l’étape S5 d’un filtre spatial qui pointe dans la direction de la source utile. Ce filtre peut être de type Delay and Sum, ou ci-après de type présenté par :
A partir de ce filtre, on rehausse le signal d’intérêt par application du filtre à l’étape S5 :
Ce signal rehaussé permet de calculer un masque préliminaire à l’étape S7, donné par les ratios de l’étape S6 : ,
où est un canal de référence issu de la captation, et un réel positif. prend typiquement les valeurs entières (par exemple 1 pour l’amplitude ou 2 pour l’énergie). Il convient de noter que lorsque , le masque tend vers le masque binaire indiquant la prépondérance de la source par rapport au bruit.
où
Par exemple, pour une antenne ambisonique, on peut utiliser le premier canal qui est le canal omnidirectionnel. Dans le cas d’une antenne linéaire, ce peut être le signal correspondant à un quelconque capteur.
Dans le cas idéal où le signal est parfaitement rehaussé par le filtre , et , ce masque correspond à l’expression : , ce qui définit un masque au comportement souhaité, à savoir proche de 1 lorsque le signal est prépondérant, et proche de 0 lorsque le bruit est prépondérant. En pratique, du fait de l’effet de l’acoustique et des imperfections de mesure dans la DOA de la source, le signal rehaussé, quoique déjà dans une meilleure condition que les signaux bruts acquis, peut comporter encore du bruit et peut être perfectionné par un traitement de raffinement de l’estimation du masque (étape S8).
On décrit ci-après l’étape S8 de raffinement du masque. Bien que cette étape soit avantageuse, elle n’est en rien essentielle, et peut être menée optionnellement, par exemple si le masque estimé pour le filtrage à l’étape S7 s’avère bruité au-delà d’un seuil choisi.
Pour limiter le bruit du masque, on applique une fonction de lissage , à l’étape S8. L’application de cette fonction de lissage peut revenir à estimer une moyenne locale, en chaque point temps-fréquence, par exemple comme suit:
On peut alternativement choisir une moyenne pondérée par un noyau Gaussien par exemple, ou encore un opérateur de médiane qui est plus robuste aux valeurs aberrantes.
Cette fonction de lissage peut être appliquée, soit aux observations , soit au filtre , comme suit :
Pour améliorer l’estimation, on peut appliquer une première étape de saturation, qui permet de garantir que le masque soit bien dans l’intervalle :
En effet, le procédé précédent mène parfois à une sous-estimation des masques. Il peut être intéressant de “redresser” les estimations précédentes par l’application d’une fonction de saturation du type :
où est un seuil à régler selon le niveau souhaité.
Une autre façon d’estimer le masque à partir des observations brutes consiste, plutôt que d’opérer des opérations de moyennage, à adopter une approche probabiliste, en posant une variable aléatoire définie par :
-
-
-
Ces variables peuvent être considérées comme dépendantes du temps et de la fréquence.
La variable suit une distribution normale, avec une moyenne nulle et une variance qui dépend de , comme suit :
où est l’opérateur variance.
On peut également admettre une distribution pour . Comme il s’agit d’un masque, avec des valeurs comprises entre 0 et 1, on pose que le masque suit une loi uniforme dans l’intervalle :
On peut définir une autre distribution favorisant la parcimonie du masque, comme une loi exponentielle par exemple, dans une variante.
À partir du modèle imposé pour les variables décrites, on peut calculer le masque en utilisant des estimateurs probabilistes. Ici on décrit l’estimateur du masque au sens du maximum de vraisemblance.
On suppose que l’on dispose d’un certain nombre d’observations du couple de variables . On peut sélectionner par exemple un ensemble d’observations en choisissant un pavé temps-fréquence autour du point où l’on estime :
La fonction de vraisemblance du masque s’écrit :
L’estimateur au sens du maximum de vraisemblance est donné directement par l’expression , avec :
Encore une fois, pour éviter les valeurs hors de l’intervalle [0,1], on peut appliquer une opération de saturation du type :
La procédure par approche probabiliste est moins bruitée que celle par moyennage local. Elle présente, au prix d’une complexité plus élevée du fait du calcul nécessaire des statistiques locales, une variance plus faible. Cela permet par exemple de correctement estimer les masques en l’absence de signal utile.
Le procédé peut se poursuivre à l’étape S9 par l’élaboration du second filtrage spatial à partir du masque de pondération donnant en particulier la matrice (ainsi que la matrice propre au bruit ) pour construire un second filtre par exemple de type MWF en estimant les matrices de covariance spatiale et propres à la source d’intérêt et au bruit, respectivement, et données par :
où :
- est un voisinage d’un point temps-fréquence ,
- est l’opérateur « cardinal »,
- est un vecteur représentant les données sonores acquises dans le domaine temps-fréquence, et son conjugué hermitien, et
- est l’expression du masque de pondération dans le domaine temps-fréquence.
-
-
-
-
Le filtrage spatial de type MWF est alors donné par :
, où .
Il convient de noter en variante que si le second filtrage retenu est de type MVDR, alors le second filtrage est donné par avec où et sont définis comme précédemment.
Une fois ce second filtrage spatial appliqué aux données acquises , on peut appliquer une transformée inverse (de l’espace temps-fréquence à l’espace direct) et obtenir à l’étape S10 un signal acoustique représentant le son issu de la source d’intérêt et rehaussé par rapport au bruit ambiant (délivré typiquement par l’interface de sortie OUT du dispositif illustré sur la ).
Les présentes solutions techniques peuvent trouver à s’appliquer notamment dans le rehaussement de la parole par des filtres complexes par exemple de type MWF ([@laurelineLSTM], [@amelieUnet]), ce qui assure une bonne qualité auditive et un taux élevé de reconnaissance automatique de parole, sans besoin de réseau de neurones. L’approche peut être utilisées pour la détection de mots-clés ou "wake-up words" où même la transcription d’un signal de parole.
À toute fin utile, les éléments non-brevets suivants sont cités :
[@amelieUnet] : Amélie Bosca et al. “Dilated U-net based approach for multichannel speechenhancement from First-Order Ambisonics recordings”. In:Computer Speech& Language(2020), pp. 37–51
[@laurelineLSTM] : L. Perotin et al. “Multichannel speech separation with recurrent neuralnetworks from high-order Ambisonics recordings”. In:Proc. of ICASSP.ICASSP 2018 - IEEE International Conference on Acoustics, Speech andSignal Processing. 2018, pp. 36–40.
[@umbachChallenge] : Reinhold Heab-Umbach et al. “Far-Field Automatic Speech Recognition”. arXiv:2009.09395v1.
[@heymannNNmask] : J. Heymann, L. Drude, and R. Haeb-Umbach, “Neural network based spectral mask estimation for acoustic beamforming,” in Proc. of ICASSP, 2016, pp. 196–200.
[@janssonUnetSinger] : A. Jansson, E. Humphrey, N. Montecchio, R. Bittner, A. Kumar, and T. Weyde, “Singing voice separation with deep U-net convolutional networks,” in Proc. of Int. Soc. for Music Inf. Retrieval, 2017, pp. 745–751.
[@stollerWaveUnet] : D. Stoller, S. Ewert, and S. Dixon, “Wave-U-Net: a multi-scale neural network for end-to-end audio source separation,” in Proc. of Int. Soc. for Music Inf. Retrieval, 2018, pp. 334–340.
[@gannotResume] : Sharon Gannot et al. “A Consolidated Perspective on Multimicrophone Speech Enhancement and Source Separation”. In:IEEE/ACM Transac-tions on Audio, Speech, and Language Processing25.4 (Apr. 2017), pp. 692–730.issn: 2329-9304.doi:10.1109/TASLP.2016.2647702.
[@diBiaseSRPPhat] : J. Dibiase, H. Silverman, and M. Brandstein, “Robust localization in reverberant rooms,” in Microphone Arrays: Signal Processing Techniques and Applications. Springer, 2001, pp. 157–180.
Claims (13)
- Procédé de traitement de données sonores acquises par une pluralité de microphones (MIC), dans lequel :
- à partir des signaux acquis par la pluralité de microphones, on détermine une direction d’arrivée d’un son issu d’au moins une source acoustique d’intérêt,
- on applique aux données sonores un filtrage spatial fonction de la direction d’arrivée du son,
- on estime dans le domaine temps-fréquence des ratios d’une grandeur représentative d’une amplitude de signal, entre les données sonores filtrées d’une part et les données sonores acquises d’autre part,
- en fonction des ratios estimés, on élabore un masque de pondération à appliquer dans le domaine temp-fréquence aux données sonores acquises en vue de construire un signal acoustique représentant le son issu de la source d’intérêt et rehaussé par rapport à du bruit ambiant. - Procédé selon l'une des revendications précédentes, dans lequel le filtrage spatial est de type « Delay and Sum ».
- Procédé selon la revendication 1, dans lequel le filtrage spatial est appliqué dans le domaine temps-fréquence et est de type MPDR, pour « Minimum Power Distortionless Response ».
- Procédé selon la revendication 3, dans lequel le filtrage spatial de type MPDR, noté
-
-
- - Procédé selon l’une des revendications précédentes, dans lequel le masque de pondération élaboré est en outre affiné par lissage en chaque point temps-fréquence en appliquant un opérateur statistique local, calculé sur un voisinage temps-fréquence du point temps-fréquence (t,f) considéré.
- Procédé selon l’une des revendications 1 à 4, dans lequel le masque de pondération élaboré est en outre affiné par lissage en chaque point temps-fréquence, et dans lequel on applique une approche probabiliste comportant :
- considérer le masque de pondération comme une variable aléatoire,
- définir un estimateur probabiliste d’un modèle de la variable aléatoire,
- chercher un optimum de l’estimateur probabiliste pour améliorer le masque de pondération. - Procédé selon la revendication 6, dans lequel le masque est considéré comme une variable aléatoire uniforme dans un intervalle [0,1].
- Procédé selon l’une des revendications 6 et 7, dans lequel l’estimateur probabiliste du masque
- un signal acoustique
- les données sonores acquises
lesdites observations étant choisies dans un voisinage du point temps-fréquence - Procédé selon les revendications précédentes, dans lequel la construction du signal acoustique représentant le son issu de la source d’intérêt et rehaussé par rapport à du bruit ambiant, comporte l’application d’un second filtrage spatial, obtenu à partir du masque de pondération élaboré.
- Procédé selon la revendication 9, dans lequel le second filtrage spatial est de type MVDR pour « Minimum Variance Distorsionless Response », et on estime au moins une matrice de covariance spatiale
-
-
-
- - Procédé selon la revendication 9, dans lequel le second filtrage spatial est de type MWF pour « Multichannel Wiener Filter », et on estime des matrices de covariance spatiale
-
-
-
- - Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications précédentes lorsque ce programme est exécuté par un processeur.
- Dispositif comportant au moins une interface de réception (IN) de données sonores acquises par une pluralité de microphones (MIC) et un circuit de traitement (PROC, MEM) configuré pour :
- à partir des signaux acquis par la pluralité de microphones, déterminer une direction d’arrivée d’un son issu d’au moins une source acoustique d’intérêt,
- appliquer aux données sonores un filtrage spatial fonction de la direction d’arrivée du son,
- estimer dans le domaine temps-fréquence des ratios d’une grandeur représentative d’une amplitude de signal, entre les données sonores filtrées d’une part et les données sonores acquises d’autre part, et
- en fonction des ratios estimés, élaborer un masque de pondération à appliquer dans le domaine temp-fréquence aux données sonores acquises en vue de construire un signal acoustique représentant le son issu de la source d’intérêt et rehaussé par rapport à du bruit ambiant.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2103400A FR3121542A1 (fr) | 2021-04-01 | 2021-04-01 | Estimation d’un masque optimisé pour le traitement de données sonores acquises |
| US18/553,378 US20240212701A1 (en) | 2021-04-01 | 2022-03-18 | Estimating an optimized mask for processing acquired sound data |
| EP22714494.6A EP4315328A1 (fr) | 2021-04-01 | 2022-03-18 | Estimation d'un masque optimise pour le traitement de donnees sonores acquises |
| PCT/FR2022/050495 WO2022207994A1 (fr) | 2021-04-01 | 2022-03-18 | Estimation d'un masque optimise pour le traitement de donnees sonores acquises |
| CN202280026623.9A CN117121104A (zh) | 2021-04-01 | 2022-03-18 | 估计用于处理所获取的声音数据的优化掩模 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2103400 | 2021-04-01 | ||
| FR2103400A FR3121542A1 (fr) | 2021-04-01 | 2021-04-01 | Estimation d’un masque optimisé pour le traitement de données sonores acquises |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3121542A1 true FR3121542A1 (fr) | 2022-10-07 |
Family
ID=75850368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2103400A Pending FR3121542A1 (fr) | 2021-04-01 | 2021-04-01 | Estimation d’un masque optimisé pour le traitement de données sonores acquises |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240212701A1 (fr) |
| EP (1) | EP4315328A1 (fr) |
| CN (1) | CN117121104A (fr) |
| FR (1) | FR3121542A1 (fr) |
| WO (1) | WO2022207994A1 (fr) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160086602A1 (en) * | 2014-09-19 | 2016-03-24 | Hyundai Motor Company | Sound signal processing method, and sound signal processing apparatus and vehicle equipped with the apparatus |
| CN110503972A (zh) * | 2019-08-26 | 2019-11-26 | 北京大学深圳研究生院 | 语音增强方法、***、计算机设备及存储介质 |
| US10522167B1 (en) * | 2018-02-13 | 2019-12-31 | Amazon Techonlogies, Inc. | Multichannel noise cancellation using deep neural network masking |
| US20210082450A1 (en) * | 2019-09-17 | 2021-03-18 | Bose Corporation | Enhancement of audio from remote audio sources |
-
2021
- 2021-04-01 FR FR2103400A patent/FR3121542A1/fr active Pending
-
2022
- 2022-03-18 EP EP22714494.6A patent/EP4315328A1/fr active Pending
- 2022-03-18 US US18/553,378 patent/US20240212701A1/en active Pending
- 2022-03-18 WO PCT/FR2022/050495 patent/WO2022207994A1/fr active Application Filing
- 2022-03-18 CN CN202280026623.9A patent/CN117121104A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160086602A1 (en) * | 2014-09-19 | 2016-03-24 | Hyundai Motor Company | Sound signal processing method, and sound signal processing apparatus and vehicle equipped with the apparatus |
| US10522167B1 (en) * | 2018-02-13 | 2019-12-31 | Amazon Techonlogies, Inc. | Multichannel noise cancellation using deep neural network masking |
| CN110503972A (zh) * | 2019-08-26 | 2019-11-26 | 北京大学深圳研究生院 | 语音增强方法、***、计算机设备及存储介质 |
| US20210082450A1 (en) * | 2019-09-17 | 2021-03-18 | Bose Corporation | Enhancement of audio from remote audio sources |
Non-Patent Citations (8)
| Title |
|---|
| A. JANSSONE. HUMPHREYN. MONTECCHIOR. BITTNERA. KUMART. WEYDE: "Singing voice séparation with deep U-net convolutional networks", PROC. OF INT. SOC. FOR MUSIC INF. RETRIEVAL, 2017, pages 745 - 751 |
| AMÉLIE BOSCA ET AL.: "Dilated U-net based approach for multichannel speechenhancement from First-Order Ambisonics recordings", COMPUTER SPEECH& LANGUAGE, 2020, pages 37 - 51 |
| D. STOLLERS. EWERTS. DIXON: "Wave-U-Net: a multi-scale neural network for end-to-end audio source separation", PROC. OF INT. SOC. FOR MUSIC INF. RETRIEVAL, 2018, pages 334 - 340 |
| J. DIBIASEH. SILVERMANM. BRANDSTEIN: "Microphone Arrays: Signal Processing Techniques and Applications", 2001, SPRINGER, article "Robust loca-lization in reverberant rooms", pages: 157 - 180 |
| J. HEYMANNL. DRUDER. HAEB-UMBACH: "Neural network based spectral mask estimation for acoustic beamforming", PROC. OF ICASSP, 2016, pages 196 - 200, XP032900590, DOI: 10.1109/ICASSP.2016.7471664 |
| L. PEROTIN ET AL.: "Multichannel speech séparation with récurrent neuralnetworks from high-order Ambisonics recordings", PROC. OF ICASSP.ICASSP 2018 - IEEE INTERNATIONAL CONFÉRENCE ON ACOUSTICS, SPEECH ANDSIGNAL PROCESSING, 2018, pages 36 - 40 |
| REINHOLD HEAB-UMBACH ET AL.: "Far-Field Automatic Speech Recognition", ARXIV:2009.09395VL |
| SHARON GANNOT ET AL.: "A Consolidated Perspective on Multimi-crophone Speech Enhancement and Source Separation", IEEE/ACM TRANSAC-TIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING, vol. 25.4, April 2017 (2017-04-01), pages 692 - 730, ISSN: 2329-9304 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240212701A1 (en) | 2024-06-27 |
| EP4315328A1 (fr) | 2024-02-07 |
| WO2022207994A1 (fr) | 2022-10-06 |
| CN117121104A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6480644B1 (ja) | マルチチャネル音声認識のための適応的オーディオ強化 | |
| EP1356461B1 (fr) | Procede et dispositif de reduction de bruit | |
| WO2020108614A1 (fr) | Procédé de reconnaissance audio et procédé, appareil et dispositif de positionnement audio cible | |
| EP2680262B1 (fr) | Procédé de débruitage d'un signal acoustique pour un dispositif audio multi-microphone opérant dans un milieu bruité | |
| EP3807669B1 (fr) | Localisation de sources sonores dans un environnement acoustique donné | |
| EP2538409B1 (fr) | Procédé de débruitage pour équipement audio multi-microphones, notamment pour un système de téléphonie "mains libres" | |
| US20160284346A1 (en) | Deep neural net based filter prediction for audio event classification and extraction | |
| EP2772916B1 (fr) | Procédé de débruitage d'un signal audio par un algorithme à gain spectral variable à dureté modulable dynamiquement | |
| JP2015524076A (ja) | 源信号分離のためのシステム及び方法 | |
| CN110660406A (zh) | 近距离交谈场景下双麦克风移动电话的实时语音降噪方法 | |
| Wang et al. | Dereverberation and denoising based on generalized spectral subtraction by multi-channel LMS algorithm using a small-scale microphone array | |
| EP4046390A1 (fr) | Localisation perfectionnee d'une source acoustique | |
| WO2022106765A1 (fr) | Localisation perfectionnée d'une source acoustique | |
| WO2013061232A1 (fr) | Atténuation du bruit d'un signal audio | |
| WO2015011078A1 (fr) | Procédé de suppression de la réverbération tardive d'un signal sonore | |
| FR3121542A1 (fr) | Estimation d’un masque optimisé pour le traitement de données sonores acquises | |
| FR3086451A1 (fr) | Filtrage d'un signal sonore acquis par un systeme de reconnaissance vocale | |
| Gala et al. | Speech enhancement combining spectral subtraction and beamforming techniques for microphone array | |
| FR3085784A1 (fr) | Dispositif de rehaussement de la parole par implementation d'un reseau de neurones dans le domaine temporel | |
| US20230368766A1 (en) | Temporal alignment of signals using attention | |
| FR3143932A1 (fr) | Obtention d’une réponse impulsionnelle d’une salle | |
| Chen et al. | Early Reflections Based Speech Enhancement | |
| Sharma et al. | Development of a speech separation system using frequency domain blind source separation technique | |
| Bai et al. | Deep Learning Applied to Dereverberation and Sound Event Classification in Reverberant Environments | |
| CN116564328A (zh) | 一种用于施工区域的智能音箱语音去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20221007 |
|
| RX | Complete rejection |
Effective date: 20230706 |