EP2080197B1 - Vorrichtung zur geräuschunterdrückung bei einem audiosignal - Google Patents

Vorrichtung zur geräuschunterdrückung bei einem audiosignal Download PDF

Info

Publication number
EP2080197B1
EP2080197B1 EP07800169A EP07800169A EP2080197B1 EP 2080197 B1 EP2080197 B1 EP 2080197B1 EP 07800169 A EP07800169 A EP 07800169A EP 07800169 A EP07800169 A EP 07800169A EP 2080197 B1 EP2080197 B1 EP 2080197B1
Authority
EP
European Patent Office
Prior art keywords
noise
filter
error
signal
kbe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Not-in-force
Application number
EP07800169A
Other languages
English (en)
French (fr)
Other versions
EP2080197A1 (de
Inventor
Erhard Rank
Gernot Kubin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technische Universitaet Graz
Forschungsholding TU Graz GmbH
Original Assignee
Technische Universitaet Graz
Forschungsholding TU Graz GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technische Universitaet Graz, Forschungsholding TU Graz GmbH filed Critical Technische Universitaet Graz
Publication of EP2080197A1 publication Critical patent/EP2080197A1/de
Application granted granted Critical
Publication of EP2080197B1 publication Critical patent/EP2080197B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients

Definitions

  • the invention relates to a device according to the preamble of the main claim.
  • noise suppression in audio signals is becoming increasingly important, such as in the telephony, the automatic speech recognition or, as just one of many other examples, in digital hearing aids.
  • Sounds to be suppressed are primarily non-white noise, nonstationary sounds, and strong impulsive noises.
  • Noise suppression methods for audio signals have become known in a wide variety, and examples include: methods in which quiet audio signals are first raised and later lowered again, such as pre / de-emphasis for broadcasting or Dolby noise suppression processes for sound recordings. Further, spectral subtraction method in which e.g. in pauses in the conversation the noise is estimated and then subtracted from the input signal. The latter methods also include Wiener filters as well as Ephraim-Malah filters with adaptive amplification for signals split into several transformation channels.
  • the known methods are in part not very effective because they emanate from a very simplified model of the noise signal, or they result due to a block-wise processing of the input signal to artifacts, which are noticeable as unpleasant noise, as so-called Musical Tones, in the Signal remain after noise reduction. Many methods also result in a relatively large delay in the output signal.
  • a corresponding device such as in the US 2001/0005822 A1 discloses, consists of a lattice filter, which is supplied with an input signal y (n) having a voice / audio component and a noise component.
  • a coefficient calculation unit KBE is provided, which feeds the forward and reverse error signals, which in the first stage also contain the input signal. The coefficient calculation unit then always updates the filter to minimize the prediction error Filter coefficients.
  • a noise reduction using linear prediction filters is among others in the GB 1 520 148 A or in the US 4, 587, 620 disclosed.
  • the prior art methods always proceed from the input signal without sufficient consideration being given to the particular characteristics of the speech signal on the one hand and the noise on the other hand.
  • the input signal is used to determine the coefficients for the prediction filter (units 212 and 312 and 318, respectively), and then an estimation of the speech signal is made on the basis of these coefficients, an estimate using an additional speech activity estimation unit (VAD, units 232 and 332, respectively) of the noise signal, namely in a unit 234 or 334 thereto, by means of a further second filter (unit 240 or 340) to perform a noise suppression.
  • VAD additional speech activity estimation unit
  • the essential features are that the estimation of the coefficients of the linear prediction filter (unit 214) and of the linear prediction filters (units 314 and 320 in FIG Fig. 3 ) is made only by using the input signal (or the error signal of the first prediction filter e ST (n) (path 316)).
  • Another significant difference from the invention is that a speech activity estimation is performed independently of the linear prediction filter 214 from the linear prediction filters 314 and 320, and that the actual noise suppression filter (units 240 and 340) themselves is not a linear prediction filter.
  • the noise estimation (“Update Noise Model”) takes place only on the basis of the prediction error (cf. US Pat. No. 7,065,468 ), whereas, as described below, in the invention, the noise estimation is performed based on the internal signals of the LP error filter. This difference is also on hand Fig. 2 of the US Pat. No. 7,065,468 seen.
  • An object of the invention is to provide a device for noise cancellation for audio signals, in particular for voice signals, which provides a virtually instantaneous output audio signal, which also carries no annoying artifacts with it.
  • Linear prediction is usually applied to a speech signal x ( n ), for example to reduce the variance of a speech signal for its transmission.
  • M is the order of the LP filter and b i ( n ) is the filter coefficients, which are estimated on the basis of the signal properties and refreshed frame by frame, eg every 10 ms.
  • Algorithms which directly give the coefficients bi (n) for the filter are the so-called “autocorrelation method” or the "covariance method”.
  • f m ( n ) and b m ( n ) denote the forward and backward errors in the stage m at time n and k m ( n ) the reflection coefficients of the filter.
  • Fig. 1 is a lattice filter as just described schematically shown.
  • claim 6 refers to such a filter.
  • q m n 1 2 ⁇ e f m 2 n + b m 2 ⁇ n - 1 ,
  • the expected value operators E in (6) and (7) are calculated using low-pass filtered instantaneous values of f m ( n ) b m ( n -1) and f m 2 n + b m 2 ⁇ n - 1 evaluated, for example by means of single-pole recursive low-pass filter ("lossy integration", lossy integration, see below).
  • y ( n ) x n + ⁇ n .
  • x ( n ) is the speech component
  • ⁇ ( n ) is an additive background noise component.
  • the object of the noise reduction is to provide a good estimate for the speech signal component x ( n ).
  • this estimation relies exclusively on the observation of the noisy signal y ( n ), ie no additional information is used, such as a second signal from a microphone which only picks up the background noise.
  • a reduction of the amount of reflection coefficients can be made by deriving estimators for r m and q m which minimize the mean square estimation error.
  • Fig. 2 The resulting error in the values of the reflection factors is in Fig. 2 shown. More specifically, values of the reflection coefficient k 1 calculated from the noisy signal without correction are illustrated as a function of an a priori signal / noise ratio for different values of the autocorrelation ⁇ xx (1) of the undisturbed signal x ( n ).
  • Equation (14) can be generalized, resulting in a correction of the other reflection coefficients k m .
  • the invention now provides a method and apparatus for obtaining a correction of the reflection factors based on simple assumptions about the change in the correlation and the power of the speech and noise signals over time.
  • the resulting lattice prediction filter becomes good at the speech signal component predict, whereas the noise component is suppressed.
  • the order M of the LP filter can be chosen to be surprisingly low, even lower than the order commonly used to model the spectral envelope of speech signals.
  • This example contains a repeated occurrence of strong, non-stationary noise bursts, which are well eliminated by the invention.
  • the noise shown comes from a factory hall environment, that is a very unfavorable acoustic environment.
  • the LP error filter may be formed as a filter in direct filter form (DFF), which generates from the input signal a prediction signal at its output, wherein a subtractor subtracts the prediction signal from the input signal and thus the output signal of the LP error filter e ( n ) generated.
  • DFF direct filter form
  • An important feature of the noise suppression according to the invention consists in the evaluation of the expectation operators adapted to the characteristics of the speech and the noise signal and thus the optimal adjustment of the filter coefficients for the linear prediction filter, as well as in the voice activity estimation and their use in the estimation of the noise signal, and for control the effectiveness of the noise cancellation and the amplitude of the output signal.
  • a significant advantage of the invention is that it allows a noise reduction without delay of the speech signal, which is a particular advantage, especially when used in hearing aids.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Filters That Use Time-Delay Elements (AREA)
  • Noise Elimination (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)

Description

  • Die Erfindung bezieht sich auf eine Vorrichtung nach dem Oberbegriff des Hauptanspruches.
  • Die Geräuschunterdrückung bei Audiosignalen, insbesondere auch bei Sprachsignalen gewinnt immer mehr an Bedeutung, so in der Telephonie, der automatischen Spracherkennung oder, als nur eines von vielen weiteren Beispielen, bei digitalen Hörgeräten. Geräusche, die es zu unterdrücken gilt, sind in erster Linie nicht-weißes Rauschen, nichtstationäre Geräusche und stark impulsartige Geräusche.
  • Verfahren zur Geräuschunterdrückung für Audiosignale sind in einer großen Vielfalt bekannt geworden, und als Beispiele seien genannt: Verfahren, bei welchen leise Audiosignale zunächst angehoben und später wieder abgesenkt werden, wie Pre/Deemphase für den Rundfunk oder die Dolby-Rauschunterdrückungsverfahren für Tonträgeraufzeichnungen. Weiters Verfahren der spektralen Subtraktion, bei welchen z.B. in Gesprächspausen das Geräusch geschätzt und dann von dem Eingangssignal abgezogen wird. Zu den letztgenannten Verfahren zählen auch Wiener-Filter sowie Ephraim-Malah Filter mit adaptiver Verstärkung für in mehrere Transformationskanäle aufgespaltete Signale. Die bekannten Verfahren sind zum Teil nicht sehr wirkungsvoll, da sie von einem sehr vereinfachten Modell des Geräuschsignals ausgehen, oder sie führen auf Grund einer blockweisen Verarbeitung des Eingangssignals zu Artefakten, die sich als unangenehme Nebengeräusche bemerkbar machen, als so genannte Musical Tones, die im Signal nach der Geräuschreduktion verbleiben. Viele Verfahren führen auch zu einer relativ großen Verzögerung des Ausgangssignals.
  • Der Stand der Technik, von welchem die vorliegende Erfindung ausgeht, sind lineare Prädiktionsfilter (LP-Filter), in direkter oder in Lattice-Form (Kreuzglied-Kettenfilter), bei welchen Eigenschaften des gesamten Eingangssignals zur Einstellung der Filterkoeffizienten herangezogen werden. Eine entsprechende Vorrichtung, wie z.B. in der US 2001/0005822 A1 offenbart, besteht aus einem Lattice-Filter, dem ein Eingangssignal y(n) zugeführt ist, welches eine Sprach/Audiokomponente sowie eine Geräuschkomponente aufweist. Für die Einstellung der Komponenten ist eine Koeffizientenberechnungseinheit KBE vorgesehen, welcher die Vorwärts- und Rückwärtsfehlersignale, diese beinhalten in der ersten Stufe auch das Eingangssignal, zugeführt werden. Die Koeffizientenberechnungeinheit liefert dem Filter sodann immer im Sinne einer Minimierung des Prädiktionsfehlers aktualisierte Filterkoeffizienten. Eine Geräuschreduktion unter Verwendung linearer Prädiktionsfilter ist unter anderem auch in der GB 1 520 148 A oder in der US 4, 587, 620 offenbart. Die Verfahren bzw. Vorrichtungen nach dem Stand der Technik gehen immer von dem Eingangssignal aus, ohne dass die besonderen Eigenschaften des Sprachsignals einerseits und des Geräusches andererseits ausreichend Berücksichtigung finden.
  • Bei der Vorrichtung nach der US 7, 065,468 wird das Eingangssignal dazu herangezogen, die Koeffizienten für das Prädiktionsfilter zu bestimmen (Einheit 212 bzw. 312 und 318) und aufgrund dieser Koeffizienten erfolgt dann eine Schätzung des Sprachsignals wobei - unter Verwendung einer zusätzlichen Sprachaktivitätsschätzungseinheit (VAD, Einheit 232 bzw. 332) eine Schätzung des Geräuschsignals, nämlich in einer Einheit 234 bzw. 334 dazu erfolgt, mittels eines weiteren zweiten Filters (Einheit 240 bzw. 340) eine Geräuschunterdrückung vorzunehmen.
  • Wesentliche Merkmale sind dabei, dass die Schätzung der Koeffizienten des linearen Prädiktionsfilters (Einheit 214) bzw. der linearen Prädiktionsfilter (Einheit 314 und 320 in Fig. 3) nur unter Verwendung des Eingangssignals (bzw. des Fehlersignals des ersten Prädiktionsfilters e ST(n) (Pfad 316)) vorgenommen wird. Ein weiterer wesentlicher Unterschied zur Erfindung liegt darin, dass eine Sprachaktivitätsschätzung unabhängig vom linearen Prädiktionsfilter 214 von den linearen Prädiktionsfiltem 314 und 320 ausgeführt wird, sowie, dass das eigentliche Filter zur Geräuschunterdrückung (Einheit 240 bzw. 340) selbst kein lineares Prädiktionsfilter darstellt. Dabei erfolgt die Geräuschschätzung ("Update Noise Model") nur auf der Basis des Prädiktionsfehlers (vgl. Anspruch 1 der US 7, 065,468 ), wogegen, wie weiter unten beschrieben, bei der Erfindung die Geräuschschätzung anhand der internen Signale des LP-Fehler-Filters durchgeführt wird. Dieser Unterschied ist auch an Hand der Fig. 2 der US 7, 065,468 ersichtlich.
  • Insgesamt zeigt die US 7, 065,468 eine Struktur, die sich bereits von dem Stand der Technik nach der US 2001/0005822 A1 unterscheidet und die noch dazu - verglichen mit der Erfindung - aufwändiger ist. In der US 7, 065,468 wird letztlich ein anderer Weg beschritten, der den Fachmann, dem die US 2001/0005822 A1 bekannt ist und der sich die der Erfindung zugrunde liegende Aufgabe gestellt hat, in eine andere Richtung als jene der Erfindung führen würde.
  • Als Publikationen auf diesem Gebiet seien weiters nachstehend genannt
  • Eine Aufgabe der Erfindung liegt in der Schaffung einer Vorrichtung zur Geräuschunterdrückung für Audiosignale, insbesondere für Sprachsignale, welche ein praktisch unverzögertes Ausgangs-Audiosignal liefert, das auch keine störenden Artefakte mit sich führt.
  • Diese Aufgabe wird mit einer Vorrichtung der eingangs genannten Art gelöst, welche erfindungsgemäß die Merkmale des Kennzeichens des Anspruches 1 aufweist.
  • Zweckmäßige Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen 2 bis 9 gekennzeichnet.
  • Die Erfindung samt weiteren Vorteilen ist im folgenden an Hand beispielsweiser Ausführungsformen näher erläutert, die in der Zeichnung veranschaulicht sind. In dieser zeigen
    • Fig. 1 ein Lattice-Filter nach dem Stand der Technik,
    • Fig. 2 aus dem geräuschbehafteten Signal ohne Korrektur berechnete Werte des Reflexionskoeffizienten in einem Diagramm,
    • Fig. 3 a und b den Frequenzgang von im Rahmen der Erfindung verwendeten Tiefpässen,
    • Fig. 4 den zeitlichen Verlauf sowie das Spektrogramm eines geräuschbehafteten Eingangssignals (oben) und dessen Geräuschbefreiung (unten) nach der Erfindung,
    • Fig. 5 das Blockschaltbild einer prinzipiellen Vorrichtung zur Geräuschbefreiung nach dem Stand der Technik
    • Fig. 6 das Blockschaltbild einer ersten Ausführungsform einer Vorrichtung nach der Erfindung,
    • Fig. 7 das Blockschaltbild einer zweiten Ausführungsform einer Vorrichtung nach der Erfindung und
    • Fig. 8 das Blockschaltbild einer prinzipiellen Vorrichtung zur Geräuschbefreiung nach dem Stand der Technik unter Verwendung eines LP-Fehler-Filters in direkter Filterform (DFF).
  • Lineare Prädiktion wird üblicherweise auf ein Sprachsignal x(n) angewendet, beispielsweise um die Varianz eines Sprachsignals für dessen Übertragung zu reduzieren. Um einen Signalwert vorher zu sagen, werden langsam zeitveränderliche FIR-Filter (finite impulse response filter, Filter mit endlicher Impulsantwort) niedriger Ordnung verwendet x ^ n = i = 1 M b i n x n - i .
    Figure imgb0001
  • Hier bedeuten M die Ordnung des LP-Filters und bi (n) die Filterkoeffizienten, die auf Basis der Signaleigenschaften geschätzt und rahmenweise, z.B. alle 10 ms, aufgefrischt werden. Algorithmen welche die Koeffizienten bi(n) für das Filter direkt ergeben sind das so genannte "Autokorrelationsverfahren" oder das "Kovarianzverfahren". Die zur Modellierung der spektralen Hüllkurve üblicherweise verwendete Filterordnung liegt, abhängig von der Abtastrate, bei M =10...20.
  • Ein dem eben beschriebenen direkten FIR-Filter ebenbürtiges ist das bereits genannte Lattice-Filter, welches einen unmittelbaren Bezug zum menschlichen Stimmtrakt besitzt [1].
  • Charakterisiert ist ein solches Filter durch die Gleichungen f 0 n = b 0 n = x n ,
    Figure imgb0002
    f m n = f m - 1 n + k m n b m - 1 n - 1 ,
    Figure imgb0003
    b m n = f m - 1 n - 1 + k m n f m - 1 n .
    Figure imgb0004

    welche zu jedem Zeitpunkt n für alle Gliederstufen m = 1...M berechnet werden. Dabei bedeuten fm (n) und bm (n) den Vorwärts- bzw. Rückwärts-Fehler in der Stufe m zur Zeit n und km (n) die Reflexionskoeffizienten des Filters. Hier sei angemerkt, dass bei einer verallgemeinerten Darstellung die Reflexionskoeffizienten in (2) und (3) unterschiedlich sind, hier jedoch gleiche Reflexionskoeffizienten für vorwärts und rückwärts verwendet werden. In Fig. 1 ist ein Lattice-Filter wie eben beschrieben schematisch dargestellt. Auf ein solches Filter bezieht sich beispielsweise Patentanspruch 6.
  • Der Vorwärtsfehler in der Stufe M ist das Vorhersage-Fehlersignal des LP-Filters: f M n = e n = x n - x ^ n .
    Figure imgb0005
  • Optimale Reflexionskoeffizienten km zur Minimierung des quadratischen Mittelwertes des Vorhersagefehlers eines unverzerrten Signals ergeben sich als: k m n = - r m - 1 n q m - 1 n .
    Figure imgb0006

    mit den erwarteten Werten für Vorwärts- und Rückwärts- Fehlerkorrelation bzw. Leistung zu: r m n = E f m n b m n - 1 ,
    Figure imgb0007
    q m n = 1 2 E f m 2 n + b m 2 n - 1 .
    Figure imgb0008
  • Üblicherweise werden die Erwartungswertoperatoren E in (6) und (7) unter Verwendung Tiefpass-gefilterter Augenblickswerte von fm (n)bm (n-1) bzw. f m 2 n + b m 2 n - 1
    Figure imgb0009
    ausgewertet, beispielsweise mit Hilfe einpoliger rekursiver Tiefpassfilter ("lossy integration", verlustbehaftete Integration, siehe weiter unten).
  • Somit erfolgt das Adaptieren des Lattice-Filters zur Formung des sich langsam ändernden Eingangs-Sprachsignals durch Berechnung der Gleichungen (6), (7) und (5) für jeden Zeitpunkt n nach dem Filtern - im Gegensatz zur dem rahmenweisen Aktualisieren der Koeffizienten bei der direkten Form des LP-Filters entsprechend Gleichung (1).
  • Was die Geräuschverminderung betrifft, sei angenommen, dass ein beobachtetes Signal y(n) eines additiven linearen Geräuschmodells vorliege: y n = x n + ε n ,
    Figure imgb0010

    wobei x(n) die Sprachkomponente und ε(n) eine additive Hintergrund-Geräuschkomponente sei. Gegenstand der Geräuschreduktion ist es, eine gute Schätzung für die SprachsignalKomponente x(n) zu liefern. Für den vorliegenden einkanaligen Fall beruht diese Schätzung ausschließlich auf der Beobachtung des geräuschbehafteten Signals y(n) d.h. es wird keine zusätzliche Information verwendet, wie beispielsweise ein zweites Signal eines Mikrophons, welches lediglich die Hintergrundgeräusche aufnimmt.
  • Eine Verringerung des Hintergrundgeräusches in Sprachsignalen unter Verwendung linearer Prädiktionsfilterung kann auf der Annahme basieren, dass die Sprachsignalkomponente gut vorhersagbar ist, wogegen die Geräuschkomponente diese Eigenschaft nicht besitzt. Somit kann das vorhergesagte Signal (n) als Schätzung für die Sprachkomponente genommen werden. Während bei den Prädiktionsfiltern in der direkten Form in Gleichung (1) der Ausgang unmittelbar das vorhergesagte Signal ist, wird bei den Lattice-Filtern (n) wirksam als die Differenz zwischen dem Eingangssignal und dem Ausgang des Vorwärts-Prädiktionspfades berechnet x ^ n = y n - e n
    Figure imgb0011

    (n) ist die Schätzung der Sprachkomponente mit e(n) = fM (n). Vergleiche Gleichung (4).
  • Wenn man ein Lattice-LP-Filter für die Geräuschverminderung nach A. Kawamura et al. verwendet, wo ein Filter hoher Ordnung (N = 256) benutzt wird, um die spektrale Feinstruktur der Sprache zu modellieren, kann man beobachten, dass rm (n) eine große Varianz aufgrund der Geräuschsignalkomponente in den höheren Filterstufen aufweist. Es wird vorgeschlagen, die entsprechende Varianz der Reflexionskoeffizienten dadurch zu reduzieren, dass man einen festen (großen) Wert für die Leistungsschätzungen qm (n) = G verwendet. Die Verringerung des Betrags der Reflexionskoeffizienten oder die Verringerung der Radien der Nullstellen der LP-Filterübertragungsfunktion wurde auch für andere Zwecke vorgeschlagen, z.B. für die Modellierung der spektralen Hüllkurve oder für eine genauere Schätzung der Formanten.
  • Eine Verringerung des Betrags der Reflexionskoeffizienten kann durch die Herleitung von Schätzern für rm und qm erfolgen, die den mittleren quadratischen Schätzfehler minimieren. Zur Berechnung der Reflexionskoeffizienten für das Lattice-Filter oder der partiellen Korrelationen, welche gleich -km sind und auf den Schätzungen von einem Geräuschsignal beruhen, sei für das zusätzliche Geräuschsignal weißes Rauschen mit der Varianz σ n 2 angenommen, das auch mit x(n) nicht korreliert sein soll. Dies stellt das am wenigsten informierte Modell (maximale Entropie) dar.
  • Es ist zwar diese Annahme für das Umgebungsgeräusch im Allgemeinen nicht realistisch, doch beweist sie die Notwendigkeit einer Korrektur der Reflexionskoeffizienten.
  • Die Schätzungen für die Korrelation in Gleichung (6) und die Leistung in Gleichung (7) aus der Berechung der Reflexionskoeffizienten in Gleichung (5) beruhen nun auf dem geräuschbehafteten beobachteten Signal y(n), und man kann die Notwendigkeit eines Korrekturterms, zeigen, um die Schätzungen für die Reflexionskoeffizienten m bezogen auf das geräuschfreie Signal x(n) zu gewinnen.
  • Im besonderen erhält man für die Schätzung der Reflexionskoeffizienten k̂ m in der ersten Filterstufe m =1 den folgenden Erwartungswert für r 0: r 0 = E f 0 n b 0 n - 1 = E y n y n - 1 = E x n + ε n x n - 1 + ε n - 1 = E x n x n - 1
    Figure imgb0012
  • Für die Fehlervarianz q 0 in der ersten Filterstufe erhält man q 0 = 1 2 E f 0 2 n + b 0 2 n - 1 = 1 2 E y 2 n + y 2 n - 1 = 1 2 E x n + ε n 2 + x n - 1 + ε n - 1 2 = 1 2 E x 2 n + x 2 n - 1 + σ n 2
    Figure imgb0013
  • Der resultierende Fehler in den Werten der Reflexionsfaktoren ist in Fig. 2 dargestellt. Genauer gesagt sind hier aus dem geräuschbehafteten Signal ohne Korrektur berechnete Werte des Reflexionskoeffizienten k 1 als Funktion eines a priori Signal/Geräusch-Abstandes für unterschiedliche Werte der Autokorrelation ρ xx (1) des ungestörten Signals x(n) veranschaulicht.
  • Was die auf das geräuschfreie Signal x(n) bezogenen Reflexionskoeffizienten betrifft, kann die Korrelationsschätzung aus der geräuschbehafteten Beobachtung unverändert verwendet werden, das heißt 0= r 0 wogegen die berechnete Fehlerleistungsschätzung zu korrigieren ist als q ^ 0 = q 0 - σ n 2
    Figure imgb0014

    und der korrigierte Reflexionskoeffizient berechnet wird als k ^ 1 = - r ^ 0 q ^ 0 = - r 0 q 0 - σ n 2 .
    Figure imgb0015
  • Wenn man einführt: γ = E y 2 σ n 2
    Figure imgb0016
    wobei γ - 1 = E y 2 - σ n 2 σ n 2
    Figure imgb0017
    der a posteriori bestimmte Signalstörabstand ist und beachtet wird dass q 0 = 1 2 E f 0 2 n + b 0 2 n - 1
    Figure imgb0018
    kann man diese Gleichung erneut anschreiben als k ^ 1 = - 1 1 - σ n 2 q 0 r 0 q 0 = 1 1 - 1 γ k 1 .
    Figure imgb0019
  • Das bedeutet eine Skalierung des Reflexionskoeffizienten k 1, der ursprünglich für das gestörte Signal y(n) berechnet wurde unter Verwendung der Gleichungen (5), (6) und (7) mit einem Faktor 1 1 - 1 γ
    Figure imgb0020
  • Eine Schätzung der Geräuschleistung σ n 2 kann erfolgen anhand der Leistung des Ausgangssignals e(n) des LP-Fehler-Filters, σ n 2 = E e 2 n
    Figure imgb0021
    für das Lattice-Filter ist eine möglich Auswertung des Erwartungswerts gegeben durch die Leistungsschätzung in der letzten Stufe des Lattice Filters q M-1(n): σ n 2 = q M - 1 n ,
    Figure imgb0022

    oder, bei Verwendung der Sprachaktivitätsschätzung (siehe unten) anhand der Leistungsschätzung des Gesamteingangssignales bei fehlender Sprachaktivität: σ n 2 = q 0 n , wenn ν 0
    Figure imgb0023
  • Für die höheren Lattice-Stufen m = 2,3, ..... kann die Gleichung (14) verallgemeinert werden, wodurch sich eine Korrektur der übrigen Reflexionskoeffizienten m ergibt.
  • Dessen ungeachtet kann man aus dem obigen schließen, dass eine Verminderung der Größe der Reflexionskoeffizienten, das heißt eine Verringerung des Verhältnisses zwischen Korrelation und Leistungsschätzung für die Vorhersage eines Signals x(n) bei Beobachtung eines Signal y(n), welches zusätzliches Geräusch enthält, zweckmäßig ist. Das Auffinden der Korrekturgrößen setzt eine verlässliche Schätzung der Geräuschleistung σ n 2 voraus. Weiters berücksichtigt das Modell bis jetzt nicht irgendwelche Kenntnisse bezüglich der Eigenschaften der Sprache und des zu erwartenden Geräuschsignals.
  • Die Erfindung schafft nun eine Verfahren bzw. eine Vorrichtung, mit welcher man, basierend auf einfachen Annahmen über die Änderung der Korrelation und der Leistung der Sprach- und Geräuschsignale nach der Zeit eine Korrektur der Reflexionsfaktoren erhält. Wie oben ausgeführt, beruhen die Schätzungen der Fehlerkorrelation (6) und der Fehlervarianz (7) üblicherweise auf einer Tiefpassfilterung der Augenblickswerte. Oft wird auch eine einpolige Tiefpassfilterung (verlustbehaftet Integration) verwendet: r ˜ m n = λ r r ˜ m n - 1 + f m n b m n - 1 ,
    Figure imgb0024
    q ˜ m n = λ q q ˜ m n - 1 + 1 2 f m 2 n + b m 2 n - 1 ,
    Figure imgb0025

    mit den gleichen Polen bzw. Integrationsfaktoren λ r = λ q sowohl für die Korrelations- als auch die Leistungsschätzung.
  • In Einklang mit der Erfindung sind verschiedene Pollagen λ q ≥ λ r erlaubt. Die resultierenden Filterfunktionen H r z = 1 1 - λ r z - 1 , H q z = 1 1 - λ q z - 1 ,
    Figure imgb0026

    für λ r = 0,99608 und λ q = 0,99843 und eine Abtastrate von 16 kHz sind in Fig.3a dargestellt Man kann sehen, dass das Verhältnis von m (n) und m (n) bei geringeren Frequenzen beeinflusst wird, das heißt für langsam sich ändernde Korrelation und Leistung, wogegen für raschere Änderungen (über ≈ 10Hz) das Verhältnis verglichen mit den Schätzungen mit λ r = λ q ungeändert bleibt. Unter der Annahme, dass diese Parameter sich für das Sprachsignal rascher ändern (unter der Annahme beispielsweise einer Phonemrate von 10 pro Sekunde) als für das Geräuschsignal (stationäres oder langsam sich mit der Zeit änderndes Geräusch) wird das sich ergebende Lattice-Prädiktionsfilter die Sprachsignalkomponente gut vorhersagen, wogegen die Geräuschkomponente unterdrückt wird.
  • Was impulsartige Geräusche betrifft, kann man vorsehen, das Verhältnis zwischen Korrelation und Leistungsschätzung auch für hohe Frequenzen zu reduzieren, was beispielsweise durch Verwendung eines zweiten Pols in dem Tiefpassfilter für die Korrelation Hr (z) erfolgen kann. Eine entsprechende Übertragungsfunktion ist in Fig.3b dargestellt.
  • Im Einzelnen zeigen die Figuren 3a und b die Frequenzgänge eines Tiefpassfilters für eine Fehlerkorrelation Hr (z) (ausgezogene Linien) und die Varianz Hq (z) (punktierte Linien) für in Fig. 3a zwei einpolige Tiefpassfilter mit λ r = 0,99608 und λ q = 0,99843 bzw. Figur 3b einen einpoligen Tiefpass für die Leistungsschätzung von (n) mit λ q = 0,99843 und einen zweipoligen Tiefpass für die Korrelationsschätzung (n) mit λ r1 = 0,99608 und λ r2 = 0,9. Je größer der Abstand zwischen den beiden Übertragungsfunktionen umso stärker ist die Geräuschunterdrückung.
  • Um eine gute Reduzierung des Geräusches zu erreichen, kann unter diesen Umständen die Ordnung M des LP-Filters überraschend niedrig gewählt werden, sogar niedriger als die üblicherweise zur Modellierung der spektralen Hüllkurve von Sprachsignalen verwendete Ordnung. Beispielsweise wurde in dem in Fig. 4a gezeigten Beispiel ein Prädiktor mit der Ordnung M = 10 für ein Signal mit einer Abtastrate von 16 kHz verwendet. Dieses Beispiel enthält ein mehrmaliges Auftreten von starken, nicht stationären Geräuschbursts, die dank der Erfindung gut beseitigt werden. Das gezeigte Geräusch stammt aus einer Fabrikhallen-Umgebung, das heißt einer äußerst ungünstigen akustischen Umgebung.
  • Die Wirksamkeit der Geräuschunterdrückung kann gesteuert werden durch die Einstellung unterschiedlicher Werte für λ r (bzw. λ r1 und λ r2) und λ q . Wobei diese in Abhängigkeit von der Signalleistung und der Geräuschleistung gewählt werden: λ r λ q = f σ x 2 σ n 2 , bzw . λ r 1 λ r 2 λ q = g σ x 2 σ n 2 .
    Figure imgb0027
  • Weiters ist es zweckmäßig, die Wirksamkeit der Geräuschunterdrückung anhand einer Schätzung der Sprachaktivität zu steuern. Bei der Verwendung eines LP-Fehler-Filters bietet sich (vgl. auch [5]) die Schätzung der wahrscheinlichen Sprachaktivität als reeller Zahl im Wertebereich von 0 bis 1 anhand der Leistungen des Filtereingangssignals und des Filterausgangssignals an: ν = E y 2 n - E e 2 n E e 2 n
    Figure imgb0028

    für ein Lattice Filter ist eine mögliche Auswertung der Erwartungswerte gegeben durch ν = q 0 n - q M - 1 n q M - 1 n .
    Figure imgb0029
  • Zur Steuerung der Geräuschunterdrückung kann dann ein Faktor k n = 1 - ν ,
    Figure imgb0030

    für das Ausgangssignal des Lattice Filters e(n), und/oder ein Faktor k g = ν ,
    Figure imgb0031

    für das Ausgangssignal verwendet werden.
  • Das LP-Fehler-Filter kann als Filter in direkter Filterform (DFF) ausgebildet sein, welches aus dem Eingangssignal ein Prädiktionssignal an seinem Ausgang erzeugt, wobei ein Subtrahierer das Prädiktionssignal vom Eingangssignal abzieht und somit das Ausgangssignal des LP-Fehler-Filters e(n) erzeugt. Die verzögerten Abtastwerte des Eingangssignals (vgl. Gleichung 1) sowie das Ausgangssignal des Subtrahierers e(n) entsprechen den internen Signalen des LP-Fehler-Filters.
  • Ein wichtiges Merkmal der erfindungsgemäßen Geräuschunterdrückung besteht in der an die Eigenschaften des Sprach- und des Geräuschsignales angepassten Auswertung der Erwartungswertoperatoren und damit der optimalen Einstellung der Filterkoeffizienten für das lineare Prädiktionsfilter, sowie in der Sprachaktivitätsschätzung und deren Verwendung bei der Schätzung des Geräuschsignals, und zur Steuerung der Wirksamkeit der Geräuschunterdrückung und der Amplitude des Ausgangssignales.
  • Wenngleich es klar sein sollte, dass der Rechenaufwand mit der gewählten Filterordnung steigt und daher der Rechenaufwand unter Umständen größer sein kann, als jener bei Verwendung einer schnellen Fouriertransformation, liegt ein wesentlicher Vorteil der Erfindung darin, dass sie eine Geräuschreduktion ohne Verzögerung des Sprachsignals ermöglicht, was ein besonderer Vorteil ist, vor allem beim Einsatz in Hörgeräten.

Claims (6)

  1. Vorrichtung zur Geräuschunterdrückung mit einer linearen Prädiktions-Analysierschaltung mit einem LP-Fehler-Filter (LFF), das aus einem Lattice-Filter besteht und auf Basis eines ersten, von Geräusch überlagerten Sprachsignals y(n) = x(n) + ε(n), wobei x(n) ein nicht von Geräusch überlagertes Sprachsignal und ε(n) das Geräusch darstellen, ein LP-Fehler-Filter Ausgangssignal e(n) erzeugt, einer Koeffizientenberechnungseinheit (KBE), welche die Koeffizienten des LP-Fehler-Filters auf Basis der Vorwärts und Rückwärtstehlersignale fm(n) und bm(n) der Lattice-Filterstufen des LP-Fehler-Filters sowie des Ein- und Ausgangssignals y(n) und e(n) des LP-Fehler-Filters aktualisiert, und einer Subtrahiereinheit, welche das LP-Fehler-Filter-Ausgangssignal e(n) von dem ersten Sprachsignal y(n) in einem Subtrahierer subtrahiert und nach der Subtraktion den Rest als zweites Sprachsignal (n) = y(n)-e(n) ausgibt, in welchem das Geräusch unterdrückt ist, eine Geräuschschätzungseinheit (GSE) vorgesehen ist, welche auf Basis der Signale fm(n), bm(n), y(n) und e(n) des LP-Fehler-Filters ein Geräuschleistungssignal σ n 2 und ein Sprachleistungssignal σ x 2 erzeugen, die der Koeffizientenberechnungseinheit (KBE) zugeführt sind, in welcher die Koeffizienten des LP-Fehler-Filters zu jeden Zeitpunkt n berechnet werden,
    dadurch gekennzeichnet, dass
    die Koeffizientenberechnungseinheit (KBE) weiters dazu eingerichtet ist, die korrigierte Fehlervarianz 0 gemäß q ^ 0 = q 0 - σ n 2
    Figure imgb0032

    und den korrigierten Reflexionskoeffizienten k̂ gemäß k ^ 1 = - r ^ 0 q ^ 0 = - r 0 q 0 - σ n 2
    Figure imgb0033

    zu ermitteln, mit qo als Fehlervarianz und r0 als Reflexionskoeffizient,
    und die Koeffizientenberechnungseinheit (KBE) weiters dazu eingerichtet ist,
    die Fehlerkorrelation gemäß r ˜ m n = λ r r ˜ m n - 1 + f m n b m n - 1
    Figure imgb0034

    und die Fehlervarianz gemäß q ˜ m n = λ q q ˜ m n - 1 + 1 2 f m 2 n + b m 2 n - 1
    Figure imgb0035
    mit λ q > λ,
    zu ermitteln, wobei λ, und λ q Pole der fürr̃ m (n) und q̃ m (n) angegebenen Tiefpassfiltergleichnungen sind. .
  2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass in der Koeffizientenberechnungseinheit (KBE) für die Korrelationsschätzung der Fehlerkorrelation (n) ein zweipoliger Tiefpass vorgesehen ist.
  3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Sprachaktivitätsschätzungseinheit (SAE) vorgesehen ist, welche auf Basis der Signale fm(n), bm(n), y(n) und e(n) ein Sprachaktivitätssignal v erzeugt, das der Koeffizientenberechnungseinheit (KBE) zugeführt ist und von dieser im Sinne einer Optimierung der Geräuschunterdrückung berücksichtigt wird.
  4. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Sprachaktivitätsschätzungseinheit (SAE) zur Bildung eines Geräuschunterdrückungsfaktors (kn ) eingerichtet ist, welcher einem Eingang eines ersten Multiplizierers (MU1) zugeführt ist und dessen anderem Eingang das Ausgangssignal des LP-Fehler-Filters zugeführt ist und der vor der Subtrahiereinheit liegt.
  5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass die Sprachaktivitätsschätzungseinheit (SAE) zur Bildung eines Gesamtsignalfaktors (k8 ) eingerichtet ist, welcher einem Eingang eines zweiten Multiplizierers (MU2) zugeführt ist, dessen anderem Eingang das Ausgangssignal der Subtrahiereinheit zugeführt ist.
  6. Kaskade, bestehend aus zumindest zwei hintereinander geschalteten Vorrichtungen nach einem der Ansprüche 1 bis 5.
EP07800169A 2006-09-15 2007-09-06 Vorrichtung zur geräuschunterdrückung bei einem audiosignal Not-in-force EP2080197B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AT0154706A AT504164B1 (de) 2006-09-15 2006-09-15 Vorrichtung zur gerauschunterdruckung bei einem audiosignal
PCT/AT2007/000424 WO2008031124A1 (de) 2006-09-15 2007-09-06 Vorrichtung zur geräuschunterdrückung bei einem audiosignal

Publications (2)

Publication Number Publication Date
EP2080197A1 EP2080197A1 (de) 2009-07-22
EP2080197B1 true EP2080197B1 (de) 2011-01-12

Family

ID=38626580

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07800169A Not-in-force EP2080197B1 (de) 2006-09-15 2007-09-06 Vorrichtung zur geräuschunterdrückung bei einem audiosignal

Country Status (5)

Country Link
US (1) US20100049507A1 (de)
EP (1) EP2080197B1 (de)
AT (2) AT504164B1 (de)
DE (1) DE502007006264D1 (de)
WO (1) WO2008031124A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2363853A1 (de) * 2010-03-04 2011-09-07 Österreichische Akademie der Wissenschaften Verfahren zur Schätzung des rauschfreien Spektrums eines Signals
US20150081495A1 (en) * 2013-09-19 2015-03-19 Barclays Bank Plc System and Method for Account Succession
US10251002B2 (en) 2016-03-21 2019-04-02 Starkey Laboratories, Inc. Noise characterization and attenuation using linear predictive coding
CN110047529B (zh) * 2019-05-15 2024-02-20 中国人民解放军海军潜艇学院 一种信号自适应放大的多路音频记录设备及方法
CN117350099B (zh) * 2023-09-11 2024-04-16 北京五瑞美阳医疗器械有限责任公司 基于有限元分析的呼吸机降噪结构优化方法
CN117037837B (zh) * 2023-10-09 2023-12-12 广州伏羲智能科技有限公司 基于音轨分离技术的噪声分离方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1520148A (en) 1975-10-09 1978-08-02 Standard Telephones Cables Ltd Adaptive lattice filter
US4587620A (en) 1981-05-09 1986-05-06 Nippon Gakki Seizo Kabushiki Kaisha Noise elimination device
US4720802A (en) * 1983-07-26 1988-01-19 Lear Siegler Noise compensation arrangement
US5913187A (en) * 1997-08-29 1999-06-15 Nortel Networks Corporation Nonlinear filter for noise suppression in linear prediction speech processing devices
JP2001175298A (ja) * 1999-12-13 2001-06-29 Fujitsu Ltd 騒音抑圧装置
US6925435B1 (en) * 2000-11-27 2005-08-02 Mindspeed Technologies, Inc. Method and apparatus for improved noise reduction in a speech encoder
US7065486B1 (en) * 2002-04-11 2006-06-20 Mindspeed Technologies, Inc. Linear prediction based noise suppression
US6892127B2 (en) * 2003-02-28 2005-05-10 General Electric Company Methods and apparatus for assessing gas turbine engine damage
EP1580882B1 (de) * 2004-03-19 2007-01-10 Harman Becker Automotive Systems GmbH System und Verfahren zur Verbesserung eines Audiosignals
US7716046B2 (en) * 2004-10-26 2010-05-11 Qnx Software Systems (Wavemakers), Inc. Advanced periodic signal enhancement
JP5096468B2 (ja) * 2006-08-15 2012-12-12 ドルビー ラボラトリーズ ライセンシング コーポレイション サイド情報なしの時間的ノイズエンベロープの自由な整形

Also Published As

Publication number Publication date
DE502007006264D1 (de) 2011-02-24
AT504164A1 (de) 2008-03-15
EP2080197A1 (de) 2009-07-22
ATE495523T1 (de) 2011-01-15
WO2008031124A1 (de) 2008-03-20
AT504164B1 (de) 2009-04-15
US20100049507A1 (en) 2010-02-25

Similar Documents

Publication Publication Date Title
DE60131639T2 (de) Vorrichtungen und Verfahren zur Bestimmung von Leistungswerten für die Geräuschunterdrückung für ein Sprachkommunikationssystem
DE112009000805B4 (de) Rauschreduktion
DE69606978T2 (de) Verfahren zur rauschunterdrückung mittels spektraler subtraktion
DE69905035T2 (de) Rauschunterdrückung mittels spektraler subtraktion unter verwendung von linearem faltungsprodukt und kausaler filterung
EP0948237B1 (de) Verfahren zur Störbefreiung eines Mikrophonsignals
DE60027438T2 (de) Verbesserung eines verrauschten akustischen signals
DE69428119T2 (de) Verringerung des hintergrundrauschens zur sprachverbesserung
EP2158588B1 (de) Spektralglättungsverfahren von verrauschten signalen
DE2207141C3 (de) Schaltungsanordnung zur Unterdrückung unerwünschter Sprachsignale mittels eines vorhersagenden Filters
EP0668007B1 (de) Mobilfunkgerät mit freisprecheinrichtung
EP2080197B1 (de) Vorrichtung zur geräuschunterdrückung bei einem audiosignal
DE112007003625T5 (de) Echounterdrückungsvorrichtung, echounterdrückungssystem, Echounterdrückungsverfahren und Computerprogramm
AT509570B1 (de) Methode und apparat zur einkanal-sprachverbesserung basierend auf einem latenzzeitreduzierten gehörmodell
DE102014221528B4 (de) Akkurate Vorwärts-SNR-Schätzung basierend auf MMSE-Sprachpräsenzwahrscheinlichkeit
DE102014221810A1 (de) Sprachpräsenzwahrscheinlichkeits-Modifizierer, der Log-MMSE-basierte Rauschunterdrückungsleistung verbessert
EP3065417B1 (de) Verfahren zur unterdrückung eines störgeräusches in einem akustischen system
DE102018117557B4 (de) Adaptives nachfiltern
DE102018117558A1 (de) Adaptives nachfiltern
DE602004006912T2 (de) Verfahren zur Verarbeitung eines akustischen Signals und ein Hörgerät
DE60304147T2 (de) Virtuelle Mikrophonanordnung
EP1453355B1 (de) Signalverarbeitung in einem Hörgerät
DE10137348A1 (de) Verfahren und Schaltungsanordnung zur Geräuschreduktion bei der Sprachübertragung in Kommunikationssystemen
DE102014221765A1 (de) Auf extern bestimmtem SNR basierte Modifizierer für interne MMSE-Berechnungen
DE102019105458A1 (de) Zeitverzögerungsschätzung
DE102018117556A1 (de) Einzelkanal-rauschreduzierung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090408

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20100219

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 502007006264

Country of ref document: DE

Date of ref document: 20110224

Kind code of ref document: P

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502007006264

Country of ref document: DE

Effective date: 20110224

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20110112

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20110112

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110423

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110512

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110512

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110413

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110412

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20110929

Year of fee payment: 5

26N No opposition filed

Effective date: 20111013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502007006264

Country of ref document: DE

Effective date: 20111013

BERE Be: lapsed

Owner name: TECHNISCHE UNIVERSITAT GRAZ

Effective date: 20110930

Owner name: FORSCHUNGSHOLDING TU GRAZ GMBH

Effective date: 20110930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110930

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502007006264

Country of ref document: DE

Representative=s name: PATENTANWAELTE LIPPERT, STACHOW & PARTNER, DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20120531

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20120531 AND 20120606

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110930

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502007006264

Country of ref document: DE

Representative=s name: PATENTANWAELTE LIPPERT, STACHOW & PARTNER, DE

Effective date: 20120604

Ref country code: DE

Ref legal event code: R081

Ref document number: 502007006264

Country of ref document: DE

Owner name: TECHNISCHE UNIVERSITAET GRAZ, AT

Free format text: FORMER OWNER: TECHNISCHE UNIVERSITAET GRAZ, FORSCHUNGSHOLDING TU GRAZ GMBH, , AT

Effective date: 20120604

Ref country code: DE

Ref legal event code: R081

Ref document number: 502007006264

Country of ref document: DE

Owner name: TECHNISCHE UNIVERSITAET GRAZ, AT

Free format text: FORMER OWNERS: TECHNISCHE UNIVERSITAET GRAZ, GRAZ, AT; FORSCHUNGSHOLDING TU GRAZ GMBH, GRAZ, AT

Effective date: 20120604

Ref country code: DE

Ref legal event code: R082

Ref document number: 502007006264

Country of ref document: DE

Representative=s name: LIPPERT STACHOW PATENTANWAELTE RECHTSANWAELTE , DE

Effective date: 20120604

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110930

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20120906

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110906

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502007006264

Country of ref document: DE

Effective date: 20130403

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120906

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130403

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110112

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 495523

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120906

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120906