EP2080197B1 - Vorrichtung zur geräuschunterdrückung bei einem audiosignal - Google Patents
Vorrichtung zur geräuschunterdrückung bei einem audiosignal Download PDFInfo
- Publication number
- EP2080197B1 EP2080197B1 EP07800169A EP07800169A EP2080197B1 EP 2080197 B1 EP2080197 B1 EP 2080197B1 EP 07800169 A EP07800169 A EP 07800169A EP 07800169 A EP07800169 A EP 07800169A EP 2080197 B1 EP2080197 B1 EP 2080197B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- noise
- filter
- error
- signal
- kbe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Not-in-force
Links
- 230000001629 suppression Effects 0.000 title abstract description 12
- 230000005236 sound signal Effects 0.000 title description 4
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000009467 reduction Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 206010002953 Aphonia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
Definitions
- the invention relates to a device according to the preamble of the main claim.
- noise suppression in audio signals is becoming increasingly important, such as in the telephony, the automatic speech recognition or, as just one of many other examples, in digital hearing aids.
- Sounds to be suppressed are primarily non-white noise, nonstationary sounds, and strong impulsive noises.
- Noise suppression methods for audio signals have become known in a wide variety, and examples include: methods in which quiet audio signals are first raised and later lowered again, such as pre / de-emphasis for broadcasting or Dolby noise suppression processes for sound recordings. Further, spectral subtraction method in which e.g. in pauses in the conversation the noise is estimated and then subtracted from the input signal. The latter methods also include Wiener filters as well as Ephraim-Malah filters with adaptive amplification for signals split into several transformation channels.
- the known methods are in part not very effective because they emanate from a very simplified model of the noise signal, or they result due to a block-wise processing of the input signal to artifacts, which are noticeable as unpleasant noise, as so-called Musical Tones, in the Signal remain after noise reduction. Many methods also result in a relatively large delay in the output signal.
- a corresponding device such as in the US 2001/0005822 A1 discloses, consists of a lattice filter, which is supplied with an input signal y (n) having a voice / audio component and a noise component.
- a coefficient calculation unit KBE is provided, which feeds the forward and reverse error signals, which in the first stage also contain the input signal. The coefficient calculation unit then always updates the filter to minimize the prediction error Filter coefficients.
- a noise reduction using linear prediction filters is among others in the GB 1 520 148 A or in the US 4, 587, 620 disclosed.
- the prior art methods always proceed from the input signal without sufficient consideration being given to the particular characteristics of the speech signal on the one hand and the noise on the other hand.
- the input signal is used to determine the coefficients for the prediction filter (units 212 and 312 and 318, respectively), and then an estimation of the speech signal is made on the basis of these coefficients, an estimate using an additional speech activity estimation unit (VAD, units 232 and 332, respectively) of the noise signal, namely in a unit 234 or 334 thereto, by means of a further second filter (unit 240 or 340) to perform a noise suppression.
- VAD additional speech activity estimation unit
- the essential features are that the estimation of the coefficients of the linear prediction filter (unit 214) and of the linear prediction filters (units 314 and 320 in FIG Fig. 3 ) is made only by using the input signal (or the error signal of the first prediction filter e ST (n) (path 316)).
- Another significant difference from the invention is that a speech activity estimation is performed independently of the linear prediction filter 214 from the linear prediction filters 314 and 320, and that the actual noise suppression filter (units 240 and 340) themselves is not a linear prediction filter.
- the noise estimation (“Update Noise Model”) takes place only on the basis of the prediction error (cf. US Pat. No. 7,065,468 ), whereas, as described below, in the invention, the noise estimation is performed based on the internal signals of the LP error filter. This difference is also on hand Fig. 2 of the US Pat. No. 7,065,468 seen.
- An object of the invention is to provide a device for noise cancellation for audio signals, in particular for voice signals, which provides a virtually instantaneous output audio signal, which also carries no annoying artifacts with it.
- Linear prediction is usually applied to a speech signal x ( n ), for example to reduce the variance of a speech signal for its transmission.
- M is the order of the LP filter and b i ( n ) is the filter coefficients, which are estimated on the basis of the signal properties and refreshed frame by frame, eg every 10 ms.
- Algorithms which directly give the coefficients bi (n) for the filter are the so-called “autocorrelation method” or the "covariance method”.
- f m ( n ) and b m ( n ) denote the forward and backward errors in the stage m at time n and k m ( n ) the reflection coefficients of the filter.
- Fig. 1 is a lattice filter as just described schematically shown.
- claim 6 refers to such a filter.
- q m n 1 2 ⁇ e f m 2 n + b m 2 ⁇ n - 1 ,
- the expected value operators E in (6) and (7) are calculated using low-pass filtered instantaneous values of f m ( n ) b m ( n -1) and f m 2 n + b m 2 ⁇ n - 1 evaluated, for example by means of single-pole recursive low-pass filter ("lossy integration", lossy integration, see below).
- y ( n ) x n + ⁇ n .
- x ( n ) is the speech component
- ⁇ ( n ) is an additive background noise component.
- the object of the noise reduction is to provide a good estimate for the speech signal component x ( n ).
- this estimation relies exclusively on the observation of the noisy signal y ( n ), ie no additional information is used, such as a second signal from a microphone which only picks up the background noise.
- a reduction of the amount of reflection coefficients can be made by deriving estimators for r m and q m which minimize the mean square estimation error.
- Fig. 2 The resulting error in the values of the reflection factors is in Fig. 2 shown. More specifically, values of the reflection coefficient k 1 calculated from the noisy signal without correction are illustrated as a function of an a priori signal / noise ratio for different values of the autocorrelation ⁇ xx (1) of the undisturbed signal x ( n ).
- Equation (14) can be generalized, resulting in a correction of the other reflection coefficients k m .
- the invention now provides a method and apparatus for obtaining a correction of the reflection factors based on simple assumptions about the change in the correlation and the power of the speech and noise signals over time.
- the resulting lattice prediction filter becomes good at the speech signal component predict, whereas the noise component is suppressed.
- the order M of the LP filter can be chosen to be surprisingly low, even lower than the order commonly used to model the spectral envelope of speech signals.
- This example contains a repeated occurrence of strong, non-stationary noise bursts, which are well eliminated by the invention.
- the noise shown comes from a factory hall environment, that is a very unfavorable acoustic environment.
- the LP error filter may be formed as a filter in direct filter form (DFF), which generates from the input signal a prediction signal at its output, wherein a subtractor subtracts the prediction signal from the input signal and thus the output signal of the LP error filter e ( n ) generated.
- DFF direct filter form
- An important feature of the noise suppression according to the invention consists in the evaluation of the expectation operators adapted to the characteristics of the speech and the noise signal and thus the optimal adjustment of the filter coefficients for the linear prediction filter, as well as in the voice activity estimation and their use in the estimation of the noise signal, and for control the effectiveness of the noise cancellation and the amplitude of the output signal.
- a significant advantage of the invention is that it allows a noise reduction without delay of the speech signal, which is a particular advantage, especially when used in hearing aids.
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Filters That Use Time-Delay Elements (AREA)
- Noise Elimination (AREA)
- Circuit For Audible Band Transducer (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
Description
- Die Erfindung bezieht sich auf eine Vorrichtung nach dem Oberbegriff des Hauptanspruches.
- Die Geräuschunterdrückung bei Audiosignalen, insbesondere auch bei Sprachsignalen gewinnt immer mehr an Bedeutung, so in der Telephonie, der automatischen Spracherkennung oder, als nur eines von vielen weiteren Beispielen, bei digitalen Hörgeräten. Geräusche, die es zu unterdrücken gilt, sind in erster Linie nicht-weißes Rauschen, nichtstationäre Geräusche und stark impulsartige Geräusche.
- Verfahren zur Geräuschunterdrückung für Audiosignale sind in einer großen Vielfalt bekannt geworden, und als Beispiele seien genannt: Verfahren, bei welchen leise Audiosignale zunächst angehoben und später wieder abgesenkt werden, wie Pre/Deemphase für den Rundfunk oder die Dolby-Rauschunterdrückungsverfahren für Tonträgeraufzeichnungen. Weiters Verfahren der spektralen Subtraktion, bei welchen z.B. in Gesprächspausen das Geräusch geschätzt und dann von dem Eingangssignal abgezogen wird. Zu den letztgenannten Verfahren zählen auch Wiener-Filter sowie Ephraim-Malah Filter mit adaptiver Verstärkung für in mehrere Transformationskanäle aufgespaltete Signale. Die bekannten Verfahren sind zum Teil nicht sehr wirkungsvoll, da sie von einem sehr vereinfachten Modell des Geräuschsignals ausgehen, oder sie führen auf Grund einer blockweisen Verarbeitung des Eingangssignals zu Artefakten, die sich als unangenehme Nebengeräusche bemerkbar machen, als so genannte Musical Tones, die im Signal nach der Geräuschreduktion verbleiben. Viele Verfahren führen auch zu einer relativ großen Verzögerung des Ausgangssignals.
- Der Stand der Technik, von welchem die vorliegende Erfindung ausgeht, sind lineare Prädiktionsfilter (LP-Filter), in direkter oder in Lattice-Form (Kreuzglied-Kettenfilter), bei welchen Eigenschaften des gesamten Eingangssignals zur Einstellung der Filterkoeffizienten herangezogen werden. Eine entsprechende Vorrichtung, wie z.B. in der
US 2001/0005822 A1 offenbart, besteht aus einem Lattice-Filter, dem ein Eingangssignal y(n) zugeführt ist, welches eine Sprach/Audiokomponente sowie eine Geräuschkomponente aufweist. Für die Einstellung der Komponenten ist eine Koeffizientenberechnungseinheit KBE vorgesehen, welcher die Vorwärts- und Rückwärtsfehlersignale, diese beinhalten in der ersten Stufe auch das Eingangssignal, zugeführt werden. Die Koeffizientenberechnungeinheit liefert dem Filter sodann immer im Sinne einer Minimierung des Prädiktionsfehlers aktualisierte Filterkoeffizienten. Eine Geräuschreduktion unter Verwendung linearer Prädiktionsfilter ist unter anderem auch in derGB 1 520 148 A US 4, 587, 620 offenbart. Die Verfahren bzw. Vorrichtungen nach dem Stand der Technik gehen immer von dem Eingangssignal aus, ohne dass die besonderen Eigenschaften des Sprachsignals einerseits und des Geräusches andererseits ausreichend Berücksichtigung finden. - Bei der Vorrichtung nach der
US 7, 065,468 wird das Eingangssignal dazu herangezogen, die Koeffizienten für das Prädiktionsfilter zu bestimmen (Einheit 212 bzw. 312 und 318) und aufgrund dieser Koeffizienten erfolgt dann eine Schätzung des Sprachsignals wobei - unter Verwendung einer zusätzlichen Sprachaktivitätsschätzungseinheit (VAD, Einheit 232 bzw. 332) eine Schätzung des Geräuschsignals, nämlich in einer Einheit 234 bzw. 334 dazu erfolgt, mittels eines weiteren zweiten Filters (Einheit 240 bzw. 340) eine Geräuschunterdrückung vorzunehmen. - Wesentliche Merkmale sind dabei, dass die Schätzung der Koeffizienten des linearen Prädiktionsfilters (Einheit 214) bzw. der linearen Prädiktionsfilter (Einheit 314 und 320 in
Fig. 3 ) nur unter Verwendung des Eingangssignals (bzw. des Fehlersignals des ersten Prädiktionsfilters e ST(n) (Pfad 316)) vorgenommen wird. Ein weiterer wesentlicher Unterschied zur Erfindung liegt darin, dass eine Sprachaktivitätsschätzung unabhängig vom linearen Prädiktionsfilter 214 von den linearen Prädiktionsfiltem 314 und 320 ausgeführt wird, sowie, dass das eigentliche Filter zur Geräuschunterdrückung (Einheit 240 bzw. 340) selbst kein lineares Prädiktionsfilter darstellt. Dabei erfolgt die Geräuschschätzung ("Update Noise Model") nur auf der Basis des Prädiktionsfehlers (vgl. Anspruch 1 derUS 7, 065,468 ), wogegen, wie weiter unten beschrieben, bei der Erfindung die Geräuschschätzung anhand der internen Signale des LP-Fehler-Filters durchgeführt wird. Dieser Unterschied ist auch an Hand derFig. 2 derUS 7, 065,468 ersichtlich. - Insgesamt zeigt die
US 7, 065,468 eine Struktur, die sich bereits von dem Stand der Technik nach derUS 2001/0005822 A1 unterscheidet und die noch dazu - verglichen mit der Erfindung - aufwändiger ist. In derUS 7, 065,468 wird letztlich ein anderer Weg beschritten, der den Fachmann, dem dieUS 2001/0005822 A1 bekannt ist und der sich die der Erfindung zugrunde liegende Aufgabe gestellt hat, in eine andere Richtung als jene der Erfindung führen würde. - Als Publikationen auf diesem Gebiet seien weiters nachstehend genannt
- [1] J. D. Markel and A. H. Gray, Jr., Linear Prediction of Speech. Berlin, Heidelberg, New York: Springer, 1976.
- [2] J. I. Makhoul and L.K. Cosell, "Adaptive lattice analysis of speech," IEEE Transactions on Acoustics, Speech, and Signal Processing, vol. 29, pp.654-659, June 1981.
- [3] M. L. Honig and D. G. Messerschmitt, Adaptive Filters: Structures, Algorithms, and Applications. Boston-The Hague-London-Lancaster: Kluwer Academic Publishers,1984.
- [4] A. Kawamura, K. Fujü, Y. Itoh, and Y. Fukui, "A noise reduction method based on linear prediction analysis," Electronics and Communications in Japan, Part 3, vol. 86, no. 3, pp. 1-10, 2003.
- [5] M. H. Savoji, "Effective noise reduction of speech signals using adaptive lattice filtering, segmentation and soft decision," in IEE Colloquium on New Directions in Adaptive Signal Processing, pp. 7/1-7/5, Feb. 1993.
- Eine Aufgabe der Erfindung liegt in der Schaffung einer Vorrichtung zur Geräuschunterdrückung für Audiosignale, insbesondere für Sprachsignale, welche ein praktisch unverzögertes Ausgangs-Audiosignal liefert, das auch keine störenden Artefakte mit sich führt.
- Diese Aufgabe wird mit einer Vorrichtung der eingangs genannten Art gelöst, welche erfindungsgemäß die Merkmale des Kennzeichens des Anspruches 1 aufweist.
- Zweckmäßige Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen 2 bis 9 gekennzeichnet.
- Die Erfindung samt weiteren Vorteilen ist im folgenden an Hand beispielsweiser Ausführungsformen näher erläutert, die in der Zeichnung veranschaulicht sind. In dieser zeigen
-
Fig. 1 ein Lattice-Filter nach dem Stand der Technik, -
Fig. 2 aus dem geräuschbehafteten Signal ohne Korrektur berechnete Werte des Reflexionskoeffizienten in einem Diagramm, -
Fig. 3 a und b den Frequenzgang von im Rahmen der Erfindung verwendeten Tiefpässen, -
Fig. 4 den zeitlichen Verlauf sowie das Spektrogramm eines geräuschbehafteten Eingangssignals (oben) und dessen Geräuschbefreiung (unten) nach der Erfindung, -
Fig. 5 das Blockschaltbild einer prinzipiellen Vorrichtung zur Geräuschbefreiung nach dem Stand der Technik -
Fig. 6 das Blockschaltbild einer ersten Ausführungsform einer Vorrichtung nach der Erfindung, -
Fig. 7 das Blockschaltbild einer zweiten Ausführungsform einer Vorrichtung nach der Erfindung und -
Fig. 8 das Blockschaltbild einer prinzipiellen Vorrichtung zur Geräuschbefreiung nach dem Stand der Technik unter Verwendung eines LP-Fehler-Filters in direkter Filterform (DFF). - Lineare Prädiktion wird üblicherweise auf ein Sprachsignal x(n) angewendet, beispielsweise um die Varianz eines Sprachsignals für dessen Übertragung zu reduzieren. Um einen Signalwert vorher zu sagen, werden langsam zeitveränderliche FIR-Filter (finite impulse response filter, Filter mit endlicher Impulsantwort) niedriger Ordnung verwendet
- Hier bedeuten M die Ordnung des LP-Filters und bi (n) die Filterkoeffizienten, die auf Basis der Signaleigenschaften geschätzt und rahmenweise, z.B. alle 10 ms, aufgefrischt werden. Algorithmen welche die Koeffizienten bi(n) für das Filter direkt ergeben sind das so genannte "Autokorrelationsverfahren" oder das "Kovarianzverfahren". Die zur Modellierung der spektralen Hüllkurve üblicherweise verwendete Filterordnung liegt, abhängig von der Abtastrate, bei M =10...20.
- Ein dem eben beschriebenen direkten FIR-Filter ebenbürtiges ist das bereits genannte Lattice-Filter, welches einen unmittelbaren Bezug zum menschlichen Stimmtrakt besitzt [1].
- Charakterisiert ist ein solches Filter durch die Gleichungen
welche zu jedem Zeitpunkt n für alle Gliederstufen m = 1...M berechnet werden. Dabei bedeuten fm (n) und bm (n) den Vorwärts- bzw. Rückwärts-Fehler in der Stufe m zur Zeit n und km (n) die Reflexionskoeffizienten des Filters. Hier sei angemerkt, dass bei einer verallgemeinerten Darstellung die Reflexionskoeffizienten in (2) und (3) unterschiedlich sind, hier jedoch gleiche Reflexionskoeffizienten für vorwärts und rückwärts verwendet werden. InFig. 1 ist ein Lattice-Filter wie eben beschrieben schematisch dargestellt. Auf ein solches Filter bezieht sich beispielsweise Patentanspruch 6. -
-
-
- Somit erfolgt das Adaptieren des Lattice-Filters zur Formung des sich langsam ändernden Eingangs-Sprachsignals durch Berechnung der Gleichungen (6), (7) und (5) für jeden Zeitpunkt n nach dem Filtern - im Gegensatz zur dem rahmenweisen Aktualisieren der Koeffizienten bei der direkten Form des LP-Filters entsprechend Gleichung (1).
- Was die Geräuschverminderung betrifft, sei angenommen, dass ein beobachtetes Signal y(n) eines additiven linearen Geräuschmodells vorliege:
wobei x(n) die Sprachkomponente und ε(n) eine additive Hintergrund-Geräuschkomponente sei. Gegenstand der Geräuschreduktion ist es, eine gute Schätzung für die SprachsignalKomponente x(n) zu liefern. Für den vorliegenden einkanaligen Fall beruht diese Schätzung ausschließlich auf der Beobachtung des geräuschbehafteten Signals y(n) d.h. es wird keine zusätzliche Information verwendet, wie beispielsweise ein zweites Signal eines Mikrophons, welches lediglich die Hintergrundgeräusche aufnimmt. - Eine Verringerung des Hintergrundgeräusches in Sprachsignalen unter Verwendung linearer Prädiktionsfilterung kann auf der Annahme basieren, dass die Sprachsignalkomponente gut vorhersagbar ist, wogegen die Geräuschkomponente diese Eigenschaft nicht besitzt. Somit kann das vorhergesagte Signal x̂(n) als Schätzung für die Sprachkomponente genommen werden. Während bei den Prädiktionsfiltern in der direkten Form in Gleichung (1) der Ausgang unmittelbar das vorhergesagte Signal ist, wird bei den Lattice-Filtern x̂(n) wirksam als die Differenz zwischen dem Eingangssignal und dem Ausgang des Vorwärts-Prädiktionspfades berechnet
x̂(n) ist die Schätzung der Sprachkomponente mit e(n) = fM (n). Vergleiche Gleichung (4). - Wenn man ein Lattice-LP-Filter für die Geräuschverminderung nach A. Kawamura et al. verwendet, wo ein Filter hoher Ordnung (N = 256) benutzt wird, um die spektrale Feinstruktur der Sprache zu modellieren, kann man beobachten, dass rm (n) eine große Varianz aufgrund der Geräuschsignalkomponente in den höheren Filterstufen aufweist. Es wird vorgeschlagen, die entsprechende Varianz der Reflexionskoeffizienten dadurch zu reduzieren, dass man einen festen (großen) Wert für die Leistungsschätzungen qm (n) = G verwendet. Die Verringerung des Betrags der Reflexionskoeffizienten oder die Verringerung der Radien der Nullstellen der LP-Filterübertragungsfunktion wurde auch für andere Zwecke vorgeschlagen, z.B. für die Modellierung der spektralen Hüllkurve oder für eine genauere Schätzung der Formanten.
- Eine Verringerung des Betrags der Reflexionskoeffizienten kann durch die Herleitung von Schätzern für rm und qm erfolgen, die den mittleren quadratischen Schätzfehler minimieren. Zur Berechnung der Reflexionskoeffizienten für das Lattice-Filter oder der partiellen Korrelationen, welche gleich -km sind und auf den Schätzungen von einem Geräuschsignal beruhen, sei für das zusätzliche Geräuschsignal weißes Rauschen mit der Varianz σ n 2 angenommen, das auch mit x(n) nicht korreliert sein soll. Dies stellt das am wenigsten informierte Modell (maximale Entropie) dar.
- Es ist zwar diese Annahme für das Umgebungsgeräusch im Allgemeinen nicht realistisch, doch beweist sie die Notwendigkeit einer Korrektur der Reflexionskoeffizienten.
- Die Schätzungen für die Korrelation in Gleichung (6) und die Leistung in Gleichung (7) aus der Berechung der Reflexionskoeffizienten in Gleichung (5) beruhen nun auf dem geräuschbehafteten beobachteten Signal y(n), und man kann die Notwendigkeit eines Korrekturterms, zeigen, um die Schätzungen für die Reflexionskoeffizienten k̂m bezogen auf das geräuschfreie Signal x(n) zu gewinnen.
-
-
- Der resultierende Fehler in den Werten der Reflexionsfaktoren ist in
Fig. 2 dargestellt. Genauer gesagt sind hier aus dem geräuschbehafteten Signal ohne Korrektur berechnete Werte des Reflexionskoeffizienten k 1 als Funktion eines a priori Signal/Geräusch-Abstandes für unterschiedliche Werte der Autokorrelation ρ xx (1) des ungestörten Signals x(n) veranschaulicht. - Was die auf das geräuschfreie Signal x(n) bezogenen Reflexionskoeffizienten betrifft, kann die Korrelationsschätzung aus der geräuschbehafteten Beobachtung unverändert verwendet werden, das heißt r̂ 0= r 0 wogegen die berechnete Fehlerleistungsschätzung zu korrigieren ist als
und der korrigierte Reflexionskoeffizient berechnet wird als -
-
- Eine Schätzung der Geräuschleistung σ n 2 kann erfolgen anhand der Leistung des Ausgangssignals e(n) des LP-Fehler-Filters,
oder, bei Verwendung der Sprachaktivitätsschätzung (siehe unten) anhand der Leistungsschätzung des Gesamteingangssignales bei fehlender Sprachaktivität: - Für die höheren Lattice-Stufen m = 2,3, ..... kann die Gleichung (14) verallgemeinert werden, wodurch sich eine Korrektur der übrigen Reflexionskoeffizienten k̂m ergibt.
- Dessen ungeachtet kann man aus dem obigen schließen, dass eine Verminderung der Größe der Reflexionskoeffizienten, das heißt eine Verringerung des Verhältnisses zwischen Korrelation und Leistungsschätzung für die Vorhersage eines Signals x(n) bei Beobachtung eines Signal y(n), welches zusätzliches Geräusch enthält, zweckmäßig ist. Das Auffinden der Korrekturgrößen setzt eine verlässliche Schätzung der Geräuschleistung σ n 2 voraus. Weiters berücksichtigt das Modell bis jetzt nicht irgendwelche Kenntnisse bezüglich der Eigenschaften der Sprache und des zu erwartenden Geräuschsignals.
- Die Erfindung schafft nun eine Verfahren bzw. eine Vorrichtung, mit welcher man, basierend auf einfachen Annahmen über die Änderung der Korrelation und der Leistung der Sprach- und Geräuschsignale nach der Zeit eine Korrektur der Reflexionsfaktoren erhält. Wie oben ausgeführt, beruhen die Schätzungen der Fehlerkorrelation (6) und der Fehlervarianz (7) üblicherweise auf einer Tiefpassfilterung der Augenblickswerte. Oft wird auch eine einpolige Tiefpassfilterung (verlustbehaftet Integration) verwendet:
mit den gleichen Polen bzw. Integrationsfaktoren λ r = λ q sowohl für die Korrelations- als auch die Leistungsschätzung. - In Einklang mit der Erfindung sind verschiedene Pollagen λ q ≥ λ r erlaubt. Die resultierenden Filterfunktionen
für λ r = 0,99608 und λ q = 0,99843 und eine Abtastrate von 16 kHz sind inFig.3a dargestellt Man kann sehen, dass das Verhältnis von r̃m (n) und q̃m (n) bei geringeren Frequenzen beeinflusst wird, das heißt für langsam sich ändernde Korrelation und Leistung, wogegen für raschere Änderungen (über ≈ 10Hz) das Verhältnis verglichen mit den Schätzungen mit λ r = λ q ungeändert bleibt. Unter der Annahme, dass diese Parameter sich für das Sprachsignal rascher ändern (unter der Annahme beispielsweise einer Phonemrate von 10 pro Sekunde) als für das Geräuschsignal (stationäres oder langsam sich mit der Zeit änderndes Geräusch) wird das sich ergebende Lattice-Prädiktionsfilter die Sprachsignalkomponente gut vorhersagen, wogegen die Geräuschkomponente unterdrückt wird. - Was impulsartige Geräusche betrifft, kann man vorsehen, das Verhältnis zwischen Korrelation und Leistungsschätzung auch für hohe Frequenzen zu reduzieren, was beispielsweise durch Verwendung eines zweiten Pols in dem Tiefpassfilter für die Korrelation Hr (z) erfolgen kann. Eine entsprechende Übertragungsfunktion ist in
Fig.3b dargestellt. - Im Einzelnen zeigen die
Figuren 3a und b die Frequenzgänge eines Tiefpassfilters für eine Fehlerkorrelation Hr (z) (ausgezogene Linien) und die Varianz Hq (z) (punktierte Linien) für inFig. 3a zwei einpolige Tiefpassfilter mit λ r = 0,99608 und λ q = 0,99843 bzw.Figur 3b einen einpoligen Tiefpass für die Leistungsschätzung von q̃(n) mit λ q = 0,99843 und einen zweipoligen Tiefpass für die Korrelationsschätzung r̃(n) mit λ r1 = 0,99608 und λ r2 = 0,9. Je größer der Abstand zwischen den beiden Übertragungsfunktionen umso stärker ist die Geräuschunterdrückung. - Um eine gute Reduzierung des Geräusches zu erreichen, kann unter diesen Umständen die Ordnung M des LP-Filters überraschend niedrig gewählt werden, sogar niedriger als die üblicherweise zur Modellierung der spektralen Hüllkurve von Sprachsignalen verwendete Ordnung. Beispielsweise wurde in dem in
Fig. 4a gezeigten Beispiel ein Prädiktor mit der Ordnung M = 10 für ein Signal mit einer Abtastrate von 16 kHz verwendet. Dieses Beispiel enthält ein mehrmaliges Auftreten von starken, nicht stationären Geräuschbursts, die dank der Erfindung gut beseitigt werden. Das gezeigte Geräusch stammt aus einer Fabrikhallen-Umgebung, das heißt einer äußerst ungünstigen akustischen Umgebung. -
- Weiters ist es zweckmäßig, die Wirksamkeit der Geräuschunterdrückung anhand einer Schätzung der Sprachaktivität zu steuern. Bei der Verwendung eines LP-Fehler-Filters bietet sich (vgl. auch [5]) die Schätzung der wahrscheinlichen Sprachaktivität als reeller Zahl im Wertebereich von 0 bis 1 anhand der Leistungen des Filtereingangssignals und des Filterausgangssignals an:
für ein Lattice Filter ist eine mögliche Auswertung der Erwartungswerte gegeben durch -
- Das LP-Fehler-Filter kann als Filter in direkter Filterform (DFF) ausgebildet sein, welches aus dem Eingangssignal ein Prädiktionssignal an seinem Ausgang erzeugt, wobei ein Subtrahierer das Prädiktionssignal vom Eingangssignal abzieht und somit das Ausgangssignal des LP-Fehler-Filters e(n) erzeugt. Die verzögerten Abtastwerte des Eingangssignals (vgl. Gleichung 1) sowie das Ausgangssignal des Subtrahierers e(n) entsprechen den internen Signalen des LP-Fehler-Filters.
- Ein wichtiges Merkmal der erfindungsgemäßen Geräuschunterdrückung besteht in der an die Eigenschaften des Sprach- und des Geräuschsignales angepassten Auswertung der Erwartungswertoperatoren und damit der optimalen Einstellung der Filterkoeffizienten für das lineare Prädiktionsfilter, sowie in der Sprachaktivitätsschätzung und deren Verwendung bei der Schätzung des Geräuschsignals, und zur Steuerung der Wirksamkeit der Geräuschunterdrückung und der Amplitude des Ausgangssignales.
- Wenngleich es klar sein sollte, dass der Rechenaufwand mit der gewählten Filterordnung steigt und daher der Rechenaufwand unter Umständen größer sein kann, als jener bei Verwendung einer schnellen Fouriertransformation, liegt ein wesentlicher Vorteil der Erfindung darin, dass sie eine Geräuschreduktion ohne Verzögerung des Sprachsignals ermöglicht, was ein besonderer Vorteil ist, vor allem beim Einsatz in Hörgeräten.
Claims (6)
- Vorrichtung zur Geräuschunterdrückung mit einer linearen Prädiktions-Analysierschaltung mit einem LP-Fehler-Filter (LFF), das aus einem Lattice-Filter besteht und auf Basis eines ersten, von Geräusch überlagerten Sprachsignals y(n) = x(n) + ε(n), wobei x(n) ein nicht von Geräusch überlagertes Sprachsignal und ε(n) das Geräusch darstellen, ein LP-Fehler-Filter Ausgangssignal e(n) erzeugt, einer Koeffizientenberechnungseinheit (KBE), welche die Koeffizienten des LP-Fehler-Filters auf Basis der Vorwärts und Rückwärtstehlersignale fm(n) und bm(n) der Lattice-Filterstufen des LP-Fehler-Filters sowie des Ein- und Ausgangssignals y(n) und e(n) des LP-Fehler-Filters aktualisiert, und einer Subtrahiereinheit, welche das LP-Fehler-Filter-Ausgangssignal e(n) von dem ersten Sprachsignal y(n) in einem Subtrahierer subtrahiert und nach der Subtraktion den Rest als zweites Sprachsignal x̂(n) = y(n)-e(n) ausgibt, in welchem das Geräusch unterdrückt ist, eine Geräuschschätzungseinheit (GSE) vorgesehen ist, welche auf Basis der Signale fm(n), bm(n), y(n) und e(n) des LP-Fehler-Filters ein Geräuschleistungssignal σ n 2 und ein Sprachleistungssignal σ x 2 erzeugen, die der Koeffizientenberechnungseinheit (KBE) zugeführt sind, in welcher die Koeffizienten des LP-Fehler-Filters zu jeden Zeitpunkt n berechnet werden,
dadurch gekennzeichnet, dass
die Koeffizientenberechnungseinheit (KBE) weiters dazu eingerichtet ist, die korrigierte Fehlervarianz q̃ 0 gemäß
und den korrigierten Reflexionskoeffizienten k̂ gemäß
zu ermitteln, mit qo als Fehlervarianz und r0 als Reflexionskoeffizient,
und die Koeffizientenberechnungseinheit (KBE) weiters dazu eingerichtet ist,
die Fehlerkorrelation gemäß
und die Fehlervarianz gemäß
zu ermitteln, wobei λ, und λ q Pole der fürr̃ m (n) und q̃ m (n) angegebenen Tiefpassfiltergleichnungen sind. . - Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass in der Koeffizientenberechnungseinheit (KBE) für die Korrelationsschätzung der Fehlerkorrelation r̃(n) ein zweipoliger Tiefpass vorgesehen ist.
- Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Sprachaktivitätsschätzungseinheit (SAE) vorgesehen ist, welche auf Basis der Signale fm(n), bm(n), y(n) und e(n) ein Sprachaktivitätssignal v erzeugt, das der Koeffizientenberechnungseinheit (KBE) zugeführt ist und von dieser im Sinne einer Optimierung der Geräuschunterdrückung berücksichtigt wird.
- Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Sprachaktivitätsschätzungseinheit (SAE) zur Bildung eines Geräuschunterdrückungsfaktors (kn ) eingerichtet ist, welcher einem Eingang eines ersten Multiplizierers (MU1) zugeführt ist und dessen anderem Eingang das Ausgangssignal des LP-Fehler-Filters zugeführt ist und der vor der Subtrahiereinheit liegt.
- Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass die Sprachaktivitätsschätzungseinheit (SAE) zur Bildung eines Gesamtsignalfaktors (k8 ) eingerichtet ist, welcher einem Eingang eines zweiten Multiplizierers (MU2) zugeführt ist, dessen anderem Eingang das Ausgangssignal der Subtrahiereinheit zugeführt ist.
- Kaskade, bestehend aus zumindest zwei hintereinander geschalteten Vorrichtungen nach einem der Ansprüche 1 bis 5.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AT0154706A AT504164B1 (de) | 2006-09-15 | 2006-09-15 | Vorrichtung zur gerauschunterdruckung bei einem audiosignal |
PCT/AT2007/000424 WO2008031124A1 (de) | 2006-09-15 | 2007-09-06 | Vorrichtung zur geräuschunterdrückung bei einem audiosignal |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2080197A1 EP2080197A1 (de) | 2009-07-22 |
EP2080197B1 true EP2080197B1 (de) | 2011-01-12 |
Family
ID=38626580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP07800169A Not-in-force EP2080197B1 (de) | 2006-09-15 | 2007-09-06 | Vorrichtung zur geräuschunterdrückung bei einem audiosignal |
Country Status (5)
Country | Link |
---|---|
US (1) | US20100049507A1 (de) |
EP (1) | EP2080197B1 (de) |
AT (2) | AT504164B1 (de) |
DE (1) | DE502007006264D1 (de) |
WO (1) | WO2008031124A1 (de) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2363853A1 (de) * | 2010-03-04 | 2011-09-07 | Österreichische Akademie der Wissenschaften | Verfahren zur Schätzung des rauschfreien Spektrums eines Signals |
US20150081495A1 (en) * | 2013-09-19 | 2015-03-19 | Barclays Bank Plc | System and Method for Account Succession |
US10251002B2 (en) | 2016-03-21 | 2019-04-02 | Starkey Laboratories, Inc. | Noise characterization and attenuation using linear predictive coding |
CN110047529B (zh) * | 2019-05-15 | 2024-02-20 | 中国人民解放军海军潜艇学院 | 一种信号自适应放大的多路音频记录设备及方法 |
CN117350099B (zh) * | 2023-09-11 | 2024-04-16 | 北京五瑞美阳医疗器械有限责任公司 | 基于有限元分析的呼吸机降噪结构优化方法 |
CN117037837B (zh) * | 2023-10-09 | 2023-12-12 | 广州伏羲智能科技有限公司 | 基于音轨分离技术的噪声分离方法和装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1520148A (en) | 1975-10-09 | 1978-08-02 | Standard Telephones Cables Ltd | Adaptive lattice filter |
US4587620A (en) | 1981-05-09 | 1986-05-06 | Nippon Gakki Seizo Kabushiki Kaisha | Noise elimination device |
US4720802A (en) * | 1983-07-26 | 1988-01-19 | Lear Siegler | Noise compensation arrangement |
US5913187A (en) * | 1997-08-29 | 1999-06-15 | Nortel Networks Corporation | Nonlinear filter for noise suppression in linear prediction speech processing devices |
JP2001175298A (ja) * | 1999-12-13 | 2001-06-29 | Fujitsu Ltd | 騒音抑圧装置 |
US6925435B1 (en) * | 2000-11-27 | 2005-08-02 | Mindspeed Technologies, Inc. | Method and apparatus for improved noise reduction in a speech encoder |
US7065486B1 (en) * | 2002-04-11 | 2006-06-20 | Mindspeed Technologies, Inc. | Linear prediction based noise suppression |
US6892127B2 (en) * | 2003-02-28 | 2005-05-10 | General Electric Company | Methods and apparatus for assessing gas turbine engine damage |
EP1580882B1 (de) * | 2004-03-19 | 2007-01-10 | Harman Becker Automotive Systems GmbH | System und Verfahren zur Verbesserung eines Audiosignals |
US7716046B2 (en) * | 2004-10-26 | 2010-05-11 | Qnx Software Systems (Wavemakers), Inc. | Advanced periodic signal enhancement |
JP5096468B2 (ja) * | 2006-08-15 | 2012-12-12 | ドルビー ラボラトリーズ ライセンシング コーポレイション | サイド情報なしの時間的ノイズエンベロープの自由な整形 |
-
2006
- 2006-09-15 AT AT0154706A patent/AT504164B1/de not_active IP Right Cessation
-
2007
- 2007-09-06 WO PCT/AT2007/000424 patent/WO2008031124A1/de active Application Filing
- 2007-09-06 EP EP07800169A patent/EP2080197B1/de not_active Not-in-force
- 2007-09-06 AT AT07800169T patent/ATE495523T1/de active
- 2007-09-06 DE DE502007006264T patent/DE502007006264D1/de active Active
- 2007-09-06 US US12/440,952 patent/US20100049507A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
DE502007006264D1 (de) | 2011-02-24 |
AT504164A1 (de) | 2008-03-15 |
EP2080197A1 (de) | 2009-07-22 |
ATE495523T1 (de) | 2011-01-15 |
WO2008031124A1 (de) | 2008-03-20 |
AT504164B1 (de) | 2009-04-15 |
US20100049507A1 (en) | 2010-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60131639T2 (de) | Vorrichtungen und Verfahren zur Bestimmung von Leistungswerten für die Geräuschunterdrückung für ein Sprachkommunikationssystem | |
DE112009000805B4 (de) | Rauschreduktion | |
DE69606978T2 (de) | Verfahren zur rauschunterdrückung mittels spektraler subtraktion | |
DE69905035T2 (de) | Rauschunterdrückung mittels spektraler subtraktion unter verwendung von linearem faltungsprodukt und kausaler filterung | |
EP0948237B1 (de) | Verfahren zur Störbefreiung eines Mikrophonsignals | |
DE60027438T2 (de) | Verbesserung eines verrauschten akustischen signals | |
DE69428119T2 (de) | Verringerung des hintergrundrauschens zur sprachverbesserung | |
EP2158588B1 (de) | Spektralglättungsverfahren von verrauschten signalen | |
DE2207141C3 (de) | Schaltungsanordnung zur Unterdrückung unerwünschter Sprachsignale mittels eines vorhersagenden Filters | |
EP0668007B1 (de) | Mobilfunkgerät mit freisprecheinrichtung | |
EP2080197B1 (de) | Vorrichtung zur geräuschunterdrückung bei einem audiosignal | |
DE112007003625T5 (de) | Echounterdrückungsvorrichtung, echounterdrückungssystem, Echounterdrückungsverfahren und Computerprogramm | |
AT509570B1 (de) | Methode und apparat zur einkanal-sprachverbesserung basierend auf einem latenzzeitreduzierten gehörmodell | |
DE102014221528B4 (de) | Akkurate Vorwärts-SNR-Schätzung basierend auf MMSE-Sprachpräsenzwahrscheinlichkeit | |
DE102014221810A1 (de) | Sprachpräsenzwahrscheinlichkeits-Modifizierer, der Log-MMSE-basierte Rauschunterdrückungsleistung verbessert | |
EP3065417B1 (de) | Verfahren zur unterdrückung eines störgeräusches in einem akustischen system | |
DE102018117557B4 (de) | Adaptives nachfiltern | |
DE102018117558A1 (de) | Adaptives nachfiltern | |
DE602004006912T2 (de) | Verfahren zur Verarbeitung eines akustischen Signals und ein Hörgerät | |
DE60304147T2 (de) | Virtuelle Mikrophonanordnung | |
EP1453355B1 (de) | Signalverarbeitung in einem Hörgerät | |
DE10137348A1 (de) | Verfahren und Schaltungsanordnung zur Geräuschreduktion bei der Sprachübertragung in Kommunikationssystemen | |
DE102014221765A1 (de) | Auf extern bestimmtem SNR basierte Modifizierer für interne MMSE-Berechnungen | |
DE102019105458A1 (de) | Zeitverzögerungsschätzung | |
DE102018117556A1 (de) | Einzelkanal-rauschreduzierung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20090408 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR |
|
17Q | First examination report despatched |
Effective date: 20100219 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REF | Corresponds to: |
Ref document number: 502007006264 Country of ref document: DE Date of ref document: 20110224 Kind code of ref document: P |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502007006264 Country of ref document: DE Effective date: 20110224 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: VDEP Effective date: 20110112 |
|
LTIE | Lt: invalidation of european patent or patent extension |
Effective date: 20110112 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110423 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110512 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110512 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110413 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FD4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110412 Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 Ref country code: IE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20110929 Year of fee payment: 5 |
|
26N | No opposition filed |
Effective date: 20111013 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502007006264 Country of ref document: DE Effective date: 20111013 |
|
BERE | Be: lapsed |
Owner name: TECHNISCHE UNIVERSITAT GRAZ Effective date: 20110930 Owner name: FORSCHUNGSHOLDING TU GRAZ GMBH Effective date: 20110930 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20110930 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R082 Ref document number: 502007006264 Country of ref document: DE Representative=s name: PATENTANWAELTE LIPPERT, STACHOW & PARTNER, DE |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: ST Effective date: 20120531 |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20120531 AND 20120606 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20110930 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R082 Ref document number: 502007006264 Country of ref document: DE Representative=s name: PATENTANWAELTE LIPPERT, STACHOW & PARTNER, DE Effective date: 20120604 Ref country code: DE Ref legal event code: R081 Ref document number: 502007006264 Country of ref document: DE Owner name: TECHNISCHE UNIVERSITAET GRAZ, AT Free format text: FORMER OWNER: TECHNISCHE UNIVERSITAET GRAZ, FORSCHUNGSHOLDING TU GRAZ GMBH, , AT Effective date: 20120604 Ref country code: DE Ref legal event code: R081 Ref document number: 502007006264 Country of ref document: DE Owner name: TECHNISCHE UNIVERSITAET GRAZ, AT Free format text: FORMER OWNERS: TECHNISCHE UNIVERSITAET GRAZ, GRAZ, AT; FORSCHUNGSHOLDING TU GRAZ GMBH, GRAZ, AT Effective date: 20120604 Ref country code: DE Ref legal event code: R082 Ref document number: 502007006264 Country of ref document: DE Representative=s name: LIPPERT STACHOW PATENTANWAELTE RECHTSANWAELTE , DE Effective date: 20120604 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20110930 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20110930 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20110930 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20120906 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20110906 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 502007006264 Country of ref document: DE Effective date: 20130403 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120906 Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130403 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110112 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 495523 Country of ref document: AT Kind code of ref document: T Effective date: 20120906 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120906 |