EP2120484B1 - Verfahren zum Betreiben eines Hörgeräts und Hörgerät - Google Patents
Verfahren zum Betreiben eines Hörgeräts und Hörgerät Download PDFInfo
- Publication number
- EP2120484B1 EP2120484B1 EP09155859.3A EP09155859A EP2120484B1 EP 2120484 B1 EP2120484 B1 EP 2120484B1 EP 09155859 A EP09155859 A EP 09155859A EP 2120484 B1 EP2120484 B1 EP 2120484B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- hearing aid
- prescribable
- association
- acoustic
- acoustic signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 17
- 230000005236 sound signal Effects 0.000 claims description 14
- 238000000926 separation method Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 3
- 230000008901 benefit Effects 0.000 description 6
- MOVRNJGDXREIBM-UHFFFAOYSA-N aid-1 Chemical compound O=C1NC(=O)C(C)=CN1C1OC(COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C(NC(=O)C(C)=C2)=O)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C(NC(=O)C(C)=C2)=O)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C(NC(=O)C(C)=C2)=O)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)CO)C(O)C1 MOVRNJGDXREIBM-UHFFFAOYSA-N 0.000 description 3
- 206010011878 Deafness Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
Definitions
- the invention relates to a specified in claim 1 method for operating a hearing aid and a specified in claim 6 hearing aid.
- noise or unwanted acoustic signals are omnipresent. These interfere with the human voice of a person or with a desired acoustic signal.
- Hearing aid carriers are particularly susceptible to noise and unwanted acoustic signals. Talking in the background, audible interference with electronic devices such as cell phones, and ambient noise or sounds may make it difficult for a person with a hearing aid to understand a desired speaker. Reducing the level of noise in an acoustic signal coupled with an automatic focus on a desired acoustic signal component can significantly improve the performance of a digital speech processor as used in modern hearing aids.
- Hearing aids with digital signal processing include one or more microphones, A / D converters, digital signal processors and speakers.
- digital signal processors divide the incoming signals into a plurality of frequency bands. Within each band, signal amplification and processing may be individually adjusted in accordance with the requirements of a particular wearer of the hearing aid.
- algorithms for feedback and noise minimization are available in digital signal processing, but they also have disadvantages.
- a disadvantage of the currently existing algorithms for noise minimization is, for example, their limited improvement in hearing aid acoustics when speech and background noise are in the same frequency region and they are therefore unable to distinguish between spoken language and background noise.
- BSS Blind Source Separation
- the directional microphone control in the sense of a BSS is subject to ambiguity as soon as several competing sources of use, eg. B. speaker, present simultaneously.
- the BSS allowed in principle, the separation of the different sources, if they are spatially separated.
- the ambiguity reduces the potential benefit of a directional microphone, although it is precisely in such scenarios that a directional microphone can be very useful for improving speech intelligibility.
- the hearing aid or the mathematical algorithms for BSS are in principle faced with the problem of having to decide which of the signals generated by the BSS should be passed on most advantageously to the hearing aid wearer. This is a problem that in principle is impossible for the hearing aid since the selection of the desired acoustic source directly depends on the momentary will of the hearing aid wearer and thus can not be present as an input variable for a selection algorithm. The choice made by this algorithm must therefore be based on assumptions about the probable will of the listener.
- EP 1 912 472 A1 a method for operating a hearing aid and a hearing aid is known. From a recorded ambient sound electrical acoustic signals are generated from which a signal processing an electrical voice signal with a high probability of speech is identified and selected. The electrical speech signal is selectively taken into account in an output sound of the hearing aid so that it at least emerges acoustically for the hearing aid wearer in comparison with another acoustic source and is thus better perceived by the hearing aid wearer.
- EP 1 912 474 A1 discloses a method for operating a hearing aid and a hearing aid. From a recorded ambient sound electrical acoustic signals are generated, from which by signal processing, an electrical speaker signal is identified and selected by a database with voice profiles preferred speakers. The electrical speaker signal is selectively taken into account in an output sound of the hearing aid so that it at least emerges acoustically for the hearing aid wearer in comparison with another acoustic source and is thus better perceived by the hearing aid wearer.
- the stated object is achieved by the method of independent claim 1 and the hearing aid of independent claim 6.
- the invention comprises a method for operating a hearing device, wherein electrical acoustic signals are generated by the hearing device from a recorded ambient sound. These are weighted according to their degree of membership to a predeterminable acoustic signal class and mixed together to form an output sound signal. The weight of the acoustic signal is greater or smaller, the higher the degree of membership.
- the advantage of this is that a hearing aid user a desired signal from a variety of ambient sound signals can be presented.
- the degree of membership can be determined by the characteristics volume, frequency range, basic speech frequency, cepstral coefficients and / or temporal course of the acoustic signals. This achieves high flexibility.
- the predeterminable acoustic signal class may include the classes voice or human voice, in a predeterminable frequency band, male voice, female voice, child's voice, voice of a predefinable person, music and ambient noise. This offers the advantage of a wide choice for a hearing device user.
- the predeterminable acoustic signal class may also comprise any combination of the classes.
- the electrical acoustic signals are generated from the ambient sound by means of a blind-source separation method. This results in a good sound signal separation.
- the degree of membership is determined by a feature analysis of the electrical acoustic signals, wherein a probability of belonging to a predeterminable acoustic signal class is determined for the electrical acoustic signals.
- the advantage of this is the simple mathematical weighting.
- a hearing aid is also provided with at least one microphone for recording ambient sound and with a demixing unit for generating electrical acoustic signals from the recorded ambient sound.
- the hearing device comprises a signal processing unit, by the acoustic signals which are weighted according to their degree of membership to a predetermined acoustic signal class and mixed together to form an output sound signal, wherein the weight of the acoustic signal is greater or smaller, the higher the degree of affiliation. This makes it possible to switch between acoustic signal classes "soft".
- the demixing unit may comprise a blind-source separation module.
- the signal processing unit may comprise at least one classification module, at least one weight determination module, at least one multiplier and at least one adder.
- the hearing device can comprise an acoustic signal class input unit with which the desired, specifiable acoustic signal class is transmitted to the hearing aid. This can be arranged on the hearing aid or in a remote control.
- the FIG. 1 shows the state of the art of a hearing aid 1 with three microphones 2 and a demixing unit 5 according to the blind source separation method.
- Three signal sources generate three ambient acoustic sound signals s1, s2, s3, which are received by the three microphones 2 and converted into electrical microphone signals X1, X2, X3.
- the three microphone signals x1, x2, x3 are each supplied to a signal input of the demixing unit 5.
- the blind-source separation process takes place with the aid of which the ambient sound signals s1, s2, s3 can be reconstructed from the mixed electrical microphone signals x1, x2, x3.
- a hearing device user can now select between the three separately reproduced acoustic signals s1 ', s2', s3 'by means of a selection switch 7 in a post-processor module 6.
- the electrical acoustic signal s2 ' was selected and passed on to a handset 3.
- the demixing unit 5 and the post-processor module form a signal processing unit 4.
- the listener 3 sends as an acoustic output signal s2 '', which corresponds approximately to the ambient acoustic signal s2.
- acoustic output signal s2 '' which corresponds approximately to the ambient acoustic signal s2.
- a hearing aid user does not always want such a hard switching between different input signal sources.
- FIG. 2 shows a hearing aid 1 with three microphones 2, a signal processing unit 4 and a receiver or loudspeaker 3.
- Three ambient sound signals s1, s2, s3 are received by the microphones 2 and forwarded as microphone signals x1, x2, x3 to the signal processing unit 4.
- the processed by the signal processing unit 4 microphone signals x1, x2, x3 are then forwarded to an input of the handset 3 and presented as an acoustic output sound signal s the hearing device user.
- the microphone signals x1, x2, x3 are processed with the aid of a demixing unit 5 and passed as demixed electrical acoustic signals s1 ', s2', s3 'to the further processing units.
- a hearing device user can specify a preferred acoustic signal class. This specification is passed to the classification module 8 and processed in this.
- the preselected acoustic signal class may include, for example, a male voice, a female voice, a child's voice or even a certain frequency range, or generally human voice, or music, etc.
- the classification module 8 calculates the probability with which an electrical acoustic signal s1 ', s2', s3 'belongs to a specific acoustic signal class. With the help of a weight determination module 9, this degree of affiliation is now weighted accordingly. For this purpose, the degrees of membership of the classified signals are routed from outputs of the classification module 8 to inputs of the weighting module 9.
- the weight determination module 9 now determines the weights g1, g2, g3 such that the higher the degree of belonging to the preselected class has been determined, the higher the weight of an acoustic signal is selected.
- the weights g1, g2, g3 are routed to these respective inputs of the multipliers 10.
- the electrical acoustic signals s1 ', s2', s3 ' are now multiplied by the weights g1, g2, g3.
- the weighted electrical acoustic signals are passed to an adder 11. In the adder 11, these signals are added and provided to the output of the adder 11. Subsequently, the electrical signal at the output of the adder in the receiver 3 is converted into an output sound signal S.
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
- Die Erfindung betrifft ein im Patentanspruch 1 angegebenes Verfahren zum Betreiben eines Hörgeräts und ein im Patentanspruch 6 angegebenes Hörgerät.
- Bei einem Gespräch zwischen Personen sind Störgeräusche oder unerwünschte akustische Signale allgegenwärtig. Diese interferieren mit der menschlichen Stimme einer Person oder mit einem erwünschten akustischen Signal. Hörgeräteträger sind besonders anfällig für Störgeräusche und unerwünscht akustische Signale. Gespräche im Hintergrund, akustische Beeinträchtigungen von elektronischen Geräten, wie beispielsweise Mobiltelefonen, sowie Lärm oder Geräusche in der Umgebung können es für einen Menschen mit einem Hörgerät schwierig machen, einen gewünschten Sprecher zu verstehen. Eine Reduktion des Störgeräuschpegels in einem akustischen Signal, gekoppelt mit einem automatischen Fokus auf eine gewünschte akustische Signalkomponente kann die Leistungsfähigkeit eines digitalen Sprachprozessors, wie er in modernen Hörhilfen Verwendung findet, signifikant verbessern.
- Hörgeräte mit einer digitalen Signalverarbeitung enthalten ein oder mehrere Mikrofone, A/D-Wandler, digitale Signalprozessoren und Lautsprecher. In der Regel teilen digitale Signalprozessoren die einkommenden Signale in eine Mehrzahl von Frequenzbändern auf. Innerhalb eines jeden Bands kann eine Signalverstärkung und -verarbeitung individuell in Übereinstimmung mit den Anforderungen eines bestimmten Trägers des Hörgeräts eingestellt werden. Ferner sind bei der digitalen Signalverarbeitung Algorithmen zur Rückkopplungs- und Störgeräuschminimierung verfügbar, die aber auch Nachteile aufweisen. Nachteilig bei den derzeit vorhandenen Algorithmen zur Störgeräuschminimierung ist zum Beispiel deren beschränkte Verbesserung in der Hörgeräteakustik, wenn sich Sprach- und Hintergrundgeräusche in derselben Frequenzregion befinden und sie daher nicht in der Lage sind, zwischen gesprochener Sprache und Hintergrundgeräusch zu unterscheiden. Auf dem Gebiet der akustischen Signalverarbeitung ist dies eines der häufigsten Aufgaben, nämlich aus verschiedenen, sich überlagernden, akustischen Signalen eines oder eine Mehrzahl davon herauszufiltern. Dies wird auch als das sogenannte "Cocktail-Party-Problem" bezeichnet. Hierbei mischen sich die unterschiedlichsten Geräusche, wie Musik und Unterhaltungen zu einer undefinierbaren Geräuschkulisse. Trotzdem fällt es einem Menschen ohne Hörschwäche im allgemeinen nicht schwer, sich in einer solchen Situation mit einem Gesprächspartner zu unterhalten. Es ist daher für Hörgeräteträger wünschenswert, sich in ebensolchen Situationen genauso unterhalten zu können, wie Menschen ohne Hörschwäche.
- Es gibt in der akustischen Signalverarbeitung räumliche, z. B. Richtmikrofon oder Beamforming, statistische, z. B. Blind Source Separation (BSS; "Unterscheiden nicht sichtbarer Schallquellen") oder gemischte Verfahren, die u. a. mittels Algorithmen aus mehreren gleichzeitig aktiven Schallquellen eine einzige oder eine Mehrzahl davon abtrennen können. So ermöglicht BSS mittels statistischer Signalverarbeitung von mindestens zwei Mikrofonsignalen, eine Trennung von Quellsignalen ohne Vorwissen über deren geometrische Anordnung durchzuführen. Dieses Verfahren hat in der Anwendung in Hörgeräten Vorteile gegenüber herkömmlichen Richtmikrofonlösungen. Prinzipbedingt lassen sich mit einem BSS-Verfahren mit n Mikrofonen, bis zu n Quellen trennen, d. h. n Ausgangssignale generieren.
- Verfahren zur BSS sind aus der Literatur zahlreich bekannt, wobei Schallquellen über die Analyse wenigstens zweier Mikrofonsignale analysiert werden. Einen guten Überblick gibt die nachveröffentlichte Patentschrift
DE 10 2006 047 982 . - Die Steuerung von Richtmikrofonen im Sinne einer BSS unterliegt Mehrdeutigkeiten, sobald mehrere konkurrierende Nutzquellen, z. B. Sprecher, gleichzeitig vorliegen. Die BSS erlaubt prinzipiell die Separation der verschiedenen Quellen, sofern diese räumlich getrennt sind. Durch die Mehrdeutigkeit wird jedoch der potenzielle Nutzen eines Richtmikrofons gemindert, obwohl gerade in solchen Szenarien ein Richtmikrofon zur Verbesserung der Sprachverständlichkeit von großem Nutzen sein kann.
- Das Hörgerät bzw. die mathematischen Algorithmen zur BSS stehen prinzipiell vor dem Problem, entscheiden zu müssen, welche der durch die BSS erzeugten Signale am Vorteilhaftesten an den Hörhilfeträger weitergegeben werden sollen. Dies ist für die Hörhilfe eine prinzipiell unlösbare Aufgabe, da die Auswahl der Wunschakustikquelle direkt vom momentanen Willen des Hörhilfeträgers abhängt und somit einem Auswahlalgorithmus nicht als Eingangsgröße vorliegen kann. Die durch diesen Algorithmus getroffene Auswahl muss sich also auf Annahmen über den wahrscheinlichen Willen des Hörers stützen.
- Im Stand der Technik wird von einer Bevorzugung eines akustischen Signals durch den Hörhilfeträger aus einer 0°-Richtung, also der Blickrichtung des Hörhilfeträgers ausgegangen. Dies ist insofern realistisch, als dass in einer akustisch schwierigen Situation der Hörhilfeträger seinen aktuellen Gesprächspartner anschauen würde, um weitere Hinweise zu bekommen, die die Sprachverständlichkeit des Gesprächspartners erhöhen (z. B. Lippenbewegungen). Hierdurch wird der Hörhilfeträger jedoch gezwungen, seinen Gesprächspartner anzusehen, damit das Richtmikrofon zu einer erhöhten Sprachverständlichkeit führt. Dies ist insbesondere lästig, wenn der Hörhilfeträger sich mit genau einer einzigen Person unterhalten will, d. h. nicht in eine Kommunikation mit mehreren Sprechern eingebunden ist, und seinen Gesprächspartner nicht immer ansehen möchte/muss.
- Aus
EP 1 912 472 A1 ist ein Verfahren zum Betreiben einer Hörhilfe sowie eine Hörhilfe bekannt. Aus einem aufgenommenen Umgebungsschall werden elektrische Akustiksignale erzeugt, aus welchen durch eine Signalverarbeitung ein elektrisches Sprachsignal mit einer hohen Sprachwahrscheinlichkeit identifiziert und ausgewählt wird. Das elektrische Sprachsignal wird derart in einem Ausgangsschall der Hörhilfe selektiv berücksichtigt, dass es für den Hörhilfeträger im Vergleich mit einer anderen Akustikquelle akustisch wenigstens hervortritt und dadurch vom Hörhilfeträger besser wahrgenommen wird. - In
EP 1 912 474 A1 ein Verfahren zum Betreiben einer Hörhilfe sowie eine Hörhilfe offenbart. Aus einem aufgenommenen Umgebungsschall werden elektrische Akustiksignale erzeugt, aus welchen durch eine Signalverarbeitung ein elektrisches Sprechersignal durch eine Datenbank mit Sprachprofilen präferierter Sprecher identifiziert und ausgewählt wird. Das elektrische Sprechersignal wird derart in einem Ausgangsschall der Hörhilfe selektiv berücksichtigt, dass es für den Hörhilfeträger im Vergleich mit einer anderen Akustikquelle akustisch wenigstens hervortritt und dadurch vom Hörhilfeträger besser wahrgenommen wird. - Es ist daher Aufgabe der Erfindung, ein verbessertes Verfahren zum Betreiben eines Hörgeräts, sowie ein verbessertes Hörgerät anzugeben, mit welchen entschieden werden kann, welche Ausgangssignale einer Quellentrennung, insbesondere einer BSS, dem Hörhilfeträger akustisch zugeführt werden.
- Gemäß der Erfindung wird die gestellte Aufgabe mit dem Verfahren des unabhängigen Patentanspruchs 1 und dem Hörgerät des unabhängigen Patentanspruchs 6 gelöst.
- Die Erfindung umfasst ein Verfahren zum Betreiben eines Hörgeräts, wobei durch das Hörgerät aus einem aufgenommenen Umgebungsschall elektrische Akustiksignale erzeugt werden. Diese werden entsprechend ihrem Zugehörigkeitsgrad zu einer vorgebbaren Akustiksignalklasse gewichtet und zu einem Ausgangsschallsignal zusammengemischt. Das Gewicht des Akustiksignals ist umso größer oder umso kleiner, je höher der Zugehörigkeitsgrad ist. Vorteilhaft daran ist, dass einem Hörgerätenutzer ein gewünschtes Signal aus einer Vielzahl von Umgebungsschallsignalen dargeboten werden kann.
- In einer Weiterbildung kann der Zugehörigkeitsgrad durch die Merkmale Lautstärke, Frequenzbereich, Sprachgrundfrequenz, cepstrale Koeffizienten und/oder zeitlichen Verlauf der Akustiksignale bestimmt werden. Dadurch wird eine hohe Flexibilität erreicht.
- In einer weiteren Ausführungsform kann die vorgebbare Akustiksignalklasse die Klassen Sprache bzw. menschliche Stimme, in einem vorgebbaren Frequenzband, Männerstimme, Frauenstimme, Kinderstimme, Stimme einer vorgebbaren Person, Musik und Umgebungsgeräusch umfassen. Dies bietet den Vorteil einer großen Auswahl für einen Hörgerätenutzer.
- Auch kann die vorgebbare Akustiksignalklasse eine beliebige Kombination der Klassen umfassen.
- Die elektrischen Akustiksignale werden aus dem Umgebungsschall mittels eines Blind Source Separation Verfahrens erzeugt. Dadurch kommt es zu einer guten Schallsignaltrennung.
- Der Zugehörigkeitsgrad wird durch eine Merkmalsanalyse der elektrischen Akustiksignale bestimmt, wobei für die elektrischen Akustiksignale eine Wahrscheinlichkeit der Zugehörigkeit zu einer vorgebbaren Akustiksignalklasse ermittelt wird. Vorteilhaft daran ist die einfache rechnerische Gewichtung.
- Erfindungsgemäß wird auch ein Hörgerät mit mindestens einem Mikrofon zur Aufnahme eines Umgebungsschalls und mit einer Entmischungseinheit zur Erzeugung von elektrischen Akustiksignalen aus dem aufgenommenen Umgebungsschall angegeben. Das Hörgerät umfasst eine Signalverarbeitungseinheit, durch die Akustiksignale die entsprechend ihrem Zugehörigkeitsgrad zu einer vorgebbaren Akustiksignalklasse gewichtbar und zu einem Ausgangsschallsignal zusammenmischbar sind, wobei das Gewicht des Akustiksignals umso größer oder umso kleiner ist, je höher der Zugehörigkeitsgrad ist. Dadurch kann das Umschalten zwischen Akustiksignalklassen "weich" erfolgen.
- In einer Weiterbildung kann die Entmischungseinheit ein Blind Source Separation Modul umfassen.
- In einer weiteren Ausführungsform kann die Signalverarbeitungseinheit mindestens ein Klassifikationsmodul, mindestens ein Gewichtermittlungsmodul, mindestens einen Multiplizierer und mindestens einen Addierer umfassen.
- Des Weiteren kann das Hörgerät eine Akustiksignalklasse-Eingabeeinheit umfassen, mit der die gewünschte, vorgebbare Akustiksignalklasse dem Hörgerät übermittelt wird. Diese kann am Hörgerät oder in einer Fernbedienung angeordnet sein.
- Weitere Besonderheiten und Vorteile der Erfindung werden aus den nachfolgenden Erläuterungen mehrerer Ausführungsbeispiele anhand von schematischen Zeichnungen ersichtlich.
- Es zeigen:
- Figur 1:
- ein Blockschaltbild eines Hörgeräts mit Blind Source Separation nach dem Stand der Technik und
- Figur 2:
- ein Blockschaltbild eines erfindungsgemäßen Hörgeräts.
- Die
Figur 1 zeigt den Stand der Technik eines Hörgeräts 1 mit drei Mikrofonen 2 und einer Entmischungseinheit 5 nach dem Blind Source Separation Verfahren. Drei Signalquellen erzeugen drei akustische Umgebungsschall-Signale s1, s2, s3, die von den drei Mikrophonen 2 empfangen und in elektrische Mikrophonsignale X1, X2, X3 umgewandelt werden. Die drei Mikrophonsignale x1, x2, x3 werden jeweils einem Signaleingang der Entmischungseinheit 5 zugeführt. In der Entmischungseinheit 5 läuft das Blind Source Separation Verfahren ab, mit dessen Hilfe die Umgebungsschall-Signale s1, s2, s3 aus den gemischten elektrischen Mikrofonsignalen x1, x2, x3 rekonstruiert werden können. Somit stehen an drei Ausgängen der Entmischungseinheit 5 drei elektrische Akustik-Signale s1', s2', s3' zur Verfügung. - Im einfachsten Fall kann nun ein Hörgerätenutzer mit Hilfe eines Auswahlschalters 7 in einem Postprozessormodul 6 zwischen den drei getrennt wiedergegebenen Akustik-Signalen s1', s2', s3' wählen. In
Figur 2 wurde das elektrische AkustikSignal s2' gewählt und an einen Hörer 3 weitergegeben. Die Entmischungseinheit 5 und das Postprozessormodul bilden eine Signalverarbeitungseinheit 4. - Der Hörer 3 sendet als akustisches Ausgangssignal das Signal s2'', das in etwa dem akustischen Umgebungsschall-Signal s2 entspricht. Mit Hilfe des Hörgeräts 1 in
Figur 1 können somit verschiedene akustische Eingangssignale separiert werden und getrennt entsprechend der Vorlieben eines Hörgerätenutzers über den Hörer 3 ausgegeben werden. - Nicht immer will ein Hörgeräteträger eine derart harte Umschaltung zwischen unterschiedlichen Eingangssignalquellen.
- Auch ist es einer Entmischungseinheit 5 nicht immer möglich, die Signale derart sauber und sicher getrennt aufzubereiten. Eine verbesserte Darbietung von unterschiedlichen Umgebungsschall Signalen bietet daher die erfindungsgemäße Vorrichtung nach
Figur 2 . -
Figur 2 zeigt ein Hörgerät 1 mit drei Mikrofonen 2, einer Signalverarbeitungseinheit 4 und einem Hörer bzw. Lautsprecher 3. Drei Umgebungsschall-Signale s1, s2, s3 werden von den Mikrofonen 2 aufgenommen und als Mikrophonsignale x1, x2, x3 an die Signalverarbeitungseinheit 4 weitergeleitet. Die von der Signalverarbeitungseinheit 4 aufbereiteten Mikrofonsignale x1, x2, x3 werden dann an einen Eingang des Hörers 3 weitergeleitet und als akustisches Ausgangsschallsignal s dem Hörgerätenutzer dargeboten. - In der Signalverarbeitungseinheit 4 werden mit Hilfe einer Entmischungseinheit 5 die Mikrofonsignale x1, x2, x3 verarbeitet und als entmischte elektrische Akustiksignale s1', s2', s3' an die weiterverarbeitenden Einheiten geleitet. Die elektrischen Akustiksignale s1', s2', s3', gelangen einerseits jeweils zu Eingängen von Multiplizierern 10, andererseits zu Eingängen eines Klassifikationsmoduls 8. Mit Hilfe einer Akustiksignalklasse-Eingabeeinheit 12 kann ein Hörgerätenutzer eine bevorzugte Akustiksignalklasse vorgeben. Diese Vorgabe wird an das Klassifikationsmodul 8 geleitet und in diesem verarbeitet. Die vorgewählte Akustiksignalklasse kann beispielsweise eine Männerstimme, eine Frauenstimme, eine Kinderstimme oder auch einen bestimmten Frequenzbereich, oder generell menschliche Stimme bzw. Sprache, oder Musik etc umfassen. Im Klassifikationsmodul 8 wird die Wahrscheinlichkeit errechnet, mit der ein elektrisches Akustiksignal s1', s2', s3', zu einer bestimmten Akustiksignalklasse gehört. Mit Hilfe eines Gewichtermittlungsmoduls 9 wird nun dieser Grad der Zugehörigkeit entsprechend gewichtet. Dazu werden die Zugehörigkeitsgrade der klassifizierten Signale von Ausgängen des Klassifikationsmoduls 8 an Eingänge des Gewichtermittlungsmoduls 9 geleitet. Das Gewichtermittlungsmodul 9 ermittelt nun die Gewichte g1, g2, g3 derart, dass das Gewicht eines Akustiksignals umso höher gewählt wird, je höher der Grad der Zugehörigkeit zu der vorgewählten Klasse ermittelt wurde. Die Gewichte g1, g2, g3 werden an diesen entsprechenden Eingängen der Multiplizierer 10 geleitet. In den Multiplizierern 10 werden nun die elektrischen Akustik-Signale s1', s2', s3' mit den Gewichten g1, g2, g3 multipliziert. Von Ausgängen der Multiplizierer 10 werden die gewichteten elektrischen Akustik-Signale an einen Addierer 11 geleitet. Im Addierer 11 werden diese Signale addiert und dem Ausgang des Addierers 11 zur Verfügung gestellt. Anschließend wird das elektrische Signal am Ausgang des Addierers in dem Hörer 3 in ein Ausgangsschallsignal S umgewandelt.
-
- 1
- Hörgerät
- 2
- Mikrofon
- 3
- Hörer / Lautsprecher
- 4
- Signalverarbeitungseinheit
- 5
- Entmischungseinheit
- 6
- Postprozessormodul
- 7
- Auswahlschalter
- 8
- Klassifikationsmodul
- 9
- Gewichtermittlungsmodul
- 10
- Multiplizierer
- 11
- Addierer
- 12
- Akustiksignalklasse-Eingabeeinheit
- g1, g2, g3
- Gewichtsfaktoren / Gewichte
- s
- Ausgangsschallsignal
- s1, s2, s3
- Umgebungsschall-Signale
- s1', s2', s3'
- elektrische Akustik-Signale
- x1, x2, x3
- Mikrofonsignale
Claims (8)
- Verfahren zum Betreiben eines Hörgeräts (1), wobei durch das Hörgerät (1) aus einem aufgenommenen Umgebungsschall (s1, s2, s3) elektrische Akustiksignale (s1', s2', s3') durch ein Blind Source Separation Verfahren erzeugt werden, wobei für die elektrischen Akustiksignale (s1', s2', s3') jeweils eine Wahrscheinlichkeit der Zugehörigkeit zu einer vorgebbaren Akustiksignalklasse durch eine Merkmalsanalyse der elektrischen Akustiksignale (s1', s2', s3') als Zugehörigkeitsgrad ermittelt wird, und wobei die elektrischen Akustiksignale (s1', s2', s3') entsprechend ihrem jeweiligen Zugehörigkeitsgrad zu der vorgebbaren Akustiksignalklasse gewichtet und zu einem Ausgangsschallsignal (s) zusammengemischt werden, wobei das jeweilige Gewicht (g1, g2, g3) des Akustiksignals (s1', s2', s3') umso größer oder umso kleiner ist, je höher der jeweilige Zugehörigkeitsgrad ist.
- Verfahren nach Anspruch 1,
dadurch gekennzeichnet,
dass der Zugehörigkeitsgrad durch die Merkmale Lautstärke, Frequenzbereich, Sprachgrundfrequenz, cepstrale Koeffizienten und/oder zeitlichen Verlauf der Akustiksignale (s1', s2', s3') bestimmt wird. - Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet,
dass die vorgebbare Akustiksignalklasse folgende Klassen umfasst:- Sprache bzw. menschliche Stimme,- in einem vorgebbaren Frequenzband,- Männerstimme, Frauenstimme, Kinderstimme,- Stimme einer vorgebbaren Person,- Musik und- Umgebungsgeräusch. - Verfahren nach Anspruch 3,
dadurch gekennzeichnet,
dass die vorgebbare Akustiksignalklasse eine beliebige Kombination der Klassen umfasst. - Computerprogrammprodukt mit einem Computerprogramm, das Softwaremittel zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 4, aufweist, wenn das Computerprogramm in einer Steuereinheit ausgeführt wird.
- Hörgerät (1) mit mindestens einem Mikrofon (2) zur Aufnahme eines Umgebungsschalls (s1, s2, s3) und mit einer Entmischungseinheit (5) zur Erzeugung von elektrischen Akustiksignalen (s1', s2', s3') aus dem aufgenommenen Umgebungsschall (s1, s2, s3), wobei die Entmischungseinheit (5) ein Blind Source Separation Modul und eine Signalverarbeitungseinheit (4) umfasst, durch die Akustiksignale (s1', s2', s3') die entsprechend ihrem jeweiligen Zugehörigkeitsgrad zu einer vorgebbaren Akustiksignalklasse gewichtbar und zu einem Ausgangsschallsignal (s) zusammenmischbar sind, wobei das jeweilige Gewicht (g1, g2, g3) des Akustiksignals (s1', s2', s3') umso größer oder umso kleiner ist, je höher der jeweilige Zugehörigkeitsgrad ist, der durch eine Merkmalsanalyse der elektrischen Akustiksignale (s1', s2', s3') bestimmbar ist, wobei für die elektrischen Akustiksignale (s1', s2', s3') eine Wahrscheinlichkeit der Zugehörigkeit zu einer vorgebbaren Akustiksignalklasse als jeweiliger Zugehörigkeitsgrad ermittelbar ist.
- Hörgerät(1) nach Anspruch 6,
dadurch gekennzeichnet,
dass die Signalverarbeitungseinheit (4) mindestens ein Klassifikationsmodul (8), mindestens ein Gewichtermittlungsmodul (9), mindestens einen Multiplizierer (10) und mindestens einen Addierer 11) umfasst. - Hörgerät (1) nach Anspruch 6 oder 7,
gekennzeichnet durch
eine Akustiksignalklasse-Eingabeeinheit (12), mit der die gewünschte, vorgebbare Akustiksignalklasse dem Hörgerät (1) übermittelbar ist.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008023370A DE102008023370B4 (de) | 2008-05-13 | 2008-05-13 | Verfahren zum Betreiben eines Hörgeräts und Hörgerät |
Publications (3)
Publication Number | Publication Date |
---|---|
EP2120484A2 EP2120484A2 (de) | 2009-11-18 |
EP2120484A3 EP2120484A3 (de) | 2010-05-26 |
EP2120484B1 true EP2120484B1 (de) | 2016-05-18 |
Family
ID=40957686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP09155859.3A Active EP2120484B1 (de) | 2008-05-13 | 2009-03-23 | Verfahren zum Betreiben eines Hörgeräts und Hörgerät |
Country Status (4)
Country | Link |
---|---|
US (1) | US8737652B2 (de) |
EP (1) | EP2120484B1 (de) |
DE (1) | DE102008023370B4 (de) |
DK (1) | DK2120484T3 (de) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2670168A1 (de) * | 2012-06-01 | 2013-12-04 | Starkey Laboratories, Inc. | Adaptive Hörhilfevorrichtung mit mehrfacher Umgebungserkennung und Klassifizierung |
JP6216169B2 (ja) * | 2012-09-26 | 2017-10-18 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
CN108353228B (zh) | 2015-11-19 | 2021-04-16 | 香港科技大学 | 一种信号分离的方法、***和存储介质 |
WO2019084214A1 (en) * | 2017-10-24 | 2019-05-02 | Whisper.Ai, Inc. | AUDIO SEPARATION AND RECOMBINATION FOR INTELLIGIBILITY AND COMFORT |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1912474A1 (de) * | 2006-10-10 | 2008-04-16 | Siemens Audiologische Technik GmbH | Verfahren zum Betreiben einer Hörhilfe, sowie Hörhilfe |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19948907A1 (de) * | 1999-10-11 | 2001-02-01 | Siemens Audiologische Technik | Verfahren zur Signalverarbeitung in einer Hörhilfe sowie Hörhilfe |
DE10245567B3 (de) * | 2002-09-30 | 2004-04-01 | Siemens Audiologische Technik Gmbh | Vorrichtung und Verfahren zum Anpassen eines Hörgeräts |
KR20050115857A (ko) * | 2002-12-11 | 2005-12-08 | 소프트맥스 인코퍼레이티드 | 안정성 강제하에서 독립 성분 분석을 사용하여 음향을처리하는 시스템 및 방법 |
EP1489882A3 (de) * | 2003-06-20 | 2009-07-29 | Siemens Audiologische Technik GmbH | Verfahren zum Betrieb eines Hörhilfegerätes, sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind |
US7957548B2 (en) * | 2006-05-16 | 2011-06-07 | Phonak Ag | Hearing device with transfer function adjusted according to predetermined acoustic environments |
EP1912472A1 (de) * | 2006-10-10 | 2008-04-16 | Siemens Audiologische Technik GmbH | Verfahren zum Betreiben einer Hörhilfe, sowie Hörhilfe |
-
2008
- 2008-05-13 DE DE102008023370A patent/DE102008023370B4/de not_active Expired - Fee Related
-
2009
- 2009-03-23 DK DK09155859.3T patent/DK2120484T3/da active
- 2009-03-23 EP EP09155859.3A patent/EP2120484B1/de active Active
- 2009-05-07 US US12/436,880 patent/US8737652B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1912474A1 (de) * | 2006-10-10 | 2008-04-16 | Siemens Audiologische Technik GmbH | Verfahren zum Betreiben einer Hörhilfe, sowie Hörhilfe |
Also Published As
Publication number | Publication date |
---|---|
DE102008023370B4 (de) | 2013-08-01 |
EP2120484A3 (de) | 2010-05-26 |
DE102008023370A1 (de) | 2009-11-19 |
EP2120484A2 (de) | 2009-11-18 |
US20090285422A1 (en) | 2009-11-19 |
DK2120484T3 (da) | 2016-08-29 |
US8737652B2 (en) | 2014-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1912474B1 (de) | Verfahren zum Betreiben einer Hörhilfe, sowie Hörhilfe | |
DE10146886B4 (de) | Hörgerät mit automatischer Umschaltung auf Hörspulenbetrieb | |
EP1912472A1 (de) | Verfahren zum Betreiben einer Hörhilfe, sowie Hörhilfe | |
EP3451705B1 (de) | Verfahren und vorrichtung zum schnellen erkennen der eigenen stimme | |
DE112009002617B4 (de) | Wahlweises Schalten zwischen mehreren Mikrofonen | |
EP1307072B1 (de) | Verfahren zum Betrieb eines Hörgerätes sowie Hörgerät | |
EP2077059B1 (de) | Verfahren zum betreiben einer hörhilfe, sowie hörhilfe | |
DE102011087984A1 (de) | Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung | |
WO2001020965A2 (de) | Verfahren zur bestimmung einer momentanen akustischen umgebungssituation, anwendung des verfharens und ein hörgerät | |
EP1489885A2 (de) | Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind | |
EP3104627B1 (de) | Verfahren zur verbesserung eines aufnahmesignals in einem hörsystem | |
EP2226795B1 (de) | Hörvorrichtung und Verfahren zum Reduzieren eines Störgeräuschs für eine Hörvorrichtung | |
EP2991379B1 (de) | Verfahren und vorrichtung zur verbesserten wahrnehmung der eigenen stimme | |
DE102010041740A1 (de) | Verfahren zur Signalverarbeitung in einem Hörhilfegerät sowie Hörhilfegerät | |
DE10327890A1 (de) | Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind | |
EP3337188A1 (de) | Verfahren zum betrieb eines hörgerätes | |
EP3873108A1 (de) | Hörsystem mit mindestens einem im oder am ohr des nutzers getragenen hörinstrument sowie verfahren zum betrieb eines solchen hörsystems | |
EP3337187A1 (de) | Verfahren zum betrieb eines hörgerätes | |
EP2120484B1 (de) | Verfahren zum Betreiben eines Hörgeräts und Hörgerät | |
EP2200341B1 (de) | Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einer Quellentrennungseinrichtung | |
EP1489882A2 (de) | Verfahren zum Betrieb eines Hörhilfegerätes, sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind | |
EP2080410A1 (de) | Verfahren zum betreiben einer hörhilfe, sowie hörhilfe | |
DE10334396B3 (de) | Hörhilfegerät sowie Verfahren zum Betrieb eines Hörhilfegerätes mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind | |
DE10114101A1 (de) | Verfahren zum Verarbeiten eines Eingangssignals in einer Signalverarbeitungseinheit eines Hörgerätes sowie Schaltung zur Durchführung des Verfahrens | |
EP1432282A2 (de) | Verfahren zum Anpassen eines Hörgerätes an eine momentane akustische Umgebungssituation und Hörgerätesystem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL BA RS |
|
PUAL | Search report despatched |
Free format text: ORIGINAL CODE: 0009013 |
|
AK | Designated contracting states |
Kind code of ref document: A3 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL BA RS |
|
17P | Request for examination filed |
Effective date: 20100621 |
|
AKX | Designation fees paid |
Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR |
|
17Q | First examination report despatched |
Effective date: 20150421 |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: SIVANTOS PTE. LTD. |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
INTG | Intention to grant announced |
Effective date: 20160115 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN Ref country code: CH Ref legal event code: NV Representative=s name: E. BLUM AND CO. AG PATENT- UND MARKENANWAELTE , CH Ref country code: AT Ref legal event code: REF Ref document number: 801342 Country of ref document: AT Kind code of ref document: T Effective date: 20160615 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502009012584 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: DK Ref legal event code: T3 Effective date: 20160825 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20160518 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160818 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160919 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160819 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502009012584 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 9 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20170221 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170323 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170323 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20170331 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 10 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 801342 Country of ref document: AT Kind code of ref document: T Effective date: 20170323 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170331 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170323 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20090323 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20160518 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160518 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160918 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240321 Year of fee payment: 16 Ref country code: GB Payment date: 20240322 Year of fee payment: 16 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20240320 Year of fee payment: 16 Ref country code: DK Payment date: 20240321 Year of fee payment: 16 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20240401 Year of fee payment: 16 |