EP2802158B1 - Verfahren zur Nutzsignalanpassung in binauralen Hörhilfesystemen - Google Patents
Verfahren zur Nutzsignalanpassung in binauralen Hörhilfesystemen Download PDFInfo
- Publication number
- EP2802158B1 EP2802158B1 EP14155511.0A EP14155511A EP2802158B1 EP 2802158 B1 EP2802158 B1 EP 2802158B1 EP 14155511 A EP14155511 A EP 14155511A EP 2802158 B1 EP2802158 B1 EP 2802158B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- signal
- audio signals
- predetermined
- hearing aid
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 51
- 230000005236 sound signal Effects 0.000 claims description 87
- 238000012545 processing Methods 0.000 claims description 42
- 230000003044 adaptive effect Effects 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010370 hearing loss Effects 0.000 description 1
- 231100000888 hearing loss Toxicity 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/552—Binaural
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
Definitions
- the invention relates to a method for operating a hearing aid system and a hearing aid system with at least two hearing aid devices, between which a signal path is provided, and with at least one signal processing unit which is provided for processing audio signals.
- hearing impairment affects both ears
- the hearing impaired should be provided binaurally with hearing aids.
- Modern hearing aids have signal processing algorithms which automatically vary the parameters of the hearing aids as a function of the hearing situation. In the case of binaural care, the hearing situation is assessed on both ears.
- Noise and noise are omnipresent in everyday life and make speech communication more difficult, especially if there is an impairment of natural hearing. Therefore, techniques are desirable that suppress noise and noise, but change the desired sounds and tones, hereinafter also referred to as useful signals, as little as possible.
- the known embodiments of techniques for suppressing noise and noise require for effective suppression of noise noises with identical as possible Nutzsignalan tone.
- the various signals are detected by a plurality of different microphones, which are arranged on the two hearing aids.
- the useful signals detected by these microphones differ substantially due to ambient reverberation and the acoustic influence of the head of the wearer.
- downstream noise suppression techniques do not work effectively and especially when it comes to adaptive methods, they converge only very slowly or not at all. This leads to a poor suppression of the noise and additional acoustic artifacts by the noise reduction.
- a method for blind source separation by means of Wiener filter is from the patent application EP 2211563 A1 known.
- a hearing aid system with two hearing aids in which input signals by means of a first signal channel with a first filter, and with a second signal channel with a second filter are converted into output signals.
- the coefficients of at least one of the filters are adjusted so that the difference between the output signals of the first and second signal channels is minimized.
- the WO 2009/081193 A1 relates to a system for noise suppression, comprising a digital filter with a predetermined filter and with an adaptive filter, and with a signal processing device for generating a control signal for the adaptive filter.
- the object of the present invention is to provide a method for operating a hearing aid system and a hearing aid system, by which the noise suppression in binaural hearing aid systems is improved.
- This object is achieved by a method having the features of claim 1.
- the part of the object relating to the hearing aid system is achieved by the features of claim 12.
- the method according to the invention relates to a method for operating a hearing aid system with at least two hearing aid devices.
- the hearing aids have a transducer for receiving an acoustic signal and conversion into a respective first audio signal.
- the hearing aid system further comprises a signal processing device for processing audio signals, as well as a signal connection for transmitting a first audio signal from each hearing aid device to the signal processing device.
- the acoustic signal has a useful signal, which arrives from a given spatial direction with respect to the hearing aid system.
- the signal processing device filters the first audio signals with a filter predetermined for the given spatial direction, so that second audio signals are generated, wherein the predetermined filter is designed such that the components of the useful signal in the second audio signals are matched to one another to a greater degree than in the first audio signals; and Filtering the second audio signals with an adaptive filter, so that third audio signals are generated, wherein the adaptive filter is designed such that the portions of the useful signal in the third audio signals are aligned to a higher degree than in the second audio signals.
- the method according to the invention provides second audio signals in which the components of the useful signal are matched to one another to a greater degree than in the first audio signals.
- the adaptive filter of the second step converges much faster and therefore provides third audio signals in which the alignment of the useful signals is further improved. This allows subsequent noise suppression methods from these third audio signals to form better reference signals for the useful and interfering signals and noise almost completely to suppress.
- the method of the invention allows shorter adaptive filters with less computational power requirement and faster convergence of the adaptive filter, which advantageously allows adaptation to rapidly changing environmental conditions.
- the hearing aid system according to the invention for carrying out the method according to the invention shares its advantages.
- the signal processing device has means for dividing the first audio signals into first audio signals in predetermined frequency ranges, wherein the steps of the method according to the invention are performed separately for each audio signal in a frequency range.
- the predetermined filter is defined by a predetermined number of predetermined coefficients.
- a filter with a predetermined coefficient number is easy to implement and advantageously requires only a small memory space.
- the predetermined number of the predetermined coefficients is different in different frequency ranges.
- the need for computing power for the predetermined filter can be optimized in an advantageous manner by more accurate filtering takes place only in frequency ranges with corresponding noise.
- the memory requirement for the filter is further reduced.
- predetermined coefficients for the predetermined filter are predetermined for at least two predetermined spatial directions.
- this further comprises a step of estimating a spatial direction of the useful signal, wherein in the step of filtering the first audio signals, the predetermined filter is predetermined by the coefficients whose assigned predetermined spatial direction is closest to the estimated spatial direction.
- the predetermined filter can be set to different predetermined spatial directions, wherein in each case the selected spatial direction of the spatial direction of the source of the useful signal is closest, so that the predetermined filter achieves an optimal filtering effect.
- a reference signal for a noise is derived from the second and / or third audio signals by subtraction.
- a reference signal for a useful signal is derived from the second and / or third audio signals by summation.
- the reference signal is used for a useful signal for detecting a voice activity.
- the reference signal for the useful signal for example, when used to detect a voice activity (VAD, voice activity detection) allows a safer detection.
- the predetermined filter is a finite impulse response (FIR) filter.
- FIR finite impulse response
- An FIR filter advantageously has no tendency to oscillate and thus ensures a convergence of a provided signal under all circumstances.
- Fig. 1 shows the basic structure of a hearing aid system 100 according to the invention.
- the hearing aid system 100 has two hearing aid devices 110, 110 '.
- a hearing aid housing 1, 1 ' for carrying behind the ear, one or more microphones 2, 2' for receiving the sound or acoustic signals from the environment are installed.
- a signal processing unit 3, 3 ' which is also integrated in the hearing aid housing 1, 1', processes the first audio signals.
- the output signal of the signal processing unit 3, 3 ' is transmitted to a loudspeaker or receiver 4, 4', which outputs an acoustic signal.
- the sound is optionally transmitted via a sound tube, which is fixed with an earmold in the ear canal, to the eardrum of the device carrier.
- the power supply of the hearing device and in particular of the signal processing unit 3, 3 ' takes place by means of a likewise integrated into the hearing aid housing 1, 1' battery 5, 5 '.
- the hearing aid system 100 has a signal connection 6, which is designed to transmit a first acoustic signal from the signal processing device 3 to the signal processing device 3 '. It is provided in the preferred embodiment that also signal processing device 3 'transmits a first acoustic signal to the signal processing device 3 in the opposite direction. Furthermore, it is conceivable to transmit the signals of several or all of the microphones 2, 2 'in each case to the other hearing aid device 110, 110'.
- a signal connection 6 are wired, optical or wireless connections such. Bluetooth conceivable.
- Fig. 2 shows a schematic flow diagram of a method according to the invention in the signal processing device 3, 3 '.
- a spatial direction of a desired signal is estimated by the signal processing device 3, 3 '. This can be done for example by time or phase differences for a prominent signal in the first audio signals. An analysis of the amplitude of this distinctive signal in the first audio signals is also conceivable. From the estimated spatial direction of the useful signal, the signal device selects a spatial direction from a set of predetermined spatial directions which is closest to the estimated spatial direction of the useful signal. If no distinctive signal is present, an estimate of the spatial direction is used at an earlier time or a predetermined direction, e.g. selected in a straight line in front of the face of the wearer of the hearing aid system. It is also conceivable to undertake a new estimation of the spatial direction only in the case of a multiple occurrence of a distinctive signal having the same characteristics.
- step S20 the first audio signals are filtered by the predetermined filter 31.
- the predetermined filter 31 uses predetermined filter coefficients for the given one Spatial direction of the wanted signal. For example, for each element of the set of given spatial directions, a set of predetermined filter coefficients for the predetermined filter 31 may be stored in a look-up table.
- the predetermined filter 31 provides second audio signals.
- the useful signal is already equalized as a signal component by the use of the predetermined filter 31, ie, the differences in amplitude and phase of the useful signal are smaller between the individual second audio signals than between the corresponding first ones Audio signals. Under real ambient conditions, a compensation in the range of 5 - 10 dB can be achieved.
- the adaptive filter 32 filters the second audio signals.
- an adaptive filter for example, the Least Mean Square (LMS) method described by Teutsch and Elko can be used to minimize the noise. Due to the pre-filtering by the predetermined filter 31, the filter effect by the adaptive filter 32 may be smaller. Therefore, for example, a filter with fewer coefficients can be used, and therefore an algorithm for adaptively adapting the filter coefficients to the second audio signals converges faster.
- LMS Least Mean Square
- the adaptive filter 32 provides third audio signals.
- the useful signal is already adjusted by the application of the adaptive filter 32 as a signal component to an increased extent, that is, the differences in amplitude and phase of the useful signal between the individual third audio signals are even lower than between the corresponding second audio signals.
- a reference signal for a noise can be formed in a conceivable embodiment by subtracting third audio signals, which is used in a step S50 by a noise suppression method is to suppress noise in the audio signals before they are output via the handset 4 as acoustic signals. Due to the filtering, the useful signal in the different parts of the third audio signal is almost identical, so that it almost completely extinguishes during difference formation. Therefore, artefacts which distort the wanted signal hardly occur in the subsequent noise suppression method.
- a reference signal for the useful signal is generated. Since the components of the useful signal are matched by the filtering, but the disturbances are statistically distributed, addition of the useful signal to the interference is further emphasized. Therefore, the reference signal for the wanted signal obtained in step S60 has a better signal-to-noise ratio and can be used for voice actvity detection in a further step S70.
- the steps S10 to S70 may be applied to audio signals having a single continuous frequency range.
- the first audio signals are first divided into different frequency ranges before all or individual steps S10 to S70 are applied to the individual frequency ranges.
- This has the advantage of using a different gain and other signal processing, such as a dynamic compression in a hearing aid to compensate for a hearing loss of the patient for individual frequency ranges. Means for dividing the audio signals into frequency ranges are therefore usually already present and the steps S10 to S70 can be easily incorporated into the existing processing process.
- individual steps such as, for example, step S10 for estimating a given spatial direction, take place jointly for all frequencies.
- Fig. 3 shows a corresponding schematic representation of a hearing aid system 100 according to the invention with a frequency distribution.
- FIG. 3 On the left is in Fig. 3 the head 200 of a patient is shown with an array of two microphones 2, 2 'on each side of the head. The other functional blocks are then no longer specified in their relative position to the head.
- the first audio signals of the microphones 2, 2 ' are supplied via a signal connection 6 to both hearing aid devices 110, 110' and the signal processing device 3, 3 '.
- each of the four first audio signals in each hearing aid device 110, 110 ' is divided into a plurality of frequency bands.
- the signal processing device 3, 3 ' carries out the step S20, which is represented by the function block of the predetermined filter 31, 31'.
- the second audio signals are supplied to the adaptive filter 32, 32 ', which performs step S30 on the individual frequency ranges of the second audio signals and provides third audio signals.
- synthesis of the individual frequency ranges of the third audio signals takes place in the synthesis filter bank 33, 33', so that four third audio signals each comprise a single, at least parts of the audible range Frequency range arise.
- the analysis filter bank 10, 10 ' which divides the first audio signals into frequency ranges, can be realized for example by a short-time Fourier transformation.
- the further processing of the second and third audio signals then takes place in the short-time Fourier range, before they are in the synthesis filter bank 33, 33 'in turn assembled by, for example, an inverse short-term Fourier transform to form an audio signal.
- the signal processing unit 3 configured to carry out steps S10 to S70, while the other signal processing unit 3' is for providing the first audio signals and transmitting the audio signals via the signal connection 6 limited.
- the energy consumption for a parallel processing of all signals in both hearing aids 110, 110 'could be avoided.
- Other architectures, for example, with a central, remote signal processing unit 3 are conceivable.
- Fig. 4 shows a schematic representation of a test setup for determining the direction-dependent predetermined filter coefficients.
- the filters 31 are predetermined, for example by predetermined filter coefficients. These filter coefficients can either be theoretically determined by a model calculation, or determined by measurements and adaptive methods in the laboratory and stored in tables in the signal processing unit 3, 3 '.
- an artificial head 200 eg KEMAR
- a measuring device receives the audio signals of the microphones as a function of the spatial direction of a signal source 120 given by the angle ⁇ , which emits a useful signal as sound.
- Modeling and optimization methods can then be used to determine a set of coefficients that are suitable for predetermined spatial directions under the idealized conditions the measurement equalizes the components of the useful signal in the second audio signals.
- a spatial direction of a real useful signal source can later be estimated via the step S10, and in the predetermined filter 31 the corresponding coefficient set for a predetermined spatial direction closest to the estimated spatial direction can be selected and used for filtering. Since the real conditions deviate from the ideal conditions of the measurement, the matching of the components of the useful signal in the second audio signals is not completely achieved, which is why the method according to the invention provides for a subsequent adaptive filter 32, 32 '.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
Description
- Die Erfindung betrifft ein Verfahren zum Betrieb eines Hörhilfesystems sowie ein Hörhilfesystem mit wenigstens zwei Hörhilfegeräten, zwischen denen ein Signalpfad vorgesehen ist, und mit wenigstens einer Signalverarbeitungseinheit, die zur Verarbeitung von Audiosignalen vorgesehen ist.
- In vielen Fällen betrifft eine Schwerhörigkeit beide Ohren, der Hörgeschädigte sollte beidohrig (binaural) mit Hörgeräten versorgt werden. Moderne Hörgeräte verfügen dabei über Signalverarbeitungsalgorithmen, die abhängig von der Hörsituation die Parameter der Hörgeräte automatisch variieren. Bei der binauralen Versorgung wird dabei die Hörsituation an beiden Ohren bewertet.
- Lärm und Störgeräusche sind im täglichen Leben allgegenwärtig und erschweren die Sprachkommunikation, insbesondere wenn eine Beeinträchtigung des natürlichen Hörvermögens vorliegt. Daher sind Techniken wünschenswert, die zwar Lärm und Störgeräusche unterdrücken, aber die erwünschten Geräusche und Töne, im Folgenden auch als Nutzsignale bezeichnet, möglichst wenig verändern.
- Die bekannten Ausführungsformen von Techniken zur Unterdrückung von Lärm und Störgeräuschen erfordern zur wirksamen Unterdrückung der Störgeräusche Signale mit möglichst identischen Nutzsignalanteilen. In der Praxis werden die verschiedenen Signale jedoch von einer Mehrzahl unterschiedlicher Mikrofone erfasst, die auf den beiden Hörhilfegeräten angeordnet sind. Die von diesen Mikrofonen erfassten Nutzsignale unterscheiden sich aufgrund von Hall in der Umgebung und durch den akustischen Einfluss des Kopfes des Trägers wesentlich. Die Folge ist, dass nachgeschaltete Verfahren zur Unterdrückung der Störgeräusche nicht effektiv arbeiten und insbesondere, wenn es sich um adaptive Verfahren handelt, diese nur sehr langsam oder gar nicht konvergieren. Dies führt zu einer schlechten Unterdrückung der Störgeräusche und zusätzlichen akustischen Artefakten durch die Störgeräuschunterdrückung.
- Ein adaptives Verfahren zur Unterdrückung von Störgeräuschen ist beispielsweise aus der Veröffentlichung von H. Teutsch, G.W. Elko "First- and second-order adaptive differential microphone arrays", 7th International Workshop on Acoustic Echo and Noise Control (IWAENC), pp. 35-38, Darmstadt, Germany Sep. 2001 bekannt, in der ein Least-Mean-Square- (LMS-) Verfahren zur Minimierung der Störgeräusche angewandt wird.
- Ein Verfahren zur blinden Quellentrennung mittels Wiener Filter ist aus der Patentanmeldung
EP 2211563 A1 bekannt. - Aus der
US 2008/0212811 A1 ist ein Hörhilfesystem mit zwei Hörhilfegeräten bekannt, bei welchem Eingangssignale mittels eines ersten Signalkanals mit einem ersten Filter, und mit einem zweiten Signalkanal mit einem zweiten Filter in Ausgangssignale gewandelt werden. Die Koeffizienten mindestens einer der Filter wird derart angepasst, dass die Differenz zwischen den Ausgangssignalen des ersten und zweiten Signalkanals minimiert wird. - Die
WO 2009/081193 A1 betrifft ein System zur Störgeräuschunterdrückung, mit einem digitalen Filter mit einem vorbestimmten Filter und mit einem adaptiven Filter, und mit einer Signalverarbeitungsvorrichtung zur Erzeugung eines Steuersignals für das adaptive Filter. - Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Betrieb eines Hörgerätesystems sowie ein Hörgerätesystem zu schaffen, durch welche die Störgeräuschunterdrückung in binauralen Hörhilfesystemen verbessert wird.
- Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Der das Hörhilfesystem betreffende Teil der Aufgabe wird gelöst durch die Merkmale des Anspruchs 12.
- Das erfindungsgemäße Verfahren betrifft ein Verfahren zum Betrieb eines Hörhilfesystems mit mindestens zwei Hörhilfegeräten. Die Hörhilfegeräte weisen einen Wandler zur Aufnahme eines akustischen Signals und Wandlung in ein jeweils erstes Audiosignal auf. Das Hörhilfesystem weist weiterhin eine Signalverarbeitungsvorrichtung zur Verarbeitung von Audiosignalen auf, sowie eine Signalverbindung zur Übertragung eines ersten Audiosignals von jedem Hörhilfegerät zu der Signalverarbeitungseinrichtung. Das akustische Signal weist ein Nutzsignal auf, welches aus einer gegebenen Raumrichtung bezüglich des Hörhilfesystems eintrifft. In dem erfindungsgemäßen Verfahren filtert die Signalverarbeitungsvorrichtung die ersten Audiosignale mit einem für die gegebene Raumrichtung vorbestimmten Filter, sodass zweite Audiosignale erzeugt werden, wobei das vorbestimmte Filter derart ausgelegt ist, dass die Anteile des Nutzsignals in den zweiten Audiosignalen in einem höheren Maß aneinander angeglichen sind als in den ersten Audiosignalen; und
Filtern der zweiten Audiosignale mit einem adaptiven Filter, sodass dritte Audiosignale erzeugt werden, wobei das adaptive Filter derart ausgelegt ist, dass die Anteile des Nutzsignals in den dritten Audiosignalen in einem höheren Maß aneinander angeglichen sind als in den zweiten Audiosignalen. - Das erfindungsgemäße Verfahren liefert in dem ersten Schritt zweite Audiosignale, in denen die Anteile des Nutzsignals in höherem Maß als in den ersten Audiosignalen aneinander angeglichen sind. Auf vorteilhafte Weise konvergiert daher das adaptive Filter des zweiten Schritts wesentlich schneller und liefert daher dritte Audiosignale, in denen die Angleichung der Nutzsignale noch weiter verbessert ist. Dies ermöglicht nachfolgenden Störunterdrückungsverfahren ausgehend von diesen dritten Audiosignalen, bessere Referenzsignale für das Nutz- und Störsignal zu bilden und Störgeräusche fast vollständig zu unterdrücken. Durch die Vorbearbeitung der ersten Audiosignale in dem vorbestimmten Filter erlaubt das erfindungsgemäße Verfahren kürzere adaptive Filter mit geringerem Bedarf an Rechenleistung und eine schnellere Konvergenz des adaptiven Filters, was auf vorteilhafte Weise eine Anpassung an schnell wechselnde Umgebungsbedingungen erlaubt.
- Das erfindungsgemäße Hörhilfesystem zur Ausführung des erfindungsgemäßen Verfahrens teilt dessen Vorzüge.
- Vorteilhafte Weiterbildungen des Verfahrens und des Hörgerätesystems sind in den Unteransprüchen angegeben.
- So weist in einer bevorzugten Ausführungsform der Erfindung die Signalverarbeitungsvorrichtung Mittel zum Aufteilen der ersten Audiosignale in erste Audiosignale in vorgegebenen Frequenzbereiche auf, wobei die Schritte des erfindungsgemäßen Verfahrens für jedes Audiosignal in einem Frequenzbereich getrennt ausgeführt werden.
- Dies ermöglicht es, das vorbestimmte Filter und das adaptive Filter für den jeweiligen Frequenzbereich zu optimieren sowie das Verfahren in die Architektur einer Hörhilfe mit einer Frequenzgang-Korrektur entsprechend der Beeinträchtigung des Patienten zu integrieren.
- In einer möglichen Ausführungsform ist das vorbestimmte Filter durch eine vorbestimmte Anzahl an vorbestimmten Koeffizienten definiert.
- Ein Filter mit einer vorbestimmten Koeffizientenzahl ist einfach zu implementieren und benötigt in vorteilhafter Weise nur einen geringen Speicherplatz.
- In einer Ausführungsform ist es denkbar, dass die vorbestimmte Anzahl der vorbestimmten Koeffizienten in unterschiedlichen Frequenzbereichen unterschiedlich ist.
- So kann auf vorteilhafte Weise der Bedarf an Rechenleistung für das vorbestimmte Filter optimiert werden, indem nur in Frequenzbereichen mit entsprechenden Störgeräuschen eine genauere Filterung erfolgt. Darüber hinaus wird der Speicherbedarf für das Filter weiter reduziert.
- In einer bevorzugten Ausführungsform sind vorbestimmte Koeffizienten für das vorbestimmte Filter für mindestens zwei vorbestimmte Raumrichtungen vorbestimmt.
- Es ist daher auf einfache Weise möglich, das vorbestimmte Filter von einer Richtung, in die die Filterung besonders effektiv erfolgt, auf eine andere Richtung umzuschalten, wenn beispielsweise die Quelle für das Nutzsignal den Standort ändert.
- In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens weist dieses weiterhin einen Schritt zur Abschätzung einer Raumrichtung des Nutzsignals auf, wobei in dem Schritt des Filterns der ersten Audiosignale das vorbestimmte Filter durch die Koeffizienten vorbestimmt wird, deren zugeordnete vorbestimmte Raumrichtung am nächsten bei der abgeschätzten Raumrichtung liegt.
- So kann auf vorteilhafte Weise das vorbestimmte Filter auf verschiedene vorbestimmte Raumrichtungen eingestellt werden, wobei jeweils die gewählte Raumrichtung der Raumrichtung der Quelle des Nutzsignals am nächsten liegt, sodass das vorbestimmte Filter eine optimale Filterwirkung erzielt.
- In einer möglichen Ausführungsform des Verfahrens wird aus den zweiten und/oder dritten Audiosignalen durch Differenzbildung ein Referenzsignal für ein Störgeräusch abgeleitet.
- Dabei ist es von Vorteil, dass in den zweiten Audiosignalen durch das vorbestimmte Filter beziehungsweise in den dritten Audiosignalen durch das adaptive Filter bereits die Anteile des Nutzsignals in einem höheren Maß aneinander angeglichen sind, sodass sich diese durch die Differenzbildung nahezu vollständig aufheben und ein reineres Referenzsignal für das Störgeräusch bereitgestellt wird. Beispielsweise erzeugen nachfolgende Verfahren zur Unterdrückung von Störgeräuschen bei Verwendung dieser Referenzsignale weniger Artefakte und ein reineres Nutzsignal.
- In einer möglichen Ausführungsform des Verfahrens wird aus den zweiten und/oder dritten Audiosignalen durch Summenbildung ein Referenzsignal für ein Nutzsignal abgeleitet.
- Dabei ist es von Vorteil, dass in den zweiten Audiosignalen durch das vorbestimmte Filter beziehungsweise in den dritten Audiosignalen durch das adaptive Filter bereits die Anteile des Nutzsignals in einem höheren Maß aneinander angeglichen sind, sodass bei Addition ein Signal mit einem besseren Signal-Rauschverhältnis zur Verfügung steht.
- In einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird das Referenzsignal für ein Nutzsignal zur Erkennung einer Sprachaktivität genutzt.
- Wegen des besseren Signal-Rauschverhältnisses erlaubt das Referenzsignal für das Nutzsignal beispielsweise bei einer Verwendung zur Erkennung einer Sprachaktivität (VAD, voice activity detection) eine sicherere Erkennung.
- In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens ist das vorbestimmte Filter ein Filter mit endlicher Impulsantwort (Finite Impulse Response, FIR).
- Ein FIR-Filter weist vorteilhafter weise keine Schwingungsneigung auf und stellt daher unter allen Umständen eine Konvergenz eines bereitgestellten Signals sicher.
- Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
- Es zeigen:
- Fig. 1
- eine schematische Darstellung eines erfindungsgemäßen Hörhilfesystems;
- Fig. 2
- ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens;
- Fig. 3
- eine schematische Darstellung der Funktionsaufteilung einer Ausführungsform des binauralen Hörhilfesystems;
- Fig. 4
- eine schematische Darstellung für einen Testaufbau zur Bestimmung der richtungsabhängigen vorbestimmten Filterkoeffizienten.
-
Fig. 1 zeigt den prinzipiellen Aufbau eines erfindungsgemäßen Hörhilfesystems 100. Das Hörhilfesystem 100 weist zwei Hörhilfegeräte 110, 110' auf. In ein Hörgerätegehäuse 1, 1' zum Tragen hinter dem Ohr sind ein oder mehrere Mikrofone 2, 2' zur Aufnahme des Schalls bzw. akustischer Signale aus der Umgebung eingebaut. Die Mikrofone 2, 2' sind Wandler 2, 2' zur Umwandlung des Schalls in erste Audiosignale. Eine Signalverarbeitungseinheit 3, 3', die ebenfalls in das Hörgerätegehäuse 1, 1' integriert ist, verarbeitet die ersten Audiosignale. Das Ausgangssignal der Signalverarbeitungseinheit 3, 3' wird an einen Lautsprecher bzw. Hörer 4, 4' übertragen, der ein akustisches Signal ausgibt. Der Schall wird gegebenenfalls über einen Schallschlauch, der mit einer Otoplastik im Gehörgang fixiert ist, zum Trommelfell des Geräteträgers übertragen. Die Energieversorgung des Hörgeräts und insbesondere die der Signalverarbeitungseinheit 3, 3' erfolgt durch eine ebenfalls ins Hörgerätegehäuse 1, 1' integrierte Batterie 5, 5'. - Weiterhin weist das Hörhilfesystem 100 eine Signalverbindung 6 auf, die ausgelegt ist, ein erstes akustisches Signal von der Signalverarbeitungseinrichtung 3 zu der Signalverarbeitungseinrichtung 3' zu übertragen. Dabei ist es in der bevorzugten Ausführungsform vorgesehen, dass auch Signalverarbeitungseinrichtung 3' ein erstes akustisches Signal zu der Signalverarbeitungseinrichtung 3 in Gegenrichtung überträgt. Weiterhin ist es denkbar, die Signale mehrerer oder aller Mikrofone 2, 2' jeweils zu dem anderen Hörhilfegerät 110, 110' zu übertragen.
- Als Signalverbindung 6 sind drahtgebundene, optische oder auch drahtlose Verbindungen wie z.B. Bluetooth denkbar.
-
Fig. 2 zeigt ein schematisches Ablaufdiagramm eines erfindungsgemäßen Verfahrens in der Signalverarbeitungseinrichtung 3, 3'. - In Schritt S10 wird eine Raumrichtung eines Nutzsignals von der Signalverarbeitungseinrichtung 3, 3' abgeschätzt. Dies kann beispielsweise durch Zeit- bzw. Phasenunterschiede für ein markantes Signal in den ersten Audiosignalen erfolgen. Denkbar ist auch eine Analyse der Amplitude dieses markanten Signals in den ersten Audiosignalen. Aus der geschätzten Raumrichtung des Nutzsignals wählt die Signalvorrichtung eine Raumrichtung aus einer Menge von vorgegebenen Raumrichtungen, die der geschätzten Raumrichtung des Nutzsignals am nächsten liegt. Ist kein markantes Signal vorhanden, wird eine Abschätzung der Raumrichtung zu einem früheren Zeitpunkt verwendet oder eine vorbestimmte Richtung, z.B. in gerader Richtung vor dem Gesicht des Trägers des Hörhilfesystems ausgewählt. Auch ist es denkbar, nur bei einem mehrfachen Auftreten eines markanten Signals mit gleichen Merkmalen eine neue Abschätzung der Raumrichtung zu übernehmen.
- In Schritt S20 erfolgt eine Filterung der ersten Audiosignale durch das vorbestimmte Filter 31. Dabei nutzt das vorbestimmte Filter 31 vorbestimmte Filterkoeffizienten für die gegebene Raumrichtung des Nutzsignals. Beispielsweise kann für jedes Element aus der Menge der gegebenen Raumrichtungen ein Satz von vorbestimmten Filterkoeffizienten für das vorbestimmte Filter 31 in einer Look-Up-Tabelle hinterlegt sein. Als Ergebnis des Schrittes S20 stellt das vorbestimmte Filter 31 zweite Audiosignale bereit. In diesen zweiten Audiosignalen ist das Nutzsignal durch die Anwendung des vorbestimmten Filters 31 bereits als Signalanteil in erhöhtem Maß angeglichen (engl. equalize), das heißt, die Unterschiede in Amplitude und Phase des Nutzsignals sind zwischen den einzelnen zweiten Audiosignalen geringer als zwischen den entsprechenden ersten Audiosignalen. Unter realen Umgebungsbedingungen lässt sich damit ein Ausgleich im Bereich von 5 - 10dB erreichen.
In Schritt S30 filtert das adaptive Filter 32 die zweiten Audiosignale. Als adaptives Filter kann beispielsweise das von Teutsch und Elko beschriebene Least-Mean-Square- (LMS-) Verfahren zur Minimierung der Störgeräusche angewandt werden. Aufgrund der Vorfilterung durch das vorbestimmte Filter 31 kann der Filtereffekt durch das adaptive Filter 32 geringer ausfallen. Daher kann beispielsweise ein Filter mit weniger Koeffizienten angewandt werden, weshalb ein Algorithmus zur adaptiven Anpassung der Filterkoeffizienten auf die zweiten Audiosignale schneller konvergiert. - Als Ergebnis des Schrittes S30 stellt das adaptive Filter 32 dritte Audiosignale bereit. In diesen dritten Audiosignalen ist das Nutzsignal durch die Anwendung des adaptiven Filters 32 bereits als Signalanteil in erhöhtem Maß angeglichen, das heißt, die Unterschiede in Amplitude und Phase des Nutzsignals sind zwischen den einzelnen dritten Audiosignalen noch geringer als zwischen den entsprechenden zweiten Audiosignalen.
- In einem Schritt S40 kann in einer denkbaren Ausführungsform durch Differenzbildung von dritten Audiosignale ein Referenzsignal für ein Störgeräusch gebildet werden, welches in einem Schritt S50 durch ein Störunterdrückungsverfahren genutzt wird, um Störgeräusche in den Audiosignalen zu unterdrücken, bevor diese über den Hörer 4 als akustische Signale ausgegeben werden. Durch die Filterung ist das Nutzsignal in den verschiedenen Anteilen des dritten Audiosignals nahezu identisch, sodass es sich bei der Differenzbildung fast vollständig auslöscht. Daher kommt es bei dem nachfolgenden Störunterdrückungsverfahren kaum zu Artefakten, die das Nutzsignal verzerren.
- Es ist auch denkbar, dass in einem Schritt S60 durch Summenbildung von dritten Audiosignalen ein Referenzsignal für das Nutzsignal generiert wird. Da die Anteile des Nutzsignals durch das Filtern angeglichen sind, die Störungen aber statistisch verteilt sind, wird durch Addition das Nutzsignal gegenüber den Störungen weiter hervorgehoben. Daher weist das in Schritt S60 gewonnene Referenzsignal für das Nutzsignal ein besseres Signal-Rauschverhältnis auf und kann in einem weiteren Schritt S70 zur Erkennung einer Sprachaktivität (voice actvity detection) herangezogen werden.
- Die Schritte S10 bis S70 können auf Audiosignale angewendet werden, die einen einzigen durchgehenden Frequenzbereich aufweisen. In einer bevorzugten Ausführungsform erfolgt jedoch erst eine Aufteilung der ersten Audiosignale in unterschiedliche Frequenzbereiche, bevor auf die einzelnen Frequenzbereiche alle oder einzelne der Schritte S10 bis S70 angewendet werden. Dies hat den Vorteil, bei einer Hörhilfe zum Ausgleich einer Hörschwäche des Patienten für einzelne Frequenzbereiche eine unterschiedliche Verstärkung und anderweitige Signalverarbeitung, beispielsweise eine Dynamikkompression anzuwenden. Mittel zum Aufteilen der Audiosignale in Frequenzbereiche sind daher meist bereits vorhanden und die Schritte S10 bis S70 lassen sich leicht in den vorhandenen Verarbeitungsprozess einbinden. Es ist aber auch denkbar, dass einzelne Schritte, wie z.B. Schritt S10 zur Abschätzung einer gegebenen Raumrichtung, für alle Frequenzen gemeinsam erfolgt.
-
Fig. 3 zeigt eine entsprechende schematische Darstellung eines erfindungsgemäßen Hörhilfesystems 100 mit einer Frequenzaufteilung. - Auf der linken Seite ist in
Fig. 3 der Kopf 200 eines Patienten mit einer Anordnung von je zwei Mikrofonen 2, 2' auf jeder Seite des Kopfes dargestellt. Die weiteren Funktionsblöcke sind dann nicht mehr in ihrer relativen Position zum Kopf angegeben. - Die ersten Audiosignale der Mikrofone 2, 2' werden über eine Signalverbindung 6 beiden Hörhilfegeräten 110, 110' und der Signalverarbeitungseinrichtung 3, 3' zugeführt. In einer Analysefilterbank 10, 10', die in den Signalverarbeitungseinheiten 3, 3' realisiert ist, wird jedes der vier ersten Audiosignale in jedem Hörhilfegerät 110, 110' in eine Mehrzahl von Frequenzbändern aufgeteilt. Für die einzelnen Frequenzbereiche der ersten Audiosignale führt die Signalverarbeitungseinrichtung 3, 3' den Schritt S20 aus, der durch den Funktionsblock des vorbestimmten Filters 31, 31' dargestellt ist. Die zweiten Audiosignale werden dem adaptiven Filter 32, 32' zugeführt, der den Schritt S30 auf die einzelnen Frequenzbereiche der zweiten Audiosignale ausführt und dritte Audiosignale bereitstellt. Vor einer Wandlung in akustische Signale, die über die Hörer 4, 4' ausgegeben werden, erfolgt in der Synthesefilterbank 33, 33' eine Synthese der einzelnen Frequenzbereiche der dritten Audiosignale, sodass wieder vier dritte Audiosignale mit jeweils einem einzigen, zumindest Teile des Hörbereichs umfassenden Frequenzbereich entstehen.
- Die Analysefilterbank 10, 10', die die ersten Audiosignale in Frequenzbereiche aufteilt, kann beispielsweise durch eine Kurzzeit-Fouriertransformation realisiert sein. Die weitere Verarbeitung der zweiten und dritten Audiosignale erfolgt dann im Kurzzeit-Fourierbereich, bevor sie in der Synthesefilterbank 33, 33'wiederum durch beispielsweise eine inverse Kurzzeit-Fouriertransformation zu einem Audiosignal zusammengesetzt werden.
- Die in
Fig. 3 dargestellte Aufteilung der Funktionsblöcke ist dabei nur beispielhaft. So wäre es auch denkbar, dass die Signalverbindung 6 nicht der Signalverarbeitungseinheit 3, 3' vorgeschaltet ist, sondern die Signalverarbeitungseinheit 3, 3' selbst Protokolle, Signalisierung und Schnittstellen bereitstellt, sodass lediglich die physikalische Verbindungsebene der Signalverbindung 6 außerhalb der Signalverarbeitungseinheit 3, 3' stattfindet. - Ebenso wäre es möglich, dass lediglich ein Hörhilfegerät 110, 110' des Hörhilfesystems 100 die Signalverarbeitungseinheit 3 zur Durchführung der Schritte S10 bis S70 ausgelegt ist, während sich die andere Signalverarbeitungseinheit 3' auf eine Bereitstellung der ersten Audiosignale und die Übertragung der Audiosignale über die Signalverbindung 6 beschränkt. So könnte beispielsweise der Energieverbrauch für eine parallele Verarbeitung aller Signale in beiden Hörhilfegeräten 110, 110' vermieden werden. Auch andere Architekturen, beispielsweise mit einer zentralen, abgesetzten Signalverarbeitungseinheit 3 sind vorstellbar.
-
Fig. 4 zeigt noch eine schematische Darstellung für einen Testaufbau zur Bestimmung der richtungsabhängigen vorbestimmten Filterkoeffizienten. Die Filter 31 sind vorbestimmt, beispielsweise durch vorbestimmte Filterkoeffizienten. Diese Filterkoeffizienten können entweder durch eine Modellrechnung theoretisch bestimmt werden, oder durch Messungen und adaptive Verfahren im Labor bestimmt und in der Signalverarbeitungseinheit 3, 3' durch Tabellen abgelegt werden. InFig. 4 ist ein künstlicher Kopf 200 (z.B. KEMAR) dargestellt, an dem Mikrofone 2, 2' angeordnet sind. Eine nicht dargestellte Messvorrichtung nimmt die Audiosignale der Mikrofone in Abhängigkeit von der durch den Winkel Φ angegebenen Raumrichtung einer Signalquelle 120 auf, die ein Nutzsignal als Schall emittiert. Durch Modellierungs- und Optimierungsverfahren kann dann ein Satz an Koeffizienten bestimmt werden, der für vorbestimmte Raumrichtungen unter den idealisierten Bedingungen der Messung die Anteile des Nutzsignals in den zweiten Audiosignalen angleicht. In dem Hörhilfesystem 100 kann später über den Schritt S10 eine Raumrichtung einer realen Nutzsignalquelle abgeschätzt und in dem vorbestimmten Filter 31 der entsprechende Koeffizientensatz für eine der geschätzten Raumrichtung am nächsten liegende vorbestimmte Raumrichtung ausgewählt und zur Filterung angewendet werden. Da die realen Bedingungen von den idealen Bedingungen der Messung abweichen, wird das Angleichen der Anteile des Nutzsignals in den zweiten Audiosignalen nicht vollständig erreicht, weshalb das erfindungsgemäße Verfahren ein nachfolgendes adaptives Filter 32, 32' vorsieht.
Claims (12)
- Verfahren zum Betrieb eines Hörhilfesystems (100) mit mindestens zwei Hörhilfegeräten (110, 110'), wobei die Hörhilfegeräte (110, 110') einen Wandler (2, 2') zur Aufnahme eines akustischen Signals und Wandlung in ein jeweils erstes Audiosignal aufweisen, wobei das Hörhilfesystem (110, 110') eine Signalverarbeitungsvorrichtung (3, 3') zur Verarbeitung von Audiosignalen aufweist und das Hörhilfesystem eine Signalverbindung (6) zur Übertragung des jeweils ersten Audiosignals von jedem Hörhilfegerät (110, 110') zu der Signalverarbeitungsvorrichtung (3, 3') aufweist, und wobei die Signalverarbeitungsvorrichtung (3, 3') ein vorbestimmtes Filter (31, 31') mit vorbestimmten Filterkoeffizienten für eine gegebene Raumrichtung aufweist,
dadurch gekennzeichnet,
dass die Signalverarbeitungsvorrichtung (3, 3') folgende Schritte zur Angleichung von Anteilen eines Nutzsignals in den aufgenommenen Audiosignalen des akustischen Signals in dritten Audiosignalen ausführt, wobei das Nutzsignal aus der gegebenen Raumrichtung bezüglich des Hörhilfesystems eintrifft:Filtern (S20) der ersten Audiosignale mit einem für die gegebene Raumrichtung vorbestimmten Filter (31, 31') , sodass zweite Audiosignale erzeugt werden, wobei das vorbestimmte Filter (31, 31') derart ausgelegt ist, dass die Anteile des Nutzsignals in den zweiten Audiosignalen in einem höheren Maß aneinander angeglichen sind als in den ersten Audiosignalen; undFiltern (S30) der zweiten Audiosignale mit einem adaptiven Filter (32, 32'), sodass dritte Audiosignale erzeugt werden, wobei das adaptive Filter (32, 32') derart ausgelegt ist, dass die Anteile des Nutzsignals in den dritten Audiosignalen in einem höheren Maß aneinander angeglichen sind als in den zweiten Audiosignalen. - Verfahren nach Anspruch 1, wobei die Signalverarbeitungsvorrichtung Mittel (10, 10') zum Aufteilen der ersten Audiosignale in erste Audiosignale in vorgegebenen Frequenzbereiche aufweist und die Schritte des Anspruchs 1 für jedes Audiosignal in einem Frequenzbereich getrennt ausgeführt werden.
- Verfahren nach Anspruch 1 oder 2, wobei das vorbestimmte Filter (31, 31') durch eine vorbestimmte Anzahl an vorbestimmten Koeffizienten definiert ist.
- Verfahren nach Anspruch 2 und 3, wobei die vorbestimmte Anzahl der vorbestimmten Koeffizienten in unterschiedlichen Frequenzbereichen unterschiedlich ist.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei vorbestimmte Koeffizienten für das vorbestimmte Filter für mindestens zwei vorbestimmte Raumrichtungen vorbestimmt sind.
- Verfahren nach Anspruch 5, wobei das Verfahren weiterhin einen Schritt zur Abschätzung einer Raumrichtung des Nutzsignals aufweist und in dem Schritt des Filterns der ersten Audiosignale das vorbestimmte Filter (31, 31') durch die Koeffizienten vorbestimmt wird, deren zugeordnete vorbestimmte Raumrichtung am nächsten bei der abgeschätzten Raumrichtung liegt.
- Verfahren nach einem der vorangehenden Ansprüche, wobei aus den zweiten und/oder dritten Audiosignalen durch Differenzbildung ein Referenzsignal für ein Störgeräusch abgeleitet wird.
- Verfahren nach einem der vorangehenden Ansprüche, wobei aus den zweiten und/oder dritten Audiosignalen durch Summenbildung ein Referenzsignal für ein Nutzsignal abgeleitet wird.
- Verfahren nach Anspruch 8, wobei das Referenzsignal für ein Nutzsignal zur Erkennung einer Sprachaktivität genutzt wird.
- Verfahren nach einem der vorangehenden Ansprüche, wobei das vorbestimmte Filter (31, 31') ein Filter mit endlicher Impulsantwort ist.
- Verfahren nach einem der vorangehenden Ansprüche, wobei das adaptive Filter (32, 32') ein Least-Mean-Square- (LMS-) Verfahren zur Minimierung der Störgeräusche anwendet.
- Hörhilfesystem (100) mit mindestens zwei Hörhilfegeräten (110, 110'), wobei die Hörhilfegeräte (110, 110') einen Wandler (2, 2') zur Aufnahme eines akustischen Signals und Wandlung in ein jeweils erstes Audiosignal aufweisen, wobei das Hörhilfesystem eine Signalverarbeitungsvorrichtung (3, 3') zur Verarbeitung von Audiosignalen aufweist und das Hörhilfesystem eine Signalverbindung (6) zur Übertragung des jeweils ersten Audiosignals von jedem Hörhilfegerät (110, 110') zu der Signalverarbeitungsvorrichtung (3, 3') aufweist, wobei die Signalverarbeitungsvorrichtung (3, 3') konfiguriert ist, das Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013207161.2A DE102013207161B4 (de) | 2013-04-19 | 2013-04-19 | Verfahren zur Nutzsignalanpassung in binauralen Hörhilfesystemen |
Publications (3)
Publication Number | Publication Date |
---|---|
EP2802158A2 EP2802158A2 (de) | 2014-11-12 |
EP2802158A3 EP2802158A3 (de) | 2017-07-26 |
EP2802158B1 true EP2802158B1 (de) | 2019-08-14 |
Family
ID=50112829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP14155511.0A Active EP2802158B1 (de) | 2013-04-19 | 2014-02-18 | Verfahren zur Nutzsignalanpassung in binauralen Hörhilfesystemen |
Country Status (4)
Country | Link |
---|---|
US (1) | US9277333B2 (de) |
EP (1) | EP2802158B1 (de) |
DE (1) | DE102013207161B4 (de) |
DK (1) | DK2802158T3 (de) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015211747B4 (de) * | 2015-06-24 | 2017-05-18 | Sivantos Pte. Ltd. | Verfahren zur Signalverarbeitung in einem binauralen Hörgerät |
DE102016225205A1 (de) | 2016-12-15 | 2018-06-21 | Sivantos Pte. Ltd. | Verfahren zum Bestimmen einer Richtung einer Nutzsignalquelle |
US10848891B2 (en) * | 2019-04-22 | 2020-11-24 | Facebook Technologies, Llc | Remote inference of sound frequencies for determination of head-related transfer functions for a user of a headset |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5479522A (en) * | 1993-09-17 | 1995-12-26 | Audiologic, Inc. | Binaural hearing aid |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2157418C (en) * | 1994-09-01 | 1999-07-13 | Osamu Hoshuyama | Beamformer using coefficient restrained adaptive filters for detecting interference signals |
US6603861B1 (en) * | 1997-08-20 | 2003-08-05 | Phonak Ag | Method for electronically beam forming acoustical signals and acoustical sensor apparatus |
DE59911808D1 (de) * | 1998-09-29 | 2005-04-28 | Siemens Audiologische Technik | Hörgerät und verfahren zum verarbeiten von mikrofonsignalen in einem hörgerät |
US6888949B1 (en) * | 1999-12-22 | 2005-05-03 | Gn Resound A/S | Hearing aid with adaptive noise canceller |
WO2001097558A2 (en) * | 2000-06-13 | 2001-12-20 | Gn Resound Corporation | Fixed polar-pattern-based adaptive directionality systems |
WO2007106399A2 (en) * | 2006-03-10 | 2007-09-20 | Mh Acoustics, Llc | Noise-reducing directional microphone array |
US7218741B2 (en) * | 2002-06-05 | 2007-05-15 | Siemens Medical Solutions Usa, Inc | System and method for adaptive multi-sensor arrays |
US7330556B2 (en) * | 2003-04-03 | 2008-02-12 | Gn Resound A/S | Binaural signal enhancement system |
ATE487332T1 (de) * | 2003-07-11 | 2010-11-15 | Cochlear Ltd | Verfahren und einrichtung zur rauschverminderung |
CA2452945C (en) * | 2003-09-23 | 2016-05-10 | Mcmaster University | Binaural adaptive hearing system |
DE10351509B4 (de) * | 2003-11-05 | 2015-01-08 | Siemens Audiologische Technik Gmbh | Hörgerät und Verfahren zur Adaption eines Hörgeräts unter Berücksichtigung der Kopfposition |
US20050147258A1 (en) * | 2003-12-24 | 2005-07-07 | Ville Myllyla | Method for adjusting adaptation control of adaptive interference canceller |
CA2621940C (en) * | 2005-09-09 | 2014-07-29 | Mcmaster University | Method and device for binaural signal enhancement |
JP5249207B2 (ja) * | 2006-06-23 | 2013-07-31 | ジーエヌ リザウンド エー/エス | 適応性のある方向性信号処理を備えた補聴装置 |
US8005238B2 (en) * | 2007-03-22 | 2011-08-23 | Microsoft Corporation | Robust adaptive beamforming with enhanced noise suppression |
GB0725115D0 (en) * | 2007-12-21 | 2008-01-30 | Wolfson Microelectronics Plc | Split filter |
EP2238592B1 (de) * | 2008-02-05 | 2012-03-28 | Phonak AG | Verfahren zur verringerung von rauschen in einem eingangssignal eines hörgeräts sowie ein hörgerät |
WO2009102811A1 (en) * | 2008-02-11 | 2009-08-20 | Cochlear Americas | Cancellation of bone conducted sound in a hearing prosthesis |
CN102077607B (zh) * | 2008-05-02 | 2014-12-10 | Gn奈康有限公司 | 组合至少两个音频信号的方法和包括至少两个麦克风的麦克风*** |
EP2211563B1 (de) | 2009-01-21 | 2011-08-24 | Siemens Medical Instruments Pte. Ltd. | Verfahren und Vorrichtung zur blinden Quellentrennung zur Verbesserung der Störgeräuschschätzung bei der binauralen Wiener-Filterung |
US20140193009A1 (en) * | 2010-12-06 | 2014-07-10 | The Board Of Regents Of The University Of Texas System | Method and system for enhancing the intelligibility of sounds relative to background noise |
US8638960B2 (en) * | 2011-12-29 | 2014-01-28 | Gn Resound A/S | Hearing aid with improved localization |
US9148735B2 (en) * | 2012-12-28 | 2015-09-29 | Gn Resound A/S | Hearing aid with improved localization |
-
2013
- 2013-04-19 DE DE102013207161.2A patent/DE102013207161B4/de not_active Expired - Fee Related
-
2014
- 2014-02-18 DK DK14155511T patent/DK2802158T3/da active
- 2014-02-18 EP EP14155511.0A patent/EP2802158B1/de active Active
- 2014-04-21 US US14/257,151 patent/US9277333B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5479522A (en) * | 1993-09-17 | 1995-12-26 | Audiologic, Inc. | Binaural hearing aid |
Also Published As
Publication number | Publication date |
---|---|
EP2802158A3 (de) | 2017-07-26 |
US9277333B2 (en) | 2016-03-01 |
EP2802158A2 (de) | 2014-11-12 |
DE102013207161A1 (de) | 2014-11-06 |
DK2802158T3 (da) | 2019-11-18 |
DE102013207161B4 (de) | 2019-03-21 |
US20140314259A1 (en) | 2014-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2180726B2 (de) | Richtungshören bei binauraler Hörgeräteversorgung | |
EP3451705B1 (de) | Verfahren und vorrichtung zum schnellen erkennen der eigenen stimme | |
DE10249416B4 (de) | Verfahren zum Einstellen und zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät | |
DE10331956C5 (de) | Hörhilfegerät sowie Verfahren zum Betrieb eines Hörhilfegerätes mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteistiken einstellbar sind | |
DE102012204877B3 (de) | Hörvorrichtung für eine binaurale Versorgung und Verfahren zum Bereitstellen einer binauralen Versorgung | |
DE102011087984A1 (de) | Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung | |
DE102005047047A1 (de) | Mikrofonkalibrierung bei einem RGSC-Beamformer | |
DE102006047965A1 (de) | Hörhilfsgerät mit einer Okklusionsreduktionseinrichtung und Verfahren zur Okklusionsreduktion | |
EP2840809B1 (de) | Steuerung der effektstärke eines binauralen direktionalen mikrofons | |
DE102011006129B4 (de) | Hörvorrichtung mit Rückkopplungsunterdrückungseinrichtung und Verfahren zum Betreiben der Hörvorrichtung | |
CH694606A5 (de) | Verfahren zum Anpassen eines Hörhilfegeräts sowie Hörhilfegerät. | |
EP2802158B1 (de) | Verfahren zur Nutzsignalanpassung in binauralen Hörhilfesystemen | |
EP2545717A1 (de) | Enthallen von signalen einer binauralen hörvorrichtung | |
EP2595414B1 (de) | Hörvorrichtung mit einer Einrichtung zum Verringern eines Mikrofonrauschens und Verfahren zum Verringern eines Mikrofonrauschens | |
EP3926982A2 (de) | Verfahren zur richtungsabhängigen rauschunterdrückung für ein hörsystem, welches eine hörvorrichtung umfasst | |
EP2981099A2 (de) | Verfahren und vorrichtung zur rückkopplungsunterdrückung | |
DE102014218672B3 (de) | Verfahren und Vorrichtung zur Rückkopplungsunterdrückung | |
EP1154674A2 (de) | Schaltung und Verfahren zur adaptiven Geräuschunterdrückung | |
EP1962554A2 (de) | Hörvorrichtung mit Störsignaltrennung und entsprechendes Verfahren | |
EP2606660B1 (de) | Verfahren zum anpassen einer hörvorrichtung mit perzentil-analyse | |
EP2982136B1 (de) | Verfahren zum schätzen eines nutzsignals und hörvorrichtung | |
EP2793488B1 (de) | Binaurale Mikrofonanpassung mittels der eigenen Stimme | |
EP2373065B1 (de) | Hörvorrichtung und Verfahren zum Erzeugen einer omnidirektionalen Richtcharakteristik | |
EP2897383B1 (de) | Verfahren und Vorrichtung zur Analyse von Hörhilfeeinstellungen | |
EP3534624A1 (de) | Verfahren zum betrieb eines hörgerätes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20140218 |
|
AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: SIVANTOS PTE. LTD. |
|
PUAL | Search report despatched |
Free format text: ORIGINAL CODE: 0009013 |
|
AK | Designated contracting states |
Kind code of ref document: A3 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: H04R 25/00 20060101AFI20170622BHEP |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
R17P | Request for examination filed (corrected) |
Effective date: 20171130 |
|
RBV | Designated contracting states (corrected) |
Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: SIVANTOS PTE. LTD. |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
INTG | Intention to grant announced |
Effective date: 20190425 |
|
RIN1 | Information on inventor provided before grant (corrected) |
Inventor name: MEIER, STEFAN Inventor name: KELLERMANN, WALTER Inventor name: KAMKAR PARSI, HOMAYOUN Inventor name: REINDL, KLAUS Inventor name: PUDER, HENNING Inventor name: FISCHER, EGHART Inventor name: AUBREVILLE, MARC |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP Ref country code: AT Ref legal event code: REF Ref document number: 1168470 Country of ref document: AT Kind code of ref document: T Effective date: 20190815 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502014012404 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: NV Representative=s name: E. BLUM AND CO. AG PATENT- UND MARKENANWAELTE , CH |
|
REG | Reference to a national code |
Ref country code: DK Ref legal event code: T3 Effective date: 20191114 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20190814 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191216 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191114 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191114 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191115 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191214 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200224 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502014012404 Country of ref document: DE |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG2D | Information on lapse in contracting state deleted |
Ref country code: IS |
|
26N | No opposition filed |
Effective date: 20200603 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20200229 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200218 Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200218 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200229 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 1168470 Country of ref document: AT Kind code of ref document: T Effective date: 20200218 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200218 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190814 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240216 Year of fee payment: 11 Ref country code: CH Payment date: 20240301 Year of fee payment: 11 Ref country code: GB Payment date: 20240222 Year of fee payment: 11 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20240222 Year of fee payment: 11 Ref country code: DK Payment date: 20240221 Year of fee payment: 11 |