EP2811762A1 - Logic-based binaural beam forming system - Google Patents

Logic-based binaural beam forming system Download PDF

Info

Publication number
EP2811762A1
EP2811762A1 EP20140166949 EP14166949A EP2811762A1 EP 2811762 A1 EP2811762 A1 EP 2811762A1 EP 20140166949 EP20140166949 EP 20140166949 EP 14166949 A EP14166949 A EP 14166949A EP 2811762 A1 EP2811762 A1 EP 2811762A1
Authority
EP
European Patent Office
Prior art keywords
hearing aid
signal
aid system
linear combinations
linear combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP20140166949
Other languages
German (de)
French (fr)
Other versions
EP2811762B1 (en
Inventor
Eghart Fischer
Homayoun Dr. Kamkar Parsi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Siemens Medical Instruments Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Instruments Pte Ltd filed Critical Siemens Medical Instruments Pte Ltd
Publication of EP2811762A1 publication Critical patent/EP2811762A1/en
Application granted granted Critical
Publication of EP2811762B1 publication Critical patent/EP2811762B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Definitions

  • the present invention relates to a hearing aid system, wherein the hearing aid system has a left and a right hearing aid.
  • the left hearing aid has a left akusto-electrical converter and the right hearing aid on a right akusto-electrical converter.
  • the transducers are designed to convert incoming acoustic signals into left and right electrical signals.
  • the hearing aid system has a signal processing device, wherein the signal processing device is in signal connection with the left and the right acousto-electrical converter.
  • Hearing aids are portable hearing aids that are used to care for the hearing impaired.
  • different types of hearing aids such as behind-the-ear hearing aids (BTE), hearing aid with external receiver (RIC: receiver in the canal) and in-the-ear hearing aids (ITE), e.g. Concha hearing aids or canal hearing aids (ITE, CIC).
  • BTE behind-the-ear hearing aids
  • RIC hearing aid with external receiver
  • ITE in-the-ear hearing aids
  • ITE in-the-ear hearing aids
  • ITE in-the-ear hearing aids
  • ITE concha hearing aids or canal hearing aids
  • the hearing aids listed by way of example are worn on the outer ear or in the ear canal.
  • bone conduction hearing aids, implantable or vibrotactile hearing aids are also available on the market. The stimulation of the damaged hearing takes place either mechanically or electrically.
  • Hearing aids have in principle as essential components an input transducer, an amplifier and an output transducer.
  • the input transducer is usually an acoustoelectric transducer, z. As a microphone, and / or an electromagnetic receiver, for. B. an induction coil.
  • the output transducer is usually used as an electroacoustic transducer, z. As miniature speaker, or as an electromechanical transducer, z. B. bone conduction, realized.
  • the amplifier is usually integrated in a signal processing device.
  • binaural hearing is an essential prerequisite for spatial hearing and sound wave localization. Because of the importance of binaural processes in analyzing hearing situations, it is understandable that hearing-impaired individuals benefit more from two hearing aids for binaural care than from a single hearing aid for monaural care.
  • the binaural signal processing is also used to hide noise.
  • Wiener filters are used to hide uncorrelated noise.
  • a formation of a static directional characteristic by means of a static beam shaping (beam: beam, Richtkeule) of binaural signals is not able to independently respond to changing acoustic environments, so that the wearer of the hearing aid itself must respond by settings on the device.
  • beam beam, Richtkeule
  • adaptive filters are based on certain conditions for the useful and interfering signals, so that in certain listening situations that do not meet these requirements, the intelligibility for the wearer can even be worsened by the adaptive filters and he must again manually correct them.
  • this object is achieved by a method for operating a hearing aid system according to claim 1 and a hearing aid system according to claim 8.
  • the method according to the invention relates to a method for beam shaping for hearing aid systems.
  • the hearing aid system includes a left and a right hearing aid for placement on a head of a wearer. Usually, the hearing aids are worn on or in the left or right ear.
  • the left hearing aid has a left acousto-electric transducer, which converts sound waves arriving at the left hearing aid into a left input signal.
  • the right hearing aid has a right acousto-electrical converter, which converts sound waves arriving at the right hearing aid into a right input signal.
  • the hearing aid system has a signal processing device which is in signal connection with the left and the right acousto-electrical converter and receives the left and the right input signal.
  • the linear combinations are easy to calculate and therefore require little processor power. Furthermore, the linear combinations are undistorted signals without artificial frequency components and provide a natural listening experience available. By evaluating the linear combinations and selecting one as the beam signal, the type of evaluation can be used to predict the output of the beam shaping in a deterministic manner and no undesirable effects are to be expected.
  • the device of claim 8 for carrying out the method according to the invention shares its advantages.
  • the input signals are weighted with weighting factors, wherein the sum of the weighting factors of a linear combination is equal to 1 in each case.
  • the evaluation of the linear combinations is effected by determining a signal level of the linear combinations.
  • selecting a linear combination is accomplished by selecting the linear combination having the lowest signal level.
  • the signal with the lowest energy content is selected.
  • the advantageous effect is that in this way the signal with the lowest level of noise from directions unequal in direction is chosen in front of the carrier.
  • an estimated value for the spectral power density of a useful signal and a noise signal is determined from the left and the right input signal, and depending on this, the beam signal is amplified or attenuated.
  • the steps of the method are carried out separately for a plurality of frequency ranges.
  • the selection of a linear combination is effected by switching or blending the beam signal between two linear combinations.
  • this is done automatically for the user switching to the signal with the least amount of noise.
  • the transition for the wearer is barely noticeable.
  • Fig. 1 shows the basic structure of a hearing aid system 100 according to the invention.
  • the hearing aid system 100 has two hearing aid devices 110, 110 '.
  • a hearing aid housing 1, 1 ' for carrying behind the ear, one or more microphones 2, 2' for receiving the sound or acoustic signals from the environment are installed.
  • the microphones 2, 2 ' are acousto-electrical converters 2, 2' for converting the sound into first audio signals.
  • a signal processing device 3, 3 ' which is also integrated in the hearing aid housing 1, 1', processes the first audio signals.
  • the output signal of the signal processing device 3, 3 ' is transmitted to a loudspeaker or receiver 4, 4', which outputs an acoustic signal.
  • the sound is optionally transmitted via a sound tube, which is fixed with an earmold in the ear canal, to the eardrum of the device carrier.
  • the power supply of the hearing device and in particular that of the signal processing device 3, 3 ' is effected by a likewise integrated into the hearing aid housing 1, 1' battery 5, 5 '.
  • the hearing aid system 100 has a signal connection 6, which is designed to transmit a left input signal from the signal processing device 3 to the signal processing device 3 '. Conversely, it is provided that also the signal processing device 3 'transmits a right input signal to the signal processing device 3 in the opposite direction.
  • the signal connection 6 can be galvanic. However, in a preferred embodiment, the first and second electrical signals are converted for transmission over the signal connection.
  • the signal connection can be made, for example, inductively, via Bluetooth, optically or another wireless transmission technology.
  • the signal processing device 3, 3 ' is designed to form a plurality of linear combinations from the left and the right input signal, to evaluate the linear combinations and to select one of the linear combinations as a beam signal on the basis of the evaluation. For details, see the description of the process steps Fig. 2 see below.
  • the hearing aid system 100 also includes means 7, 7 'for adjusting the gain of the beam signal.
  • the signal processing means 3, 3 'and the means 7, 7' for adjusting the gain of the beam signal can, as in Fig. 1 represented, an integral part of the signal processing means 3, 3 'be.
  • each hearing aid device its own signal processing means 3, 3 'and get the signals of both microphones 2, 2' supplied.
  • Each of the signal processing devices 3, 3 ' is then able to independently determine and compensate for the signal differences between the microphones 2, 2'.
  • only one of the hearing aid devices 110, 110 ' has a signal processing device 3, 3', which performs the signal processing, determining and compensating and the resulting signal via the signal connection 6 to the other hearing aid 110, 110 'to Forwarding the issue.
  • the device 7, 7 'for adjusting the amplification of the beam signal which is either provided in each of the hearing aids 110, 110' or even in one, common to both hearing aids 110, 110 '.
  • Fig. 2 shows a schematic flow diagram of a method according to the invention in the signal processing device 3, 3 '.
  • the method includes a step S10 of providing a plurality of different linear combinations of the left input signal and the right input signal.
  • This step includes, among other things, converting an acoustic signal at the microphones 2, 2 'into a left input signal LS and a right input signal RS, as well as its transmission to the signal processing device 3, 3'.
  • the signal processing device 3, 3 ' provides a plurality of linear combinations LKi from the input signals LS and RS.
  • each of the hearing aids two microphones 2, 2 'have, so that a linear combination of 4 signals is formed.
  • the boundary condition remains that the sum of the coefficients, in this case four coefficients, is equal to 1 in each case. Also conceivable are three or more input signals and coefficients per page.
  • a step S20 the linear combinations are evaluated from the step S10. This is preferably also done by the signal processing device 3, 3 '.
  • One possible evaluation of the linear combination is a determination of an instantaneous signal level by means of a fast level meter. This can be done, for example, by a short-term average of the amount of the linear combination, wherein the short-term averaging could each comprise a few periods of the signal. However, it is also conceivable to use in each case the maximum of the magnitude of the amplitude of the signal in a signal period for determining the level.
  • one of the linear combinations is selected on the basis of the evaluation as a beam signal.
  • the linear combination is selected in which the signal level determined as the evaluation criterion is the lowest.
  • the energy density of the signal is correlated with the square of the signal level.
  • the linear combination with the lowest signal level and the corresponding lowest Energy density also the linear combination, which has the least amount of noise.
  • FIG. 3 illustrates a flowchart of a further method according to the invention. The method is identical in steps S10 to S30 with that in FIG Fig. 2 illustrated method.
  • the procedure of Fig. 3 also has a step S40.
  • step S40 an estimation of the spectral energy density of the useful signal is carried out.
  • step S50 an estimation of the spectral energy density of the noise is performed in the same manner.
  • the amplification of the beam signal is set as a function of the estimated energy densities of the useful and the interference signals. If it is estimated that the energy density of the useful signal is low, ie no useful signal arrives from a source in the plane of symmetry, then the amplification of the beam signal is reduced and thus also the interference signals. Conversely, if it is estimated that the energy density of the useful signal is large and thus a useful signal is present, the gain of the beam signal can be increased.
  • the linear combination is selected in step S60 by switching or blending the beam signal between the previously selected linear combination and the linear combination selected from the switching time.
  • the signal connection between the beam signal output and the linear combination is changed from the previous linear combination to newly selected.
  • the digital signal processing takes place This is achieved, for example, by the signal processing device 3, 3 'passing on the result of the selected linear combination to the beam signal output starting from this point in time.
  • the sum of the previous and the selected linear combination can be passed on to the cross-fading, the previous linear combination being weighted with a factor falling to zero over time and the selected linear combination being weighted with a factor increasing to one.
  • Steps S10 to S30 or S10 to S60 are therefore also carried out separately for individual frequency ranges or frequency bands of the input signals in a possible embodiment, so that the beam signal with the lowest noise component can be selected in each frequency range.
  • Fig. 4 shows the course of the Fig. 2 shown in function blocks.
  • the linear combinations LK1, LK2 and LK 3 are evaluated in accordance with step S20.
  • the comparator 24 decides on the basis of the criterion of the minimum level which is to be selected and passes this information on to the switch 25. This selects in step S30 from the linear combinations LK1, LK2, LK3 that which is to be passed as a beam signal.
  • Fig. 5 the sequence of steps S40 to S60 is shown in function blocks.
  • the estimation block 35 executes an estimate of the spectral energy density of the desired signal in accordance with step S40 with the prefiltered signals.
  • estimation block 36 occurs Similarly, in step S50, an estimate of the spectral energy density of the interfering signal.
  • the gain for the prefiltered beam signal BS is adjusted according to step S60.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Beam-Formen für Hörhilfesysteme sowie ein Hörhilfesystem zum Ausführen des Verfahrens. Das Hörhilfesystem weist ein linkes und ein rechtes Hörhilfegerät zur Anordnung an einem Kopf eines Trägers auf. Die Hörhilfegeräte weisen jeweils Mikrofone zur Wandlung des Schalls in ein jeweils linkes und rechtes Eingangssignal auf sowie eine Signalverarbeitungseinrichtung, die beide Eingangssignale empfängt. In dem erfindungsgemäßen Verfahren werden mehrere unterschiedliche Linearkombinationen des linken und des rechten Eingangssignals bereitgestellt, nach einem vorgegebenen Signalkriterium bewertet und in Abhängigkeit davon eine der Linearkombinationen als Beam-Signal ausgewählt.The invention relates to a method for beam shaping for hearing aid systems and a hearing aid system for carrying out the method. The hearing aid system includes a left and a right hearing aid for placement on a head of a wearer. The hearing aids each have microphones for converting the sound into a respective left and right input signal and a signal processing device that receives both input signals. In the method according to the invention, a plurality of different linear combinations of the left and right input signals are provided, evaluated according to a predetermined signal criterion, and one of the linear combinations is selected as a beam signal depending on this.

Description

Die vorliegende Erfindung betrifft ein Hörhilfesystem, wobei das Hörhilfesystem ein linkes und ein rechtes Hörhilfegerät aufweist. Das linke Hörhilfegerät weist einen linken akusto-elektrischen Wandler und das rechte Hörhilfegerät einen rechten akusto-elektrischen Wandler auf. Die Wandler sind ausgelegt, eintreffende akustische Signale in linke und rechte elektrische Signale zu wandeln. Weiterhin weist das Hörhilfesystem eine Signalverarbeitungseinrichtung auf, wobei die Signalverarbeitungseinrichtung in Signalverbindung mit dem linken und dem rechten akusto-elektrischen Wandler steht.The present invention relates to a hearing aid system, wherein the hearing aid system has a left and a right hearing aid. The left hearing aid has a left akusto-electrical converter and the right hearing aid on a right akusto-electrical converter. The transducers are designed to convert incoming acoustic signals into left and right electrical signals. Furthermore, the hearing aid system has a signal processing device, wherein the signal processing device is in signal connection with the left and the right acousto-electrical converter.

Hörhilfegeräte sind tragbare Hörvorrichtungen, die zur Versorgung von Schwerhörenden dienen. Um den zahlreichen individuellen Bedürfnissen entgegenzukommen, werden unterschiedliche Bauformen von Hörhilfegeräten wie Hinter-dem-Ohr-Hörgeräte (HdO), Hörgerät mit externem Hörer (RIC: receiver in the canal) und In-dem-Ohr-Hörgeräte (IdO), z.B. auch Concha-Hörgeräte oder Kanal-Hörgeräte (ITE, CIC), bereitgestellt. Die beispielhaft aufgeführten Hörgeräte werden am Außenohr oder im Gehörgang getragen. Darüber hinaus stehen auf dem Markt aber auch Knochenleitungshörhilfen, implantierbare oder vibrotaktile Hörhilfen zur Verfügung. Dabei erfolgt die Stimulation des geschädigten Gehörs entweder mechanisch oder elektrisch.Hearing aids are portable hearing aids that are used to care for the hearing impaired. In order to meet the numerous individual needs, different types of hearing aids such as behind-the-ear hearing aids (BTE), hearing aid with external receiver (RIC: receiver in the canal) and in-the-ear hearing aids (ITE), e.g. Concha hearing aids or canal hearing aids (ITE, CIC). The hearing aids listed by way of example are worn on the outer ear or in the ear canal. In addition, bone conduction hearing aids, implantable or vibrotactile hearing aids are also available on the market. The stimulation of the damaged hearing takes place either mechanically or electrically.

Hörgeräte besitzen prinzipiell als wesentliche Komponenten einen Eingangswandler, einen Verstärker und einen Ausgangswandler. Der Eingangswandler ist in der Regel ein akustoelektrischer Wandler, z. B. ein Mikrofon, und/oder ein elektromagnetischer Empfänger, z. B. eine Induktionsspule. Der Ausgangswandler ist meist als elektroakustischer Wandler, z. B. Miniaturlautsprecher, oder als elektromechanischer Wandler, z. B. Knochenleitungshörer, realisiert. Der Verstärker ist üblicherweise in eine Signalverarbeitungseinrichtung integriert.Hearing aids have in principle as essential components an input transducer, an amplifier and an output transducer. The input transducer is usually an acoustoelectric transducer, z. As a microphone, and / or an electromagnetic receiver, for. B. an induction coil. The output transducer is usually used as an electroacoustic transducer, z. As miniature speaker, or as an electromechanical transducer, z. B. bone conduction, realized. The amplifier is usually integrated in a signal processing device.

Es ist bekannt, dass das Hören mit zwei Ohren es einer Person eher ermöglicht, Sprache in Störgeräusch oder in verhallter Umgebung zu verstehen. Darüber hinaus ist das binaurale Hören eine wesentliche Voraussetzung für räumliches Hören und Schallwellenlokalisation. Aufgrund der Bedeutung der binauralen Prozesse bei der Analyse von Hörsituationen ist es verständlich, dass hörgeschädigte Personen mehr von zwei Hörgeräten für eine binaurale Versorgung als von einem einzigen Hörgerät für eine monaurale Versorgung profitieren.It is known that hearing with two ears makes it easier for a person to understand speech in noise or in reverberant surroundings. In addition, binaural hearing is an essential prerequisite for spatial hearing and sound wave localization. Because of the importance of binaural processes in analyzing hearing situations, it is understandable that hearing-impaired individuals benefit more from two hearing aids for binaural care than from a single hearing aid for monaural care.

Dabei wird die binaurale Signalverarbeitung auch genutzt, um Störgeräusche auszublenden. So wird beispielsweise in der Patenanmeldung US 2004/0196994 A1 beschrieben, dass Wiener-Filter genutzt werden, um unkorrelierte Störgeräusche auszublenden.The binaural signal processing is also used to hide noise. For example, in the patent application US 2004/0196994 A1 described that Wiener filters are used to hide uncorrelated noise.

Aus der Patentschrift US 6983055 B2 ist es ebenfalls bekannt, mittels adaptiver Filter in einer binauralen Signalverarbeitung Störgeräusche auszublenden.From the patent US 6983055 B2 It is also known to hide noise by means of adaptive filters in a binaural signal processing.

Eine Ausbildung einer statischen Richtcharakteristik mittels einer statischen Beam-Formung (Beam: engl. Strahl, Richtkeule) aus binauralen Signalen ist nicht in der Lage, selbstständig auf veränderte akustische Umgebungen zu reagieren, sodass der Träger des Hörhilfegeräts selbst durch Einstellungen am Gerät reagieren muss.A formation of a static directional characteristic by means of a static beam shaping (beam: beam, Richtkeule) of binaural signals is not able to independently respond to changing acoustic environments, so that the wearer of the hearing aid itself must respond by settings on the device.

Adaptive Filter wiederum gehen von bestimmten Voraussetzungen für die Nutz- und Störsignale aus, sodass in bestimmten Hörsituationen, die diesen Voraussetzungen nicht entsprechen, durch die adaptiven Filter die Verständlichkeit für den Träger sogar verschlechtert werden kann und er wiederum manuell korrigieren muss.In turn, adaptive filters are based on certain conditions for the useful and interfering signals, so that in certain listening situations that do not meet these requirements, the intelligibility for the wearer can even be worsened by the adaptive filters and he must again manually correct them.

Eine Abschätzung der spektralen Energiedichte eines Nutzsignals ist beispielsweise aus der Patentanmeldung WO 2010/091077 bekannt.An estimate of the spectral energy density of a useful signal is for example from the patent application WO 2010/091077 known.

Daher ist es die Aufgabe der vorliegenden Erfindung, ein Hörhilfesystem und ein Verfahren zum Betrieb des Hörhilfesystems bereitzustellen, das die genannten Nachteile vermeidet und dem Träger eine verbessertes Hörempfinden bei vereinfachter Bedienung vermittelt.It is therefore the object of the present invention to provide a hearing aid system and a method for operating the hearing aid system, which avoids the disadvantages mentioned and provides the wearer with an improved sense of hearing with simplified operation.

Erfindungsgemäß wird diese Aufgabe gelöst durch ein Verfahren zum Betrieb eines Hörhilfesystems nach Anspruch 1 und ein Hörhilfesystem nach Anspruch 8.According to the invention, this object is achieved by a method for operating a hearing aid system according to claim 1 and a hearing aid system according to claim 8.

Das erfindungsgemäße Verfahren betrifft ein Verfahren zum Beam-Formen für Hörhilfesysteme. Das Hörhilfesystem weist ein linkes und ein rechtes Hörhilfegerät zur Anordnung an einem Kopf eines Trägers auf. Üblicherweise werden die Hörhilfegeräte an oder in dem linken bzw. rechten Ohr getragen. Das linke Hörhilfegerät weist einen linken akusto-elektrischen Wandler auf, welcher an dem linken Hörhilfegerät eintreffende Schallwellen in ein linkes Eingangssignal wandelt. Das rechte Hörhilfegerät weist einen rechten akusto-elektrischen Wandler auf, welcher an der rechten Hörhilfe eintreffende Schallwellen in ein rechtes Eingangssignal wandelt. Weiterhin weist das Hörhilfesystem eine Signalverarbeitungseinrichtung auf, welche in Signalverbindung mit dem linken und dem rechten akusto-elektrischen Wandler steht und das linke und das rechte Eingangssignal empfängt.The method according to the invention relates to a method for beam shaping for hearing aid systems. The hearing aid system includes a left and a right hearing aid for placement on a head of a wearer. Usually, the hearing aids are worn on or in the left or right ear. The left hearing aid has a left acousto-electric transducer, which converts sound waves arriving at the left hearing aid into a left input signal. The right hearing aid has a right acousto-electrical converter, which converts sound waves arriving at the right hearing aid into a right input signal. Furthermore, the hearing aid system has a signal processing device which is in signal connection with the left and the right acousto-electrical converter and receives the left and the right input signal.

In einem Schritt des erfindungsgemäßen Verfahrens werden mehrere unterschiedliche Linearkombinationen des linken Eingangssignals und des rechten Eingangssignals bereitgestellt. In einem weiteren Schritt werden die Linearkombinationen nach einem vorgegebenen Signalkriterium bewertet.In one step of the method according to the invention, several different linear combinations of the left input signal and the right input signal are provided. In a further step, the linear combinations are evaluated according to a predetermined signal criterion.

In einem weiteren Schritt wird eine Linearkombination in Abhängigkeit von der Bewertung als ein Beam-Signal ausgewählt.In a further step, a linear combination in Depending on the rating selected as a beam signal.

Es ist dabei von Vorteil, dass die Linearkombinationen einfach zu berechnen sind und daher eine geringe Prozessorleistung erfordern. Weiterhin sind die Linearkombinationen unverzerrte Signale ohne künstliche Frequenzanteile und stellen einen natürlichen Höreindruck zur Verfügung. Indem die Linearkombinationen bewertet werden und eines als Beam-Signal ausgewählt wird, lässt sich durch die Art der Bewertung das Ausgangssignal der Beam-Formung auf deterministische Weise vorhersagen und es sind keine unerwünschten Effekte zu erwarten.It is advantageous that the linear combinations are easy to calculate and therefore require little processor power. Furthermore, the linear combinations are undistorted signals without artificial frequency components and provide a natural listening experience available. By evaluating the linear combinations and selecting one as the beam signal, the type of evaluation can be used to predict the output of the beam shaping in a deterministic manner and no undesirable effects are to be expected.

Die Vorrichtung des Anspruchs 8 zur Ausführung des erfindungsgemäßen Verfahrens teilt dessen Vorzüge.The device of claim 8 for carrying out the method according to the invention shares its advantages.

Weitere vorteilhafte Fortbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.Further advantageous developments of the invention are specified in the dependent claims.

In einer bevorzugten Ausführungsform des Verfahrens werden bei der Bereitstellung der Linearkombinationen die Eingangssignale mit Gewichtungsfaktoren gewichtet, wobei die Summe der Gewichtungsfaktoren einer Linearkombination jeweils gleich 1 ist.In a preferred embodiment of the method, in the provision of the linear combinations, the input signals are weighted with weighting factors, wherein the sum of the weighting factors of a linear combination is equal to 1 in each case.

Da bei den am Kopf getragenen Hörhilfegeräten wegen der Symmetrie für Schallquellen direkt vor dem Träger das linke und das rechte Eingangssignal jeweils gleich stark sind, ergibt sich daher auf vorteilhafte Weise bei allen Linearkombinationen für die Quelle vor dem Träger ein gleich starkes Summensignal.Since the left and the right input signal are equally strong in the head worn hearing aids because of the symmetry for sound sources directly in front of the carrier, therefore, results in an advantageous manner in all linear combinations for the source in front of the carrier an equally strong sum signal.

In einer möglichen Ausführungsform des Verfahrens erfolgt das Bewerten der Linearkombinationen durch das Bestimmen eines Signalpegels der Linearkombinationen.In one possible embodiment of the method, the evaluation of the linear combinations is effected by determining a signal level of the linear combinations.

Mittels des Pegels kann auf vorteilhafte Weise auf den Energiegehalt der jeweiligen Linearkombination geschlossen werden.By means of the level can be concluded in an advantageous manner to the energy content of the respective linear combination.

In einer Ausführungsform des Verfahrens erfolgt das Auswählen einer Linearkombination durch das Auswählen der Linearkombination mit dem geringsten Signalpegel.In one embodiment of the method, selecting a linear combination is accomplished by selecting the linear combination having the lowest signal level.

Dabei ist es von Vorteil, dass so das Signal mit dem geringsten Energiegehalt ausgewählt wird. Insbesondere in Zusammenhang mit dem Merkmal, dass die Summe der Linearkoeffizienten gleich 1 ist, ergibt sich wegen des konstanten Pegels des Signals der Quelle vor dem Träger der vorteilhafte Effekt, dass auf diese Weise das Signal mit dem geringsten Pegel an Störgeräuschen aus Richtungen ungleich der Richtung vor dem Träger gewählt wird.It is advantageous that the signal with the lowest energy content is selected. In particular, in connection with the feature that the sum of the linear coefficients is equal to 1, because of the constant level of the signal of the source in front of the carrier, the advantageous effect is that in this way the signal with the lowest level of noise from directions unequal in direction is chosen in front of the carrier.

In einer Ausführungsform des Verfahrens wird aus dem linken und dem rechten Eingangssignal ein Schätzwert für die spektrale Leistungsdichte eines Nutzsignals und eines Störgeräusch-Signals bestimmt und in Abhängigkeit davon das Beam-Signal verstärkt oder abgeschwächt.In one embodiment of the method, an estimated value for the spectral power density of a useful signal and a noise signal is determined from the left and the right input signal, and depending on this, the beam signal is amplified or attenuated.

So ist es auf vorteilhafte Weise im Gegensatz zu adaptiven Filtern sogar möglich, das Nutzsignal zu erkennen und mit einem Faktor größer als 1 zu verstärken, wodurch das Signal-zu-Rausch-Verhältnis weiter verbessert wird. Umgekehrt kann, wenn die Situation erkannt wird, dass alleine ein Störgeräusch vorliegt, dieses abgeschwächt werden.Thus, in contrast to adaptive filters, it is even advantageously possible to recognize the useful signal and amplify it by a factor greater than 1, thereby further improving the signal-to-noise ratio. Conversely, if the situation is detected that there is only a noise, it can be mitigated.

In einer Ausführungsform des Verfahrens werden die Schritte des Verfahrens jeweils für eine Mehrzahl von Frequenzbereichen separat ausgeführt.In one embodiment of the method, the steps of the method are carried out separately for a plurality of frequency ranges.

Dies ermöglicht es auf vorteilhafte Weise, Störquellen mit unterschiedlichen Frequenzen zu unterscheiden und in dem jeweiligen Frequenzband optimal zu unterdrücken.This makes it possible in an advantageous manner to distinguish sources of interference with different frequencies and to optimally suppress them in the respective frequency band.

In einer möglichen Ausführungsform des Verfahrens erfolgt das Auswählen einer Linearkombination durch das Umschalten oder das Überblenden des Beam-Signals zwischen zwei Linearkombinationen.In one possible embodiment of the method, the selection of a linear combination is effected by switching or blending the beam signal between two linear combinations.

Auf vorteilhafte Weise erfolgt dadurch für den Nutzer das Umschalten zu dem Signal mit dem jeweils geringsten Störgeräuschanteil automatisch. Insbesondere bei einer Überblendung ist der Übergang für den Träger kaum zu bemerken.Advantageously, this is done automatically for the user switching to the signal with the least amount of noise. In particular, in the case of a crossfade, the transition for the wearer is barely noticeable.

Die beschriebenen Vorzüge ergeben sich ebenso für das erfindungsgemäße Hörhilfesystem zur Ausführung des Verfahrens.The described advantages also result for the hearing aid system according to the invention for carrying out the method.

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.The above-described characteristics, features, and advantages of this invention, as well as the manner in which they will be achieved, will become clearer and more clearly understood in connection with the following description of the embodiments, which will be described in detail in conjunction with the drawings.

Es zeigen:

Fig. 1
eine schematische Darstellung eines erfindungsgemäßen Hörhilfesystems;
Fig. 2
ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Betrieb eines Hörhilfesystems;
Fig. 3
ein Ablaufdiagramm eines weiteren erfindungsgemäßen Verfahrens zum Betrieb eines Hörhilfesystems;
Fig. 4
eine Darstellung von Teilen eines erfindungsgemäßen Hörhilfegeräts in Funktionsblöcken;
Fig. 5
eine Darstellung von Teilen eines erfindungsgemäßen Hörhilfegeräts in Funktionsblöcken;
Show it:
Fig. 1
a schematic representation of a hearing aid system according to the invention;
Fig. 2
a flow diagram of a method according to the invention for operating a hearing aid system;
Fig. 3
a flowchart of another method according to the invention for operating a hearing aid system;
Fig. 4
a representation of parts of a hearing aid according to the invention in function blocks;
Fig. 5
a representation of parts of a hearing aid according to the invention in function blocks;

Fig. 1 zeigt den prinzipiellen Aufbau eines erfindungsgemäßen Hörhilfesystems 100. Das Hörhilfesystem 100 weist zwei Hörhilfegeräte 110, 110' auf. In ein Hörgerätegehäuse 1, 1' zum Tragen hinter dem Ohr sind ein oder mehrere Mikrofone 2, 2' zur Aufnahme des Schalls bzw. akustischer Signale aus der Umgebung eingebaut. Die Mikrofone 2, 2' sind akusto-elektrische Wandler 2, 2' zur Umwandlung des Schalls in erste Audiosignale. Eine Signalverarbeitungseinrichtung 3, 3', die ebenfalls in das Hörgerätegehäuse 1, 1' integriert ist, verarbeitet die ersten Audiosignale. Das Ausgangssignal der Signalverarbeitungseinrichtung 3, 3' wird an einen Lautsprecher bzw. Hörer 4, 4' übertragen, der ein akustisches Signal ausgibt. Der Schall wird gegebenenfalls über einen Schallschlauch, der mit einer Otoplastik im Gehörgang fixiert ist, zum Trommelfell des Geräteträgers übertragen. Die Energieversorgung des Hörgeräts und insbesondere die der Signalverarbeitungseinrichtung 3, 3' erfolgt durch eine ebenfalls ins Hörgerätegehäuse 1, 1' integrierte Batterie 5, 5'. Fig. 1 shows the basic structure of a hearing aid system 100 according to the invention. The hearing aid system 100 has two hearing aid devices 110, 110 '. In a hearing aid housing 1, 1 'for carrying behind the ear, one or more microphones 2, 2' for receiving the sound or acoustic signals from the environment are installed. The microphones 2, 2 'are acousto-electrical converters 2, 2' for converting the sound into first audio signals. A signal processing device 3, 3 ', which is also integrated in the hearing aid housing 1, 1', processes the first audio signals. The output signal of the signal processing device 3, 3 'is transmitted to a loudspeaker or receiver 4, 4', which outputs an acoustic signal. The sound is optionally transmitted via a sound tube, which is fixed with an earmold in the ear canal, to the eardrum of the device carrier. The power supply of the hearing device and in particular that of the signal processing device 3, 3 'is effected by a likewise integrated into the hearing aid housing 1, 1' battery 5, 5 '.

Weiterhin weist das Hörhilfesystem 100 eine Signalverbindung 6 auf, die ausgelegt ist, ein linkes Eingangssignal von der Signalverarbeitungseinrichtung 3 zu der Signalverarbeitungseinrichtung 3' zu übertragen. Umgekehrt ist es vorgesehen, dass auch die Signalverarbeitungseinrichtung 3' ein rechtes Eingangssignal zu der Signalverarbeitungseinrichtung 3 in Gegenrichtung überträgt.Furthermore, the hearing aid system 100 has a signal connection 6, which is designed to transmit a left input signal from the signal processing device 3 to the signal processing device 3 '. Conversely, it is provided that also the signal processing device 3 'transmits a right input signal to the signal processing device 3 in the opposite direction.

Die Signalverbindung 6 kann galvanisch erfolgen. In einer bevorzugten Ausführungsform jedoch werden die ersten und zweiten elektrischen Signale zur Übertragung über die Signalverbindung umgewandelt. Die Signalverbindung kann so beispielsweise induktiv, über Bluetooth, optisch oder eine andere drahtlose Übertragungstechnik erfolgen.The signal connection 6 can be galvanic. However, in a preferred embodiment, the first and second electrical signals are converted for transmission over the signal connection. The signal connection can be made, for example, inductively, via Bluetooth, optically or another wireless transmission technology.

Weiterhin ist es denkbar, die Signale mehrerer oder aller Mikrofone 2, 2' jeweils zu dem anderen Hörhilfegerät 110, 110' zu übertragen.Furthermore, it is conceivable to transmit the signals of several or all of the microphones 2, 2 'in each case to the other hearing aid device 110, 110'.

Die Signalverarbeitungseinrichtung 3, 3' ist dazu ausgelegt, aus dem linken und dem rechten Eingangssignal mehrere Linearkombinationen auszubilden, die Linearkombinationen zu bewerten und anhand der Bewertung eine der Linearkombinationen als Beam-Signal auszuwählen. Näheres dazu ist der Beschreibung der Verfahrensschritte zu Fig. 2 nachfolgend zu entnehmen.The signal processing device 3, 3 'is designed to form a plurality of linear combinations from the left and the right input signal, to evaluate the linear combinations and to select one of the linear combinations as a beam signal on the basis of the evaluation. For details, see the description of the process steps Fig. 2 see below.

In der bevorzugten Ausführungsform weist das Hörhilfesystem 100 auch eine Einrichtung 7, 7' zum Einstellen der Verstärkung des Beam-Signals auf.In the preferred embodiment, the hearing aid system 100 also includes means 7, 7 'for adjusting the gain of the beam signal.

Die Signalverarbeitungseinrichtung 3, 3' und die Einrichtung 7, 7' zum Einstellen der Verstärkung des Beam-Signals kann, wie in Fig. 1 dargestellt, integraler Bestandteil der Signalverarbeitungseinrichtung 3, 3' sein. Es ist aber auch denkbar, dass die Einrichtung 7, 7' zum Erkennen einer eigenen Stimme als separate Einrichtung in dem Hörhilfegerät 110, 110' ausgeführt ist.The signal processing means 3, 3 'and the means 7, 7' for adjusting the gain of the beam signal can, as in Fig. 1 represented, an integral part of the signal processing means 3, 3 'be. However, it is also conceivable for the device 7, 7 'to be able to recognize its own voice as a separate device in the hearing aid device 110, 110'.

Grundsätzlich kann, wie in Fig. 1 dargestellt, jedes Hörhilfegerät eine eigene Signalverarbeitungseinrichtung 3, 3' aufweisen und die Signale beider Mikrofone 2, 2' zugeführt bekommen. Jede der Signalverarbeitungseinrichtungen 3, 3' ist dann selbstständig in der Lage, die Signalunterschiede zwischen den Mikrofone 2, 2' zu bestimmen und zu kompensieren. Es ist aber auch denkbar, dass nur eines der Hörhilfegeräte 110, 110' eine Signalverarbeitungseinrichtung 3, 3' aufweist, die die Signalverarbeitung, das Bestimmen und das Kompensieren ausführt und das resultierende Signal über die Signalverbindung 6 an das andere Hörhilfegerät 110, 110' zur Ausgabe weiterleitet. Das gleiche gilt für die Einrichtung 7, 7' zum Einstellen der Verstärkung des Beam-Signals, die entweder jeweils in jedem der Hörhilfegeräte 110, 110' vorgesehen ist oder auch nur in einem, gemeinsam für beide Hörhilfegeräte 110, 110'.Basically, as in Fig. 1 represented, each hearing aid device its own signal processing means 3, 3 'and get the signals of both microphones 2, 2' supplied. Each of the signal processing devices 3, 3 'is then able to independently determine and compensate for the signal differences between the microphones 2, 2'. But it is also conceivable that only one of the hearing aid devices 110, 110 'has a signal processing device 3, 3', which performs the signal processing, determining and compensating and the resulting signal via the signal connection 6 to the other hearing aid 110, 110 'to Forwarding the issue. The same applies to the device 7, 7 'for adjusting the amplification of the beam signal, which is either provided in each of the hearing aids 110, 110' or even in one, common to both hearing aids 110, 110 '.

Fig. 2 zeigt ein schematisches Ablaufdiagramm eines erfindungsgemäßen Verfahrens in der Signalverarbeitungseinrichtung 3, 3'. Fig. 2 shows a schematic flow diagram of a method according to the invention in the signal processing device 3, 3 '.

Das Verfahren weist einen Schritt S10 des Bereitstellens von mehreren unterschiedlichen Linearkombinationen des linken Eingangssignals und des rechten Eingangssignals auf. Dieser Schritt umfasst unter anderem das Wandeln eines akustischen Signals an den Mikrofonen 2, 2' in ein linkes Eingangssignal LS und ein rechtes Eingangssignal RS, sowie dessen Übertragung zu der Signalverarbeitungseinrichtung 3, 3'. Die Signalverarbeitungseinrichtung 3, 3' stellt aus den Eingangssignalen LS und RS mehrere Linearkombinationen LKi bereit. Beispielsweise können Linearkombinationen LK1, LK2 derart mit Koeffizienten fli, fri gebildet werden: LK ⁢ 1 = fl ⁢ 1 * LS + fr ⁢ 1 * RS ;

Figure imgb0001
LK ⁢ 2 = fl ⁢ 2 * LS + fr ⁢ 2 * RS ;
Figure imgb0002
 LK ⁢ 3 = fl ⁢ 3 * LS + fr ⁢ 3 * RS ;
Figure imgb0003
 The method includes a step S10 of providing a plurality of different linear combinations of the left input signal and the right input signal. This step includes, among other things, converting an acoustic signal at the microphones 2, 2 'into a left input signal LS and a right input signal RS, as well as its transmission to the signal processing device 3, 3'. The signal processing device 3, 3 'provides a plurality of linear combinations LKi from the input signals LS and RS. For example, linear combinations LK1, LK2 can be formed in such a way with coefficients fli, fri: LK ⁢ 1 = fl ⁢ 1 * LS + Fri. ⁢ 1 * RS ;
Figure imgb0001
 LK ⁢ 2 = fl ⁢ 2 * LS + Fri. ⁢ 2 * RS ;
Figure imgb0002
 LK ⁢ 3 = fl ⁢ 3 * LS + Fri. ⁢ 3 * RS ;
Figure imgb0003

In einer bevorzugten Ausführungsform ist dabei jeweils die Summe der Koeffizienten einer Linearkombination gleich 1: fl ⁢ 1 + fr ⁢ 1 = 1 ; fl ⁢ 2 + fr ⁢ 2 = 1 ; fl ⁢ 3 + fr ⁢ 3 = 1.

Figure imgb0004
In a preferred embodiment, in each case the sum of the coefficients of a linear combination is equal to 1: fl ⁢ 1 + Fri. ⁢ 1 = 1 ; fl ⁢ 2 + Fri. ⁢ 2 = 1 ; fl ⁢ 3 + Fri. ⁢ 3 = 1.
Figure imgb0004

Beispielsweise erfüllen die folgenden Koeffizienten diese Bedingung:

  • fl1 = 0,25 und fr2 = 0,75;
  • fl2 = 0,5 und fr2 = 0,5;
  • fl3 = 0,75 und fr3 = 0,25;
For example, the following coefficients satisfy this condition:
  • fl1 = 0.25 and fr2 = 0.75;
  • fl2 = 0.5 and fr2 = 0.5;
  • fl3 = 0.75 and fr3 = 0.25;

Wegen der Symmetrie des Kopfes ist dabei gerade für Signale, die ihren Ursprung in der Richtung direkt vor dem Träger der Hörhilfegeräte in der Symmetrieebene des Kopfes haben, der Anteil in der Summe der Linearkombination für jede Linearkombination mit dieser Randbedingung gerade immer gleich groß. Dabei ist es vorgesehen, dass die Koeffizienten vorgegeben sind. Es ist aber auch denkbar, dass diese als Teil des Verfahrens ermittelt werden.Because of the symmetry of the head is just just for signals that have their origin in the direction directly in front of the wearer of hearing aids in the plane of symmetry of the head, the proportion in the sum of the linear combination for each linear combination with this boundary condition just always the same size. It is provided that the coefficients are given. However, it is also conceivable that these are determined as part of the method.

Selbstverständlich ist es auch denkbar, dass mehr als zwei Eingangssignale kombiniert werden. So kann beispielsweise jedes der Hörhilfegeräte zwei Mikrofone 2, 2' aufweisen, sodass eine Linearkombination aus jeweils 4 Signalen gebildet wird. Dabei bleibt in der bevorzugten Ausführungsform die Randbedingung erhalten, dass die Summe der Koeffizienten, in diesem Falle vier Koeffizienten, jeweils gleich 1 ist. Denkbar sind genauso jeweils drei oder mehr Eingangssignale und Koeffizienten je Seite.Of course, it is also conceivable that more than two input signals are combined. For example, each of the hearing aids two microphones 2, 2 'have, so that a linear combination of 4 signals is formed. In the preferred embodiment, the boundary condition remains that the sum of the coefficients, in this case four coefficients, is equal to 1 in each case. Also conceivable are three or more input signals and coefficients per page.

In einem Schritt S20 werden die Linearkombinationen aus dem Schritt S10 bewertet. Bevorzugter Weise erfolgt dies ebenfalls durch die Signalverarbeitungseinrichtung 3, 3'. Eine mögliche Bewertung der Linearkombination ist eine Bestimmung eines momentanen Signalpegels mittels eines schnellen Pegelmessers. Dies kann beispielsweise durch eine kurzfristige Mittelung des Betrags der Linearkombination erfolgen, wobei die kurzfristige Mittelung jeweils einige Perioden des Signals umfassen könnte. Es ist aber beispielsweise auch denkbar, jeweils das Maximum des Betrages der Amplitude des Signals in einer Signalperiode zur Pegelbestimmung zu nutzen.In a step S20, the linear combinations are evaluated from the step S10. This is preferably also done by the signal processing device 3, 3 '. One possible evaluation of the linear combination is a determination of an instantaneous signal level by means of a fast level meter. This can be done, for example, by a short-term average of the amount of the linear combination, wherein the short-term averaging could each comprise a few periods of the signal. However, it is also conceivable to use in each case the maximum of the magnitude of the amplitude of the signal in a signal period for determining the level.

In einem Schritt S30 wird dabei eine der Linearkombinationen anhand der Bewertung als Beam-Signal ausgewählt. In der bevorzugten Ausführungsform wird dabei die Linearkombination ausgewählt, bei der der als Bewertungskriterium bestimmte Signalpegel am geringsten ist. Die Energiedichte des Signals ist dabei mit dem Quadrat des Signalpegels korreliert. Wie bereits zuvor erwähnt, ist bei allen Linearkombinationen unter der Randbedingung, dass die Summe der Koeffizienten gleich 1 ist, der Signalpegel einer Quelle aus der Symmetrieebene des Kopfes gleich. Somit ist die Linearkombination mit dem geringsten Signalpegel und der entsprechend geringsten Energiedichte auch die Linearkombination, die den geringsten Anteil an Störgeräuschen aufweist.In a step S30, one of the linear combinations is selected on the basis of the evaluation as a beam signal. In the preferred embodiment, the linear combination is selected in which the signal level determined as the evaluation criterion is the lowest. The energy density of the signal is correlated with the square of the signal level. As already mentioned above, in all linear combinations under the condition that the sum of the coefficients is equal to 1, the signal level of a source from the plane of symmetry of the head is the same. Thus, the linear combination with the lowest signal level and the corresponding lowest Energy density also the linear combination, which has the least amount of noise.

Fig. 3 stellt ein Ablaufdiagramm eines weiteren erfindungsgemäßen Verfahrens dar. Das Verfahren ist in den Schritten S10 bis S30 identisch mit dem in Fig. 2 dargestellten Verfahren. Fig. 3 FIG. 3 illustrates a flowchart of a further method according to the invention. The method is identical in steps S10 to S30 with that in FIG Fig. 2 illustrated method.

Das Verfahren der Fig. 3 weist weiterhin einen Schritt S40 auf. In dem Schritt S40 wird eine Abschätzung der spektralen Energiedichte des Nutzsignals ausgeführt.The procedure of Fig. 3 also has a step S40. In step S40, an estimation of the spectral energy density of the useful signal is carried out.

In dem Schritt S50 wird auf gleiche Weise eine Abschätzung der spektralen Energiedichte der Störsignale ausgeführt.In step S50, an estimation of the spectral energy density of the noise is performed in the same manner.

In einem weiteren Schritt S60 wird in Abhängigkeit von den abgeschätzten Energiedichten der Nutz- und der Störsignale die Verstärkung des Beam-Signals eingestellt. Wird abgeschätzt, dass die Energiedichte des Nutzsignals gering ist, also kein Nutzsignal von einer Quelle in der Symmetrieebene eintrifft, so wird die Verstärkung des Beam-Signals verringert und so auch die Störsignale. Wird umgekehrt abgeschätzt, dass die Energiedichte des Nutzsignals groß ist und somit ein Nutzsignal vorhanden ist, so kann die Verstärkung des Beam-Signals angehoben werden. Im Gegensatz zu adaptiven Filtern, die im besten Fall das Nutzsignal nahezu ohne Dämpfung durchlassen, ist bei dem erfindungsgemäßen Verfahren auch eine Verstärkung des Nutzsignals mit einem Faktor größer als 1 möglich, sodass der Signal-zu-Störabstand gegenüber einem adaptiven Filter verbessert werden kann.In a further step S60, the amplification of the beam signal is set as a function of the estimated energy densities of the useful and the interference signals. If it is estimated that the energy density of the useful signal is low, ie no useful signal arrives from a source in the plane of symmetry, then the amplification of the beam signal is reduced and thus also the interference signals. Conversely, if it is estimated that the energy density of the useful signal is large and thus a useful signal is present, the gain of the beam signal can be increased. In contrast to adaptive filters, which in the best case allow the useful signal to pass through almost without attenuation, in the method according to the invention it is also possible to amplify the useful signal by a factor greater than 1, so that the signal-to-noise ratio can be improved compared to an adaptive filter.

In einer möglichen Ausführungsform erfolgt das Auswählen der Linearkombination in Schritt S60 durch ein Umschalten oder Überblenden des Beam-Signals zwischen der bisher ausgewählten Linearkombination und der ab dem Umschaltzeitpunkt ausgewählten Linearkombination. Bei dem Umschalten wird die Signalverbindung zwischen dem Beam-Signal-Ausgang und der Linearkombination von der bisherigen Linearkombination auf neu ausgewählte geändert. In der digitalen Signalverarbeitung erfolgt dies beispielsweise dadurch, dass die Signalverarbeitungseinrichtung 3, 3' ab diesem Zeitpunkt das Ergebnis der ausgewählten Linearkombination an den Beam-Signal-Ausgang weiterreicht. Zu dem Überblenden kann beispielsweise die Summe der bisherigen und der ausgewählten Linearkombination weitergereicht werden, wobei die bisherige Linearkombination mit einem mit der Zeit auf Null abfallendem Faktor gewichtet wird und die ausgewählte Linearkombination mit einem auf eins ansteigendem Faktor gewichtet wird.In one possible embodiment, the linear combination is selected in step S60 by switching or blending the beam signal between the previously selected linear combination and the linear combination selected from the switching time. When switching, the signal connection between the beam signal output and the linear combination is changed from the previous linear combination to newly selected. In the digital signal processing takes place This is achieved, for example, by the signal processing device 3, 3 'passing on the result of the selected linear combination to the beam signal output starting from this point in time. For example, the sum of the previous and the selected linear combination can be passed on to the cross-fading, the previous linear combination being weighted with a factor falling to zero over time and the selected linear combination being weighted with a factor increasing to one.

Bei Hörhilfegeräten ist es üblich, dass die Signalverarbeitung frequenzabhängig erfolgt, um frequenzabhängige Hörverluste angepasst ausgleichen zu können. Die Schritte S10 bis S30 bzw. S10 bis S60 werden daher in einer möglichen Ausführungsform ebenfalls jeweils für einzelne Frequenzbereiche bzw. Frequenzbänder der Eingangssignale separat ausgeführt, sodass in jedem Frequenzbereich das Beam-Signal mit dem geringsten Störgeräusch-Anteil ausgewählt werden kann.In the case of hearing aids, it is customary for the signal processing to be frequency-dependent in order to be able to compensate for frequency-dependent hearing losses. Steps S10 to S30 or S10 to S60 are therefore also carried out separately for individual frequency ranges or frequency bands of the input signals in a possible embodiment, so that the beam signal with the lowest noise component can be selected in each frequency range.

Fig. 4 zeigt den Ablauf der Fig. 2 in Funktionsblöcken dargestellt. Die Signale LS und RS werden als 3 Linearkombination LK1, LK2 und LK3 mit den Koeffizienten ls1 = 1 und rs1 = 0, ls2 = 0 und rs2 = 1 sowie ls3 = 0,5 und rs3 = 0,5 gemäß Schritt S10 bereitgestellt. In den Pegelmetern 21, 22, 23 und dem Komparator 24 werden die Linearkombinationen LK1, LK2 und LK 3 entsprechend Schritt S20 bewertet. Der Komparator 24 entscheidet anhand des Kriteriums des minimalen Pegels, welches ausgewählt werden soll und gibt diese Information an den Schalter 25 weiter. Dieser wählt in Schritt S30 aus den Linearkombinationen LK1, LK2, LK3 diejenige aus, die als Beam-Signal weitergegeben werden soll. Fig. 4 shows the course of the Fig. 2 shown in function blocks. The signals LS and RS are provided as 3 linear combinations LK1, LK2 and LK3 with the coefficients ls1 = 1 and rs1 = 0, ls2 = 0 and rs2 = 1 and ls3 = 0.5 and rs3 = 0.5 according to step S10. In the level meters 21, 22, 23 and the comparator 24, the linear combinations LK1, LK2 and LK 3 are evaluated in accordance with step S20. The comparator 24 decides on the basis of the criterion of the minimum level which is to be selected and passes this information on to the switch 25. This selects in step S30 from the linear combinations LK1, LK2, LK3 that which is to be passed as a beam signal.

In Fig. 5 ist der Ablauf der Schritte S40 bis S60 in Funktionsblöcken dargestellt. In den Filterblöcken 31, 32 und 33 erfolgt eine Vorfilterung und Glättung der Signale LS und RS. Der Abschätzblock 35 führt mit den vorgefilterten Signalen eine Abschätzung der spektralen Energiedichte des Nutzsignals entsprechend Schritt S40 aus. In Abschätzblock 36 erfolgt auf gleiche Weise entsprechend Schritt S50 eine Abschätzung der spektralen Energiedichte des Störsignals. In Einstellblock 37 erfolgt eine Einstellung der Verstärkung für das vorgefilterte Beam-Signal BS gemäß Schritt S60.In Fig. 5 the sequence of steps S40 to S60 is shown in function blocks. In the filter blocks 31, 32 and 33 there is a prefiltering and smoothing of the signals LS and RS. The estimation block 35 executes an estimate of the spectral energy density of the desired signal in accordance with step S40 with the prefiltered signals. In estimation block 36 occurs Similarly, in step S50, an estimate of the spectral energy density of the interfering signal. In setting block 37, the gain for the prefiltered beam signal BS is adjusted according to step S60.

Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.Although the invention has been further illustrated and described in detail by the preferred embodiment, the invention is not limited by the disclosed examples, and other variations can be derived therefrom by those skilled in the art without departing from the scope of the invention.

Claims (14)

Verfahren zum Beam-Formen für Hörhilfesysteme (100), wobei das Hörhilfesystem (100) ein linkes Hörhilfegerät (110) und ein rechtes Hörhilfegerät (110') aufweist, welche an einem Kopf eines Trägers anwendungsgemäß angeordnet sind,
wobei das linke Hörhilfegerät (110) einen linken akusto-elektrischen Wandler (2) aufweist, welcher an dem linken Hörhilfegerät (110) eintreffende Schallwellen in ein linkes Eingangssignal wandelt und das rechte Hörhilfegerät (110') einen rechten akusto-elektrischen Wandler (2') aufweist, welcher an dem rechten Hörhilfegerät (110') eintreffende Schallwellen in ein rechtes Eingangssignal wandelt,
wobei das Hörhilfesystem (110) eine Signalverarbeitungseinrichtung (3, 3') aufweist, welche in Signalverbindung mit dem linken und dem rechten akusto-elektrischen Wandler (2, 2') steht und das linke und das rechte Eingangssignal empfängt, wobei das Verfahren die Schritte aufweist: Bereitstellen von mehreren unterschiedlichen Linearkombinationen des linken Eingangssignals und des rechten Eingangssignals; Bewerten der Linearkombinationen nach einem vorgegebenen Signalkriterium; Auswählen einer Linearkombination in Abhängigkeit von der Bewertung als ein Beam-Signal. A method of beam shaping for hearing aid systems (100), wherein the hearing aid system (100) comprises a left hearing aid (110) and a right hearing aid (110 ') which are applied to a head of a wearer,
wherein the left hearing aid device (110) has a left acousto-electrical converter (2) which converts sound waves arriving at the left hearing aid device (110) into a left input signal and the right hearing aid device (110 ') converts a right acoustoelectric transducer (2'). ) which converts sound waves arriving at the right hearing aid (110 ') into a right input signal,
the hearing aid system (110) having signal processing means (3, 3 ') in signal communication with the left and right acousto-electrical converters (2, 2') and receiving the left and right input signals, the method comprising the steps of having: Providing a plurality of different linear combinations of the left input signal and the right input signal; Evaluating the linear combinations according to a predetermined signal criterion; Select a linear combination depending on the rating as a beam signal. Verfahren nach Anspruch 1, wobei bei der Bereitstellung der Linearkombinationen die Eingangssignale mit Gewichtungsfaktoren gewichtet werden und die Summe der Gewichtungsfaktoren einer Linearkombination jeweils gleich 1 ist.The method of claim 1, wherein in providing the linear combinations, the input signals are weighted with weighting factors and the sum of the weighting factors of a linear combination is equal to 1, respectively. Verfahren nach Anspruch 1 oder 2, wobei das Bewerten der Linearkombinationen das Bestimmen eines Signalpegels der Linearkombinationen aufweist.The method of claim 1 or 2, wherein evaluating the linear combinations comprises determining a signal level of the linear combinations. Verfahren nach Anspruch 3, wobei das Auswählen einer Linearkombination durch das Auswählen der Linearkombination mit dem geringsten Signalpegel erfolgt.The method of claim 3, wherein selecting a linear combination is done by selecting the linear combination having the lowest signal level. Verfahren nach einem der vorangehenden Ansprüche, wobei aus dem linken und dem rechten Eingangssignal ein Schätzwert für die spektrale Leistungsdichte eines Nutzsignals und eines Störgeräusch-Signals bestimmt wird und in Abhängigkeit das Beam-Signal verstärkt oder abgeschwächt wird.Method according to one of the preceding claims, wherein from the left and the right input signal, an estimated value for the power spectral density of a useful signal and a noise signal is determined, and depending on the beam signal is amplified or attenuated. Verfahren nach einem der vorangehenden Ansprüche, wobei die Schritte des Verfahrens jeweils für eine Mehrzahl von Frequenzbereichen separat ausgeführt werden.Method according to one of the preceding claims, wherein the steps of the method are carried out separately for a plurality of frequency ranges. Verfahren nach einem der vorangehenden Ansprüche, wobei das Auswählen einer Linearkombination das Umschalten oder das Überblenden des Beam-Signals zwischen zwei Linearkombinationen aufweist.The method of any one of the preceding claims, wherein selecting a linear combination comprises switching or blending the beam signal between two linear combinations. Hörhilfesysteme, wobei das Hörhilfesystem (100) eine linkes Hörhilfegerät (110) und eine rechtes Hörhilfegerät (110') zur anwendungsgemäßen Anordnung an einem Kopf eines Trägers aufweist,
wobei das linke Hörhilfegerät (110) einen linken akusto-elektrischen Wandler (2) aufweist, welcher an dem linken Hörhilfegerät (110)eintreffende Schallwellen in ein linkes Eingangssignal wandelt und das rechte Hörhilfegerät (110') einen rechten akusto-elektrischen Wandler (2) aufweist, welcher an dem rechten Hörhilfegerät (110') eintreffende Schallwellen in ein rechtes Eingangssignal wandelt,
wobei das Hörhilfesystem (100) eine Signalverarbeitungseinrichtung (3, 3') aufweist, welche in Signalverbindung mit dem linken und dem rechten akusto-elektrischen Wandler (2, 2') steht und das linke und das rechte Eingangssignal empfängt, dadurch gekennzeichnet, dass
das Hörhilfesystem (100) ausgelegt ist, mehrere unterschiedlichen Linearkombinationen des linken Eingangssignals und des rechten Eingangssignals bereitzustellen;
das Hörhilfesystem (100) ausgelegt ist, die Linearkombinationen nach einem vorgegebenen Signalkriterium zu bewerten und das Hörhilfesystem (100) ausgelegt ist, eine Linearkombination in Abhängigkeit von der Bewertung als ein Beam-Signal auszuwählen.Hearing aid systems, wherein the hearing aid system (100) has a left hearing aid device (110) and a right hearing aid device (110 ') for application to a head of a wearer,
wherein the left hearing aid device (110) has a left acousto-electrical converter (2) which converts sound waves arriving at the left hearing aid device (110) into a left input signal and the right hearing aid device (110 ') converts a right acoustoelectric transducer (2). which converts sound waves arriving at the right hearing aid (110 ') into a right input signal,
the hearing aid system (100) having signal processing means (3, 3 ') in signal communication with the left and right acousto-electrical converters (2, 2') and receiving the left and right input signals, characterized in that
the hearing aid system (100) is adapted to provide a plurality of different linear combinations of the left input signal and the right input signal;
the hearing aid system (100) is designed to evaluate the linear combinations according to a predetermined signal criterion and the hearing aid system (100) is designed, a linear combination depending on the rating to select as a beam signal. Hörhilfesystem nach Anspruch 8, wobei das Hörhilfesystem (100) ausgelegt ist, bei den Linearkombinationen die Eingangssignale mit Gewichtungsfaktoren zu gewichten, wobei die Summe der Gewichtungsfaktoren einer Linearkombination jeweils gleich 1 ist.Hearing aid system according to claim 8, wherein the hearing aid system (100) is designed to weight the input signals with weighting factors in the linear combinations, wherein the sum of the weighting factors of a linear combination is equal to 1. Hörhilfesystem nach Anspruch 8 oder 9, wobei das Hörhilfesystem (100) ausgelegt ist, einen Signalpegel der Linearkombinationen zu bestimmen.The hearing aid system according to claim 8 or 9, wherein the hearing aid system (100) is adapted to determine a signal level of the linear combinations. Hörhilfesystem nach Anspruch 10, wobei das Hörhilfesystem (100) dazu ausgelegt ist, eine Linearkombination mit dem geringsten Signalpegel auszuwählen.The hearing aid system of claim 10, wherein the hearing aid system (100) is adapted to select a linear combination having the lowest signal level. Hörhilfesystem nach einem der vorangehenden Ansprüche, wobei das Hörhilfesystem (100) dazu ausgelegt ist, aus dem linken und dem rechten Eingangssignal einen Schätzwert für die spektrale Leistungsdichte eines Nutzsignals und eines Störgeräusch-Signals zu bestimmen und in Abhängigkeit das Beam-Signal zu verstärken oder abzuschwächen.Hearing aid system according to one of the preceding claims, wherein the hearing aid system (100) is adapted to determine from the left and right input signal an estimate of the spectral power density of a useful signal and a noise signal and depending on the beam signal to amplify or attenuate , Hörhilfesystem nach einem der vorangehenden Ansprüche, wobei das Hörhilfesystem (100) ausgelegt ist, die Schritte des Verfahrens jeweils für eine Mehrzahl von Frequenzbereichen separat auszuführen.Hearing aid system according to one of the preceding claims, wherein the hearing aid system (100) is designed to perform the steps of the method separately for a plurality of frequency ranges. Hörhilfesystem nach einem der vorangehenden Ansprüche, wobei das Hörhilfesystem (100) dazu ausgelegt ist, das Auswählen einer Linearkombination durch Umschalten oder Überblenden des Beam-Signals zwischen zwei Linearkombinationen auszuführen.Hearing aid system according to one of the preceding claims, wherein the hearing aid system (100) is adapted to perform the selection of a linear combination by switching or blending the beam signal between two linear combinations.
EP14166949.9A 2013-05-16 2014-05-05 Logic-based binaural beam forming system Active EP2811762B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013209062.5A DE102013209062A1 (en) 2013-05-16 2013-05-16 Logic-based binaural beam shaping system

Publications (2)

Publication Number Publication Date
EP2811762A1 true EP2811762A1 (en) 2014-12-10
EP2811762B1 EP2811762B1 (en) 2016-03-09

Family

ID=50624507

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14166949.9A Active EP2811762B1 (en) 2013-05-16 2014-05-05 Logic-based binaural beam forming system

Country Status (4)

Country Link
US (1) US9473860B2 (en)
EP (1) EP2811762B1 (en)
DE (1) DE102013209062A1 (en)
DK (1) DK2811762T3 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4149121A1 (en) * 2021-09-13 2023-03-15 Sivantos Pte. Ltd. Method for operating a hearing aid

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9510222B2 (en) * 2013-08-23 2016-11-29 Qualcomm Incorporated Detection of bursty WiFi interference in LTE/LTE-A communications in an unlicensed spectrum
CN107889554B (en) 2015-03-13 2020-12-29 西万拓私人有限公司 Dual-track hearing aid system
US10182299B1 (en) * 2017-12-05 2019-01-15 Gn Hearing A/S Hearing device and method with flexible control of beamforming
EP3606100B1 (en) 2018-07-31 2021-02-17 Starkey Laboratories, Inc. Automatic control of binaural features in ear-wearable devices
US11049509B2 (en) 2019-03-06 2021-06-29 Plantronics, Inc. Voice signal enhancement for head-worn audio devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196994A1 (en) 2003-04-03 2004-10-07 Gn Resound A/S Binaural signal enhancement system
US6983055B2 (en) 2000-06-13 2006-01-03 Gn Resound North America Corporation Method and apparatus for an adaptive binaural beamforming system
EP2018079A1 (en) * 2007-07-20 2009-01-21 Siemens Audiologische Technik GmbH Method for processing signals in a hearing aid
WO2010091077A1 (en) 2009-02-03 2010-08-12 University Of Ottawa Method and system for a multi-microphone noise reduction
EP2262285A1 (en) * 2009-06-02 2010-12-15 Oticon A/S A listening device providing enhanced localization cues, its use and a method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1326478B1 (en) * 2003-03-07 2014-11-05 Phonak Ag Method for producing control signals and binaural hearing device system
US8139787B2 (en) * 2005-09-09 2012-03-20 Simon Haykin Method and device for binaural signal enhancement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983055B2 (en) 2000-06-13 2006-01-03 Gn Resound North America Corporation Method and apparatus for an adaptive binaural beamforming system
US20040196994A1 (en) 2003-04-03 2004-10-07 Gn Resound A/S Binaural signal enhancement system
EP2018079A1 (en) * 2007-07-20 2009-01-21 Siemens Audiologische Technik GmbH Method for processing signals in a hearing aid
WO2010091077A1 (en) 2009-02-03 2010-08-12 University Of Ottawa Method and system for a multi-microphone noise reduction
EP2262285A1 (en) * 2009-06-02 2010-12-15 Oticon A/S A listening device providing enhanced localization cues, its use and a method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4149121A1 (en) * 2021-09-13 2023-03-15 Sivantos Pte. Ltd. Method for operating a hearing aid

Also Published As

Publication number Publication date
EP2811762B1 (en) 2016-03-09
DK2811762T3 (en) 2016-06-13
US9473860B2 (en) 2016-10-18
US20140341407A1 (en) 2014-11-20
DE102013209062A1 (en) 2014-11-20

Similar Documents

Publication Publication Date Title
EP3222057B1 (en) Method and apparatus for fast recognition of a user's own voice
EP2180726B2 (en) Sound localization in binaural hearing aids
EP2811762B1 (en) Logic-based binaural beam forming system
DE102011006471B4 (en) Hearing aid device and hearing aid system with a directional microphone system and method for adjusting a directional microphone in a hearing aid
DE102007017761B4 (en) Method for adapting a binaural hearing aid system
EP2840809B1 (en) Control of the strength of the effect of a binaural directional microphone
EP2164283B1 (en) Hearing aid and operation of a hearing aid with frequency transposition
EP2991379B1 (en) Method and device for improved perception of own voice
DE102011006129B4 (en) Hearing device with feedback suppression device and method for operating the hearing device
EP2822300B1 (en) Detection of listening situations with different signal sources
EP2595414A1 (en) Hearing aid with a device for reducing a microphone noise and method for reducing a microphone noise
DE102008064484A1 (en) Method for selecting a preferred direction of a directional microphone and corresponding hearing device
DE102014218672B3 (en) Method and apparatus for feedback suppression
EP2658289B1 (en) Method for controlling an alignment characteristic and hearing aid
EP2793488B1 (en) Binaural microphone adjustment by means of the user's own voice
EP3048813B1 (en) Method and device for suppressing noise based on inter-subband correlation
DE102021210098A1 (en) Method of operating a hearing aid
EP4311269A1 (en) Method for operating a binaural hearing aid, binaural hearing aid, and computer program
WO2014049455A1 (en) Hearing system and transmission method
WO2011107545A2 (en) Method for adjusting a directional hearing device

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140505

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

R17P Request for examination filed (corrected)

Effective date: 20150407

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 21/0216 20130101ALN20150805BHEP

Ipc: H04R 25/00 20060101AFI20150805BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20150917

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIVANTOS PTE. LTD.

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 780257

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160315

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: E. BLUM AND CO. AG PATENT- UND MARKENANWAELTE , CH

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502014000432

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 3

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20160609

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20160309

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160609

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160610

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160531

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160709

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160711

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502014000432

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160505

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20161212

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160609

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 4

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160505

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20140505

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 780257

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190505

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190505

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230517

Year of fee payment: 10

Ref country code: CH

Payment date: 20230602

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240522

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240517

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20240522

Year of fee payment: 11