EP2603018A1 - Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung - Google Patents
Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung Download PDFInfo
- Publication number
- EP2603018A1 EP2603018A1 EP12191191.1A EP12191191A EP2603018A1 EP 2603018 A1 EP2603018 A1 EP 2603018A1 EP 12191191 A EP12191191 A EP 12191191A EP 2603018 A1 EP2603018 A1 EP 2603018A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- voice activity
- activity data
- hearing
- analysis
- hearing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
Definitions
- the invention relates to a hearing device which is designed to automatically detect whether a wearer of the hearing device is currently speaking or not.
- the invention also includes a method for operating a hearing device, by means of which it can likewise be automatically detected whether the wearer of the hearing device speaks for himself.
- a hearing device is understood here to mean any sound-emitting device that can be worn in or on the ear, in particular a hearing device, a headset, headphones.
- Hearing aids are portable hearing aids that are used to care for the hearing impaired.
- different types of hearing aids such as behind-the-ear hearing aids (BTE), hearing aid with external receiver (RIC: receiver in the canal) and in-the-ear hearing aids (ITE), e.g. Concha hearing aids or canal hearing aids (ITE, CIC).
- BTE behind-the-ear hearing aids
- RIC hearing aid with external receiver
- ITE in-the-ear hearing aids
- ITE in-the-ear hearing aids
- ITE in-the-ear hearing aids
- ITE concha hearing aids or canal hearing aids
- the hearing aids listed by way of example are worn on the outer ear or in the ear canal.
- bone conduction hearing aids, implantable or vibrotactile hearing aids are also available on the market. The stimulation of the damaged hearing takes place either mechanically or electrically.
- Hearing aids have in principle as essential components an input transducer, an amplifier and an output transducer.
- the input transducer is usually a sound receiver, z. As a microphone, and / or an electromagnetic receiver, for. B. an induction coil.
- the output transducer is usually used as an electroacoustic transducer, z. As miniature speaker, or as an electromechanical transducer, z. B. bone conduction, realized.
- the amplifier is usually integrated in a signal processing unit. This basic structure is in FIG. 1 using the example of a behind-the-ear hearing aid shown. In a hearing aid housing 1 for carrying behind the ear, one or more microphones 2 for receiving the sound from the environment are installed.
- a signal processing unit 3 which is also integrated in the hearing aid housing 1, processes the microphone signals and amplifies them.
- the output signal of the signal processing unit 3 is transmitted to a loudspeaker or earpiece 4, which outputs an acoustic signal.
- the sound is optionally transmitted via a sound tube, which is fixed with an earmold in the ear canal, to the eardrum of the device carrier.
- the power supply of the hearing device and in particular the signal processing unit 3 is effected by a likewise integrated into the hearing aid housing 1 battery. 5
- the amplification of the different frequency bands as a function of the hearing of the wearer of the hearing device can usually always remain the same, that is independent of the changing speakers.
- a beamformer only has to be able to move quickly enough between the directions from which the speakers' voices alternate.
- the situation is different in the case when the wearer of the hearing device speaks for himself.
- the wearer always takes his own voice, for example because of a bone sound transmission different from the voice of people around him. If the listener's own voice is detected by a microphone as airborne sound and processed in the same way as the voices of other speakers by the hearing device, then the wearer of the hearing device perceives his own voice alienated. In the case of beamforming, it is unclear where the beamformer's main lobe should actually point at a voice activity of the wearer of the hearing device.
- a signal processing device for a hearing device which is designed to a self-speaker activity based on microphone signals to recognize two microphones.
- the detection is performed on the basis of the specific characteristics of a sound field, such as the self-voice of the hearing aid wearer due to Nachfeld binen causes, as well as on the basis of the symmetry of the microphone signals.
- the absolute level of the signals as well as the spectral envelope of the signal spectra can be analyzed in parallel processing blocks.
- the three analysis blocks each provide a binary signal which indicates whether or not the respective signal block has recognized intrinsic speech activity.
- a combination block following the analysis blocks links the signals to an overall decision by means of an AND operation.
- a programmable communication device which switches upon detection of a self-speech activity signal processing in accordance with the specifications of a user of the communication device, so as to present the user as natural as possible reproduction of his own language.
- parameters are extracted from microphone signals which are then compared to previously learned parameters, the learned parameters being determined based on the user's own voice.
- Preferred parameters are firstly the level of a low-frequency channel and secondly the level of a high-frequency channel, wherein both levels are combined in order to then decide whether the signal in the two channels is an eigenvoice or not.
- An object of the present invention is to provide a reliable self-tuning recognition for a hearing device.
- the hearing device according to the invention and the method according to the invention are not dependent on a comparison of two independently detected audio signals. Instead, reliable and robust inter-speaker recognition is achieved by examining audio signals received by the hearing device for more than one type of analysis as to whether it is indicative of in-speaker activity. The different analysis results are then combined in a second step in order to make a reliable statement from the merged information as to whether the wearer of the hearing device is currently speaking or not.
- the risk of incorrect speech detection is significantly reduced by this fusion of different sources of information, since false detection results, which can result from only one single analysis, are compensated by the results of other analyzes that may be more appropriate for a particular situation.
- the hearing device has at least two independent analysis devices, each of which is designed to obtain data, referred to herein as voice activity data, based on an audio signal received by the hearing device they are dependent on a speaker activity of the wearer of the hearing device.
- voice activity data data
- an audio signal is to be understood here as meaning an electrical or digital signal which has signal components in the audio frequency range.
- Each of the analysis devices can be supplied with an audio signal from another signal source. However, one and the same audio signal can also be supplied to a plurality of analysis devices. Examples of sources of an audio signal are a microphone, a beamformer or a structure-borne sound sensor.
- the analysis facilities extract the voice activity data based on a different analysis criterion, that is, for example, depending on an incident direction of an ambient sound, as a function of spectral values of a frequency spectrum of the audio signal, based on speaker-independent voice activity recognition or in dependence on binaural information, as can be obtained when recorded on different sides of a head of the carrier audio data become.
- the hearing device In order to be able to make a reliable statement as to whether the wearer is currently speaking from the voice activity data of the individual analysis devices, the hearing device according to the invention has a fusion device which is designed to receive the voice activity data from the analysis devices and on the basis of the voice activity data to perform the self-speech recognition. It may be sufficient in this case that the fusion device is designed to recognize whether the voice of the wearer is active or not. It only needs to be recognized in a few cases, the identity of the carrier, for. When using spectral features.
- the hearing device according to the invention can be produced in a particularly favorable manner if only that microphone device is used by means of which the ambient sound striking the carrier is also converted into the useful signal, which is to be presented to the wearer of the hearing device in processed form.
- a microphone device this is not necessarily meant a single microphone.
- a microphone array or other arrangement of multiple microphones may also be used.
- a particularly expedient further development of the hearing device according to the invention has an adaptation device which is complementary thereto is designed to change an operation of the hearing device, if the carrier speaks.
- a transmission behavior of the hearing device is adapted in order to convey to the wearer of the hearing device a neutral sound impression of his own voice. It has proven to be particularly useful to attenuate a low-frequency component of the useful signal in order to avoid the known as occlusion effect distorted perception of one's own voice.
- its straightening behavior is expediently adapted.
- the invention also provides a method for operating a hearing device.
- voice activity data is obtained independently of each other by means of at least two analyzers, i. Data dependent on speaker activity of a wearer of the hearing device.
- the voice activity data of the analyzers are combined by means of a fusion device. On the basis of these combined language activities then reviewed in summary whether the carrier speaks or not.
- the analysis of the audio signal by the individual analysis devices and the speech activity detection by the fusion device can be done in many different ways.
- the method according to the invention advantageously makes it possible to freely combine the most varied analysis methods and to combine them for a reliable and robust overall statement about the speech activity.
- feature extraction is performed by at least one of the analysis devices.
- feature values are determined in dependence on the audio signal, such as an incident direction of a sound which has caused the audio signal or a reverberation of the audio signal.
- it may also be a specific representation of individual segments of the audio signal, such as spectral or cepstral coefficients, coefficients linear prediction (LPC).
- LPC coefficients linear prediction
- the analysis device may be expedient to make a provisional statement by the analysis device as to whether the wearer of the hearing device is currently speaking. This happens in the form of a probability value (values between zero and one). But it can already happen as a so-called hard or binary decision (speaks or does not speak).
- the latter may be enabled by an analyzer which acts as a classifier and checks for this on the basis of a classification criterion whether the bearer speaks or not.
- classification criteria are known and available from the prior art, for example in connection with a so-called speaker-independent voice activity detection (VAD).
- a weighting of the individual voice activity data is performed by the fusion device. This weighting then depends on which analysis device the respective voice activity data came from.
- the weighting advantageously achieves that, depending on the current situation, an analysis device which is known to deliver only unreliable data in this situation as expected obtains less influence on the decision result than an analysis device known to function reliably in the situation. In this case, either trainable or untrainable embodiments can be realized for these weightings.
- the weighted voice activity data can be finally connect, resulting in the already described information fusion.
- Voice activity data from different analysis devices can be combined particularly easily if the voice activity data already provides a preliminary decision about the speaker activity. Then, for example, a majority decision may be made by the fusion device that says something about whether the speaker activity is being displayed by the analysis devices together.
- voice activity detectors may be used in at least two analysis devices e.g. be provided with different parameters.
- a hearing device 10 which generates a sound 12 from an environment of a wearer of the hearing device detected.
- the audio signal of the sound 12 is processed by the hearing device 10 and reproduced as output sound signal 14 in an ear canal 16 of the wearer of the device.
- the hearing device 10 can be, for example, a hearing device, such as a behind-the-ear hearing device or a in-the-ear hearing device.
- the hearing device 10 detects the ambient sound 12 by means of a microphone device 18, which is incident on the ambient sound 12 from the environment and converts the audio signal of the sound 12 into a digital useful signal.
- the useful signal is processed by a processing device 20 of the hearing device 10 and then emitted in processed form by a receiver 22 of the hearing device 10 in the ear canal 16 as the output sound 14.
- the microphone device 18 may include one or more microphones.
- a microphone device 18 with three microphones 24, 26, 28 is shown.
- the microphones 24 to 28 may form a microphone array; but they can also be mounted independently, for example, on opposite sides of the head of the wearer of the hearing.
- the processing device 20 may be, for example, a digital signal processor. However, the processing device 20 can also be realized by separate or integrated circuits.
- the handset 22 may be, for example, a headphone or an RIC (Receiver in the Canal) or an external hearing aid handset whose sound is conducted via a sound tube into the ear canal 16.
- the useful signal is processed by a signal processor 30 in such a way that the equipment wearer is on Hearing adapted output sound signal 14 perceives.
- the signal processing 30 is switched to a mode by which the wearer a neutral sound impression of the own voice is mediated, if he also perceives this via the hearing device 10.
- the measures to be performed by the signal processing 30 are known per se from the prior art.
- the processing device 20 carries out the method explained in more detail below.
- the method makes it possible to reliably detect on the basis of the ambient sound 12 whether or not the ambient sound 12 is the own voice of the wearer of the hearing device 10.
- the method does not rely on acoustic characteristics of a single source of information. A signal from such a single source would be subject to too great a variance, so that a reliable statement about the speaker activity could only be achieved by smoothing the signal over a long period of time.
- the processing device 20 could not respond to rapid changes between the voice of the wearer of the hearing device 10 on the one hand and the voice of another person. In other acoustic scenarios where ambient sound 12 with varying proportions contains both the wearer's voice and ambient noise, no reliable decision could be made at all based on a single source of acoustic features.
- a plurality of analysis devices 32, 34, 36, 38 are provided with the processing device 20, which represent independent information sources relating to the speaker activity of the wearer of the hearing device.
- the four analyzers 32-38 shown here represent only one exemplary configuration of a processing device
- the analyzers 32-38 may be provided, for example, by one or more analysis programs for a digital signal processor.
- the analysis devices 32 to 38 generate output signals depending on the useful signal of the microphone device 18, which data relate to the voice activity of the hearing device wearer d.
- the voice activity data 40 through 46 are merged (FUS - Fusion) by a fusion device 48, that is, they are combined into a single signal indicating whether the carrier's voice is active (OVA - Own Voice Active) or not active is (OVNA - Own Voice not Active).
- the output signal of the fusion device 48 forms a control signal of the signal processing 30, by which the signal processing 30 between the two modes described hard switched or soft-faded.
- the person skilled in the art can easily find suitable analysis criteria on the basis of simple experiments on a specific model of a hearing device in order to distinguish between an ambient sound 12 emitted by the voice of the wearer of the hearing device 10 itself is generated, and an ambient sound 12, which originates from sound sources from the environment of the wearer to distinguish.
- exemplary possible embodiments of the analysis devices 32 to 38 are described which have proved to be particularly expedient.
- an evaluation of a spatial information can be carried out, as can be obtained on the basis of a plurality of microphone channels (MC - Multi Channel) in a manner known per se. In this way, for example, a direction of incidence 50 can be determined, from which the ambient sound 12 strikes the microphone device 18 or at least some of its microphones 24 to 28.
- a spectral evaluation on the basis of a single microphone channel (SC - Single Channel) take place.
- SC Single microphone channel
- Such analyzes are also known per se from the prior art and are based, for example, on the evaluation of a signal power in individual spectral bands of the audio signal.
- One possible spectral information is a speaker verification.
- a speaker verification By such a speaker verification, a "one out of N" speaker recognition is performed, i. H. it is a very specific speaker from several possible speakers recognized. It can be carried out, for example, on the basis of a spectral characteristic of the speaker to be recognized, in this case the wearer of the hearing device 10.
- speaker-independent voice activity detection may be performed by the analyzer 36 based on a single microphone channel.
- the analysis device 38 can be obtained from a plurality of microphone channels binaural information, as they can be obtained in contrast to a microphone array with more distant microphones.
- the output signals of the individual analysis devices 32 to 38 can represent the extracted information in different ways, depending on the type of analysis.
- Convenient forms are the output of features in the form of discrete real numbers, the output of probabilities (ie, real numbers between zero and one), or even the output of concrete decisions about speaker activity (possibly binary outputs of zero or one).
- the probabilities may, for example, be likelihood values.
- FIG. 2 Each of these output forms is illustrated by corresponding references to features X, probabilities P (probability) or decisions D (decision).
- the fusion device 48 By means of the fusion device 48, an evaluation of the voice activity data 40 to 46 is carried out, which ultimately is crucial for the control of signal processing 30.
- the fusion device 48 may be a program or program portion of a digital signal processor.
- the type of "fusion" of the activity data 40 to 46 also depends to a great extent on the analysis devices 32 to 38 used and on the form of the voice activity data 40 to 46 used (characteristics, probabilities or individual decisions).
- the voice activity data can for example be processed in parallel or serially or even in a hybrid approach.
- the voice activity data 40 to 46 can be subjected to an input-side weighting by the fusion device 48.
- Suitable weights can be determined, for example, by means of a training process on the basis of training data, which can be radiated onto the hearing device 10, for example by means of a loudspeaker as ambient sound 12.
- the weights can then be determined, for example, in the form of a covariance matrix, by which a relationship between the voice activity data 40 to 46 on the one hand and the true decision to be made (carrier speaks or does not speak) is described.
- the voice activity data 40 to 46 are expediently transmitted in the form of a vector to the fusion device 48, in which the numerical values of the analysis results, for example the probabilities, are combined.
- the covariance matrix in the event that two or more of the analyzers 32-38 generate features X1, X2, X3, X4 as speech activity data 40-46, then aggregated features X may be formed, which are then evaluated with respect to the speech activity of the bearer .
- the evaluation of the characteristics with regard to the speaker activity can be carried out, for example, on the basis of a method known per se from the field of pattern recognition.
- Another possible evaluation method of the fusion device 48 is a majority decision, which can be performed, for example, on the basis of individual decisions D1, D2, D3, D4 analysis devices 32 to 38. The result is then an overall decision D.
- likelihood values P1, P2, P3, P4 as voice activity data 40 to 46
- these likelihoods may be summarized by calculating an average of these likelihood values P1 to P4 into a total probability P, for example.
- the total probability P can then be compared, for example, with a threshold value in order to obtain the final overall decision D.
- the signal processing 30 can set, for example, a frequency response of the signal path as formed by the microphone device 18, the processing device 20, the signal processing device 30 and the handset 22. For example, to avoid an occlusion effect, low frequencies of the audio signal can be attenuated. In the same way, it can be provided that a directional microphone is not adapted when inserting the voice of the carrier, since it makes no sense to pivot the main lobe of a beamformer away from an external source when the wearer of the hearing device 10 speaks.
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
Description
- Die Erfindung betrifft eine Hörvorrichtung, welche dazu ausgelegt ist, selbsttätig zu erkennen, ob ein Träger der Hörvorrichtung gerade spricht oder nicht. Zu der Erfindung gehört auch ein Verfahren zum Betreiben einer Hörvorrichtung, mittels welchem ebenfalls automatisch erkannt werden kann, ob der Träger der Hörvorrichtung selbst spricht. Unter einer Hörvorrichtung wird hier jedes im oder am Ohr tragbare, schallausgebende Gerät verstanden, insbesondere ein Hörgerät, ein Headset, Kopfhörer.
- Hörgeräte sind tragbare Hörvorrichtungen, die zur Versorgung von Schwerhörenden dienen. Um den zahlreichen individuellen Bedürfnissen entgegenzukommen, werden unterschiedliche Bauformen von Hörgeräten wie Hinter-dem-Ohr-Hörgeräte (HdO), Hörgerät mit externem Hörer (RIC: receiver in the canal) und In-dem-Ohr-Hörgeräte (IdO), z.B. auch Concha-Hörgeräte oder Kanal-Hörgeräte (ITE, CIC), bereitgestellt. Die beispielhaft aufgeführten Hörgeräte werden am Außenohr oder im Gehörgang getragen. Darüber hinaus stehen auf dem Markt aber auch Knochenleitungshörhilfen, implantierbare oder vibrotaktile Hörhilfen zur Verfügung. Dabei erfolgt die Stimulation des geschädigten Gehörs entweder mechanisch oder elektrisch.
- Hörgeräte besitzen prinzipiell als wesentliche Komponenten einen Eingangswandler, einen Verstärker und einen Ausgangswandler. Der Eingangswandler ist in der Regel ein Schallempfänger, z. B. ein Mikrofon, und/oder ein elektromagnetischer Empfänger, z. B. eine Induktionsspule. Der Ausgangswandler ist meist als elektroakustischer Wandler, z. B. Miniaturlautsprecher, oder als elektromechanischer Wandler, z. B. Knochenleitungshörer, realisiert. Der Verstärker ist üblicherweise in eine Signalverarbeitungseinheit integriert. Dieser prinzipielle Aufbau ist in
FIG 1 am Beispiel eines Hinter-dem-Ohr-Hörgeräts dargestellt. In ein Hörgerätegehäuse 1 zum Tragen hinter dem Ohr sind ein oder mehrere Mikrofone 2 zur Aufnahme des Schalls aus der Umgebung eingebaut. Eine Signalverarbeitungseinheit 3, die ebenfalls in das Hörgerätegehäuse 1 integriert ist, verarbeitet die Mikrofonsignale und verstärkt sie. Das Ausgangssignal der Signalverarbeitungseinheit 3 wird an einen Lautsprecher bzw. Hörer 4 übertragen, der ein akustisches Signal ausgibt. Der Schall wird gegebenenfalls über einen Schallschlauch, der mit einer Otoplastik im Gehörgang fixiert ist, zum Trommelfell des Geräteträgers übertragen. Die Energieversorgung des Hörgeräts und insbesondere die der Signalverarbeitungseinheit 3 erfolgt durch eine ebenfalls ins Hörgerätegehäuse 1 integrierte Batterie 5. - Bei vielen Hörvorrichtungen und insbesondere bei Hörgeräten ist man bemüht, die Höranstrengung so gering wie möglich zu halten, wenn Umgebungsschall über die Hörvorrichtung wahrgenommen wird. Hierzu kann vorgesehen sein, ein Sprachsignal in denjenigen spektralen Bändern, in welchen der Träger der Hörvorrichtung nur schlecht hört, zu verstärken. Eine andere Möglichkeit besteht darin, einen Beamformer bereitzustellen, welcher sein Richtverhalten in der Weise anpasst, dass eine Hauptkeule des Beamformers stets in diejenige Richtung weist, aus welcher beispielsweise die Stimme eines Gesprächspartners des Trägers der Hörvorrichtung kommt. Solche Algorithmen müssen ihr Verhalten prinzipiell nicht ändern, wenn der Träger der Hörvorrichtung Stimmen unterschiedlicher Sprecher aus verschiedenen Richtungen wahrnehmen möchte. Die Verstärkung der unterschiedlichen Frequenzbänder in Abhängigkeit von dem Hörvermögen des Trägers der Hörvorrichtung kann in der Regel stets dieselbe bleiben, also unabhängig von den wechselnden Sprechern. Ein Beamformer muss lediglich schnell genug zwischen den Richtungen wechseln können, aus welchen die Stimmen der Sprecher abwechselnd kommen.
- Anders sieht es in dem Fall aus, wenn der Träger der Hörvorrichtung selbst spricht. Der Träger nimmt seine eigene Stimme beispielsweise aufgrund einer Knochenschallübertragung stets anders wahr als die Stimme von Personen in seiner Umgebung. Wird nun durch die Hörvorrichtung die eigene Stimme des Trägers von einem Mikrofon als Luftschall erfasst und in der gleichen Weise prozessiert wie die Stimmen anderer Sprecher, so nimmt der Träger der Hörvorrichtung seine eigene Stimme verfremdet wahr. Im Falle eines Beamforming ist bei einer Sprachaktivität des Trägers der Hörvorrichtung nicht klar, wohin die Hauptkeule des Beamformers eigentlich zeigen soll. Diese Beispiele verdeutlichen, dass es bei einer Hörvorrichtung für viele Algorithmen von Vorteil ist, wenn bei der Verarbeitung des Audiosignals bekannt ist, ob gerade der Träger der Hörvorrichtung selbst spricht oder ob ein erfasster Schall aus einer Umgebung des Trägers von einer externen Schallquelle auf die Hörvorrichtung getroffen ist.
- Im Zusammenhang mit Hörgeräten ist als heutige Lösung für eine solche Eigenstimmerkennung (OVD - Own Voice Detection) bekannt, in einem Ohrstück eines Hörgeräts ein zusätzliches Mikrofon vorzusehen, dessen Schalleintrittsöffnung in das Innere des Ohrkanals weist. Durch Vergleichen des Signal des äußeren, regulären Mikrofon mit dem Signal des zusätzlichen Mikrofons kann erkannt werden, ob der Träger der Hörvorrichtung das Audiosignal selbst mit seiner Stimme erzeugt hat oder ob es sich um ein Audiosignal einer externen Schallquelle handelt. Nachteilig bei dieser Lösung ist, dass das Hörgerät sowohl mit einem zusätzlichen Mikrofon als auch mit der benötigten Schaltung zum Verarbeiten von dessen Mikrofonsignal ausgestattet sein muss, was die Herstellungskosten des Hörgeräts entsprechend erhöht. Zudem führt der Vergleich der beiden Mikrofonsignale nur dann zu verlässlichen Ergebnissen, wenn das Ohrstück des Hörgeräts fest im Gehörgang sitzt, so dass das innere Mikrofon ausreichend vom Umgebungsschall abgeschirmt ist. Ein Beispiel für ein solches Hörgerät geht aus der
DE 10 2005 032 274 A1 hervor. - In der
US 2006/0262944 A1 ist eine Signalverarbeitungseinrichtung für ein Hörgerät beschrieben, welche dazu ausgelegt ist, eine Eigensprecheraktivität auf der Grundlage von Mikrofonsignalen zweier Mikrofone zu erkennen. Die Erkennung wird auf Grundlage der spezifischen Charakteristiken eines Schallfelds durchgeführt, wie sie die Eigenstimme des Hörgeräteträgers aufgrund von Nachfeldeffekten hervorruft, sowie auf Grundlage der Symmetrie der Mikrofonsignale. Zusätzlich zur Nachfelddetektion kann in parallelen Verarbeitungsblöcken der absolute Pegel der Signale sowie die spektrale Einhüllende der Signalspektren analysiert werden. Die drei Analyseblöcke liefern jeweils ein binäres Signal, durch welches angezeigt ist, ob der jeweilige Signalblock Eigensprachaktivität erkannt hat oder nicht. Ein den Analyseblöcken nachgeschalteter Kombinationsblock verknüpft die Signale mittels einer UND-Verknüpfung zu einer Gesamtentscheidung. - In der
DE 602 04 902 B2 ist eine programmierbare Kommunikationseinrichtung beschrieben, welche bei Erkennen einer Eigensprecheraktivität eine Signalverarbeitung gemäß den Vorgaben eines Benutzers der Kommunikationseinrichtung umstellt, um so dem Benutzer eine möglichst natürliche Widergabe seiner eigenen Sprache darzubieten. Um die Eigensprecheraktivität zu erkennen, werden aus Mikrofonsignalen Parameter extrahiert, die dann mit zuvor angelernten Parametern verglichen werden, wobei die angelernten Parameter auf Grundlage der Eigenstimme des Benutzers ermittelt wurden. Bevorzugte Parameter sind hierbei zum einen der Pegel eines niederfrequenten Kanals und zum anderen der Pegel eines hochfrequenten Kanals, wobei beide Pegel kombiniert werden, um daraufhin zu entscheiden, ob das Signal in den beiden Kanälen eine Eigenstimme ist oder nicht. - Eine Aufgabe der vorliegenden Erfindung besteht darin, eine zuverlässige Eigenstimmerkennung für eine Hörvorrichtung bereitzustellen.
- Die Aufgabe wird durch eine Hörvorrichtung gemäß Patentanspruch 1 sowie durch ein Verfahren gemäß Patentanspruch 4 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.
- Die erfindungsgemäße Hörvorrichtung und das erfindungsgemäße Verfahren sind nicht auf einen Vergleich zweier unabhängig voneinander erfasster Audiosignale angewiesen. Stattdessen wird eine zuverlässige und robuste Eigensprechererkennung erzielt, indem von der Hörvorrichtung empfangene Audiosignale auf mehr als eine Analyseart darauf hin untersucht werden, ob sie auf eine Eigensprecheraktivität hindeuten. Die unterschiedlichen Analyseergebnisse werden dann in einem zweiten Schritt zusammengeführt, um aus den zusammengeführten Informationen eine zuverlässige Aussage darüber zu treffen, ob der Träger der Hörvorrichtung gerade spricht oder nicht. Das Risiko einer falschen Eigensprecherdetektion wird durch diese Fusion der unterschiedlichen Informationsquellen deutlich reduziert, da falsche Detektionsergebnisse, wie sie sich aufgrund lediglich einer einzelnen Analyse ergeben können, durch die Ergebnisse anderer Analysen kompensiert werden, die für eine spezielle Situation evtl. besser geeignet sind.
- Um diese Erkenntnis der Erfindung umzusetzen, weist die erfindungsgemäße Hörvorrichtung wenigstens zwei unabhängige Analyseeinrichtungen auf, von denen jede dazu ausgelegt ist, auf der Grundlage eines von der Hörvorrichtung empfangenen Audiosignals Daten zu gewinnen, die hier als Sprachaktivitätsdaten bezeichnet werden und von denen ausgegangen wird, dass sie von einer Sprecheraktivität des Trägers der Hörvorrichtung abhängig sind. Im Zusammenhang mit der Erfindung ist unter einem Audiosignal hierbei ein elektrisches oder digitales Signal zu verstehen, welches Signalanteile im Audiofrequenzbereich aufweist. Jeder der Analyseeinrichtungen kann ein Audiosignal aus einer anderen Signalquelle zugeführt werden. Es kann aber auch ein und dasselbe Audiosignal mehreren Analyseeinrichtungen zugeführt werden. Beispiele für Quellen eines Audiosignals sind ein Mikrofon, ein Beamformer oder ein Körperschallsensor.
- Durch die Analyseeinrichtungen werden die Sprachaktivitätsdaten jeweils auf Grundlage eines anderen Analysekriteriums gewonnen, also beispielsweise in Abhängigkeit von einer Einfallsrichtung eines Umgebungsschalls, in Abhängigkeit von spektralen Werten eines Frequenzspektrums des Audiosignals, auf der Grundlage einer sprecherunabhängigen Sprachaktivitätserkennung oder in Abhängigkeit von einer binauralen Information, wie sie gewonnen werden kann, wenn an unterschiedlichen Seiten eines Kopfes des Trägers Audiodaten erfasst werden.
- Um nun aus den Sprachaktivitätsdaten der einzelnen Analyseeinrichtungen eine zuverlässige Aussage darüber treffen zu können, ob der Träger gerade spricht oder nicht, weist die erfindungsgemäße Hörvorrichtung eine Fusionseinrichtung auf, welche dazu ausgelegt ist, die Sprachaktivitätsdaten von den Analyseeinrichtungen zu empfangen und auf der Grundlage der Sprachaktivitätsdaten die Eigensprechererkennung durchzuführen. Es kann hierbei ausreichend sein, dass die Fusionseinrichtung dazu ausgelegt ist zu erkennen, ob die Stimme des Trägers aktiv ist oder nicht. Es muss nur in wenigen Fällen die Identität des Trägers erkannt werden, z. B. bei der Verwendung spektraler Merkmale.
- Wie bereits beschrieben, können mehrere Audioquellen zum Bereitstellen von unterschiedlichen Audiosignalen verwendet werden. Besonders günstig lässt sich die erfindungsgemäße Hörvorrichtung jedoch herstellen, wenn nur diejenige Mikrofoneinrichtung benutzt wird, mittels welcher auch der auf den Träger treffende Umgebungsschall in das Nutzsignal umgewandelt wird, welches dem Träger der Hörvorrichtung in prozessierter Form dargeboten werden soll. Mit einer Mikrofoneinrichtung ist hierbei nicht unbedingt ein einzelnes Mikrofon gemeint. Es kann auch ein Mikrofonarray oder eine andere Anordnung aus mehreren Mikrofonen verwendet werden.
- Um auf eine durch die Fusionseinrichtung erkannte Sprecheraktivität des Trägers angemessen reagieren zu können, weist eine besonders zweckmäßige Weiterbildung der erfindungsgemäßen Hörvorrichtung eine Anpassungseinrichtung auf, welche dazu ausgelegt ist, eine Betriebsweise der Hörvorrichtung zu verändern, falls der Träger spricht. Insbesondere kann hier vorgesehen sein, dass ein Übertragungsverhalten der Hörvorrichtung angepasst wird, um dem Träger der Hörvorrichtung einen neutralen Klangeindruck von seiner eigenen Stimme zu vermitteln. Hierbei hat es sich als besonders zweckmäßig erwiesen, einen niederfrequenten Anteil des Nutzsignals zu dämpfen, um die als Okklusionseffekt bekannte verzerrte Wahrnehmung der eigenen Stimme zu vermeiden. Im Zusammenhang mit einer ausrichtbaren Beamformingeinrichtung wird zweckmäßigerweise deren Richtverhalten angepasst. So ist es insbesondere günstig, das selbsttätige Ausrichten der Richtcharakteristik zu blockieren, während die Stimme des Trägers aktiv ist.
- Durch die Erfindung wird auch ein Verfahren zum Betreiben einer Hörvorrichtung bereitgestellt. Gemäß dem Verfahren werden mittels wenigstens zweier Analyseeinrichtungen unabhängig voneinander jeweils Sprachaktivitätsdaten gewonnen, d.h. Daten, die von einer Sprecheraktivität eines Trägers der Hörvorrichtung abhängig sind. Die Sprachaktivitätsdaten der Analyseeinrichtungen werden mittels einer Fusionseinrichtung kombiniert. Auf der Grundlage dieser kombinierten Sprachaktivitäten dann zusammenfassend überprüft, ob der Träger spricht oder nicht.
- Die Analyse des Audiosignals durch die einzelnen Analyseeinrichtungen und die Sprachaktivitätserkennung durch die Fusionseinrichtung können dabei auf zahlreiche unterschiedliche Weisen geschehen. Das erfindungsgemäße Verfahren ermöglicht es dabei in vorteilhafter Weise, die unterschiedlichsten Analysemethoden frei zu kombinieren und sie für eine zuverlässige und robuste Gesamtaussage über die Sprachaktivität zu kombinieren.So kann vorgesehen sein, dass durch wenigstens eine der Analyseeinrichtungen eine Merkmalsextraktion durchgeführt wird. Dies bedeutet, dass in Abhängigkeit von dem Audiosignal Merkmalswerte ermittelt werden, wie etwa eine Einfallsrichtung eines Schalls, welcher das Audiosignal hervorgerufen hat, oder eine Halligkeit des Audiosignals. Bei den Merkmalen kann es sich auch um eine bestimmte Repräsentation einzelner Segmente des Audiosignals handeln, wie etwa spektrale oder cepstrale Koeffizienten, Koeffizienten eine linearen Prädiktion (LPC - Linear Prediction Coefficients). Als abstraktere Merkmale sind beispielsweise das Geschlecht des Sprechers (männliche oder weibliche Stimme) oder das Ergebnis einer Phonemanalyse (Vokal, Frikativ, Plosiv) denkbar.
- Genauso kann es zweckmäßig sein, durch die Analyseeinrichtung bereits eine vorläufige Aussage darüber zu treffen, ob der Träger der Hörvorrichtung gerade spricht. Dies geschieht in Form eines Wahrscheinlichkeitswertes (Werte zwischen null und eins). Es kann aber auch bereits als so genannte harte oder binäre Entscheidung (spricht oder spricht nicht) geschehen. Letzteres kann durch eine Analyseeinrichtung ermöglicht sein, die als Klassifikator fungiert und hierzu auf der Grundlage eines Klassifikationskriteriums überprüft, ob der Träger spricht oder nicht. Solche Klassifikationskriterien sind aus dem Stand der Technik beispielsweise im Zusammenhang mit einer so genannten sprecherunabhängigen Voice-Activity-Detection (VAD) an sich bekannt und verfügbar.
- Liegen nun Sprachaktivitätsdaten mehrerer Analyseeinrichtungen vor, so wird, je nach Art der Sprachaktivitätsdaten, gemäß einem Aspekt der Erfindung durch die Fusionseinrichtung eine Gewichtung der einzelnen Sprachaktivitätsdaten durchgeführt. Diese Gewichtung ist dann dabei davon abhängig, von welcher Analyseeinrichtung die jeweiligen Sprachaktivitätsdaten stammen. Durch die Gewichtung wird hier in vorteilhafter Weise erreicht, dass je nach aktueller Situation eine Analyseeinrichtung, von der bekannt ist, dass sie in dieser Situation erwartungsgemäß nur unzuverlässige Daten liefert, weniger Einfluss auf das Entscheidungsergebnis erhält als eine bekanntermaßen in der Situation zuverlässig arbeitende Analyseeinrichtung. Dabei sind für diese Gewichtungen entweder trainierbare oder untrainierbare Ausführungsformen realisierbar. Die gewichteten Sprachaktivitätsdaten lassen sich schließlich miteinander verknüpfen, wodurch sich die bereits beschriebene Informationsfusion ergibt.
- Besonders einfach lassen sich Sprachaktivitätsdaten unterschiedlicher Analyseeinrichtungen kombinieren, wenn durch die Sprachaktivitätsdaten bereits eine Vorentscheidung über die Sprecheraktivität vorliegt. Dann kann beispielsweise durch die Fusionseinrichtung eine Mehrheitsentscheidung getroffen werden, die etwas darüber aussagt, ob durch die Analyseeinrichtungen zusammen die Sprecheraktivität angezeigt wird.
- Eine andere zweckmäßige Form der Datenfusion besteht darin, aus den so genannten Softentscheidungen von Sprachaktivitätsdetektoren einen Mittelwert zu berechnen. Solche Sprachaktivitätsdetektoren können dazu in wenigstens zwei Analyseeinrichtungen z.B. mit unterschiedlicher Parametrierung bereitgestellt sein.
- Die vorangehend beschriebenen Weiterbildungen der Analyseeinrichtungen und der Fusionseinrichtung beziehen sich sowohl auf die erfindungsgemäße Hörvorrichtung als auch auf das erfindungsgemäße Verfahren.
- Im Folgenden wird die Erfindung noch einmal genauer anhand von Ausführungsbeispielen beschrieben. Es zeigt:
- FIG 1
- eine schematische Darstellung eines Hörgeräts gemäß dem Stand der Technik und
- FIG 2
- eine schematische Darstellung einer Hörvorrichtung gemäß einer Ausführungsform der erfindungsgemäßen Hörvorrichtung.
- Die Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar.
- In
FIG 2 ist eine Hörvorrichtung 10 gezeigt, welche einen Schall 12 aus einer Umgebung eines Trägers der Hörvorrichtung erfasst. Das Audiosignal des Schalls 12 wird durch die Hörvorrichtung 10 verarbeitet und als Ausgabeschallsignal 14 in einem Gehörgang 16 des Trägers der Vorrichtung wiedergegeben. Bei der Hörvorrichtung 10 kann es sich beispielsweise um ein Hörgerät, wie etwa ein Hinter-dem-Ohr-Hörgerät oder ein Indem-Ohr-Hörgerät handeln. Die Hörvorrichtung 10 erfasst den Umgebungsschall 12 mittels einer Mikrofoneinrichtung 18, auf die der Umgebungsschall 12 aus der Umgebung trifft und die das Audiosignal des Schalls 12 in ein digitales Nutzsignal umwandelt. Das Nutzsignal wird durch eine Verarbeitungseinrichtung 20 der Hörvorrichtung 10 verarbeitet und anschließend in verarbeiteter Form durch einen Hörer 22 der Hörvorrichtung 10 in dem Gehörgang 16 als der Ausgangsschall 14 abgestrahlt. - Die Mikrofoneinrichtung 18 kann ein oder mehrere Mikrofone aufweisen. In
FIG 2 ist beispielhaft eine Mikrofoneinrichtung 18 mit drei Mikrofonen 24, 26, 28 dargestellt. Die Mikrofone 24 bis 28 können ein Mikrofonarray bilden; sie können aber auch unabhängig voneinander beispielsweise an gegenüberliegenden Seiten des Kopfes des Trägers der Hörvorrichtung angebracht sein. Bei der Verarbeitungseinrichtung 20 kann es sich beispielsweise um einen digitalen Signalprozessor handeln. Die Verarbeitungseinrichtung 20 kann aber auch durch separate oder integrierte Schaltkreise realisiert sein. Der Hörer 22 kann beispielsweise ein Kopfhörer sein oder ein RIC (Receiver in the Canal) oder auch ein externer Hörgerätehörer, dessen Schall über einen Schallschlauch in den Gehörgang 16 geleitet wird. - Bei der Hörvorrichtung 10 ist vorgesehen, dass für den Fall, dass der Schall 12 von einer externen Schallquelle, beispielsweise einem Gesprächspartner des Geräteträgers oder einer Musikquelle stammt, die das Nutzsignal durch eine Signalverarbeitung 30 in der Weise verarbeitet wird, dass der Geräteträger ein an sein Hörvermögen angepasstes Ausgangsschallsignal 14 wahrnimmt.
- Für den Fall, dass der Träger der Hörvorrichtung 10 selbst spricht, singt oder andere Geräusche mit seiner Stimme erzeugt, die er nicht nur über die Hörvorrichtung 10, sondern auch z.B. durch Knochenschall mit seinem Gehör wahrnimmt, wird die Signalverarbeitung 30 in einen Modus umgeschaltet, durch welchen dem Träger ein neutraler Klangeindruck der eigenen Stimme vermittelt wird, wenn er diese zusätzlich auch über die Hörvorrichtung 10 wahrnimmt. Die hierzu durch die Signalverarbeitung 30 durchzuführenden Maßnahmen sind an sich aus dem Stand der Technik bekannt.
- Um die Signalverarbeitung 30 zwischen den beiden Modi umzuschalten, wird durch die Verarbeitungseinrichtung 20 das im Folgenden näher erläuterte Verfahren durchgeführt. Das Verfahren ermöglicht es, zuverlässig auf der Grundlage des Umgebungsschalls 12 zu erkennen, ob es sich bei dem Umgebungsschall 12 um die eigene Stimme des Trägers der Hörvorrichtung 10 handelt oder nicht. Das Verfahren verlässt sich dabei nicht auf akustische Merkmale einer einzelnen Informationsquelle. Ein Signal einer solchen einzelnen Quelle wäre mit einer zu großen Varianz behaftet, so dass eine verlässliche Aussage über die Sprecheraktivität nur durch eine Glättung des Signals über einen langen Zeitraum hin erreicht werden könnte. Damit könnte die Verarbeitungseinrichtung 20 nicht auf schnelle Wechsel zwischen der Stimme des Trägers der Hörvorrichtung 10 einerseits und der Stimme einer anderen Person reagieren. In anderen akustischen Szenarien, in welchen der Umgebungsschall 12 mit wechselnden Anteilen sowohl die Stimme des Trägers als auch Umgebungsgeräusche enthält, könnte auf der Grundlage einer einzigen Quelle für akustische Merkmale überhaupt keine zuverlässige Entscheidung getroffen werden.
- Aus diesem Grund sind bei der Verarbeitungseinrichtung 20 mehrere Analyseeinrichtungen 32, 34, 36, 38 bereitgestellt, die unabhängige Informationsquellen betreffend die Sprecheraktivität des Trägers der Hörvorrichtung darstellen. Die hier gezeigten vier Analyseeinrichtungen 32 bis 38 stellen nur eine beispielhafte Konfiguration einer Verarbeitungseinrichtung dar. Die Analyseeinrichtungen 32 bis 38 können beispielsweise durch ein oder mehrere Analyseprogramme für einen digitalen Signalprozessor bereitgestellt sein.
- Die Analyseeinrichtungen 32 bis 38 erzeugen in Abhängigkeit von dem Nutzsignal der Mikrofoneinrichtung 18 Ausgangssignale, welche Daten bzgl. der Sprachaktivität des Hörgeräteträgers d. h. Sprachaktivitätsdaten 40, 42, 44, 46 enthalten. Die Sprachaktivitätsdaten 40 bis 46 werden von einer Fusionseinrichtung 48 fusioniert (FUS - Fusion), das heißt sie werden zu einem einzigen Signal kombiniert, welches anzeigt, ob die Stimme des Trägers aktiv ist (OVA - Own Voice Active), oder ob sie nicht aktiv ist (OVNA - Own Voice not Active). Das Ausgangssignal der Fusionseinrichtung 48 bildet ein Steuersignal der Signalverarbeitung 30, durch welches die Signalverarbeitung 30 zwischen den beiden beschriebenen Modi hart umgeschaltet oder weich umgeblendet wird.
- Generell ist zu den Analysekriterien der Analyseeinrichtung 32 bis 38 anzumerken, dass der Fachmann auf der Grundlage einfacher Versuche zu einem konkreten Modell einer Hörvorrichtung auf einfache Weise geeignete Analysekriterien finden kann, um zwischen einem Umgebungsschall 12, der von der Stimme des Trägers der Hörvorrichtung 10 selbst erzeugt wird, und einen Umgebungsschall 12, der von Schallquellen aus der Umgebung des Trägers stammt, unterscheiden zu können. Im Folgenden sind beispielhafte mögliche Ausgestaltungen der Analyseeinrichtungen 32 bis 38 beschrieben, die sich als besonders zweckmäßig erwiesen hat. Durch die Analyseeinrichtung 32 kann beispielsweise eine Auswertung einer räumlichen Information durchgeführt werden, wie sie auf der Grundlage mehrerer Mikrofonkanäle (MC - Multi Channel) in an sich bekannter Weise gewonnen werden können. Hierdurch kann beispielsweise eine Einfallrichtung 50 ermittelt werden, aus welcher der Umgebungsschall 12 auf die Mikrofoneinrichtung 18 oder zumindest einige von deren Mikrofone 24 bis 28 trifft.
- Durch die Analyseeinrichtung 34 kann beispielsweise eine spektrale Auswertung auf der Grundlage eines einzelnen Mikrofonkanals (SC - Single Channel) erfolgen. Solche Analysen sind ebenfalls an sich aus dem Stand der Technik bekannt und beruhen beispielsweise auf der Auswertung einer Signalleistung in einzelnen spektralen Bändern des Audiosignals. Eine mögliche spektrale Information besteht in einer Sprecherverifikation. Durch eine solche Sprecherverifikation wird eine "Eins aus N" Sprechererkennung durchgeführt, d. h. es wird ein ganz bestimmter Sprecher aus mehreren möglichen Sprechern erkannt. Sie kann beispielsweise anhand einer spektralen Charakteristik des zu erkennenden Sprechers, also hier des Trägers der Hörvorrichtung 10, durchgeführt werden.
- Durch die Analyseeinrichtung 36 kann beispielsweise eine sprecherunabhängige Sprachaktivitätsdetektion (VAD) auf der Grundlage eines einzelnen Mikrofonkanals durchgeführt werden. Durch die Analyseeinrichtung 38 kann aus mehreren Mikrofonkanälen eine binaurale Information gewonnen werden, wie sie im Unterschied zu einem Mikrofonarray auch mit weiter beabstandeten Mikrofonen gewonnen werden kann.
- Die Ausgabesignale der einzelnen Analyseeinrichtungen 32 bis 38, d.h. die Sprachaktivitätsdaten 40 bis 46, können je nach Analyseart die extrahierte Information in unterschiedlicher Weise repräsentieren. Zweckmäßige Formen sind die Ausgabe von Merkmalen in Form von diskreten realen Zahlen, die Ausgabe von Wahrscheinlichkeiten (also etwa realen Zahlen zwischen null und eins) oder sogar die Ausgabe von konkreten Entscheidungen zur Sprecheraktivität (also evtl. binäre Ausgaben von null oder eins). Bei den Wahrscheinlichkeiten kann es sich beispielsweise um Likelihoodwerte handeln. In
FIG 2 ist jede dieser Ausgabeform durch entsprechende Hinweise auf Merkmale X, Wahrscheinlichkeiten P (Probability) oder Entscheidungen D (Decision) veranschaulicht. - Durch die Fusionseinrichtung 48 wird eine Auswertung der Sprachaktivitätsdaten 40 bis 46 durchgeführt, die letztlich für die Steuerung der Signalverarbeitung 30 entscheidend ist. Bei der Fusionseinrichtung 48 kann es sich beispielsweise um ein Programm oder einen Programmabschnitt eines digitalen Signalprozessors handeln.
- Die Art der "Fusion" der Aktivitätsdaten 40 bis 46 hängt dabei ebenfalls in hohem Maß von den verwendeten Analyseeinrichtungen 32 bis 38 sowie von der verwendeten Form der Sprachaktivitätsdaten 40 bis 46 (Merkmale, Wahrscheinlichkeiten oder Einzelentscheidungen) ab. Durch die Fusionseinrichtung 48 können die Sprachaktivitätsdaten beispielsweise parallel verarbeitet werden oder seriell oder auch in einem hybriden Ansatz.
- Die Sprachaktivitätsdaten 40 bis 46 können dabei durch die Fusionseinrichtung 48 einer eingangsseitigen Gewichtung unterzogen werden. Geeignete Gewichte lassen sich beispielsweise mittels eines Trainingsprozesses auf der Grundlage von Trainingsdaten ermitteln, die zum Beispiel mittels eines Lautsprechers als Umgebungsschall 12 auf die Hörvorrichtung 10 abgestrahlt werden können. Mittels des Trainingsprozesses lassen sich die Gewichte dann beispielsweise in Form einer Kovarianzmatrix ermitteln, durch welche ein Zusammenhang zwischen den Sprachaktivitätsdaten 40 bis 46 einerseits und der zu treffenden, wahren Entscheidung (Träger spricht oder spricht nicht) beschrieben ist. Bei Verwendung einer Kovarianzmatix werden die Sprachaktivitätsdaten 40 bis 46 zweckmäßigerweise in Form eines Vektors an die Fusionseinrichtung 48 übertragen, in welchem die Zahlenwerte der Analyseergebnisse, beispielsweise die Wahrscheinlichkeiten, zusammengefasst sind. Über die Kovarianzmatrix können für den Fall, dass zwei oder mehr der Analyseeinrichtungen 32 bis 38 Merkmale X1, X2, X3, X4 als Sprachaktivitätsdaten 40 bis 46 erzeugen, daraus zusammengefasste Merkmale X gebildet werden, die dann in Bezug auf die Sprachaktivität des Trägers ausgewertet werden. Die Auswertung der Merkmale bzgl. der Sprecheraktivität kann beispielsweise auf der Grundlage einer an sich bekannten Methode aus dem Gebiet der Mustererkennung erfolgen.
- Eine weitere mögliche Auswertemethode der Fusionseinrichtung 48 ist eine Mehrheitsentscheidung, die beispielsweise auf der Grundlage von Einzelentscheidungen D1, D2, D3, D4 Analyseeinrichtungen 32 bis 38 geführt werden kann. Das Ergebnis ist dann eine Gesamtentscheidung D.
- Für den Fall, dass zwei oder mehr der Analyseeinrichtung 32 bis 38 Wahrscheinlichkeitswerte P1, P2, P3, P4 als Sprachaktivitätsdaten 40 bis 46 erzeugen, können diese Wahrscheinlichkeiten beispielsweise durch Berechnen eines Mittelwerts dieser Wahrscheinlichkeitswerte P1 bis P4 zu einer Gesamtwahrscheinlichkeit P zusammengefasst werden. Die Gesamtwahrscheinlichkeit P kann dann beispielsweise mit einem Schwellwert verglichen werden, um die abschließende Gesamtentscheidung D zu gewinnen.
- In Abhängigkeit von dem Ausgabesignal der Fusionseinrichtung 48 (OVA/OVNA) kann durch die Signalverarbeitung 30 beispielsweise ein Frequenzgang des Signalpfads eingestellt werden, wie er durch die Mikrofoneinrichtung 18, die Verarbeitungseinrichtung 20, die Signalverarbeitungseinrichtung 30 und den Hörer 22 gebildet wird. Beispielsweise können zur Vermeidung eines Okklusionseffekts tiefe Frequenzen des Audiosignals gedämpft werden. Genauso kann vorgesehen sein, dass ein Richtmikrofon bei Einsetzen der Stimme des Trägers nicht adaptiert wird, da es keinen Sinn macht, die Hauptkeule eines Beamformers von einer externen Quelle weg zu schwenken, wenn der Träger der Hörvorrichtung 10 spricht.
- Insgesamt ist durch Beispiele gezeigt, wie eine robuste und zuverlässige Eigensprechererkennung in einer Hörvorrichtung bereitgestellt werden kann, ohne dass hierzu ein zusätzliches Mikrofon in dem Gehörgang 16 des Trägers der Hörvorrichtung 10 benötigt wird.
Claims (13)
- Hörvorrichtung, umfassend- wenigstens zwei Analyseeinrichtungen (32 bis 38), von denen jede dazu ausgelegt ist, auf der Grundlage eines von der Hörvorrichtung (10) empfangenen Audiosignals (12) Sprachaktivitätsdaten (40 bis 46) zu gewinnen, welche von einer Sprecheraktivität eines Trägers der Hörvorrichtung (10) abhängig sind, und- eine Fusionseinrichtung (48), welche dazu ausgelegt ist, die Sprachaktivitätsdaten (40 bis 46) von den Analyseeinrichtungen (32 bis 38) zu empfangen und auf der Grundlage der Sprachaktivitätsdaten (40 bis 46) zu erkennen, ob der Träger gerade spricht oder nicht,dadurch gekennzeichnet, dass- wenigstens eine der Analyseeinrichtungen (32 bis 38) dazu ausgelegt ist, in Abhängigkeit von dem Audiosignal Werte (P1 bis P4) für eine Softentscheidung oder für eine Wahrscheinlichkeit dafür zu ermitteln, dass der Träger gerade spricht, und/oder- die Fusionseinrichtung (48) dazu ausgelegt ist, die Sprachaktivitätsdaten (40 bis 46) wenigstens zweier Analyseeinrichtungen (32 bis 38) in Abhängigkeit davon, von welcher Analyseeinrichtung (32 bis 38) sie stammen, durch trainierte oder untrainierte Gewichtsfaktoren zu gewichten und die gewichteten Sprachaktivitätsdaten (40 bis 46) miteinander zu verknüpfen.
- Hörvorrichtung (10) nach Anspruch 1, gekennzeichnet durch eine Mikrofoneinrichtung (18), die wenigstens ein Mikrofon (24 bis 28) umfasst und die dazu ausgelegt ist, einen auf den Träger treffenden Umgebungsschall (12) in ein Nutzsignal umzuwandeln, wobei die Analyseeinrichtungen (32 bis 38) dazu ausgelegt sind, das Nutzsignal als das Audiosignal zu verarbeiten.
- Hörvorrichtung (10) nach Anspruch 1 oder 2, gekennzeichnet durch eine Anpassungseinrichtung (30), welche dazu ausgelegt ist, eine Betriebsweise der Hörvorrichtung (10), insbesondere ein Übertragungsverhalten der Hörvorrichtung (10) und/oder ein Richtverhalten einer adaptiven Beamformingeinrichtung der Hörvorrichtung (10), zu verändern, falls die Fusionseinrichtung (48) erkennt, dass der Träger spricht.
- Verfahren zum Betreiben einer Hörvorrichtung (10), indem mittels wenigstens zweier Analyseeinrichtungen (32 bis 38) unabhängig voneinander Sprachaktivitätsdaten (40 bis 46) aus einem Audiosignal gewonnen werden, welche von einer Sprecheraktivität eines Trägers der Hörvorrichtung (10) abhängig sind, und mittels einer Fusionseinrichtung (48) die Sprachaktivitätsdaten (40 bis 46) kombiniert werden und auf der Grundlage der kombinierten Sprachaktivitätsdaten (40 bis 46) überprüft wird, ob der Träger spricht oder nicht,
dadurch gekennzeichnet, dass- durch wenigstens eine der Analyseeinrichtungen (32 bis 38) in Abhängigkeit von dem Audiosignal Werte (P1 bis P4) für eine Softentscheidung oder für eine Wahrscheinlichkeit dafür ermittelt werden, dass der Träger gerade spricht,und/oder- durch die Fusionseinrichtung (48) die Sprachaktivitätsdaten (40 bis 46) wenigstens zweier Analyseeinrichtungen (32 bis 38) in Abhängigkeit davon, von welcher Analyseeinrichtung (32 bis 38) sie stammen, durch trainierte oder untrainierte Gewichtsfaktoren gewichtet werden und die gewichteten Sprachaktivitätsdaten (40 bis 46) miteinander verknüpft werden. - Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass durch wenigstens eine der Analyseeinrichtungen (32 bis 38) eine Merkmalsextraktion durchgeführt wird und hierzu in Abhängigkeit von dem Audiosignal Merkmalswerte (X1 bis X4) ermittelt werden, insbesondere eine Einfallsrichtung (50) eines Umgebungsschalls (12), ein Geschlecht eines Sprechers, eine Halligkeit des Audiosignals oder spektrale Charakteristika, wie spektrale oder cepstrale Koeffizienten.
- Verfahren nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, dass durch wenigstens eine der Analyseeinrichtungen (32 bis 38) eine Klassifikation durchgeführt wird und hierzu in Abhängigkeit von dem Audiosignal bereits durch die Analyseeinrichtung (32 bis 38) auf der Grundlage eines Klassifikationskriteriums eine Einzelentscheidung (D1 bis D4) dazu erzeugt wird, ob der Träger spricht oder nicht.
- Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass durch wenigstens eine der Analyseeinrichtungen (32) die Sprachaktivitätsdaten (40) in Abhängigkeit von einer Einfallsrichtung (50) eines Umgebungsschalls (12) erzeugt werden.
- Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass durch wenigstens eine der Analyseeinrichtungen (34) die Sprachaktivitätsdaten (42) in Abhängigkeit von spektralen Werten eines Frequenzspektrums des Audiosignals erzeugt werden.
- Verfahren nach einem der Ansprüche 4 bis 8, dadurch gekennzeichnet, dass durch wenigstens eine der Analyseeinrichtungen (36) eine sprecherunabhängige Sprachaktivitätserkennung durchgeführt wird.
- Verfahren nach einem der Ansprüche 4 bis 9, dadurch gekennzeichnet, dass durch wenigstens eine der Analyseeinrichtungen (38) die Sprachaktivitätsdaten (46) in Abhängigkeit von einer binauralen Information erzeugt werden, welche aus an unterschiedlichen Seiten eines Kopfes des Trägers gewonnenen Audiodaten gebildet wird.
- Verfahren nach einem der Ansprüche 4 bis 10, dadurch gekennzeichnet, dass durch die Fusionseinrichtung (48) auf der Grundlage von Einzelentscheidungen (40 bis 46) wenigstens zweier Analyseeinrichtungen eine Mehrheitsentscheidung dahingehend getroffen wird, ob durch diese Analyseeinrichtungen (32 bis 38) zusammen eine Sprecheraktivität angezeigt wird.
- Verfahren nach einem der Ansprüche 4 bis 11, dadurch gekennzeichnet, dass durch die Fusionseinrichtung (48) aus Softentscheidungen von Sprachaktivitätsdetektoren wenigstens zweier Analyseeinrichtungen (40 bis 46) ein Mittelwert berechnet wird.
- Verfahren nach einem der Ansprüche 4 bis 12, dadurch gekennzeichnet, dass durch eine Anpassungseinrichtung (30) bei durch die Fusionseinrichtung (48) erkannter Sprachaktivität des Trägers ein Frequenzgang der Hörvorrichtung (10) angepasst und hierzu insbesondere ein niederfrequenter Anteil eines Nutzsignals gedämpft wird und/oder die Adaption einer Richtcharakteristik einer Richtmikrofoneinrichtung der Hörvorrichtung (10) unterbrochen oder angehalten wird.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011087984A DE102011087984A1 (de) | 2011-12-08 | 2011-12-08 | Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2603018A1 true EP2603018A1 (de) | 2013-06-12 |
EP2603018B1 EP2603018B1 (de) | 2016-02-03 |
Family
ID=47221957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP12191191.1A Not-in-force EP2603018B1 (de) | 2011-12-08 | 2012-11-05 | Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung |
Country Status (4)
Country | Link |
---|---|
US (1) | US8873779B2 (de) |
EP (1) | EP2603018B1 (de) |
DE (1) | DE102011087984A1 (de) |
DK (1) | DK2603018T3 (de) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105976829A (zh) * | 2015-03-10 | 2016-09-28 | 松下知识产权经营株式会社 | 声音处理装置、声音处理方法 |
EP3396978A1 (de) * | 2017-04-26 | 2018-10-31 | Sivantos Pte. Ltd. | Verfahren zum betrieb einer hörvorrichtung und hörvorrichtung |
EP3726856B1 (de) | 2019-04-17 | 2022-11-16 | Oticon A/s | Hörgerät mit einem schlüsselwortdetektor und einem eigenen sprachdetektor |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2908549A1 (de) | 2014-02-13 | 2015-08-19 | Oticon A/s | Hörgerätevorrichtung mit Sensorelement |
EP2988531B1 (de) | 2014-08-20 | 2018-09-19 | Starkey Laboratories, Inc. | Hörhilfesystem mit erkennung der eigenen stimme |
DK2991379T3 (da) | 2014-08-28 | 2017-08-28 | Sivantos Pte Ltd | Fremgangsmåde og apparat til forbedret opfattelse af egen stemme |
CN107431867B (zh) | 2014-11-19 | 2020-01-14 | 西万拓私人有限公司 | 用于快速识别自身语音的方法和设备 |
DE102015210652B4 (de) | 2015-06-10 | 2019-08-08 | Sivantos Pte. Ltd. | Verfahren zur Verbesserung eines Aufnahmesignals in einem Hörsystem |
US9978397B2 (en) | 2015-12-22 | 2018-05-22 | Intel Corporation | Wearer voice activity detection |
DE102016203987A1 (de) * | 2016-03-10 | 2017-09-14 | Sivantos Pte. Ltd. | Verfahren zum Betrieb eines Hörgeräts sowie Hörgerät |
EP3741137A4 (de) | 2018-01-16 | 2021-10-13 | Cochlear Limited | Individualisierte eigene sprachdetektion bei einer hörprothese |
DE102018202155A1 (de) | 2018-02-13 | 2019-03-07 | Sivantos Pte. Ltd. | Sprechhilfe-Vorrichtung und Verfahren zum Betrieb einer Sprechhilfe-Vorrichtung |
EP3641345B1 (de) | 2018-10-16 | 2024-03-20 | Sivantos Pte. Ltd. | Verfahren zum betrieb eines hörinstruments und hörsystem mit einem hörinstrument |
EP3641344B1 (de) | 2018-10-16 | 2023-12-06 | Sivantos Pte. Ltd. | Verfahren zum betrieb eines hörinstruments und hörsystem mit einem hörinstrument |
US11089402B2 (en) * | 2018-10-19 | 2021-08-10 | Bose Corporation | Conversation assistance audio device control |
US10795638B2 (en) | 2018-10-19 | 2020-10-06 | Bose Corporation | Conversation assistance audio device personalization |
EP3672281B1 (de) * | 2018-12-20 | 2023-06-21 | GN Hearing A/S | Hörgerät mit eigenstimmendetektion und zugehöriges verfahren |
DK3823306T3 (da) | 2019-11-15 | 2022-11-21 | Sivantos Pte Ltd | Høresystem, omfattende et høreapparat og fremgangsmåde til drift af høreapparatet |
DE102020201615B3 (de) | 2020-02-10 | 2021-08-12 | Sivantos Pte. Ltd. | Hörsystem mit mindestens einem im oder am Ohr des Nutzers getragenen Hörinstrument sowie Verfahren zum Betrieb eines solchen Hörsystems |
DE102020202483A1 (de) | 2020-02-26 | 2021-08-26 | Sivantos Pte. Ltd. | Hörsystem mit mindestens einem im oder am Ohr des Nutzers getragenen Hörinstrument sowie Verfahren zum Betrieb eines solchen Hörsystems |
CN112863269B (zh) * | 2021-01-20 | 2022-05-20 | 青岛黄海学院 | 一种英语口语与听力训练装置及训练方法 |
EP4138416A1 (de) | 2021-08-16 | 2023-02-22 | Sivantos Pte. Ltd. | Hörhilfsystem mit einem hörgerät und verfahren zum betreiben des hörgeräts |
EP4184948A1 (de) | 2021-11-17 | 2023-05-24 | Sivantos Pte. Ltd. | Hörsystem mit einem hörgerät und verfahren zum betreiben des hörgeräts |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10137685C1 (de) * | 2001-08-01 | 2002-12-19 | Tuerk & Tuerk Electronic Gmbh | Verfahren zum Erkennen des Vorliegens von Sprachsignalen |
WO2005020633A1 (en) * | 2003-08-21 | 2005-03-03 | Bernafon Ag | Method for processing audio-signals |
DE60204902T2 (de) | 2001-10-05 | 2006-05-11 | Oticon A/S | Verfahren zum programmieren einer kommunikationseinrichtung und programmierbare kommunikationseinrichtung |
US20060262944A1 (en) | 2003-02-25 | 2006-11-23 | Oticon A/S | Method for detection of own voice activity in a communication device |
DE102005032274A1 (de) | 2005-07-11 | 2007-01-18 | Siemens Audiologische Technik Gmbh | Hörvorrichtung und entsprechendes Verfahren zur Eigenstimmendetektion |
US20110046948A1 (en) * | 2009-08-24 | 2011-02-24 | Michael Syskind Pedersen | Automatic sound recognition based on binary time frequency units |
US20110255702A1 (en) * | 2010-04-20 | 2011-10-20 | Jesper Jensen | Signal dereverberation using environment information |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6700985B1 (en) * | 1998-06-30 | 2004-03-02 | Gn Resound North America Corporation | Ear level noise rejection voice pickup method and apparatus |
JP4446338B2 (ja) * | 2004-03-22 | 2010-04-07 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | 再送要求方法、無線通信システム、および受信機 |
US8611560B2 (en) * | 2007-04-13 | 2013-12-17 | Navisense | Method and device for voice operated control |
EP2304972B1 (de) * | 2008-05-30 | 2015-07-08 | Phonak AG | Verfahren zur tonanpassung in einem hörgerät durch frequenzmodifikation |
JP2011065093A (ja) * | 2009-09-18 | 2011-03-31 | Toshiba Corp | オーディオ信号補正装置及びオーディオ信号補正方法 |
US8462969B2 (en) * | 2010-04-22 | 2013-06-11 | Siemens Audiologische Technik Gmbh | Systems and methods for own voice recognition with adaptations for noise robustness |
-
2011
- 2011-12-08 DE DE102011087984A patent/DE102011087984A1/de not_active Withdrawn
-
2012
- 2012-11-05 DK DK12191191.1T patent/DK2603018T3/da active
- 2012-11-05 EP EP12191191.1A patent/EP2603018B1/de not_active Not-in-force
- 2012-12-10 US US13/709,224 patent/US8873779B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10137685C1 (de) * | 2001-08-01 | 2002-12-19 | Tuerk & Tuerk Electronic Gmbh | Verfahren zum Erkennen des Vorliegens von Sprachsignalen |
DE60204902T2 (de) | 2001-10-05 | 2006-05-11 | Oticon A/S | Verfahren zum programmieren einer kommunikationseinrichtung und programmierbare kommunikationseinrichtung |
US20060262944A1 (en) | 2003-02-25 | 2006-11-23 | Oticon A/S | Method for detection of own voice activity in a communication device |
WO2005020633A1 (en) * | 2003-08-21 | 2005-03-03 | Bernafon Ag | Method for processing audio-signals |
DE102005032274A1 (de) | 2005-07-11 | 2007-01-18 | Siemens Audiologische Technik Gmbh | Hörvorrichtung und entsprechendes Verfahren zur Eigenstimmendetektion |
US20110046948A1 (en) * | 2009-08-24 | 2011-02-24 | Michael Syskind Pedersen | Automatic sound recognition based on binary time frequency units |
US20110255702A1 (en) * | 2010-04-20 | 2011-10-20 | Jesper Jensen | Signal dereverberation using environment information |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105976829A (zh) * | 2015-03-10 | 2016-09-28 | 松下知识产权经营株式会社 | 声音处理装置、声音处理方法 |
CN105976829B (zh) * | 2015-03-10 | 2021-08-20 | 松下知识产权经营株式会社 | 声音处理装置、声音处理方法 |
EP3396978A1 (de) * | 2017-04-26 | 2018-10-31 | Sivantos Pte. Ltd. | Verfahren zum betrieb einer hörvorrichtung und hörvorrichtung |
CN108810778A (zh) * | 2017-04-26 | 2018-11-13 | 西万拓私人有限公司 | 用于运行听力设备的方法和听力设备 |
US10425746B2 (en) | 2017-04-26 | 2019-09-24 | Sivantos Pte. Ltd. | Method for operating a hearing apparatus, and hearing apparatus |
EP3726856B1 (de) | 2019-04-17 | 2022-11-16 | Oticon A/s | Hörgerät mit einem schlüsselwortdetektor und einem eigenen sprachdetektor |
Also Published As
Publication number | Publication date |
---|---|
US20130148829A1 (en) | 2013-06-13 |
EP2603018B1 (de) | 2016-02-03 |
DK2603018T3 (da) | 2016-05-17 |
US8873779B2 (en) | 2014-10-28 |
DE102011087984A1 (de) | 2013-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2603018B1 (de) | Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung | |
EP3451705B1 (de) | Verfahren und vorrichtung zum schnellen erkennen der eigenen stimme | |
EP2833651A1 (de) | Verfahren zur Verfolgung einer Schallquelle | |
DE10327890A1 (de) | Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind | |
EP2182741B1 (de) | Hörvorrichtung mit spezieller Situationserkennungseinheit und Verfahren zum Betreiben einer Hörvorrichtung | |
EP2405673A1 (de) | Verfahren zum Lokalisieren einer Audioquelle und mehrkanaliges Hörsystem | |
DE102007035171A1 (de) | Verfahren zum Anpassen eines Hörgeräts mit Hilfe eines perzeptiven Modells | |
DE102008046040B4 (de) | Verfahren zum Betrieb einer Hörvorrichtung mit Richtwirkung und zugehörige Hörvorrichtung | |
EP1962554A2 (de) | Hörvorrichtung mit Störsignaltrennung und entsprechendes Verfahren | |
EP2434781A1 (de) | Verfahren zum Rekonstruieren eines Sprachsignals und Hörvorrichtung | |
EP2658289B1 (de) | Verfahren zum Steuern einer Richtcharakteristik und Hörsystem | |
EP1926087A1 (de) | Anpassung einer Hörvorrichtung an ein Sprachsignal | |
EP2219389B1 (de) | Vorrichtung und Verfahren zur Störgeräuschschätzung bei einer binauralen Hörgeräteversorgung | |
EP2793488B1 (de) | Binaurale Mikrofonanpassung mittels der eigenen Stimme | |
EP2982136B1 (de) | Verfahren zum schätzen eines nutzsignals und hörvorrichtung | |
DE102010007336B4 (de) | Verfahren zum Kompensieren eines Rückkopplungssignals und Hörvorrichtung | |
EP3048813B1 (de) | Verfahren und vorrichtung zur rauschunterdrückung basierend auf inter-subband-korrelation | |
DE102021210098A1 (de) | Verfahren zum Betrieb eines Hörgeräts | |
WO2014049455A1 (de) | Hörsystem sowie übertragungsverfahren |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
17P | Request for examination filed |
Effective date: 20131211 |
|
RBV | Designated contracting states (corrected) |
Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
17Q | First examination report despatched |
Effective date: 20140115 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
INTG | Intention to grant announced |
Effective date: 20150703 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: SIVANTOS PTE. LTD. |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 774150 Country of ref document: AT Kind code of ref document: T Effective date: 20160215 Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502012005851 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: NV Representative=s name: E. BLUM AND CO. AG PATENT- UND MARKENANWAELTE , CH |
|
REG | Reference to a national code |
Ref country code: DK Ref legal event code: T3 Effective date: 20160509 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D Ref country code: NL Ref legal event code: MP Effective date: 20160203 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160503 Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160504 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160603 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160603 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502012005851 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 5 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20161104 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20161130 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160503 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20161130 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 6 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20161105 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20161130 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20121105 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160203 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 774150 Country of ref document: AT Kind code of ref document: T Effective date: 20171105 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20171105 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20181122 Year of fee payment: 7 Ref country code: DK Payment date: 20181126 Year of fee payment: 7 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20181126 Year of fee payment: 7 Ref country code: CH Payment date: 20181126 Year of fee payment: 7 Ref country code: FR Payment date: 20181123 Year of fee payment: 7 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 502012005851 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: DK Ref legal event code: EBP Effective date: 20191130 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20191130 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20191130 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20191105 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20191130 Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200603 Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20191105 Ref country code: DK Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20191130 |