EP3104627B1 - Verfahren zur verbesserung eines aufnahmesignals in einem hörsystem - Google Patents

Verfahren zur verbesserung eines aufnahmesignals in einem hörsystem Download PDF

Info

Publication number
EP3104627B1
EP3104627B1 EP16170741.9A EP16170741A EP3104627B1 EP 3104627 B1 EP3104627 B1 EP 3104627B1 EP 16170741 A EP16170741 A EP 16170741A EP 3104627 B1 EP3104627 B1 EP 3104627B1
Authority
EP
European Patent Office
Prior art keywords
user
directional
directional characteristic
signal
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP16170741.9A
Other languages
English (en)
French (fr)
Other versions
EP3104627C0 (de
EP3104627A1 (de
Inventor
Homayoun KAMKAR-PARSI
Marko Lugger
Tobias Daniel Rosenkranz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Sivantos Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sivantos Pte Ltd filed Critical Sivantos Pte Ltd
Publication of EP3104627A1 publication Critical patent/EP3104627A1/de
Application granted granted Critical
Publication of EP3104627C0 publication Critical patent/EP3104627C0/de
Publication of EP3104627B1 publication Critical patent/EP3104627B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
    • H04R25/305—Self-monitoring or self-testing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility

Definitions

  • the invention relates to a method for improving a recording signal in a hearing system.
  • the user's perception of their own voice plays a particularly important role, since the subjective perception of their own voice, as perceived when wearing the hearing aid, significantly influences the user's acceptance of a hearing aid.
  • the perception of one's own voice is influenced on the one hand by the signal path of the hearing aid device, i.e. via a recording of the voice by the microphone system, a corresponding signal processing of the microphone signal in the hearing aid device and a playback by the loudspeaker or generally the electro-acoustic transducer of the hearing aid device, whereby the sound generated is delivered directly to the user's hearing.
  • a sound conductor intended for this supply be it an earpiece of a "Behind-The-Ear” instrument (BTE) or be it the output of an "In-The-Ear” or “Completely-In-the-Canal".
  • "-Instruments (ITE or CIC) usually largely close the ear canal, which can lead to an occlusion effect when the user speaks. This is primarily caused by sound waves from your own voice, which pass through Structure-borne sound transmission is primarily conducted via the jawbone to the ear canal and cannot escape to the outside due to the closure of the ear canal, which means that one's own voice is perceived as muffled when speaking.
  • a hearing device and a corresponding method for self-voice detection are disclosed.
  • a first microphone is provided for recording ambient sound and a second microphone for recording ear canal sound. From a comparison of the signals from the first microphone and the second microphone, it is concluded that the user of the hearing aid is speaking or that their own voice is present. If the presence of your own voice is detected, a directional microphone in particular is deactivated. In this way, the directional microphone is operated without interference, since the directional microphone would always be aligned undesirably to the frontal direction if one's own voice was present.
  • a hearing device which comprises at least two independent analysis devices, each of which is designed to obtain speech activity data based on a received audio signal, which is dependent on the speaker activity of the wearer of the hearing device.
  • a fusion device is designed to receive the voice activity data from the analysis devices and, based on the voice activity data, to recognize whether the wearer is currently speaking or not.
  • the US 2007/098192 A1 describes a method for operating a hearing aid in which, during the wearer's own speech activity, a directional characteristic of the microphones is adjusted in such a way that sound signals from the near field generally experience a significant attenuation, while the directivity for sound signals from the far field is maintained as unchanged as possible.
  • the aim of this is to ensure that the wearer's own speech signal is suppressed without affecting the other person's contribution to a conversation.
  • the EP 2 381 702 A2 teaches, for a hearing aid in which a directional cone is automatically aligned with vocal activity to amplify and improve the signal-to-noise ratio, to suppress or cancel such alignment when the voice is identified as the wearer's own voice.
  • the invention is based on the object of specifying a method which is intended to improve the sound of a recording signal in a hearing system during vocal activity for further processing as simply and efficiently as possible, particularly with regard to perception by a user.
  • the recording signal is to be understood as the signal into which the first signal from the first directional microphone, into which sound from the environment is converted with the spatial sensitivity specified by the set directional characteristic, is received for further signal processing.
  • the preferred direction of the first directional characteristic is here to be understood as the spatial direction in which the first directional microphone in this case has the greatest sensitivity, that is to say that in the case of a sound with a constant level that strikes the first directional microphone from different directions, upon impact The strongest signal level in the first signal is generated from the preferred direction.
  • the first directional characteristic preferably has axial or mirror symmetry, with the preferred direction lying on the axis of symmetry or in the plane of symmetry.
  • the frontal direction of the user is defined by the direction of view of his head, which runs parallel to the plane of symmetry of the head.
  • the first directional characteristic can be set in relation to the frontal direction of the user.
  • the first directional characteristic can preferably have a monotonous decrease in sound sensitivity in an angular range around the preferred direction, so that when adjusted by increasing the angle between the preferred direction and the frontal direction in the frontal direction, the attenuation of the sound sensitivity is achieved.
  • the invention is initially based on the consideration that any regulation or correction of the user's own voice in the recording signal, which is only carried out via the AGC or by adjusting the parameters for the compression, also has an impact on the perception of sound from the environment .
  • any regulation or correction of the user's own voice in the recording signal which is only carried out via the AGC or by adjusting the parameters for the compression, also has an impact on the perception of sound from the environment .
  • the user's own vocal activity could sometimes coincide with a useful signal formed by the speech of one of the conversation partners, this would result in rapid changes in the volume and/or dynamics of the useful signal formed by the speech of the conversation partner, as well as for the sound from the surrounding area.
  • the invention now makes use of the empirically detectable fact that due to the diffraction of the sound that leaves the mouth during speech activity, the sound of the user's own voice, which the user perceives in one ear, is essentially perceived as coming from the frontal direction.
  • the preferred direction of the first directional characteristic By adjusting the preferred direction of the first directional characteristic relative to the frontal direction of the user, it can be achieved that a smaller proportion of the user's own speech is included in the recording signal. For a pleasant hearing experience of one's own speech, an attenuation of 6 dB to 10 dB in the signal path in relation to the signal processing of other useful signals is usually sufficient. If the first directional characteristic has a monotonous decrease in sound sensitivity away from the preferred direction, a moderate deviation of the preferred direction of the first directional characteristic from the frontal direction is sufficient to attenuate the user's recorded speech signal by 6 dB to 10 dB.
  • the preferred direction of the first directional characteristic is adjusted at an angle between 5° and 20°, preferably between 5° and 10°, relative to the frontal direction of the user.
  • adjusting the preferred direction in the specified angular range is usually sufficient to achieve a sufficient attenuation of the signal component of the user's own language in the recording signal.
  • the perception of background noise in the listening situation which has a certain directional dependency, such as music from a localizable loudspeaker at a distance of several meters, is not really influenced, which means that the adjustment is even less noticeable for a user becomes.
  • the recording signal is monitored for a listening situation with a directional main sound source, with the preferred direction of the first directional characteristic being aligned to the frontal direction of the user without detecting a speech activity of the user when a listening situation with a directional main sound source is detected.
  • a directional main sound source is a sound source that has a significant directional dependence in relation to the sound level of other signal components, and whose sound level in the direction of the maximum is significantly above the level of other signal components regardless of their spatial direction (for example a loudspeaker box or the like).
  • the frontal direction of the user which usually essentially corresponds to the direction of his gaze, can be determined by further analysis of the recording signal, or also by a presetting in the hearing aid be determined based on the orientation of the first directional microphone when the hearing aid is worn properly.
  • the acoustic resolution - i.e. the signal-to-noise ratio - is achieved by appropriately adjusting the directional characteristic by adjusting the preferred direction towards the main sound source.
  • the recording signal is monitored for a listening situation corresponding to a conversation, with the preferred direction of the first directional characteristic being aligned to the frontal direction of the user without detecting a speech activity of the user when a listening situation corresponding to a conversation is detected.
  • a listening situation corresponding to a conversation possibly with little directed background noise, is a particularly common case for a listening situation with a main sound source, which is here formed by a conversation partner. If such a listening situation is initially recognized, it is assumed that the user's line of sight is usually in the direction of the currently active conversation partner if he or she is not speaking and therefore no own speech activity is recognized.
  • the binaural hearing system comprises a further hearing aid, in particular a hearing aid, wherein the further hearing aid comprises a second directional microphone, wherein the second directional microphone converts sound into a second signal which is included in the recording signal, and wherein when speech activity is detected of the user, the preferred direction of the second directional characteristic is adjusted relative to a frontal direction of the user in such a way that the second directional characteristic experiences an attenuation in the frontal direction.
  • the hearing system is designed as a binaural hearing system, in which a stereo playback signal is formed in particular from the recording signal, into which the first signal of the at least one hearing aid and the second signal of the further hearing aid are received, in such a way that to generate a first playback channel and of a second playback channel, signal components of both the first signal and the second signal are used.
  • a first playback channel can, on the one hand, only contain signal components of the first signal, the directional characteristic of which is influenced by the signal components of the second signal, or can directly contain signal components of the first signal and the second signal.
  • the user's own voice is perceived as coming from the frontal direction due to the lack of transit time difference in the signal components of the voice between the first signal and the second signal and is amplified accordingly.
  • the proposed method can reduce the signal components of the user's own voice in the recording signal particularly easily and without much effort in signal processing, with no noticeable changes in the signal level or in background noise recorded from the environment.
  • the preferred direction of the second directional characteristic is adjusted at an angle between 5° and 20°, preferably between 5° and 10°, relative to the frontal direction of the user.
  • the preferred directions of the first directional characteristic and the second directional characteristic are expediently adjusted in the specified angular range.
  • adjusting the preferred direction in the specified angular range is usually sufficient to achieve a sufficient attenuation of the signal component of the user's own language in the recording signal.
  • the perception of background noise in the listening situation which has a certain directional dependency, such as music from a localizable loudspeaker at a distance of several meters, is not really influenced, which means that the adjustment is even less noticeable for a user becomes.
  • the recording signal is monitored for a listening situation corresponding to a conversation, with the preferred direction of the second directional characteristic being aligned to the frontal direction of the user when a conversation partner's speech activity is detected.
  • the preferred directions of the first directional characteristic and the second directional characteristic are expediently aligned with the frontal direction of the user. Particularly in the case of a binaural hearing system with a rich spatial sound, particularly good intelligibility of the conversation partner's speech signal can be achieved in the hearing situation mentioned with little effort in signal processing.
  • the preferred directions of the first directional characteristic and the second directional characteristic are adjusted relative to the frontal direction of the user in such a way that the preferred directions the first directional characteristic and the second directional characteristic, starting as vectors from the respective hearing aid, cross each other.
  • the adjustment is carried out symmetrically, that is, the preferred direction of the first directional characteristic and the preferred direction of the second directional characteristic are each adjusted inwards or towards each other by the same angular amount with respect to the frontal direction.
  • the signal component of the user's own voice which is included in the recording signal, is reduced via the shading effect that the head exerts on the sound of the voice when the directional characteristics are aligned accordingly.
  • the directional characteristics cross, sudden interjections from a conversation partner standing at the front can continue to be recorded almost unaffected.
  • the recording signal is broken down into a plurality of frequency bands, and when a speech activity of the user is detected, a preferred direction of the first directional characteristic and/or a preferred direction of the second directional characteristic is adjusted in at least one frequency band relative to the frontal direction of the user.
  • the directional characteristics only appear in those Frequency bands adjusted relative to the frontal direction, in which either an excessive signal component in the recording signal is perceived by the user as particularly unpleasant, or which have a particularly high directionality in the speech signal and are therefore particularly easy to influence by adjusting the directional characteristic, this can be done in the Signal processing of the other frequency bands save resources.
  • the invention further mentions a binaural hearing system with two hearing aids, in particular hearing aid devices, each of which has at least one directional microphone, which is set up to carry out the method described above.
  • the advantages stated for the method and its further developments can be transferred analogously to the binaural hearing system.
  • FIG. 1 A top view shows schematically a user 1 of a binaural hearing system 2, which includes two hearing aids 6, 7 designed as hearing aids 4, 5.
  • the left hearing aid 6 has a first directional microphone 8 with a first directional characteristic 10, which is symmetrical with respect to a preferred direction 12.
  • the right hearing aid 7 has a second directional microphone 14 with a second directional characteristic 16, which is symmetrical with respect to a preferred direction 18.
  • the hearing situation 20 of the user 1 of the binaural hearing system 2 is given by a conversation with conversation partners 22 to 26.
  • the current conversation situation is now such that the user 1 aligns his frontal direction 28 (which is given by the direction of vision of the head) towards the conversation partner 22 for better listening.
  • the interlocutor 22 is the main actor in the present conversation situation, and the other interlocutors 23 to 26 only make occasional objections, the preferred direction 12 of the first directional characteristic 10 and the preferred direction 18 of the second directional characteristic 16 are aligned in the frontal direction 28 of the user 1 , whereby the speech signal of the conversation partner 22 can be perceived particularly well via the binaural hearing system 2.
  • Frontal perception is also due to the fact that the sound of one's own speech arrives at both ears without a difference in transit time, so that the symmetrical perception creates the sensation of a sound hitting frontally.
  • the directional characteristics 10, 16 of the two directional microphones 8, 14 of the binaural hearing system 2 are adjusted against the frontal direction 28 when the user 1 is speaking. This is in Fig. 2 shown.
  • the preferred direction 12 of the first directional characteristic 10 of the first directional microphone 8 is tilted slightly outwards with respect to the frontal direction 28 when the user 1 is speaking.
  • the directional characteristics 10, 16 form a type of channel 30 from the user 1 to the conversation partner 22, in which the sound sensitivity of the binaural hearing system 2 is reduced.
  • the sound 32 of the user 1's own language initially propagates in this channel 30 and is guided to the directional microphones 8, 14 by diffraction. Since the preferred directions 12, 18, which represent the direction with the greatest sound sensitivity for the directional characteristics 10, 16, are now adjusted relative to the frontal direction 28 of the user 1, the sound 32 of the user 1's own language experiences its input into a recording signal of the binaural hearing system 2 a slight attenuation.
  • FIG. 3 An inventive adjustment of the directional characteristics 10, 16 relative to the frontal direction 28 of the user 1 during one's own speech activity is shown schematically in a top view in Fig. 3 shown.
  • the first directional characteristic 10 of the first directional microphone 8 is not adjusted outwards, i.e. away from the frontal direction 28 of the user 1, but rather inwards "inwards” towards one another, so that the preferred direction 12 of the first directional characteristic 10 crosses the frontal direction 28.
  • the attenuation of the signal component that enters a recording signal of the binaural hearing system 2 occurs primarily as a result of shadowing effects caused by the head of the user 1.
  • the directional characteristics 10, 16 are set so that the areas with particularly high sound sensitivity are already partially covered ("shadowed") by the user's head, so that the sound hitting the directional microphones 8, 14 from the front is also the user's own speech This causes the recording signal to be attenuated.
  • the variant shown here also has the advantage that the conversation partner 22 is still well detected by the directional characteristics 16, 10 of the directional microphones 8, 14, i.e.
  • the sound sensitivity of the directional microphones 8, 14 in an immediate environment of the conversation partner 22 is still good enough at a usual conversation distance of 0.5 to 1.5 m to include any spontaneous replies and/or interjections of the conversation partner 22 with a sufficiently high signal level in the recording signal of the binaural hearing system 2.
  • Fig. 4 the sequence of a method 40 for improving a recording signal 42 in a binaural hearing system 2 is shown in a block diagram.
  • the two directional microphones 8, 14 of the hearing aids 4, 5 generate a first signal 44 or a second signal 46 from a sound 43, which are included in the recording signal 42.
  • the recording signal 42 is broken down into a plurality of frequency bands 48 and monitored for a listening situation 20 corresponding to a conversation based on the sound levels in the frequency bands 48 and based on the correlations in the signal components of the frequency bands 48. If this hearing situation 20 is recognized, monitoring of the user's speech activity 50 is carried out in some frequency bands 48.
  • the first directional characteristic 10 of the first directional microphone 8 and the second directional characteristic 16 of the second directional microphone 14 are directed against the frontal direction of the user in the manner described above adjusted.
  • the directional characteristics 10, 16 are aligned in the frontal direction in the manner explained above. In particular, this can also be done depending on a recognized speech activity 54 of the conversation partner, i.e. the directional characteristics 10, 16 in the relevant frequency bands towards the frontal direction are only adjusted when the signal coming from the direction of the conversation partner 22 has a correspondingly appreciable level, so that speech activity 54 is thereby detected.
  • the recording signal 42 formed by the frequency bands 48 can now be further processed in accordance with the applications intended for the binaural hearing system 2.
  • the two hearing aids 6, 7 each include a substantially omnidirectional individual microphone 55 and 56 (see Fig. 4 ).
  • the two directional microphones 8, 14 are each formed by interconnecting the two individual microphones 55, 56 (illustrated by a dashed connecting line in Fig. 4 ), whereby the first directional characteristic 10 for the first hearing aid 6 and the second directional characteristic 16 for the second hearing aid 7 arise or result from separate signal processing of the signals from the first and second individual microphones 55 and 56, respectively.

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic Arrangements (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zur Verbesserung eines Aufnahmesignals in einem Hörsystem.
  • Für ein Hörhilfegerät kommt der Wahrnehmung der eigenen Stimme durch den Benutzer eine besonders wichtige Rolle zu, da das subjektive Empfinden der eigenen Stimme, wie sie beim Tragen des Hörgeräts wahrgenommen wird, maßgeblich die Akzeptanz eines Hörhilfegeräts durch den Benutzer beeinflusst. Die Wahrnehmung der eigenen Stimme wird hierbei zum einen beeinflusst durch den Signalweg des Hörhilfegeräts, also über eine Aufnahme der Stimme durch das Mikrofonsystem, eine entsprechende Signalverarbeitung des Mikrofonsignals im Hörhilfegerät sowie eine Wiedergabe durch den Lautsprecher oder allgemein den elektro-akustischen Wandler des Hörhilfegeräts, wobei der erzeugte Schall direkt dem Gehör des Benutzers zugeführt wird.
  • Zum anderen verursacht ein für dieses Zuführen vorgesehener Schallleiter - sei es ein Ohrpassstück eines "Behind-The-Ear"-Instruments (BTE) oder sei es der Ausgang eines "In-The-Ear"- oder "Completely-In-the-Canal"-Instruments (ITE bzw. CIC) - meist einen weitgehenden Verschluss des Gehörgangs, wodurch es bei einer Sprachaktivität des Benutzers zu einem Okklusionseffekt kommen kann. Dieser entsteht vorrangig durch Schallwellen der eigenen Stimme, welche durch Körperschallübertragung vorrangig über den Kieferknochen zum Gehörgang geleitet werden, und aufgrund des Verschlusses des Gehörgangs nicht nach außen entweichen können, wodurch die eigene Stimme beim Sprechen als dumpf klingend empfunden wird.
  • Während Problemen in der Wahrnehmung der eigenen Stimme, welche auf einem Okklusionseffekt basieren, oftmals durch zusätzliche mechanische Belüftungskanäle im Hörhilfegerät oder in jüngerer Zeit auch durch spezielle Algorithmen in der Signalverarbeitung begegnet wird, so wird für die im Signalweg bedingten Probleme im Klang der Stimme meist versucht, mittels einer adaptiven Signalverarbeitung die Wahrnehmung eigenen Stimme für den Benutzer zu verbessern. Viele Hörhilfegeräte arbeiten beispielsweise mit einer automatischen Verstärkungsregelung ("automatic gain control", AGC), deren Verstärkung in den relevanten Frequenzbereichen hierfür bei einer Erkennung einer eigenen Sprachaktivität abgesenkt werden kann. Ebenso können beim Erkennen der Sprachaktivität ein Kompressionsverhältnis, der Schwellwert oder die Ansprechzeiten einer Kompression ("compression ratio", "threshold", "attack/release") angepasst werden. Eine derartige Erkennung der eigenen Sprachaktivität des Benutzers ist hierbei schnell und effizient möglich.
  • Durch derartige Maßnahmen in der Signalverarbeitung wird jedoch zumindest in den betreffenden Frequenzbereichen der gesamte Signalanteil entsprechend beeinflusst, und somit in für eine realistische Sprachwiedergabe wesentlichen Frequenzbereichen die Signalanteile durch Absenken der Verstärkung oder Verändern der Kompressionsparameter verändert. Auch die akustische Wahrnehmung der Umgebung ist hiervon betroffen, was insbesondere in lebhaften Gesprächssituationen mit mehreren Gesprächspartnern als unangenehm empfunden werden kann. Hierdurch kann also das Hörempfinden maßgeblich beeinträchtigt werden
  • In der DE 10 2005 032 274 A1 sind eine Hörvorrichtung und ein entsprechendes Verfahren zur Eigenstimmendetektion offenbart. Dazu sind ein erstes Mikrofon zur Aufnahme eines Umgebungsschalls und ein zweites Mikrofon zur Aufnahme eines Gehörgangschalls vorgesehen. Aus einem Vergleich der Signale des ersten Mikrofons und des zweiten Mikrofons wird darauf geschlossen, dass der Benutzer des Gehörgeräts spricht bzw. die eigene Stimme präsent ist. Wird das Vorhandensein der eigenen Stimme festgestellt, so wird insbesondere ein Richtmikrofon deaktiviert. Auf diese Weise wird das Richtmikrofon störsicher betrieben, da sich das Richtmikrofon bei Präsenz der eigenen Stimme unerwünscht stets auf die Frontalrichtung ausrichten würde.
  • In der DE 10 2011 087 984 A1 wird zur Eigenstimmenerkennung eine Hörvorrichtung vorgeschlagen, die wenigstens zwei unabhängige Analyseeinrichtung umfasst, von denen jede dazu ausgelegt ist, auf der Grundlage eines empfangenen Audiosignals Sprachaktivitätsdaten zu gewinnen, welche von der Sprecheraktivität des Trägers der Hörvorrichtung abhängig sind. Eine Fusionseinrichtung ist dazu ausgelegt, die Sprachaktivitätsdaten der Analyseeinrichtungen zu empfangen und auf Grundlage der Sprachaktivitätsdaten zu erkennen, ob der Träger gerade spricht oder nicht.
  • Die US 2007/098192 A1 nennt ein Verfahren zum Betrieb eines Hörgerätes, bei welchem während einer eigenen Sprachaktivität des Trägers eine Richtcharakteristik der Mikrofone derart eingestellt wird, dass Schallsignale aus dem Nahfeld generell eine erhebliche Abschwächung erfahren, während die Richtwirkung für Schallsignale aus dem Fernfeld möglichst unverändert beibehalten wird. Hierdurch soll erreicht werden, dass das eigene Sprachsignal des Trägers unterdrückt wird, ohne dass davon in einem Gespräch ein Gesprächsbeitrag eines Gegen-übers betroffen wäre.
  • Die EP 2 381 702 A2 lehrt, für ein Hörgerät, in welchem ein Richtkegel zur Verstärkung und Verbesserung des Signal-zu-Rausch-Verhältnisses automatisch auf Stimmaktivitäten ausgerichtet wird, eine derartige Ausrichtung zu unterdrücken oder aufzuheben, wenn die Stimme als die eigene Stimme des Trägers identifiziert wird.
  • In der US 2012/0189147 A1 ist ein Verfahren zum Betrieb eines Hörgerätes genannt, in welchem eine eigene Stimmaktivität des Trägers des Hörgerätes über Abstandsabschätzungen für die Quellen der eingehenden Schallsignale bestimmt wird.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren anzugeben, welches in einem Hörsystem bei einer Stimmaktivität der Klang eines Aufnahmesignals für die Weiterverarbeitung insbesondere hinsichtlich der Wahrnehmung durch einen Benutzer möglichst einfach und effizient verbessern soll.
  • Die genannte Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren gemäß des Anspruchs 1.
  • Vorteilhafte Ausgestaltungsformen sind Gegenstand der Unteransprüche und der nachfolgenden Beschreibung.
  • Das Aufnahmesignal ist als dasjenige Signal zu verstehen, in welches das erste Signal des ersten Richtmikrofons, in welches ein Schall aus der Umgebung mit der durch die eingestellte Richtcharakteristik vorgegebenen räumlichen Empfindlichkeit umgewandelt ist, zur weiteren Signalverarbeitung eingeht. Die Vorzugsrichtung der ersten Richtcharakteristik ist hierbei als diejenige Raumrichtung zu verstehen, in welcher das erste Richtmikrofon in diesem Fall die größte Sensibilität aufweist, das heißt, dass bei einem Schall mit gleichbleibendem Pegel, welcher aus unterschiedlichen Richtungen auf das erste Richtmikrofon auftrifft, bei einem Auftreff aus der Vorzugsrichtung der stärkste Signalpegel im ersten Signal erzeugt wird.
  • Bevorzugt weist die erste Richtcharakteristik eine Achsen- bzw. Spiegelsymmetrie auf, wobei die Vorzugsrichtung auf der Symmetrieachse bzw. in der Symmetrieebene liegt. Die Frontalrichtung des Benutzers ist hierbei durch die Blickrichtung seines Kopfes definiert, welche parallel zur Symmetrieebene des Kopfes verläuft. Bevorzugt kann bei einem ordnungsgemäßen Tragen des Hörgeräts durch den Benutzer die erste Richtcharakteristik in Relation zur Frontalrichtung des Benutzers gesetzt werden. Die erste Richtcharakteristik kann in einem Winkelbereich um die Vorzugsrichtung herum bevorzugt eine monotone Abnahme der Schallempfindlichkeit aufweisen, so dass bei einem Verstellen durch eine Vergrößerung des Winkels zwischen der Vorzugsrichtung und der Frontalrichtung in der Frontalrichtung die Abschwächung der Schallempfindlichkeit erreicht wird.
  • Die Erfindung geht hierbei zunächst von der Überlegung aus, dass jede Regelung oder Korrektur der eigenen Stimme des Benutzers im Aufnahmesignal, welche nur über die AGC oder über eine Anpassung der Parameter für die Kompression erfolgt, auch Auswirkungen auf die Wahrnehmung des Schalls aus der Umgebung hat. Gerade in einer Hörsituation, in welcher der Benutzer ein lebhaftes Gespräch mit einem oder auch mehreren Gesprächspartnern führt, und aufgrund der Interaktion im Gespräch die eigene Stimmaktivität des Benutzers bisweilen auch mit einem durch die Sprache eines der Gesprächspartner gebildeten Nutzsignals zusammenfallen können, hätte dies rasche Wechsel in der Lautstärke und/oder der Dynamik des durch die Sprache des Gesprächspartners gebildeten Nutzsignals zur Folge, sowie auch für den Schall aus der Umgebung.
  • Die Erfindung macht sich nun den empirisch feststellbaren Umstand zunutze, dass aufgrund der Beugung des Schalls, welcher bei einer Sprachaktivität den Mund verlässt, der Schall der eigenen Stimme, den der Benutzer an einem Ohr wahrnimmt, im Wesentlichen als aus frontaler Richtung kommend wahrgenommen wird. Dies bedeutet, dass aufgrund der Tatsache, dass in den meisten durch ein Gespräch gebildeten Hörsituationen die Blickrichtung und somit die Frontalrichtung des Benutzers auf einen Gesprächspartner hin ausgerichtet ist, die Richtung, aus welcher das durch die Sprachaktivität des Gesprächspartners gegebenen Nutzsignal wahrgenommen wird, mit der Richtung, aus welcher die eigene Sprache beim Sprechen wahrgenommen wird, im Wesentlichen koinzidiert, sofern keine weitere Anpassung der Wahrnehmungsrichtungen vorgenommen wird. Durch ein Verstellen der Vorzugsrichtung der ersten Richtcharakteristik gegenüber der Frontalrichtung des Benutzers kann somit erreicht werden, dass ein geringerer Anteil der eigenen Sprache des Benutzers in das Aufnahmesignal eingeht. Für ein angenehmes Hörempfinden der eigenen Sprache ist im Signalweg eine Abschwächung im Verhältnis zur Signalverarbeitung anderer Nutzsignale von 6 dB bis 10 dB meist ausreichend. Weist die erste Richtcharakteristik eine monotone Abnahme der Schallempfindlichkeit von der Vorzugsrichtung weg auf, so ist für eine Abschwächung des aufgenommenen Sprachsignals des Benutzers um 6 dB bis 10 dB eine moderate Abweichung der Vorzugsrichtung der ersten Richtcharakteristik von der Frontalrichtung ausreichend.
  • Dies hat desweiteren zur Folge, dass Hintergrundgeräusche, welche räumlich keiner klaren Quelle eindeutig zugeordnet werden können, durch die genannte Maßnahme keine wesentliche Abschwächung erfahren, so dass es im weiter zu verarbeitenden Aufnahmesignal durch die Maßnahmen nicht zu unerwünschten Schwankungen im Pegel der Hintergrundgeräusche kommt. In besonderem Maße wird hierbei noch der Umstand ausgenutzt, dass gerade Hintergrundgeräusche in niedrigen Frequenzbändern, welche in erheblichem Maße für die Grundwahrnehmung einer Hörsituation beitragen, aufgrund der niedrigeren Wellenzahlen räumlich weniger gerichtet wahrgenommen werden, und somit von der Verstellung der Vorzugsrichtung der Richtcharakteristik und somit der Richtcharakteristik als solcher noch weniger betroffen sind. Insbesondere gilt dies für den Fall in welchem zur Verstellung der Vorzugsrichtung der Richtcharakteristik die Richtcharakteristik selbst bis auf eine reine räumliche Drehung nicht weiter verändert wird.
  • Erfindungsgemäß wird die Vorzugsrichtung der ersten Richtcharakteristik in einem Winkel zwischen 5° und 20°, bevorzugt zwischen 5° und 10°, gegenüber der Frontalrichtung des Benutzers verstellt. Zur Veränderung der Ausrichtung der Richtcharakteristik ist ein Verstellen der Vorzugsrichtung im genannten Winkelbereich meist ausreichend, um eine hinreichende Abschwächung des Signalanteils der eigenen Sprache des Benutzers im Aufnahmesignal zu erzielen. Infolge der nur geringfügigen Veränderung der Vorzugsrichtung werden jedoch auch die Wahrnehmung von Hintergrundgeräuschen der Hörsituation, welche eine gewisse Richtungsabhängigkeit aufweisen, wie z.B. Musik aus einem lokalisierbaren Lautsprecher in einer Entfernung von mehreren Metern, nicht wirklich beeinflusst, wodurch für einen Benutzer die Anpassung noch weniger bemerkbar wird.
  • Bevorzugt wird das Aufnahmesignal auf eine Hörsituation mit einer gerichteten Hauptschallquelle überwacht, wobei ohne Erkennen einer Sprachaktivität des Benutzers bei Erkennen einer Hörsituation mit einer gerichteten Hauptschallquelle die Vorzugsrichtung der ersten Richtcharakteristik auf die Frontalrichtung des Benutzers ausgerichtet wird. Unter einer gerichteten Hauptschallquelle ist eine Schallquelle zu verstehen, die im Verhältnis zum Schallpegel anderer Signalanteile eine erhebliche Richtungsabhängigkeit aufweist, und deren Schallpegel in Richtung des Maximums deutlich über dem Pegel anderer Signalanteile unabhängig von ihrer Raumrichtung liegt (beispielsweise eine Lautsprecherbox oder dergleichen). Die Frontalrichtung des Benutzers, welche üblicherweise im Wesentlichen seiner Blickrichtung entspricht, kann dabei durch eine weitere Analyse des Aufnahmesignals ermittelt werden, oder auch durch eine Voreinstellung im Hörgerät bestimmt werden unter der Maßgabe der Ausrichtung des ersten Richtmikrofons bei einem ordnungsgemäßen Tragen des Hörgeräts.
  • Wird nun in der Hörsituation eine gerichtete Hauptschallquelle erkannt, ohne dass gleichzeitig eine eigene Sprachaktivität des Benutzers erkannt wird, so wird angenommen, dass für den Benutzer der Schall der Hauptschallquelle das Nutzsignal darstellt, welches daher im Aufnahmesignal besonders gut aufgelöst Eingang finden soll. In diesem Fall wird die akustische Auflösung - also das Signal-zu-Rausch-Verhältnis - durch eine entsprechende Anpassung der Richtcharakteristik durch Verstellen der Vorzugsrichtung zur Hauptschallquelle hin erreicht.
  • Als vorteilhaft erweist es sich hierbei, wenn das Aufnahmesignal auf eine einem Gespräch entsprechende Hörsituation überwacht wird, wobei ohne Erkennen einer Sprachaktivität des Benutzers bei Erkennen einer einem Gespräch entsprechende Hörsituation die Vorzugsrichtung der ersten Richtcharakteristik auf die Frontalrichtung des Benutzers ausgerichtet wird. Eine einem Gespräch entsprechende Hörsituation, ggf. mit wenig gerichteten Hintergrundgeräuschen, ist ein besonders auftretender Fall für eine Hörsituation mit einer Hauptschallquelle, welche hier durch einen Gesprächspartner gebildet wird. Wird nun zunächst eine solche Hörsituation erkannt, so wird angenommen, dass die Blickrichtung des Benutzers im Fall, dass dieser nicht selbst spricht und somit keine eigene Sprachaktivität erkannt wird, meist in Richtung des gerade aktiven Gesprächspartners geht. Somit kann durch ein Einstellen der Vorzugsrichtung der Richtcharakteristik in Frontalrichtung für das Sprachsignal des Gesprächspartners eine effiziente Verbesserung des Signal-zu-Rausch-Verhältnisses erzielt werden. Dies gilt insbesondere, wenn die Frontalrichtung nicht über eine weitere Analyse des Aufnahmesignals ermittelt wird, sondern anhand der Ausrichtung des ersten Richtmikrofons bei einem ordnungsgemäßen Tragen des Hörgeräts.
  • Erfindungsgemäß umfasst das binaurale Hörsystem ein weiteres Hörgerät, insbesondere Hörhilfegerät, wobei das weitere Hörgerät ein zweites Richtmikrofon umfasst, wobei das zweite Richtmikrofon Schall in ein zweites Signal umwandelt, welches in das Aufnahmesignal eingeht, und wobei bei Erkennen einer Sprachaktivität des Benutzers die Vorzugsrichtung der zweiten Richtcharakteristik gegenüber einer Frontalrichtung des Benutzers derart verstellt wird, dass die zweite Richtcharakteristik in der Frontalrichtung eine Abschwächung erfährt.
  • Erfindungsgemäß ist das Hörsystem als ein binaurales Hörsystem ausgebildet, in welchem insbesondere aus dem Aufnahmesignal, in welches das erste Signal des wenigstens einen Hörgeräts und das zweite Signal des weiteren Hörgeräts eingehen, ein Stereo-Wiedergabesignal derart gebildet wird, dass zur Erzeugung eines ersten Wiedergabekanals und eines zweiten Wiedergabekanals Signalanteile sowohl des ersten Signals als auch des zweiten Signals herangezogen werden. Ein erster Wiedergabekanal kann dabei einerseits nur Signalanteile des ersten Signals enthalten, deren Richtcharakteristik anhand der Signalanteile des zweiten Signals mit beeinflusst wird, oder direkt Signalanteile des ersten Signals und des zweiten Signals beinhalten. In einem binauralen Hörsystem wird die eigene Stimme des Benutzers aufgrund der zwischen dem ersten Signal und dem zweiten Signal ausbleibenden Laufzeitdifferenz der Signalanteile der Stimme als aus frontaler Richtung kommend wahrgenommen und entsprechend verstärkt. Für ein binaurales Hörsystem kann das vorgeschlagene Verfahren die Signalanteile der eigenen Stimme des Benutzers im Aufnahmesignal besonders einfach und ohne hohen Aufwand in der Signalverarbeitung reduzieren, wobei keine merklichen Veränderungen im Signalpegel oder in aus der Umgebung aufgenommenen Hintergrundgeräuschen auftreten.
  • Erfindungsgemäß wird die Vorzugsrichtung der zweiten Richtcharakteristik in einem Winkel zwischen 5° und 20°, bevorzugt zwischen 5° und 10°, gegenüber der Frontalrichtung des Benutzers verstellt. Zweckmäßigerweise werden hierbei die Vorzugsrichtungen der ersten Richtcharakteristik und der zweiten Richtcharakteristik jeweils im genannten Winkelbereich verstellt. Zur Veränderung der Ausrichtung der Richtcharakteristik ist ein Verstellen der Vorzugsrichtung im genannten Winkelbereich meist ausreichend, um eine hinreichende Abschwächung des Signalanteils der eigenen Sprache des Benutzers im Aufnahmesignal zu erzielen. Infolge der nur geringfügigen Veränderung der Vorzugsrichtung werden jedoch auch die Wahrnehmung von Hintergrundgeräuschen der Hörsituation, welche eine gewisse Richtungsabhängigkeit aufweisen, wie z.B. Musik aus einem lokalisierbaren Lautsprecher in einer Entfernung von mehreren Metern, nicht wirklich beeinflusst, wodurch für einen Benutzer die Anpassung noch weniger bemerkbar wird. Als weiter vorteilhaft erweist es sich, wenn das Aufnahmesignal auf eine einem Gespräch entsprechende Hörsituation überwacht wird, wobei bei Erkennen einer Sprachaktivität eines Gesprächspartners die Vorzugsrichtung der zweiten Richtcharakteristik auf die Frontalrichtung des Benutzers ausgerichtet wird. Zweckmäßigerweise werden hierbei die Vorzugsrichtungen der ersten Richtcharakteristik und der zweiten Richtcharakteristik jeweils auf die Frontalrichtung des Benutzers ausgerichtet. Gerade im Fall eines binauralen Hörsystems mit einem reichen Raumklang kann hierdurch in der genannten Hörsituation mit geringem Aufwand in der Signalverarbeitung eine besonders gute Verständlichkeit des Sprachsignals des Gesprächspartners erzielt werden.
  • Erfindungsgemäß werden bei Erkennen einer Sprachaktivität des Benutzers die Vorzugsrichtungen der ersten Richtcharakteristik und der zweiten Richtcharakteristik derart gegenüber der Frontalrichtung des Benutzers verstellt, dass die Vorzugsrichtungen der ersten Richtcharakteristik und der zweiten Richtcharakteristik, ausgehend als Vektoren vom jeweiligen Hörgerät, einander kreuzen. Insbesondere erfolgt das Verstellen hierbei symmetrisch, d.h., dass die Vorzugsrichtung der ersten Richtcharakteristik und die Vorzugsrichtung der zweiten Richtcharakteristik jeweils um denselben Winkelbetrag bezüglich der Frontalrichtung nach innen bzw. aufeinander zu verstellt werden. Durch ein Verstellen der Vorzugsrichtungen der Richtcharakteristiken aufeinander zu wird der Signalanteil der eigenen Stimme des Benutzers, welcher ins Aufnahmesignal eingeht, über den Abschattungseffekt reduziert, welchen der Kopf bei einem entsprechenden Ausrichten der Richtcharakteristik auf den Schall der Stimme ausübt. Zudem können bei einer Überkreuzung der Richtcharakteristiken plötzliche Einwürfe eines frontal stehenden Gesprächspartners nahezu unbeeinflusst weiterhin erfasst werden.
  • Als weiter vorteilhat erweist es sich, wenn das Aufnahmesignal in eine Mehrzahl an Frequenzbändern zerlegt wird, und bei Erkennen einer Sprachaktivität des Benutzers eine Vorzugsrichtung der ersten Richtcharakteristik und/oder eine Vorzugsrichtung der zweiten Richtcharakteristik in wenigstens einem Frequenzband gegenüber der Frontalrichtung des Benutzers verstellt wird. Werden bei Erkennen einer Sprachaktivität des Benutzers die Richtcharakteristiken nur in denjenigen Frequenzbändern gegenüber der Frontalrichtung verstellt, in welchen entweder ein übermäßiger Signalanteil im Aufnahmesignal durch den Benutzer als besonders unangenehm empfunden wird, oder welche eine besonders hohe Direktionalität im Sprachsignal aufweisen und somit durch ein Verstellen der Richtcharakteristik besonders einfach zu beeinflussen sind, so lassen sich in der Signalverarbeitung der anderen Frequenzbänder Ressourcen einsparen.
  • Die Erfindung nennt weiter ein binaurales Hörsystem mit zwei Hörgeräten, insbesondere Hörhilfegeräten, welche jeweils wenigstens ein Richtmikrofon aufweisen, welches dazu eingerichtet ist, das vorbeschriebene Verfahren durchzuführen. Die für das Verfahren und seine Weiterbildungen angegebenen Vorteile können hierbei sinngemäß auf das binaurale Hörsystem übertragen werden.
  • Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Hierbei zeigen jeweils schematisch:
    • Fig. 1
    in einer Draufsicht einen Benutzer eines binauralen Hörsystems in einer Hörsituation mit mehreren Gesprächspartnern,
    Fig. 2
    in einer Draufsicht die Richtcharakteristiken des binauralen Hörsystems nach Fig. 1 bei einer Sprachaktivität des Benutzers nach einem nicht beanspruchten Beispiel,
    Fig. 3
    in einer Draufsicht eine erfindungsgemäße Einstellung der Richtcharakteristiken des binauralen Hörsystems nach Fig. 1 bei einer Sprachaktivität des Benutzers, und
    Fig. 4
    in einem Blockdiagramm den Ablauf eines Verfahrens zur Verbesserung eines Aufnahmesignals in einem binauralen Hörsystem.
  • Einander entsprechende Teile und Größen sind in allen Figuren jeweils mit gleichen Bezugszeichen versehen.
  • In Fig. 1 ist in einer Draufsicht schematisch ein Benutzer 1 eines binauralen Hörsystems 2 gezeigt, welches zwei als Hörhilfegeräte 4, 5 ausgebildete Hörgeräte 6, 7 umfasst. Das linke Hörgerät 6 weist ein erstes Richtmikrofon 8 mit einer ersten Richtcharakteristik 10 auf, welche symmetrisch bezüglich einer Vorzugsrichtung 12 ist. Das rechte Hörgerät 7 weist ein zweites Richtmikrofon 14 mit einer zweiten Richtcharakteristik 16 auf, welche symmetrisch bezüglich einer Vorzugsrichtung 18 ist. Die Hörsituation 20 des Benutzers 1 des binauralen Hörsystems 2 ist durch ein Gespräch mit Gesprächspartnern 22 bis 26 gegeben.
  • Die momentane Gesprächssituation ist nun derart, dass der Benutzer 1 seine Frontalrichtung 28 (welche gegeben ist durch die Blickrichtung des Kopfes) zum besseren Zuhören auf den Gesprächspartner 22 hin ausrichtet. Ist nun in der vorliegenden Gesprächssituation der Gesprächspartner 22 der Hauptakteur, und liefern dabei die anderen Gesprächspartner 23 bis 26 nur vereinzelt Einwürfe, so werden die Vorzugsrichtung 12 der ersten Richtcharakteristik 10 und die Vorzugsrichtung 18 der zweiten Richtcharakteristik 16 in der Frontalrichtung 28 des Benutzers 1 ausgerichtet, wodurch für diesen das Sprachsignal des Gesprächspartners 22 über das binaurale Hörsystem 2 besonders gut wahrgenommen werden kann.
  • Bei einer Sprachaktivität des Benutzers 1 wird der Schall seiner eigenen Sprache in einer Weise um den Kopf herum gebeugt, dass der Schall der eigenen Sprache an jedem Ohr und somit an jedem der beiden Hörgeräte 6, 7 im Wesentlichen aus frontaler Richtung auftrifft. Die frontale Wahrnehmung ist des Weiteren dadurch bedingt, dass der Schall der eigenen Sprache an beiden Ohren ohne einen Laufzeitunterschied ankommt, so dass infolge der symmetrischen Wahrnehmung ein Empfinden eines frontal auftreffenden Schalls entsteht. Dies bedeutet, dass bei einer Ausrichtung der ersten Richtcharakteristik des ersten Richtmikrofons 8 sowie der zweiten Richtcharakteristik 16 des zweiten Richtmikrofons 14 jeweils in Frontalrichtung 28 der Schall der eigenen Sprache des Benutzers 1 in besonderem Maße in das Aufnahmesignal des binauralen Hörsystems 2 eingeht. Durch die Verstärkung in der Signalverarbeitung des binauralen Hörsystems 2 kann dies zu einer unangenehm lauten Wahrnehmung der eigenen Sprache durch den Benutzer führen.
  • Um eine solche Wahrnehmung zu unterbinden, werden nun die Richtcharakteristiken 10, 16 der beiden Richtmikrofone 8, 14 des binauralen Hörsystems 2 gegen die Frontalrichtung 28 verstellt, wenn der Benutzer 1 selbst am Sprechen ist. Dies ist in Fig. 2 dargestellt. Die Vorzugsrichtung 12 der ersten Richtcharakteristik 10 des ersten Richtmikrofons 8 wird bei einer Sprachaktivität des Benutzers 1 bezüglich dessen Frontalrichtung 28 leicht nach außen gekippt. Gleiches gilt für die Vorzugsrichtung 18 der zweiten Richtcharakteristik 16 des zweiten Richtmikrofons 14. Durch das Verstellen der Vorzugsrichtungen 12, 18 von der Frontalrichtung 28 des Benutzers 1 weg bilden die Richtcharakteristiken 10, 16 eine Art Kanal 30 vom Benutzer 1 zum Gesprächspartner 22 hin aus, in welchem die Schallempfindlichkeit des binauralen Hörsystems 2 reduziert ist. Der Schall 32 der eigenen Sprache des Benutzers 1 propagiert dabei zunächst in diesem Kanal 30 und wird durch Beugung zu den Richtmikrofonen 8, 14 hingeführt. Da die Vorzugsrichtungen 12, 18, welche für die Richtcharakteristiken 10, 16 jeweils die Richtung mit größter Schallempfindlichkeit darstellen, nun gegenüber der Frontalrichtung 28 des Benutzers 1 verstellt sind, erfährt der Schall 32 der eigenen Sprache des Benutzers 1 hinsichtlich seines Eingangs in ein Aufnahmesignal des binauralen Hörsystems 2 eine leichte Abschwächung.
  • Eine erfindungsgemäße Verstellung der Richtcharakteristiken 10, 16 gegenüber der Frontalrichtung 28 des Benutzers 1 bei einer eigenen Sprachaktivität ist schematisch in einer Draufsicht in Fig. 3 dargestellt. Die erste Richtcharakteristik 10 des ersten Richtmikrofons 8 wird hier nicht nach außen, also von der Frontalrichtung 28 des Benutzers 1 weg verstellt, sondern vielmehr nach "innen" aufeinander zu, sodass die Vorzugsrichtung 12 der ersten Richtcharakteristik 10 die Frontalrichtung 28 kreuzt. Gleiches gilt für die zweite Richtcharakteristik 16 des zweiten Richtmikrofons 14, welche derart nach "innen" verstellt wird, dass die Vorzugsrichtung 18 der zweiten Richtcharakteristik 16 die Frontalrichtung 28 des Benutzers 1 kreuzt.
  • Bei einer Sprachaktivität des Benutzers 1 tritt in diesem Fall die Abschwächung des Signalanteils, welcher in ein Aufnahmesignal des binauralen Hörsystems 2 eingeht, vorrangig infolge von Abschattungseffekten durch den Kopf des Benutzers 1 ein. Die Richtcharakteristiken 10, 16 werden hierbei so eingestellt, dass die Bereiche mit besonders hoher Schallempfindlichkeit bereits teilweise vom Kopf des Benutzers abgedeckt ("abgeschattet") werden, so dass der frontal auf die Richtmikrofone 8, 14 auftreffende Schall der eigenen Sprache des Benutzers 1 auch hierdurch im Aufnahmesignal eine Abschwächung erfährt. Die hier dargestellte Variante hat zudem den Vorteil, dass der Gesprächspartner 22 von den Richtcharakteristiken 16, 10 der Richtmikrofone 8, 14 noch gut erfasst wird, d.h. dass trotz des Verstellens der Vorzugsrichtungen 12, 18 die Schallempfindlichkeit der Richtmikrofone 8, 14 in einer unmittelbaren Umgebung des Gesprächspartners 22 bei einem üblichen Gesprächsabstand von 0,5 bis 1,5m noch gut genug ist, um etwaige spontane Erwiderungen und/oder Einwürfe des Gesprächspartners 22 mit hinreichend hohem Signalpegel in das Aufnahmesignal des binauralen Hörsystems 2 mit aufzunehmen.
  • In Fig. 4 ist in einem Blockdiagramm der Ablauf eines Verfahrens 40 zur Verbesserung eines Aufnahmesignals 42 in einem binauralen Hörsystem 2 dargestellt. Die beiden Richtmikrofone 8, 14 der Hörgeräte 4, 5 erzeugen aus einem Schall 43 ein erstes Signal 44 bzw. ein zweites Signal 46, welche in das Aufnahmesignal 42 eingehen. Das Aufnahmesignal 42 wird in eine Mehrzahl an Frequenzbändern 48 zerlegt, und anhand der Schallpegel in den Frequenzbändern 48 sowie anhand der Korrelationen in den Signalanteilen der Frequenzbänder 48 auf eine einem Gespräch entsprechende Hörsituation 20 hin überwacht. Wird diese Hörsituation 20 erkannt, so wird in einigen Frequenzbändern 48 eine Überwachung einer Sprachaktivität 50 des Benutzers durchgeführt. Wird eine Sprachaktivität 50 detektiert, so werden in einzelnen Frequenzbändern 48 im Aufnahmesignal, welche besonders hohe Signalanteile der Sprache aufweisen, die erste Richtcharakteristik 10 des ersten Richtmikrofons 8 und die zweite Richtcharakteristik 16 des zweiten Richtmikrofons 14 in der oben beschriebenen Weise gegen die Frontalrichtung des Benutzers verstellt.
  • Wird keine Sprachaktivität 50 detektiert, so wird für das Gespräch vorausgesetzt, dass der Benutzer seinen Blick zu einem Gesprächspartner 22 richtet, welcher für die gegebene Hörsituation 20 als Hauptschallquelle 52 zu betrachten ist. In diesem Fall werden die Richtcharakteristiken 10, 16 in oben erklärter Weise in Frontalrichtung ausgerichtet. Dies kann insbesondere auch in Abhängigkeit einer erkannten Sprachaktivität 54 des Gesprächspartners erfolgen, d.h., ein Verstellen der Richtcharakteristiken 10, 16 in den betreffenden Frequenzbändern zur Frontalrichtung hin erfolgt erst dann, wenn das aus der Richtung des Gesprächspartners 22 stammende Signal einen entsprechend nennenswerten Pegel aufweist, so dass hierdurch eine Sprachaktivität 54 detektiert wird. Das durch die Frequenzbänder 48 gebildete Aufnahmesignal 42 kann nun entsprechend der für das binauralen Hörsystem 2 vorgesehenen Anwendungen weiter bearbeitet werden.
  • In einer nicht beanspruchten Variante umfassen die beiden Hörgeräte 6, 7 jeweils ein im Wesentlichen omnidirektionales Einzelmikrofon 55 bzw. 56 (siehe Fig. 4). Die beiden Richtmikrofone 8, 14 sind jeweils durch Zusammenschalten der beiden Einzelmikrofone 55, 56 gebildet (veranschaulicht durch eine strichlierte Verbindungslinie in Fig. 4), wobei sich die erste Richtcharakteristik 10 für das erste Hörgerät 6 und die zweite Richtcharakteristik 16 für das zweite Hörgerät 7 durch eine getrennte Signalverarbeitung der Signale des ersten und des zweiten Einzelmikrofons 55 bzw. 56 ergeben bzw. resultieren.
  • Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, ist die Erfindung nicht durch dieses Ausführungsbeispiel eingeschränkt. Der Schutzumfang der Erfindung wird alleine durch die angehängten Ansprüche definiert.
    • Bezugszeichenliste
    • 1
    Benutzer
    2
    binaurales Hörsystem
    4, 5
    Hörhilfegerät
    6, 7
    Hörgerät
    8
    erstes Richtmikrofon
    10
    erste Richtcharakteristik
    12
    Vorzugsrichtung
    14
    zweites Richtmikrofon
    16
    zweite Richtcharakteristik
    18
    Vorzugsrichtung
    20
    Hörsituation
    22-26
    Gesprächspartner
    28
    Frontalrichtung
    30
    Kanal
    32
    Schall der eigenen Sprache des Benutzers
    40
    Verfahren
    42
    Aufnahmesignal
    43
    Schall
    44
    erstes Signal
    46
    zweites Signal
    48
    Frequenzband
    50
    Sprachaktivität des Benutzers
    52
    Hauptschallquelle
    54
    Sprachaktivität des Gesprächspartners
    55
    Einzelmikrofon
    56
    Einzelmikrofon

Claims (5)

  1. Verfahren (40) zur Verbesserung eines Aufnahmesignals (42) in einem binauralen Hörsystem (2) mit wenigstens einem ersten Hörgerät (6), wobei das erste Hörgerät (6) ein erstes Richtmikrofon (8) umfasst, welches eine verstellbare erste Richtcharakteristik (10) mit einer Vorzugsrichtung (12) aufweist,
    wobei das erste Richtmikrofon (8) Schall in ein erstes Signal (44) umwandelt, welches in das Aufnahmesignal (42) eingeht,
    wobei das binaurale Hörsystem (2) ein zweites Hörgerät (7) umfasst, welches ein zweites Richtmikrofon (14) umfasst,
    wobei das zweite Richtmikrofon (14) Schall in ein zweites Signal (46) umwandelt, welches in das Aufnahmesignal (42) eingeht,
    wobei eine Sprachaktivität (50) eines Benutzers (1) des Hörsystems (2) überwacht wird,
    wobei bei Erkennen der Sprachaktivität (50) des Benutzers (1) die Vorzugsrichtung (12) der ersten Richtcharakteristik (10) gegenüber einer Frontalrichtung (28) des Benutzers (1) derart verstellt wird, dass die Schallempfindlichkeit des ersten Richtmikrofons (8) in der Frontalrichtung (28) eine Abschwächung erfährt,
    wobei die Vorzugsrichtung (12) der ersten Richtcharakteristik (10) in einem Winkel zwischen 5° und 20° gegenüber der Frontalrichtung (28) des Benutzers (1) verstellt wird,
    wobei bei Erkennen der Sprachaktivität (50) des Benutzers (1) die Vorzugsrichtung (22) der zweiten Richtcharakteristik (16) gegenüber der Frontalrichtung (28) des Benutzers (1) derart verstellt wird, dass die zweite Richtcharakteristik (16) in der Frontalrichtung (28) eine Abschwächung erfährt, wobei die Vorzugsrichtung (22) der zweiten Richtcharakteristik (16) in einem Winkel zwischen 5° und 20° gegenüber der Frontalrichtung (28) des Benutzers (1) verstellt wird, und
    wobei bei Erkennen der Sprachaktivität (50) des Benutzers (1) die Vorzugsrichtungen (12, 18) der ersten Richtcharakteristik (10) und der zweiten Richtcharakteristik (16) derart gegenüber der Frontalrichtung (28) des Benutzers (1) verstellt werden, dass die Vorzugsrichtungen (12, 18) der ersten Richtcharakteristik (10) und der zweiten Richtcharakteristik (16) einander kreuzen.
  2. Verfahren (40) nach Anspruch 1,
    wobei das Aufnahmesignal (42) auf eine einem Gespräch entsprechende Hörsituation (20) überwacht wird, und
    wobei ohne Erkennen einer Sprachaktivität (50) des Benutzers (1) bei Erkennen einer einem Gespräch entsprechenden Hörsituation (20) die Vorzugsrichtung (12) der ersten Richtcharakteristik (10) und die Vorzugsrichtung (18) der zweiten Richtcharakteristik (16) auf die Frontalrichtung (28) des Benutzers (1) ausgerichtet werden.
  3. Verfahren (40) nach Anspruch 2,
    wobei bei Erkennen einer Sprachaktivität (54) eines Gesprächspartners (22) die Vorzugsrichtung (12) der ersten Richtcharakteristik (10) und die Vorzugsrichtung (18) der zweiten Richtcharakteristik (16) auf die Frontalrichtung (28) des Benutzers (1) ausgerichtet werden.
  4. Verfahren (40) nach einem der vorhergehenden Ansprüche,
    wobei das Aufnahmesignal (42) in eine Mehrzahl an Frequenzbändern (48) zerlegt wird, und
    wobei bei Erkennen einer Sprachaktivität (50) des Benutzers (1) eine Vorzugsrichtung (12) der ersten Richtcharakteristik (10) und/oder eine Vorzugsrichtung (18) der zweiten Richtcharakteristik (16) in wenigstens einem Frequenzband (48) gegenüber der Frontalrichtung (28) des Benutzers (1) verstellt wird.
  5. Binaurales Hörsystem (1) mit zwei Hörgeräten (6, 7) welche jeweils ein Richtmikrofon (8, 14) umfassen, wobei das binaurale Hörsystem (1) dazu eingerichtet ist, das Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
EP16170741.9A 2015-06-10 2016-05-20 Verfahren zur verbesserung eines aufnahmesignals in einem hörsystem Active EP3104627B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015210652.7A DE102015210652B4 (de) 2015-06-10 2015-06-10 Verfahren zur Verbesserung eines Aufnahmesignals in einem Hörsystem

Publications (3)

Publication Number Publication Date
EP3104627A1 EP3104627A1 (de) 2016-12-14
EP3104627C0 EP3104627C0 (de) 2023-09-13
EP3104627B1 true EP3104627B1 (de) 2023-09-13

Family

ID=56080270

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16170741.9A Active EP3104627B1 (de) 2015-06-10 2016-05-20 Verfahren zur verbesserung eines aufnahmesignals in einem hörsystem

Country Status (4)

Country Link
US (2) US10063980B2 (de)
EP (1) EP3104627B1 (de)
CN (1) CN107708045B (de)
DE (1) DE102015210652B4 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK3396978T3 (da) 2017-04-26 2020-06-08 Sivantos Pte Ltd Fremgangsmåde til drift af en høreindretning og en høreindretning
DE102018207346B4 (de) * 2018-05-11 2019-11-21 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts sowie Hörgerät
WO2019233588A1 (en) * 2018-06-07 2019-12-12 Sonova Ag Microphone device to provide audio with spatial context
DE102019201879B3 (de) * 2019-02-13 2020-06-04 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörsystems und Hörsystem
DE102019205709B3 (de) 2019-04-18 2020-07-09 Sivantos Pte. Ltd. Verfahren zur direktionalen Signalverarbeitung für ein Hörgerät
CN110186171B (zh) * 2019-05-30 2021-09-10 广东美的制冷设备有限公司 空调器及其控制方法和计算机可读存储介质
DE102020202483A1 (de) * 2020-02-26 2021-08-26 Sivantos Pte. Ltd. Hörsystem mit mindestens einem im oder am Ohr des Nutzers getragenen Hörinstrument sowie Verfahren zum Betrieb eines solchen Hörsystems
CN111327984B (zh) * 2020-02-27 2022-04-22 北京声加科技有限公司 基于零陷滤波的耳机辅听方法和耳戴式设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449593B1 (en) * 2000-01-13 2002-09-10 Nokia Mobile Phones Ltd. Method and system for tracking human speakers
NL1021485C2 (nl) 2002-09-18 2004-03-22 Stichting Tech Wetenschapp Hoorbril-samenstel.
DE102005032274B4 (de) 2005-07-11 2007-05-10 Siemens Audiologische Technik Gmbh Hörvorrichtung und entsprechendes Verfahren zur Eigenstimmendetektion
US8755546B2 (en) * 2009-10-21 2014-06-17 Pansonic Corporation Sound processing apparatus, sound processing method and hearing aid
US8462969B2 (en) * 2010-04-22 2013-06-11 Siemens Audiologische Technik Gmbh Systems and methods for own voice recognition with adaptations for noise robustness
EP2541973B1 (de) 2011-06-27 2014-04-23 Oticon A/s Rückkoppelungssteuerung in einer Hörvorrichtung
DE102011087984A1 (de) * 2011-12-08 2013-06-13 Siemens Medical Instruments Pte. Ltd. Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung
EP3054706A3 (de) * 2015-02-09 2016-12-07 Oticon A/s Binaurales hörsystem und hörgerät mit einer strahlformungseinheit

Also Published As

Publication number Publication date
DE102015210652B4 (de) 2019-08-08
US10063980B2 (en) 2018-08-28
US20180213337A1 (en) 2018-07-26
CN107708045B (zh) 2020-10-09
US20160366523A1 (en) 2016-12-15
CN107708045A (zh) 2018-02-16
DE102015210652A1 (de) 2016-12-15
EP3104627C0 (de) 2023-09-13
US10231064B2 (en) 2019-03-12
EP3104627A1 (de) 2016-12-14

Similar Documents

Publication Publication Date Title
EP3104627B1 (de) Verfahren zur verbesserung eines aufnahmesignals in einem hörsystem
EP3222057B1 (de) Verfahren und vorrichtung zum schnellen erkennen der eigenen stimme
EP1771038B1 (de) Verfahren zum Betrieb eines Hörhilfegerätesystems zur binauralen Versorgung eines Benutzers
DE10331956C5 (de) Hörhilfegerät sowie Verfahren zum Betrieb eines Hörhilfegerätes mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteistiken einstellbar sind
EP1489885B1 (de) Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind
EP2164283B1 (de) Hörgerät und Betrieb eines Hörgeräts mit Frequenztransposition
EP1705952A2 (de) Hörvorrichtung und Verfahren zur Windgeräuschunterdrückung
EP2840809A2 (de) Steuerung der Effektstärke eines binauralen direktionalen Mikrofons
EP2991379A1 (de) Verfahren und vorrichtung zur verbesserten wahrnehmung der eigenen stimme
EP3926982A2 (de) Verfahren zur richtungsabhängigen rauschunterdrückung für ein hörsystem, welches eine hörvorrichtung umfasst
DE102011086728B4 (de) Hörvorrichtung mit einer Einrichtung zum Verringern eines Mikrofonrauschens und Verfahren zum Verringern eines Mikrofonrauschens
DE102017203630B3 (de) Verfahren zur Frequenzverzerrung eines Audiosignals und nach diesem Verfahren arbeitende Hörvorrichtung
DE102008064484A1 (de) Verfahren zum Auswählen einer Vorzugsrichtung eines Richtmikrofons und entsprechende Hörvorrichtung
EP2658289B1 (de) Verfahren zum Steuern einer Richtcharakteristik und Hörsystem
EP3319234B1 (de) Verfahren zum betrieb eines hörgeräts
EP3913618A1 (de) Verfahren zum betrieb eines hörgeräts und hörgerät
DE102019211943B4 (de) Verfahren zur direktionalen Signalverarbeitung für ein Hörgerät
EP3364668A1 (de) Verfahren zum betrieb einer hörvorrichtung und hörvorrichtung
DE102022201706B3 (de) Verfahren zum Betrieb eines binauralen Hörvorrichtungssystems und binaurales Hörvorrichtungssystem
DE102022202646B3 (de) Verfahren zum Betrieb eines binauralen Hörsystems
EP3985997B1 (de) Hörgerätsystem und verfahren zu dessen betrieb
EP0723381B2 (de) Vorrichtung zur Hörunterstützung
DE102022202266A1 (de) Verfahren zum Betrieb eines Hörgeräts
EP4149121A1 (de) Verfahren zum betrieb eines hörgeräts
EP3985994A1 (de) Verfahren zum betrieb eines hörhilfegeräts sowie hörhilfegerät

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170613

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIVANTOS PTE. LTD.

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200616

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20230404

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

RIN1 Information on inventor provided before grant (corrected)

Inventor name: ROSENKRANZ, TOBIAS DANIEL

Inventor name: LUGGER, MARKO

Inventor name: KAMKAR-PARSI, HOMAYOUN

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502016016085

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

U01 Request for unitary effect filed

Effective date: 20231009

U07 Unitary effect registered

Designated state(s): AT BE BG DE DK EE FI FR IT LT LU LV MT NL PT SE SI

Effective date: 20231018

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230913

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230913

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230913

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230913

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230913

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240113

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230913

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230913

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230913

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230913

U20 Renewal fee paid [unitary effect]

Year of fee payment: 9

Effective date: 20240516