EP3833053A1 - Verfahren zum umgebungsabhängigen betrieb eines hörsystems - Google Patents

Verfahren zum umgebungsabhängigen betrieb eines hörsystems Download PDF

Info

Publication number
EP3833053A1
EP3833053A1 EP20210166.3A EP20210166A EP3833053A1 EP 3833053 A1 EP3833053 A1 EP 3833053A1 EP 20210166 A EP20210166 A EP 20210166A EP 3833053 A1 EP3833053 A1 EP 3833053A1
Authority
EP
European Patent Office
Prior art keywords
hearing system
environmental
situation
feature
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20210166.3A
Other languages
English (en)
French (fr)
Inventor
Thomas Kübert
Stefan Aschoff
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Sivantos Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102020208720.2A external-priority patent/DE102020208720B4/de
Application filed by Sivantos Pte Ltd filed Critical Sivantos Pte Ltd
Publication of EP3833053A1 publication Critical patent/EP3833053A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest

Definitions

  • the invention relates to a method for the environment-dependent operation of a hearing system, with values for a first plurality of environment data of a first user of the hearing system being determined in a training phase at a plurality of survey times, and a feature vector in each case based on the values of the environment data for each of the survey times a feature space is formed, with at least one value of a setting for signal processing of the hearing system being specified for a first environmental situation, and with values for the first plurality of environmental data of the first user or a second user of the hearing system being determined in an application phase at an application time, and a corresponding feature vector for the time of use is formed on the basis of the values of the environmental data, and the at least one value of the signal processing of the hearing system is set according to its specification for the first environmental situation, and the hearing system is operated with the at least one value thus set.
  • a user In hearing systems, a user is provided with a sound signal for listening, which is generated on the basis of an electrical audio signal, which in turn represents an acoustic environment of the user.
  • An important case of a hearing system is a hearing aid, by means of which a hearing impairment of the user is to be corrected as far as possible by a frequency band-dependent signal processing of the audio signal in order to make useful signals in an ambient sound more audible for the user.
  • Hearing aids can come in various designs, for example BTE, ITE, CIC, RIC or others Forms, be given.
  • a hearing aid device such as a cochlear implant or a bone conduction earphone provides a similar type of hearing system.
  • Other hearing systems can also be provided by PSADs (Personal Sound Amplification Devices: hearing aid systems that are used by people with normal hearing) and headsets or headphones, in particular with active noise cancellation ("active noise canceling").
  • PSADs Personal Sound Amplification Devices: hearing aid systems that are used by people with normal
  • a setting of the signal processing of the audio signal is established as a function of a hearing situation, with hearing situations being given by standardized groups of acoustic environments with certain comparable acoustic features. If, on the basis of the audio signal, it is recognized that one of the standardized groups is present, the audio signal is processed with the corresponding settings previously established for this group of acoustic environments.
  • the definition of the listening situations is often carried out in advance according to criteria that are fixed for individual acoustically measurable features, e.g. at the factory. For the given listening situations, presettings of the respective associated signal processing are often given, which can still be individually adapted by the user.
  • the invention is therefore based on the object of specifying a method by means of which a user can operate a hearing system on the one hand depending on the environment, but the environments can be tailored as individually as possible to the user.
  • the stated object is achieved according to the invention by a method for the environment-dependent operation of a hearing system, with values for a first plurality of environmental data of a first user of the hearing system being determined in a training phase at a plurality of survey times, and based on the values of the environmental data for each of the survey times a feature vector is formed in a least four-dimensional, in particular at least six-dimensional feature space, each of the feature vectors is mapped onto an associated representative vector in a maximum three-dimensional, in particular two-dimensional, representation space, and a first region in the representation space for one based on a spatial distribution of a subgroup of representative vectors
  • the first environmental situation of the hearing system is defined, with at least one value of a setting for signal processing of the hearing system being available for the first environmental situation is given.
  • the first environmental situation is determined on the basis of the environmental data, and it is also determined how the first environmental situation can be distinguished from other environmental situations on the basis of the environmental data. Furthermore, a setting of the signal processing is specified which is to be applied to an audio signal of the hearing system for the first environmental situation.
  • the application phase the currently available values for the corresponding environmental data are determined, and it can now be determined on the basis of these values of the environmental data whether the first environmental situation is present. If this is the case, the hearing system is operated with the signal processing setting specified in this regard.
  • the values of the environmental data are determined at different survey times, so that the feature vectors, which are formed on the basis of the values of environmental data determined at the individual survey times, are representative of as many acoustic environments as possible.
  • the environmental data here are preferably acoustic environmental data on acoustic environmental variables such as frequencies of a background noise, stationarity of a sound signal, sound level, modulation frequencies, and the like.
  • environmental data can also be used in the broader sense as "non-acoustic" data, for example on accelerations or other movement quantities of a motion sensor of the hearing system, but also biometric data, which are recorded for example using EEG, EMG, PPG (photoplethysmogram), EKG or the like can be included.
  • the variables mentioned can be measured by a hearing device of the hearing system, that is, for example, by a hearing aid, and / or by another device of the hearing system, for example a smartphone or a smartwatch or some other suitable device with appropriate sensors.
  • the determination of the values of the environmental data from the measured variables can take place in the respective device itself - i.e. in the hearing aid or smartphone or similar - or after a transfer, e.g. from the hearing aid or a headset to the smartphone or a comparable device of the hearing system respectively.
  • the sizes are measured preferably continuously or quasi-continuously (i.e. at very short time intervals, e.g. in the range of seconds), preferably over a longer period of e.g. a week or the like, so that the environments that usually occur for the user are recorded as completely as possible and thereby be "mapped", as it were.
  • the determined values of the named or other corresponding variables can either be included directly in the respective feature vectors, or the values included in the feature vectors are calculated by forming the mean value and / or mean value passage rate and / or variance or comparable statistical methods using the respective sizes formed.
  • a feature sector preferably consists of individual entries, each of which is obtained in the manner described by means of statistical methods from the mentioned acoustic environmental variables, movement variables and / or biometric data.
  • the temporal mean value or the mean value passage ratio or the variance of individual values of a variable since the previous measurement time can be formed at a survey time and can be included in the feature vector as the corresponding value of the environmental data.
  • a total of values for at least four different features that is to say individual statistical characteristics of various environmental and / or movement and / or biometric variables, are determined at each survey time.
  • Values for at least six features are preferably determined. It is particularly preferable for the same statistical characteristics to be determined for each individual variable, as above, e.g. as mean value, mean value passage rate and variance, as values of the environmental data.
  • the individual feature vectors which contain the "features" at individual survey times, are first mapped to the respective associated representative vector in the display space .
  • the representation space is at most three-dimensional, preferably two-dimensional, so that the representative vectors for a definition of the first environmental situation via the first region can in particular be visualized for the user.
  • Such a visualization of the display space can take place in particular on a suitable visualization device of the hearing system, for example on a screen of a smartphone, which in this case becomes part of the hearing system through its integration into the method.
  • a two-dimensional display space can be displayed directly as a "map", a three-dimensional display space, for example, through two-dimensional cutting planes or three-dimensional "point clouds” or the like, between which the user can switch or zoom or move.
  • the mapping of the feature vectors of the feature space onto the representative vectors of the representation space is preferably carried out in such a way that "similar feature vectors", i.e. feature vectors which are comparatively close to one another due to a relative similarity of their features in the feature space, are also comparatively close to one another in the representation space (based, for example, on the total size of the room used).
  • Representative vectors (or groups of representative vectors) in the display space that are clearly separated from one another preferably allow a conclusion to be drawn about feature vectors (or corresponding groups of feature vectors) in the feature space that are separated from one another, thereby making a distinction possible.
  • a differentiation between groups of feature vectors becomes more difficult with increasing overlap of the associated, corresponding groups of their respective representative vectors in the representation space.
  • a first region can now be defined in the representation space on the basis of individual representative vectors that are as close as possible to one another.
  • This definition can be made in particular by the user of the hearing system, or also by an auxiliary person of the user (for example a supervisor, nurse, etc.).
  • a visualization of the display space is preferably used for the definition.
  • individual representative vectors can also be identified by means of an additional marking, e.g.
  • a color display which can preferably correspond to an additional marking of the respective survey time depending on the everyday / daily situation or the like for the underlying feature vector by the user. This can simplify the assignment of the representative vectors for the user.
  • the time of the survey can be marked, for example, by an input by the user, which globally defines a certain situation in his daily routine, e.g. at home, in the car (on the way to work / home), in the office, in the canteen, at Sports, in the garden, etc.
  • a subgroup of representative vectors is now used in order to define the first region on the basis of their spatial distribution, in particular on the basis of the area enclosed by them (that is to say by their corresponding end points in the representation space).
  • This subgroup of representative vectors corresponds to a group of feature vectors in the feature space, so that the first environmental situation is thereby established via the corresponding value ranges of the features.
  • the at least a value of the setting for the signal processing of the hearing system is specified. This is preferably done by the user of the hearing system (or, for example, also by a technically experienced companion or supervisor).
  • the user prefers to go to the appropriate environment (e.g. in a moving car, inside at home, outside in the garden, in the office / at work etc.) and then modifies the signal processing settings, in particular "by ear", e.g.
  • the training phase can thus be divided according to the system into an analysis phase and a definition phase, the analysis phase including the continuous measurement of the relevant variables, the determination of the individual corresponding characteristic values at the respective survey times and mapping of the characteristic vectors into the display space, while in the definition phase the first environmental situation and the associated at least one value of the setting for the signal processing are defined on the basis of the representative vectors.
  • the definitions made of the first environmental situation and the associated at least one setting of the signal processing of the hearing system are integrated into the operation of the hearing system.
  • the hearing system in particular also a hearing device of the hearing system, initially measures the same environmental and / or movement and / or biometric variables that are also measured in the training phase to determine the values of environmental data.
  • the values for the same types of environmental data and a corresponding feature vector are formed from the measured values as in the training phase.
  • the feature vector for the time of use is now mapped into the display space. This is preferably done using the same algorithm as the corresponding mapping of the training phase, or by an approximation method that is as consistent as possible with the said algorithm, which in particular maps the feature vector of the time of use to a representative vector in the display space, for which representative vectors of its immediate surroundings are based on such feature vectors of the training phase, which in the feature space also form the immediate vicinity of the feature vector of the time of application.
  • the representative vector thus formed for the time of application is in the first region of the display space, it can be concluded that the first environmental situation is present, and accordingly the at least setting of the signal processing defined in advance can be used in the operation of the hearing system, e.g. for an audio signal of the Hearing system a corresponding, possibly frequency band-dependent amplification and / or dynamic compression, speech signal increase, etc. can be applied.
  • those areas can be identified in the feature space which correspond to the feature vectors whose representative vectors in the representation space are encompassed by the first region.
  • the first environmental situation can then also be recognized on the basis of the said areas in the feature space if the feature vector for the time of use lies in such an area.
  • a short-term temporal notification for example in the range of a few seconds to a few minutes
  • other statistical processing can take place, preferably of the same type as for the formation of the feature vectors of the training phase.
  • the method described allows the definitions of individual environmental situations to be specifically adapted to individuals or special groups of hearing aid wearers, and this definition can also be made by (technically experienced) people without audiological or scientific training, with only a comparatively lower definition for the environmental situations Expenditure of the hearing system (or an assisting companion) is necessary, since this can be done directly via the visualization of the preferably two-dimensional display space.
  • hearing systems can provide classifiers for the environment that satisfy a need for such user groups in a more targeted manner than the previously known 'stereotypical' classes of environmental situations, since universalized classes such as 'in the car', 'in front of the television' were defined for this very reason. because an overwhelming number of hearing aid users find themselves in such a situation.
  • the method is also suitable for use by technically experienced people without audiological or scientific training, it opens up the possibility that not only a manufacturer of a hearing system (such as a hearing aid manufacturer) but other market participants or users can make their own definitions, e.g. also hearing aid acousticians or similar, companions of people from special professional groups (e.g. dentists, musicians, hunters) or even individual technically experienced users.
  • the use of the method is therefore relevant for a larger number of users, as there are usually few hearing system users who are willing to provide extensive information (e.g. inputs in smartphone apps), whereas many users who have as little information as possible about the You want to select a specific function and make an entry if you feel uncomfortable or in need of improvement.
  • the definition of the first environmental situation is carried out by a first user of the hearing system in the training phase, while this definition is used by a second user in the application phase.
  • a first user can thus make the environmental situations defined by him for corresponding feature vectors available to other users for use.
  • the definition of the signal processing setting associated with the first environmental situation is preferably carried out by the user who uses the hearing system in the application phase.
  • a user input is preferably used to store information on a current usage situation of the hearing system, in particular as a function of a delimited situation of a daily routine of the first user of the hearing system, the respective information on the usage situation being linked to the feature vectors and / or the associated representative vectors which are formed on the basis of the values of the environmental data collected during a specific user situation.
  • the usage situation preferably describes a certain situation in the user's daily routine, e.g. at home, in the car (on the way to work / home), in the office, in the canteen, during sports, in the garden, etc.
  • the feature vector or the associated representative vector the user can assign the first environmental situation also with regard to the usage situation.
  • At least a partial area of the display space is visualized, in particular by means of a screen, and at least a subset of the representative vectors is displayed, the first region in the display space being defined on the basis of a user input, in particular with regard to a grouping of visualized representative vectors.
  • the screen is integrated in a corresponding auxiliary device of the hearing system, for example in a smartphone, tablet or the like that can be connected to the hearing device in particular wirelessly View the representation (in the 3D case using the corresponding section planes) and group them accordingly for the first region.
  • the respective information on the usage situation is visualized for at least some of the representative vectors, at least in response to an action by the first user. This can be done by means of a corresponding color display or by fading in a label on the respective representative vector.
  • the mapping of the feature vectors onto the respective associated representative vectors takes place in such a way that distance relations of at least three feature vectors in each case in the feature space are retained as a result of the mapping at least approximately for distance relations of the associated three representative vectors in the representation space.
  • the feature vectors are preferably mapped onto the associated representative vectors using a principal component analysis (PCA) and / or a locally linear embedding (LLE) and / or an Isomap map and / or a Sammon map and / or preferably using a t-SNE Algorithm and / or preferably using a self-organizing Kohonen network and / or preferably using a UMAP mapping.
  • PCA principal component analysis
  • LLE locally linear embedding
  • Isomap map and / or a Sammon map and / or preferably using a t-SNE Algorithm and / or preferably using a self-organizing Kohonen network and / or preferably using a UMAP mapping fulfill the mentioned property with regard to the distance relations and can be implemented efficiently.
  • values for the first plurality of environmental data are determined at a plurality of successive application times and in each case on the basis of the values of the environmental data corresponding feature vectors are formed for the successive application times, the presence of the first environmental situation based on the first region and based on said feature vectors for the successive application times, in particular based on a polygon from said feature vectors or a polygon from the representative vectors which correspond to said feature vectors in the representation space , is recognized.
  • machine learning can also be used to identify areas for feature or representative vectors outside the relevant polygon in which a corresponding feature or representative vector leads to the first environmental situation being present for an application time.
  • the five most recent representative vectors are always taken and a polygon is constructed that includes all representative vectors (some or all of the representative vectors or their end points then represent corner points of the polygon).
  • the hearing system is only assigned to the first environmental situation and the corresponding setting of the signal processing is activated when at least a previously definable percentage of the area of the polygon (e.g. 80%) lies within the first region in the display area.
  • a previously definable percentage of the area of the polygon e.g. 80%
  • Acoustic environmental data are advantageously determined for the first plurality of environmental data using a signal from at least one electroacoustic input transducer, in particular a microphone, and / or movement-related environmental data using at least one signal from an in particular multi-dimensional acceleration sensor and / or a gyroscope and / or a GPS sensor .
  • a signal from at least one electroacoustic input transducer in particular a microphone
  • / or movement-related environmental data using at least one signal from an in particular multi-dimensional acceleration sensor and / or a gyroscope and / or a GPS sensor .
  • further location-related environmental data based on at least one signal from a GPS sensor and / or a WLAN connection are preferred and / or biometric environmental data is determined on the basis of an EKG sensor and / or an EEG sensor and / or a PPG sensor and / or an EMG sensor.
  • a sensor for generating biometric environmental data can be arranged on an auxiliary device designed as a smartwatch
  • the signal of the at least one electroacoustic input transducer is preferred for the acoustic environment data with regard to a speech activity of the first or second user of the hearing system and / or with regard to an occurrence of wind at the electroacoustic input transducer and / or with regard to a spectral focus of a noise background and / or with regard to a noise background in at least one frequency band and / or with regard to a stationarity of a sound signal of the environment and / or with regard to an autocorrelation function and / or with regard to a modulation depth at a given modulation frequency, which is preferably 4 Hz and a maximum of 10 Hz, and / or with regard to the onset of a Speech activity, in particular the user's own speech activity, is analyzed.
  • a mean value and / or a variance and / or a mean value passage rate and / or a value range and / or a median of the respective environmental data in particular based on a period between the respective survey time and an immediately preceding survey time or for a period between the application time and an immediately preceding application time.
  • a sound signal of the environment and the feature vector and the corresponding representative vector are preferably averaged during a survey time by means of the at least one electroacoustic input transducer assigned for the time of the survey, with the average being reproduced via at least one output transducer of the hearing system, in particular via a loudspeaker, in response to a user input.
  • the user can also recognize which specific acoustic event - that is to say which noise - a representative vector is based on and use this for the definition of the first region.
  • individual vector projections of the feature vectors of the survey times are formed in an acoustic feature space based on the acoustic environment data, the vector projections of the acoustic feature space each being mapped onto acoustic representative vectors in a maximally three-dimensional, in particular two-dimensional acoustic representation space, with a second region for the acoustic representation space
  • the first environmental situation of the hearing system is defined, and the presence of the first environmental situation is additionally recognized on the basis of the second region of the acoustic presentation space, in particular by a comparison with a mapping of the feature vector of the time of use in the acoustic presentation space.
  • the user of the hearing system is in an environment in which certain short noises disturb him, so that for this environment he prefers signal processing settings that attenuate these noises.
  • a typical example is the hitting of a spoon on a coffee cup or, similarly, the shrill clatter of dishes.
  • There are different possibilities for this for example to reduce the amplification of high frequencies somewhat, to increase the dynamic compression in the high frequency range or to activate signal processing that deliberately attenuates suddenly occurring sound peaks.
  • the user can benefit from a representation of the corresponding acoustic representative vector, which represents a projection of the corresponding acoustic feature vector of the acoustic features, in the acoustic representation space, so that the first environmental situation additionally or even solely on the basis of the representation of the purely acoustic environment in the acoustic representation space the corresponding second area to be able to make.
  • the representation space can preferably be visualized at the same time, e.g. next to one another, with appropriate emphasis on the representative vector relevant for the sound event, as well as the acoustic representation space with the corresponding acoustic representative vector.
  • This representation offers the user the advantage that in the representation of the acoustic representative vectors it is possible to recognize sound events (i.e. noises) which are very similar to the marked feature (“doorbell”) - precisely because the corresponding acoustic representative vectors are relatively close.
  • the "full” representative vectors (which are also based on non-acoustic data) of both sound events are presumably to be found in the same region of the display room and in particular assigned to the same usage situation (“at home”) .
  • the first environmental situation is additionally defined based on a first usage situation, and a first value of the setting for the signal processing of the hearing system is specified for the first environmental situation, and a second environmental situation is defined based on a second usage situation, and a corresponding second value of said setting is specified, in particular the second region, which corresponds to the first environmental situation in the acoustic representation space, at least partially overlaps with the second region, which corresponds to the second environmental situation in the acoustic representation space, the first or the second being present Ambient situation is recognized on the basis of the presence of the first or second usage situation, and then the first or second value of the signal processing of the hearing system is set according to its specification for the first or second ambient situation becomes.
  • the user is enabled to identify similar noises which, however, have arisen in different environments and in particular in different usage situations.
  • the user of the hearing system can prefer different signal processing settings for certain, similar noises.
  • An example is a hunter who may find the rustling of a newspaper uncomfortably loud, whereas on the hunt he would like to hear every rustling in the leaves.
  • the rustling of the newspaper is marked as unpleasant, but the rustling in the leaves is not marked.
  • the noises are acoustically very similar, but are otherwise distinguishable, the user can and thus different environmental situations Define different settings for signal processing.
  • a desire for different treatment of different "rustling” can arise, for example, in the different usage situations "at home” (eg reading the newspaper) or "work / office” (colleague leafing through documents) vs. "outdoors" (relaxing in the forest) .
  • feature vectors are determined from all sensors of the hearing aid, i.e. on the basis of the recorded audio signals (microphones) and also other sensor signals, which are mapped into the display space; Acoustic feature vectors, which are mapped into the acoustic representation space, are determined from the recorded audio signals.
  • the marked acoustic representative vector for the noise "rustling newspaper” can in particular form a first subgroup of acoustic representative vectors and thus a first area in the acoustic representation space, another acoustic representative vector for the noise "rustling in the leaves" the second area.
  • the user can now select such a similar noise in the visualization and then receives the marked representative vector as well as the corresponding, acoustically similar representative vector displayed in the ("full") display space and can recognize from their positions whether they are located there in distinguishable regions.
  • One region then represents the situation 'at home', the other, for example, 'in the forest'. If this distinguishability is given beyond the acoustic similarity, then the signal processing is specifically adapted for one surrounding situation ('at home'), but not that of the other surrounding situation ('in the forest').
  • a hearing system is preferably used which has a hearing device, in particular a hearing device and / or a hearing aid and / or headphones, as well as a computing unit and in particular a visualization device.
  • the definition of the first region for the first environmental situation in the training phase is preferably carried out by the first user of a hearing system and stored in a cloud server, with the said definition by the second user being a comparable one for the application for the application phase, in particular with regard to the Hearing device identical hearing system is downloaded from the cloud server into the hearing system.
  • a correction to the definition of the first region and / or to the specification for the at least one value of a setting of the signal processing of the hearing system is preferably made in the application phase by a user input, the corrected first region or the corrected value of the Signal processing setting is used.
  • the user can on the one hand subsequently adjust the definition of the at least one setting of the signal processing made in advance for a first environmental situation, and on the other hand also carry out the assignment of e.g. a noise to an environmental situation or delete such an assignment afterwards.
  • each of the feature vectors is mapped onto an associated representative vector in a one-dimensional display space, with a first interval in the display space being defined as the first region for the first environmental situation of the hearing system on the basis of a spatial distribution of the end points of a subgroup of representative vectors.
  • a one-dimensional display space can be advantageous in particular for a comparatively low number of features (for example a six-dimensional feature space).
  • the invention also mentions a hearing system comprising a hearing device, in particular a hearing aid, hearing aid or headphones, and an auxiliary device with a computer unit, in particular a processor unit of a smartphone or tablet, the hearing system being set up to carry out the method described above.
  • a hearing system comprising a hearing device, in particular a hearing aid, hearing aid or headphones, and an auxiliary device with a computer unit, in particular a processor unit of a smartphone or tablet, the hearing system being set up to carry out the method described above.
  • the hearing system according to the invention shares the advantages of the method according to the invention. The advantages specified for the method and for its further developments can be applied analogously to the hearing system.
  • the hearing system preferably comprises a visualization device and / or an input device for user input.
  • the visualization device and the input device are implemented by a touchscreen of a smartphone or tablet, which can be connected to the hearing device for data transmission.
  • a coloring of points can correspond to markings with which individual feature vectors have been provided. If the markings indicate a usage situation or an environmental situation, the coloring reflects this accordingly.
  • a method for environment-dependent operation of a hearing system 1 is shown schematically in a block diagram, the hearing system in the present case being formed by a hearing device 3 configured as a hearing device 2 and an auxiliary device 5 configured as a smartphone 4.
  • the hearing device 3 has at least one electro-acoustic input transducer 6 , which in the present case is designed as a microphone and generates an audio signal 7 from ambient sound.
  • the hearing device 3 has further sensors 8 which generate additional sensor signals 9.
  • the sensors 8 can include, for example, an acceleration sensor or a temperature sensor.
  • a training phase 10 of the method environmental data are now determined for a plurality of survey times T1, T2, T3 in each case on the basis of the audio signal 7 and the sensor signal 9.
  • the acoustic environment data 12 include: a 4 Hz modulation; an onset mean; an autocorrelation function; a level for deep and mean frequencies of a noise background and a centroid of the noise background; a stationarity; a wind activity; a broadband maximum level; own voice activity.
  • Movement-related environmental data 14 are also generated from the sensor signal 9, which in this case include the measured instantaneous accelerations in the three spatial directions.
  • acoustic environment data 12 and / or movement-related environment data 14 or other, in particular location-related and / or biometric environment data can generally be included as environment data 15, for example magnetic field sensors, other cell phone and / or smartwatch sensors, a gyroscope, pulse measurement, a PPG -Measurement (photoplethysmogram), an electrocardiogram (EKG), a detection of stress by measuring the heartbeat and its variation, a light sensor, a barometer, a listening effort or a hearing activity (for example, via an "auditory attention" using an EEG measurement ), a measurement of eye or head movements through muscle activity (EMG), location information via GPS, WLAN information, geo-fencing or Bluetooth beacons for the current location or area.
  • environment data 15 for example magnetic field sensors, other cell phone and / or smartwatch sensors, a gyroscope, pulse measurement, a PPG -Measurement (photoplethysmogram), an electrocardiogram (EKG), a
  • acoustic environment data 12 in this case ten different types of data
  • buffering 16 takes place for the period between two survey times T1, T2, T3 (the signals mentioned are aborted for a survey at survey time T1 buffered at a start time T0).
  • a mean value Mn, a variance Var and a mean value passage rate MCR are then formed for each individual type of acoustic environment data 12 and movement-related environment data 14.
  • the mentioned statistical variables Mn, Var, MCR of the individual acoustic environment data 12 and the movement-related environment data 14 over the buffered period between two survey times T1, T2, T3 each form environmental features for the survey time T1, T2, T3 at the end of the buffering period 16, and each mapped to a high-dimensional feature vector M1, M2, M3 in a high-dimensional feature space 18.
  • the high dimensionality, eg 39D for three statistical features each from ten acoustic and three movement-related environmental data is only indicated here by the number of axes on the diagrams of the feature space 18 for the individual feature vectors M1, M2, M3.
  • Each of the feature vectors M1, M2, M3 is now mapped from the feature space 18 onto a corresponding representative vector R1, R2, R3 in a two-dimensional representation space 20.
  • the mapping takes place, for example, by means of a t-SNE optimization method (t-Distributed Stochastic Neighbor Embedding).
  • a so-called perplexity parameter defines a number of the effective neighbors of the feature vectors, that is, the perplexity parameter determines how many neighbors have an influence on a final position of the corresponding representative vector in the two-dimensional representation space 20 (this parameter can, for example, have a value of 50 or in the order of 1/100 of the number of feature vectors). Then, for all pairs of high-dimensional feature vectors, probability measures are calculated once for the fact that two relevant feature vectors are to be identified as closest neighbors in the high-dimensional feature space. This represents an initial situation.
  • representative vectors R1, R2, R3 are thus generated in the two-dimensional display space 20 from the feature vectors M1, M2, M3 of the feature space 18 using the mapping rule described above.
  • a user of the hearing system 1 can now have the display space 20 displayed on his auxiliary device 5 (on the screen 21 of the smartphone 4) and, for example, define a coherent area 22 as the first region 24, which corresponds to a specific first environmental situation 25 in his use of the hearing system 1 corresponds.
  • the user can now assign a specific setting 26 for signal processing of the audio signal 7 in the hearing apparatus 3 to said first region 24, for example gain and / or compression values and parameters for each frequency band, or control parameters for noise suppression or the like with the assignment of setting 26 the signal processing to the first region 24 (and thus to the present first environmental situation 25, as it is characterized by the values of the environmental data 15 in the individual feature vectors M1, M2, M3), the training phase 10 can be viewed as completed for a specific environmental situation.
  • a plurality of training phases 10 for different environmental situations are preferably carried out.
  • the same environmental data 15 are now collected from the audio signal 7 of the hearing device 3 and from the sensor signal 9 at an application time T4 as in the training phase, and from this in the same way a feature vector M4 is correspondingly based on the values determined at the application time T4 formed in the high-dimensional feature space 18.
  • the values can be formed from the mean value Mn, the variance Var and the mean value passage rate MCR of the acoustic and movement-related data 12, 14 collected over a short period of time (e.g. 60 seconds or the like) before the application time T4.
  • the feature vector M4 for the application time T4 is now mapped onto a representative vector R4 in the display space 20.
  • a corresponding mapping takes place in the application phase 30 by means of an approximation mapping (for example a so-called “out-of-sample extension”, OOS kernel).
  • OOS kernel an approximation mapping
  • This can be done via a regression, by means of which a mapping based on a large number of feature vectors of the feature space 18 (e.g. 80% of the feature vectors) to corresponding representative vectors of the representation space 20 is "learned", and remaining feature vectors (i.e. then e.g.
  • a kernel function can then be determined which contains local distance relationships between the said feature and representative vectors in their respective spaces (feature or representation space).
  • a new, unknown feature vector from the feature space 18 can thus be mapped onto an associated representative vector in the display space 20 by obtaining the local distance relationships between the known "learning vectors".
  • the hearing apparatus 3 is operated accordingly with the settings 26 for the signal processing of the audio signal 26, and the previously defined gain and / or compression values and parameters, or control parameters of noise suppression, are applied to the audio signal 7.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems (1), wobei in einer Trainingsphase (10) zu einer Mehrzahl an Erhebungszeitpunkten (T1, T2, T3) jeweils Werte für eine erste Mehrzahl an Umgebungsdaten (15) eines ersten Benutzers des Hörsystems (1) ermittelt wird, und anhand der Werte der Umgebungsdaten (15) für jeden der Erhebungszeitpunkte (T1, T2, T3) jeweils ein Merkmalsvektor (M1, M2, M3) in einem wenigstes vierdimensionalen, insbesondere mindestens sechsdimensionalen Merkmalsraum (18) gebildet wird, jeder der Merkmalsvektoren (M1, M2, M3) jeweils auf einen zugehörigen Repräsentantenvektor (R1, R2, R3) in einem maximal dreidimensionalen, insbesondere zweidimensionalen Darstellungsraum (20) abgebildet wird, und anhand einer räumlichen Verteilung einer Untergruppe von Repräsentantenvektoren (R1, R2, R3) eine erste Region (24) im Darstellungsraum (20) für eine erste Umgebungssituation (25) des Hörsystems (1) definiert wird, wobei für die erste Umgebungssituation (25) wenigstens ein Wert einer Einstellung (26) für eine Signalverarbeitung des Hörsystems (1) vorgegeben wird, und wobei in einer Anwendungsphase (30) zu einem Anwendungszeitpunkt (T4) Werte für die erste Mehrzahl an Umgebungsdaten (15) des ersten Benutzers oder eines zweiten Benutzers des Hörsystems (1) ermittelt werden und anhand der Werte der Umgebungsdaten (15) ein entsprechender Merkmalsvektor (M4) für den Anwendungszeitpunkt (T4) gebildet wird, anhand der ersten Region (24) des Darstellungsraumes (20) und anhand des Merkmalsvektors (T4) für den Anwendungszeitpunkt (T4) ein Vorliegen der ersten Umgebungssituation (25) erkannt wird, und der wenigstens eine Wert der Signalverarbeitung des Hörsystems (1) entsprechend seiner Vorgabe für die erste Umgebungssituation (25), insbesondere automatsch, eingestellt wird, und das Hörsystem (1) mit dem so eingestellten wenigstens einen Wert betrieben wird.

Description

  • Die Erfindung betrifft ein Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems, wobei in einer Trainingsphase zu einer Mehrzahl an Erhebungszeitpunkten jeweils Werte für eine erste Mehrzahl an Umgebungsdaten eines ersten Benutzers des Hörsystems ermittelt wird, und anhand der Werte der Umgebungsdaten für jeden der Erhebungszeitpunkte jeweils ein Merkmalsvektor in einem Merkmalsraum gebildet wird, wobei für eine erste Umgebungssituation wenigstens ein Wert einer Einstellung für eine Signalverarbeitung des Hörsystems vorgegeben wird, und wobei in einer Anwendungsphase zu einem Anwendungszeitpunkt Werte für die erste Mehrzahl an Umgebungsdaten des ersten Benutzers oder eines zweiten Benutzers des Hörsystems ermittelt werden und anhand der Werte der Umgebungsdaten ein entsprechender Merkmalsvektor für den Anwendungszeitpunkt gebildet wird, und der wenigstens eine Wert der Signalverarbeitung des Hörsystems entsprechend seiner Vorgabe für die erste Umgebungssituation eingestellt wird, und das Hörsystem mit dem so eingestellten wenigstens einen Wert betrieben wird.
  • In Hörsystemen wird einem Benutzer ein Schallsignal zum Hören bereitgestellt, welches auf der Basis eines elektrischen Audiosignals erzeugt wird, das seinerseits eine akustische Umgebung des Benutzers repräsentiert. Ein wichtiger Fall eines Hörsystems ist hierbei ein Hörgerät, mittels dessen eine Hörschwäche des Benutzers durch eine insbesondere frequenzbandabhängige Signalverarbeitung des Audiosignals möglichst korrigiert werden soll, um so bevorzugt Nutzsignale in einem Umgebungsschall für den Benutzer besser hörbar zu machen. Hörgeräte können dabei in verschiedenen Bauformen, z.B. BTE, ITE, CIC, RIC oder weiteren Formen, gegeben sein. Eine hierzu ähnliche Art von Hörsystem ist durch ein Hörhilfegerät wie z.B. ein Cochlea-Implantat oder Knochenleithörer gegeben. Weitere Hörsysteme können aber auch durch PSADs (Personal Sound Amplification Devices: Hörhilfesysteme, die von normal hörenden Personen genutzt werden) sowie Headsets oder Kopfhörer, insbesondere mit aktiver Rauschunterdrückung ("active noise cancelling") gegeben sein.
  • Ein Betrieb eines Hörsystems in Abhängigkeit der Umgebung ist insbesondere für Hörgeräte bekannt. Hierbei wird eine Einstellung der Signalverarbeitung des Audiosignals in Abhängigkeit einer Hörsituation festgelegt, wobei Hörsituationen durch standardisierte Gruppen von akustischen Umgebungen mit bestimmten vergleichbaren akustischen Merkmalen gegeben sind. Wird anhand des Audiosignals erkannt, dass eine der standardisierten Gruppen vorliegt, so wird das Audiosignal mit den entsprechenden, vorab für diese Gruppe von akustischen Umgebungen festgelegten Einstellungen verarbeitet.
  • Die Definition der Hörsituationen erfolgt dabei oftmals vorab nach fest für einzelne akustisch messbare Merkmale vorgegebenen Kriterien, z.B. werksseitig. Für die vorgegebenen Hörsituationen werden oftmals Voreinstellungen der jeweils zugehörigen Signalverarbeitung vorgegeben, welche durch den Benutzer noch individuell angepasst werden können.
  • Das akustische Erkennen der einzelnen Hörsituationen ist jedoch zum einen eine komplexe und ggf. fehlerbehaftete Angelegenheit, da eine akustische Umgebung ggf. nicht exakt die akustischen Merkmale aufweist, welche die entsprechende Hörsituation eigentlich erfordern würde (z.B. eine "Cocktail Party" im Freien in der Nähe einer Straße o.ä.). Zum anderen ist es für einen Benutzer infolge der Vielzahl an Merkmalen, welche zur Unterscheidung einzelner akustischer Umgebungen voneinander und zu einer entsprechenden Zuordnung der Hörsituationen ausgewertet werden, schlicht kaum möglich, sinnvoll selbst Definitionen von Hörsituationen vorzunehmen, welche auf seinen Alltag ideal abgestimmt sind. Infolgedessen ist der Benutzer diesbezüglich meist auf die vorgegebenen Definitionen von Hörsituationen angewiesen.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren anzugeben, mittels dessen ein Benutzer ein Hörsystem einerseits umgebungsabhängig betreiben kann, die Umgebungen aber möglichst individuell auf den Benutzer abgestimmt werden können.
  • Die genannte Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems, wobei in einer Trainingsphase zu einer Mehrzahl an Erhebungszeitpunkten jeweils Werte für eine erste Mehrzahl an Umgebungsdaten eines ersten Benutzers des Hörsystems ermittelt wird, und anhand der Werte der Umgebungsdaten für jeden der Erhebungszeitpunkte jeweils ein Merkmalsvektor in einem wenigstes vierdimensionalen, insbesondere mindestens sechsdimensionalen Merkmalsraum gebildet wird, jeder der Merkmalsvektoren jeweils auf einen zugehörigen Repräsentantenvektor in einem maximal dreidimensionalen, insbesondere zweidimensionalen Darstellungsraum abgebildet wird, und anhand einer räumlichen Verteilung einer Untergruppe von Repräsentantenvektoren eine erste Region im Darstellungsraum für eine erste Umgebungssituation des Hörsystems definiert wird, wobei für die erste Umgebungssituation wenigstens ein Wert einer Einstellung für eine Signalverarbeitung des Hörsystems vorgegeben wird.
  • Hierbei ist vorgesehen, dass in einer Anwendungsphase zu einem Anwendungszeitpunkt Werte für die erste Mehrzahl an Umgebungsdaten des ersten Benutzers oder eines zweiten Benutzers des Hörsystems ermittelt werden und anhand der Werte der Umgebungsdaten ein entsprechender Merkmalsvektor für den Anwendungszeitpunkt gebildet wird, anhand der ersten Region des Darstellungsraumes und anhand des Merkmalsvektors für den Anwendungszeitpunkt ein Vorliegen der ersten Umgebungssituation, insbesondere automatisch, erkannt wird, und der wenigstens eine Wert der Signalverarbeitung des Hörsystems entsprechend seiner Vorgabe für die erste Umgebungssituation, insbesondere automatsch, eingestellt wird, und das Hörsystem mit dem so eingestellten wenigstens einen Wert betrieben wird. Vorteilhafte und teils für sich gesehen erfinderische Ausgestaltungen sind Gegenstad der Unteransprüche und der nachfolgenden Beschreibung.
  • In der Trainingsphase wird somit einerseits die erste Umgebungssituation anhand der Umgebungsdaten festgelegt, sowie ermittelt, wie sich die erste Umgebungssituation anhand der Umgebungsdaten von anderen Umgebungssituationen unterscheiden lässt. Des Weiteren wird eine Einstellung der Signalverarbeitung vorgegeben, welche für die erste Umgebungssituation auf ein Audiosignal des Hörsystems anzuwenden ist. In der Anwendungsphase werden die aktuell vorliegenden Werte für die entsprechenden Umgebungsdaten ermittelt, und es kann nun anhand dieser Werte der Umgebungsdaten festgestellt werden, ob die erste Umgebungssituation vorliegt. Ist dies der Fall, wird das Hörsystem mit der diesbezüglich vorgegebenen Einstellung der Signalverarbeitung betrieben.
  • In der Trainingsphase werden dabei die Werte der Umgebungsdaten zu verschiedenen Erhebungszeitpunkten ermittelt, sodass die Merkmalsvektoren, welche anhand der zu den einzelnen Erhebungszeitpunkten ermittelten Werte an Umgebungsdaten gebildet werden, repräsentativ für möglichst viele akustische Umgebungen sind. Als Umgebungsdaten sind hierbei bevorzugt akustische Umgebungsdaten zu akustischen Umgebungsgrößen wie z.B. Frequenzen eines Grundrauschens, Stationarität eines Schallsignals, Schallpegel, Modulationsfrequenzen, und dergleichen umfasst. Weiter können als Umgebungsdaten auch im weiteren Sinne "nicht-akustische" Daten z.B. zu Beschleunigungen oder sonstigen Bewegungsgrößen eines Bewegungssensors des Hörsystems, aber auch biometrische Daten, welche z.B. anhand von EEG, EMG, PPG (Photoplethysmogram), EKG o.ä. erfasst werden können, umfasst sein.
  • Die genannten Größen können dabei durch eine Hörvorrichtung des Hörsystems, also z.B. durch ein Hörgerät, und/oder durch ein weiteres Gerät des Hörsystems, z.B. ein Smartphone oder eine Smartwatch oder ein sonstiges geeignetes Gerät mit entsprechender Sensorik, gemessen werden. Das Ermitteln der Werte der Umgebungsdaten aus den gemessenen Größen kann im jeweiligen Gerät selbst - also im Hörgerät oder im Smartphone o.ä. - erfolgen, oder nach einer Übertragung z.B. vom Hörgerät bzw. von einem Headset auf das Smartphone oder ein vergleichbares Gerät des Hörsystems erfolgen. Das Messen der Größen erfolgt dabei vorzugsweise kontinuierlich bzw. quasi-kontinuierlich (also in sehr kurzen Zeitabständen, bspw. im Bereich von Sekunden), bevorzugt über einen längeren Zeitraum von z.B. einer Woche o.ä., sodass die für den Benutzer üblicherweise auftretenden Umgebungen möglichst vollständig erfasst und hierdurch quasi "kartographiert" werden.
  • Als Werte der Umgebungsdaten können die ermittelten Werte der genannten oder anderer entsprechender Größen entweder direkt in die jeweiligen Merkmalsvektoren eingehen, oder die in die Merkmalsvektoren eingehenden Werte werden durch Bildung von Mittelwert und/oder Mittelwert-Durchgangsrate und/oder Varianz oder vergleichbarer statistischer Verfahren anhand der jeweiligen Größen gebildet. Im letztgenannten Fall besteht ein Merkmalsektor vorzugsweise aus einzelnen Einträgen, welche jeweils in beschriebener Weise mittels statistischer Methoden aus den genannten akustischen Umgebungsgrößen, Bewegungsgrößen und/oder biometrischen Daten gewonnen werden. Hierbei kann zu einem Erhebungszeitpunkt jeweils der zeitliche Mittelwert bzw. die Mittelwert-Durchgangsratte bzw. die Varianz einzelner Werte einer Größe seit dem vorangegangenen Erhebungszeitpunkt gebildet werden, und als entsprechender Wert der Umgebungsdaten in den Merkmalsvektor eingehen.
  • Hierbei werden zu jedem Erhebungszeitpunkt insgesamt Werte für wenigstens vier verschiedene Merkmale, also einzelne statistische Ausprägungen verschiedener Umgebungs- und/oder Bewegungs- und/oder biometrischer Größen ermittelt. Bevorzugt werden Werte für wenigstens sechs Merkmale ermittelt. Besonders bevorzugt werden für jede einzelne Größe dieselben statistischen Ausprägungen, wie oben z.B. als Mittelwert, Mittelwert-Durchgangsrate und Varianz, als Werte der Umgebungsdaten ermittelt.
  • Um nun einem Benutzer die Möglichkeit zu geben, individuell einzelne Umgebungssituationen anhand der ermittelten "Merkmale", also der entsprechenden Merkmalsvektoren festzulegen, werden die einzelnen Merkmalsvektoren, welche ja die "Merkmale" zu einzelnen Erhebungszeitpunkten beinhalten, zunächst auf den jeweils zugehörigen Repräsentantenvektor im Darstellungsraum abgebildet. Der Darstellungsraum ist hierbei maximal dreidimensional, bevorzugt zweidimensional, sodass die Repräsentantenvektoren für eine Definition der ersten Umgebungssituation über die erste Region für den Benutzer insbesondere visualisiert werden können. Eine derartige Visualisierung des Darstellungsraumes kann dabei insbesondere auf einer geeigneten Visualisierungseinrichtung des Hörsystems erfolgen, z.B. auf einem Bildschirm eines Smartphones, welches in diesem Fall durch seine Einbindung in das Verfahren ein Teil des Hörsystems wird. Ein zweidimensionaler Darstellungsraum lässt sich dabei unmittelbar als "Karte" darstellen, ein dreidimensionaler Darstellungsraum bspw. durch zweidimensionale Schnittebenen oder dreidimensionalen "Punktewolken" o.ä., zwischen denen der Benutzer wechseln oder zoomen bzw. sich bewegen kann.
  • Die Abbildung der Merkmalsvektoren des Merkmalraumes auf die Repräsentantenvektoren des Darstellungsraumes erfolgt dabei vorzugsweise derart, dass "ähnliche Merkmalsvektoren", also Merkmalsvektoren, welche infolge einer relativen Ähnlichkeit ihrer Merkmale im Merkmalsraum vergleichsweise nahe beieinander liegen, auch im Darstellungsraum vergleichsweise nahe beieinander liegen (bezogen z.B. auf die gesamte Größe des jeweils verwendeten Raumes). Voneinander deutlich separierte Repräsentantenvektoren (oder Gruppen von Repräsentantenvektoren) im Darstellungsraum lassen dabei bevorzugt einen Rückschluss auf voneinander separierte Merkmalsvektoren (oder entsprechende Gruppen von Merkmalsvektoren) im Merkmalsraum zu, wodurch eine Unterscheidung möglich wird. Umgekehrt wird eine Unterscheidung von Gruppen von Merkmalsvektoren, mit zunehmendem Überlapp der zugehörigen, entsprechende Gruppen ihrer jeweiligen Repräsentantenvektoren im Darstellungsraum schwieriger.
  • Anhand einzelner, möglichst nahe beieinander liegender Repräsentantenvektoren kann nun im Darstellungsraum eine erste Region definiert werden. Diese Definition kann insbesondere durch den Benutzer des Hörsystems vorgenommen werden, oder auch durch eine Hilfsperson des Benutzers (z.B. einen Betreuer, Krankenpfleger etc.) erfolgen. Für die Definition wird dabei bevorzugt eine Visualisierung des Darstellungsraumes herangezogen. Insbesondere können einzelne Repräsentantenvektoren dabei noch mittels einer zusätzlichen Markierung, bspw.
  • über eine Farbdarstellung, versehen sein, welcher bevorzugt einer zusätzlichen Markierung des jeweiligen Erhebungszeitpunktes je nach Alltags-/Tagessituation o.ä. für den zugrunde liegenden Merkmalsvektor durch den Benutzer entsprechen kann. Dies kann für den Benutzer die Zuordnung der Repräsentantenvektoren vereinfachen. Die Markierung des Erhebungszeitpunktes kann dabei beispielsweise durch eine Eingabe des Benutzers erfolgen, welche global eine bestimmte Situation in seinem Tagesablauf festlegt, also z.B. zu Hause, im Auto (auf dem Weg zur Arbeit/nach Hause), im Büro, in der Kantine, beim Sport, im Garten etc.
  • Es wird nun also eine Untergruppe von Repräsentantenvektoren herangezogen, um anhand ihrer räumlichen Verteilung, insbesondere anhand des von ihnen (also von ihren entsprechenden Endpunkten im Darstellungsraum) eingeschlossenen Bereiches die erste Region zu definieren. Dieser Untergruppe von Repräsentatnenvektoren entspricht eine Gruppe von Merkmalsvektoren im Merkmalsraum, sodass hierdurch über die entsprechenden Wertebereiche der Merkmale die erste Umgebungssituation festgelegt ist.
  • Für die so definierte erste Umgebungssituation, welche vorzugsweise in Beziehung zu einer Situation im Tagesablauf des Benutzers steht, aber noch durch weitere Merkmale, insbesondere akustische Merkmale charakterisiert sein kann (z.B. unterschiedliche akustische Umgebungen im Büro oder zu Hause etc.), wird nun der wenigstens eine Wert der Einstellung für die Signalverarbeitung des Hörsystems vorgegeben. Dies erfolgt bevorzugt durch den Benutzer des Hörsystems (oder z.B. auch durch eine technisch versierte Begleit- oder Betreuungsperson). Der Benutzer begibt sich hierfür bevorzugt in die entsprechende Umgebung (z.B. in ein fahrendes Auto, drinnen zu Hause, draußen im Garten, im Büro/am Arbeitsplatz etc.) und modifiziert daraufhin, insbesondere "nach Gehör", die Signalverarbeitungseinstellungen, z.B. mittels einer Klangwaage die Höhen- oder Tiefenbetonung oder sogenannte adaptive Parameter für Wind- oder Störgeräuschunterdrückung. Grundsätzlich kommt aber auch eine Feinjustierung jedweder Parameter in Betracht, welche ein voll oder semiprofessionell ausgebildeter Akustiker typischerweise nutzt. Ebenso ist es möglich, dass die umgebungsspezifische Signalverarbeitungseinstellung, und somit die Definition der Einstellung für die erste Umgebungssituation, von einem solchen Akustiker in einer Fernanpassungssitzung vorgenommen wird.
  • Die Trainingsphase kann somit der Systematik nach in eine Analysephase und eine Definitionsphase eingeteilt werden, wobei die Analysephase das kontinuierliche Messen der betreffenden Größen, das Ermitteln der einzelnen entsprechenden Merkmalswerte zu den jeweiligen Erhebungszeitpunkten sowie eine Abbildung der Merkmalsvektoren in den Darstellungsraum umfasst, während in der Definitionsphase anhand der Repräsentantenvektoren die erste Umgebungssituation sowie der zugehörige wenigstens eine Wert der Einstellung für die Signalverarbeitung definiert wird.
  • Während einer Anwendungsphase werden die vorgenommenen Definitionen der ersten Umgebungssituation und der zugehörigen wenigstens einen Einstellung der Signalverarbeitung des Hörsystems in den Betrieb des Hörsystems eingebunden. Hierfür werden zu einem Anwendungszeitpunkt der Anwendungsphase zunächst durch das Hörsystem, insbesondere auch durch eine Hörvorrichtung des Hörsystems, dieselben Umgebungs- und/oder Bewegungs- und/oder biometrischer Größen gemessen, welche auch in der Trainingsphase zum Ermitteln der Werte an Umgebungsdaten gemessen werden. In dazu analoger Weise werden aus den gemessenen Grüßen die Werte für dieselben Arten an Umgebungsdaten und ein entsprechender Merkmalsvektor gebildet, wie in der Trainingsphase.
  • Der Merkmalsvektor für den Anwendungszeitpunkt wird nun in den Darstellungsraum abgebildet. Dies erfolgt bevorzugt mittels desselben Algorithmus wie die entsprechenden Abbildungen der Trainingsphase, oder durch ein zu dem besagten Algorithmus möglichst konsistentes Näherungsverfahren, welches insbesondere den Merkmalsvektor des Anwendungszeitpunktes auf einen Repräsentantenvektor im Darstellungsraum abbildet, für welchen Repräsentantenvektoren seiner unmittelbaren Umgebung auf solchen Merkmalsvektoren der Trainingsphase basieren, welche im Merkmalsraum auch die unmittelbare Umgebung des Merkmalsvektors des Anwendungszeitpunktes bilden.
  • Liegt nun der für den Anwendungszeitpunkt so gebildete Repräsentantenvektor in der ersten Region des Darstellungsraumes, kann darauf geschlossen werden, dass die erste Umgebungssituation vorliegt, und entsprechend die hierfür vorab definierte wenigstens Einstellung der Signalverarbeitung im Betrieb des Hörsystems verwendet werden, also z.B. auf ein Audiosignal des Hörsystems eine entsprechende, ggf. frequenzbandabhängige Verstärkung und/oder Dynamik-Kompression, Sprachsignalanhebung etc. angewandt werden.
  • Alternativ dazu können im Merkmalsraum diejenigen Bereiche identifiziert werden, welche den Merkmalsvektoren entsprechen, deren Repräsentantenvektoren im Darstellungsraum von der ersten Region umfasst sind. Die Erkennung der ersten Umgebungssituation kann dann auch anhand der besagten Bereiche im Merkmalsraum erfolgen, wenn der Merkmalsvektor für den Anwendungszeitpunkt in einem solchen Bereich liegt.
  • Insbesondere kann für die Bildung des Merkmalsvektors des Anwendungszeitpunktes eine kurzfristige zeitliche Mitteilung (etwa im Bereich von wenigen Sekunden bis einigen Minuten) oder sonstige statistische Bearbeitung erfolgen, bevorzugt derselben Art wie bei der Bildung der Merkmalsvektoren der Trainingsphase.
  • Das beschriebene Verfahren erlaubt es, die Definitionen einzelner Umgebungssitationen spezifisch auf Individuen oder spezielle Gruppen von Hörhilfeträgern anzupassen, und diese Definition zudem auch von (technisch versierten) Personen ohne audiologische oder wissenschaftliche Ausbildung vornehmen zu lassen, wobei für die Definitionen der Umgebungssituationen nur ein vergleichsweise geringer Aufwand des Hörsystems (oder einer assistierenden Begleitperson) erforderlich ist, da dies unmittelbar über die Visualisierung des vorzugsweise zweidimensionalen Darstellungsraumes erfolgen kann.
  • Hierdurch kann insbesondere der Bedarf von kleinen Benutzergruppen adressiert werden, für welche seitens eines Herstellers (oder eines anderen Lösungsanbieters) eine spezifische Definition von Umgebungssituationen zur automatischen Einstellung des Hörsystems einen zu hohen Aufwand bedeuten würde. Dadurch können Hörsysteme Klassifikatoren für die Umgebung bereitstellen, die einen Bedarf für solche Benutzergruppen gezielter zufrieden stellen, als die bislang bekannten 'stereotypischen' Klassen von Umgebungssituationen, da universalisierte Klassen wie z.B. ,im Auto', ,vor dem Fernseher' eben deswegen definiert wurden, weil überwältigend viele Benutzer von Hörsystemen sich in solchen Situation wiederfinden.
  • Da das Verfahren darüber hinaus auch geeignet ist, von technisch versierten Personen, ohne audiologische oder wissenschaftliche Ausbildung genutzt zu werden, eröffnet es die Möglichkeit, dass nicht nur ein Hersteller eines Hörsystems (wie z.B. Hörgerätehersteller), sondern andere Marktteilnehmer oder Benutzer eigene Definitionen vornehmen, z.B. auch Hörgeräteakustiker o.ä., Begleiter von Personen spezieller Berufsgruppen (z.B. von Zahnärzten, Musikern, Jägern) oder auch einzelne technisch versierte Benutzer. Somit wird der Einsatz des Verfahrens für eine größere Anzahl von Benutzern relevant, da es anteilig meist wenige Benutzer von Hörsystemen gibt, die zu umfangreichen Angaben (Eingaben z.B. in Smartphone-Apps) bereit sind, dagegen viele Benutzer, die am möglichst wenige Angaben über das Anwählen einer konkreten Funktion hinaus machen möchten, und allenfalls eine Eingabe vornehmen, wenn ihnen ein Höreindruck unangenehm oder verbesserungswürdig erscheint.
  • Insbesondere ist es insofern auch möglich, dass in der Trainingsphase die Definition der ersten Umgebungssituation durch einen ersten Benutzer des Hörsystems durchgeführt wird, während diese Definition in der Anwendungsphase durch einen zweiten Benutzer verwendet wird. Somit kann ein erster Benutzer die von ihm definierten Umgebungssituationen für entsprechende Merkmalsvektoren anderen Benutzern zum Gebrauch zur Verfügung stellen. Die Definition der zur ersten Umgebungssituation zugehörigen Einstellung der Signalverarbeitung wird bevorzugt durch denjenigen Benutzer durchgeführt, welcher das Hörsystem in der Anwendungsphase verwendet.
  • Bevorzugt wird in der Trainingsphase durch eine Benutzereingabe jeweils eine Information zu einer aktuellen Nutzungssituation des Hörsystems, insbesondere in Abhängigkeit einer abgegrenzten Situation einer Tagesroutine des ersten Benutzers des Hörsystems hinterlegt, wobei die jeweilige Information zur Nutzungssituation mit den Merkmalsvektoren und/oder den zugehörigen Repräsentantenvektoren verknüpft wird, welche anhand der während einer bestimmten Nutzersituation erhobenen Werte der Umgebungsdaten gebildet werden. Die Nutzungssituation beschreibt dabei bevorzugt eine bestimmte Situation im Tagesablauf des Benutzers, also z.B. zu Hause, im Auto (auf dem Weg zur Arbeit/nach Hause), im Büro, in der Kantine, beim Sport, im Garten etc. Durch eine zusätzliche Markierung des Merkmalsvektors bzw. des zugehörigen Repräsentantenvektors kann der Benutzer eine Zuordnung der ersten Umgebungssituation auch hinsichtlich der Nutzungssituation vornehmen.
  • Günstigerweise wird wenigstens ein Teilbereich des Darstellungsraums, insbesondere mittels eines Bildschirms visualisiert und dabei wenigstens eine Teilmenge der Repräsentantenvektoren angezeigt, wobei die erste Region im Darstellungsraum anhand einer Benutzereingabe, insbesondere hinsichtlich einer Gruppierung von visualisierten Repräsentantenvektoren, definiert wird. Der Bildschirm ist hierbei insbesondere in eine entsprechende Hilfsvorrichtung des Hörsystems integriert, wie z.B. in ein mit der Hörvorrichtung insbesondere drahtlos verbindbares Smartphone, Tablet o.ä. Der Benutzer kann dann direkt auf dem Touchscreen die einzelnen Repräsentantenvektoren in einer zwei- oder ggf. auch dreidimensionalen Darstellung (im 3D-Fall über entsprechende Schnitteben) ansehen und entsprechend zur ersten Region gruppieren.
  • Hierbei wird insbesondere für wenigstens einige der Repräsentantenvektoren, wenigstens auf eine Aktion des ersten Benutzers hin, die jeweilige Information zur Nutzungssituation visualisiert. Dies kann über eine entsprechende Farbdarstellung oder über eine Einblendung eines Labels am jeweiligen Repräsenantenvektor erfolgen.
  • Günstigerweise erfolgt zumindest in der Trainingsphase die Abbildung der Merkmalsvektoren auf die jeweils zugehörigen Repräsentantenvektoren derart, dass Abstandsrelationen von jeweils wenigstens drei Merkmalsvektoren im Merkmalsraum infolge der Abbildung wenigstens näherungsweise für Abstandsrelationen der zugehörigen drei Repräsentantenvektoren im Darstellungsraum erhalten bleiben. Dies bedeutet insbesondere, dass für jeweils drei Merkmalsvektoren mv1, mv2, mv3 mit folgender Abstandsrelation im Merkmalsraum: mv 1 − mv 2 > mv 1 − mv 3 > mv 2 − mv 3 ,
    Figure imgb0001
     die zugehörigen Repräsentantenvektoren rv1 (zu mv1), rv2 (zu mv2), rv3 (zu mv3) im Darstellungsraum die Abstandsrelation rv 1 − rv 2 > rv 1 − rv 3 > rv 2 − rv 3
    Figure imgb0002
     erfüllen. Hierdurch werden Gruppen "ähnlicher" Merkmalsvektoren, welche sich bezogen auf den gesamten im Merkmalsraum abgedeckten Bereich nur wenig voneinander unterscheiden, auf "ähnliche" Repräsentantenvektoren abgebildet, welche sich bezogen auf den gesamten im Darstellungsraum abgedeckten Bereich ebenfalls nur wenig voneinander unterscheiden.
  • Bevorzugt erfolgt die Abbildung der Merkmalsvektoren auf die jeweils zugehörigen Repräsentantenvektoren anhand einer Hauptkomponentenanalyse (PCA) und/oder einer lokal linearen Einbettung (LLE) und/oder einer Isomap-Abbildung und/oder einer Sammon-Abbildung und/oder bevorzugt anhand eines t-SNE-Algorithmus und/oder bevorzugt anhand eines selbstorganisierenden Kohonen-Netzwerks und/oder bevorzugt anhand einer UMAP-Abbildung. Die genannten Verfahren erfüllen die genannte Eigenschaft hinsichtlich der Abstandsrelationen und sind effizient implementierbar.
  • Vorteilhafterweise werden in der Anwendungsphase zu einer Mehrzahl an aufeinanderfolgenden Anwendungszeitpunkten jeweils Werte für die erste Mehrzahl an Umgebungsdaten ermittelt und anhand der Werte der Umgebungsdaten jeweils entsprechende Merkmalsvektoren für die aufeinanderfolgenden Anwendungszeitpunkte gebildet, wobei ein Vorliegen der ersten Umgebungssituation anhand der ersten Region und anhand der besagten Merkmalsvektoren für die aufeinanderfolgenden Anwendungszeitpunkte, insbesondere anhand eines Polygonzugs aus den besagten Merkmalsvektoren oder eines Polygonzugs aus den Repräsentantenvektoren, welche im Darstellungsraum den besagten Merkmalsvektoren entsprechen, erkannt wird. Insbesondere können hierbei mittels Machine Learning auch Bereiche für Merkmals- bzw. Repräsentantenvektoren außerhalb des betreffenden Polygonzugs identifiziert werden, in welchen für einen Anwendungszeitpunkt ein entsprechender Merkmals- bzw. Repräsentantenvektor zu einem Vorliegen der ersten Umgebungssituation führt.
  • Es werden z.B. immer die aktuellsten fünf Repräsentantenvektoren (der vergangenen Anwendungszeitpunkte) genommen und ein Polygonzug konstruiert, der alle Repräsentantenvektoren umfasst (einige oder alle Repräsentantenvektoren bzw. deren Endpunkte stellen dann Eckpunkte des Polygonzuges dar). Das Hörsystem wird erst dann der ersten Umgebungssituation zugeordnet und die entsprechende Einstellung der Signalverarbeitung aktiviert, wenn mindestens ein vorab definierbarer Prozentsatz der Fläche des Polygonzuges (z.B. 80%) innerhalb der ersten Region im Darstellungsraum liegt. Dadurch kann vermieden werden, dass ein einzelner "Ausreißer" eines Einzelmerkmals, der auf ein zufälliges, aber für eine Umgebung ggf. untypisches Vorkommen zurückzuführen ist, bereits zu einer geänderten Klassifikation hinsichtlich der Umgebungssituation führt.
  • Günstigerweise werden für die erste Mehrzahl an Umgebungsdaten akustische Umgebungsdaten anhand eines Signals wenigstens eines elektroakustischen Eingangswandlers, insbesondere eines Mikrofons ermittelt, und/oder bewegungsbezogene Umgebungsdaten anhand wenigstens eines Signals eines insbesondere mehrdimensional auflösenden Beschleunigungssensors und/oder eines Gyroskops und/oder eines GPS-Sensors ermittelt. Bevorzugt werden für die erste Mehrzahl an Umgebungsdaten weiter orstbezogene Umgebungsdaten anhand wenigstens eines Signals eines GPS-Sensors und/oder einer WLAN-Verbindung und/oder biometrische Umgebungsdaten anhand eines EKG-Sensors und/oder eines EEG-Sensors und/oder eines PPG-Sensors und/oder eines EMG-Sensors ermittelt. Insbesondere kann ein Sensor zur Erzeugung biometrischer Umgebungsdaten auf einer als Smartwatch ausgestalteten Hilfsvorrichtung angeordnet sein. Die genannten Sensoren sind für eine möglichst umfassende Charakterisierung einer Umgebungssituation eines Hörsystems besonders geeignet.
  • Bevorzugt wird dabei für die akustischen Umgebungsdaten das Signal des wenigstens einen elektroakustischen Eingangswandlers hinsichtlich einer Sprachaktivität des ersten bzw. zweiten Benutzers des Hörsystems und/oder hinsichtlich eines Auftretens von Wind am elektroakustischen Eingangswandler und/oder hinsichtlich eines spektralen Schwerpunkts eines Rauschhintergrundes und/oder - hinsichtlich eines Rauschhintergrundes in wenigstens einem Frequenzband und/oder hinsichtlich einer Stationarität eines Schallsignals der Umgebung und/oder hinsichtlich einer Autokorrelationsfunktion und/oder hinsichtlich einer Modulationstiefe bei einer gegebenen Modulationsfrequenz, welche bevorzugt 4 Hz und maximal 10 Hz beträgt, und/oder hinsichtlich eines Einsetzens einer Sprachaktivität, insbesondere einer eigenen Sprachaktivität des Benutzers, analysiert.
  • Günstigerweise werden als Werte der Umgebungsdaten für einen Erhebungszeitpunkt und/oder den Anwendungszeitpunkt jeweils ein Mittelwert und/oder eine Varianz und/oder eine Mittelwert-Durchgangsrate und/oder ein Wertebereich und/oder ein Median der jeweiligen Umgebungsdaten, insbesondere bezogen auf einen Zeitraum zwischen dem jeweiligen Erhebungszeitpunkt und einem unmittelbar vorangehenden Erhebungszeitpunkt bzw. auf einen Zeitraum zwischen dem Anwendungszeitpunkt und einem unmittelbar vorangehenden Anwendungszeitpunkt, ermittelt. Mittels dieser Daten lässt sich eine Umgebungssituation eines Hörsystems besonders umfassend charakterisieren.
  • Bevorzugt wird während eines Erhebungszeitpunktes mittels des wenigstens einen elektroakustischen Eingangswandlers ein Mittschnitt eines Schallsignals der Umgebung erfolgt, und dem Merkmalsvektor sowie dem entsprechenden Repräsentantenvektor für den Erhebungszeitpunkt zugeordnet, wobei auf eine Benutzereingabe hin der Mittschnitt über wenigstens einen Ausgangswandler des Hörsystems, insbesondere über einen Lautsprecher, wiedergegeben wird. So kann der Benutzer zusätzlich erkennen, welches konkrete akustische Ereignis - also welches Geräusch - einem Repräsentantenvektor zugrunde liegt, und dies für die Definition der ersten Region heranziehen.
  • Günstigerweise werden anhand der akustischen Umgebungsdaten jeweils einzelne Vektorprojektionen der Merkmalsvektoren der Erhebungszeitpunkte in einen akustischen Merkmalsraum gebildet, wobei die Vektorprojektionen des akustischen Merkmalsraumes jeweils auf akustische Repräsentantenvektoren in einem maximal dreidimensionalen, insbesondere zweidimensionalen akustischen Darstellungsraum abgebildet werden, wobei im akustischen Darstellungsraum eine zweite Region für die erste Umgebungssituation des Hörsystems definiert wird, und wobei ein Vorliegen der ersten Umgebungssituation zusätzlich anhand der zweiten Region des akustischen Darstellungsraumes, insbesondere durch einen Vergleich mit einer Abbildung des Merkmalsvektors des Anwendungszeitpunktes in den akustischen Darstellungsraum, erkannt wird.
  • Es mag sein, dass sich der Benutzer des Hörsystems in einer Umgebung aufhält, in der ihn bestimmte kurze Geräusche stören, so dass er für diese Umgebung Signalverarbeitungseinstellungen bevorzugt, die diese Geräusche dämpfen. Ein typisches Beispiel ist das Schlagen eines Löffels an eine Kaffeetasse oder, vergleichbar, das schrille Klappern von Geschirr. Es gibt hierfür unterschiedliche Möglichkeiten, etwa, die Verstärkung hoher Frequenzen etwas zu reduzieren, die Dynamikkompression im hohen Frequenzbereich zu erhöhen oder eine Signalverarbeitung zu aktivieren, die gezielt plötzlich auftretende Schallspitzen abmildert.
  • Wenn nun der Benutzer exemplarisch einmal einen Repräsentantensvektor markiert, welcher auf der plötzlich eintretenden Schallspitze des an die Kaffeetasse schlagenden Löffels beruht, dann kann der Benutzer in einer visualisierten Darstellung die Markierung des entsprechenden Repräsentantenvektors auffinden.
  • Dieser ist in jenem Bereich des Darstellungsraumes zu erwarten, in dem die Repräsentantenvektoren einer Nutzungssituation ,zu Hause' liegen, nicht aber in Nutzungssituationen wie ,Büro' oder ,im Auto'. Der Benutzer könnte nun für die Nutzungssituation ,zu Hause' eine der genannten Änderungen festlegen, z.B. eine erhöhte Dynamikkompression im hohen Frequenzbereich. Bevor er dies vornimmt, ist eine Überprüfung sinnvoll, ob es andere, ähnliche Geräusche gibt, die sich auf Grund der geänderten Signalverarbeitungseinstellungen ebenfalls anders anhören könnten.
  • Hierbei kann der Benutzer von einer Darstellung des entsprechenden akustischen Repräsentantenvektors, welcher eine Projektion des entsprechenden akustischen Merkmalsvektors der akustischen Merkmale darstellt, im akustischen Darstellungsraum profitieren, um so die erste Umgebungssituation zusätzlich oder auch allein anhand der Darstellung der rein akustischen Umgebung im akustischen Darstellungsraum den entsprechenden zweiten Bereich vornehmen zu können.
  • Bevorzugt können dazu der Darstellungsraum unter entsprechender Hervorhebung des für das Schallereignis relevanten Repräsentantenvektors sowie der akustische Darstellungsraum mit dem entsprechenden akustischen Repräsentantenvektor zeitgleich, z.B. nebeneinander, visualisiert werden.
  • Diese Darstellung bietet für den Benutzer den Vorteil, dass in der Darstellung der akustischen Repräsentantenvektoren Schallereignisse (also Geräusche) erkannt werden können, die dem markierten Merkmal sehr ähnlich sind ("Türglocke") - eben furch eine relative Nähe der entsprechenden akustischenRepräsentantenvektoren. Auch die "vollen" Repräsentantenvektoren (welche zusätzlich auf nichtakustischen Daten beruhen) beider Schallereignisse ("Löffel an Kaffeetasse" und "Türglocke") sind dabei mutmaßlich in der gleichen Region des Darstellungsraumes zu finden sind und insbesondere derselben Nutzungssituation zugeordnet ("zu Hause").
  • Wenn nun der Benutzer für den ersten zweiten Bereich des Darstellungsraumes bzw. des akustischen Darstellungsraumes und somit für die so definierte erste Umgebungssituation eine Einstellung der Signalverarbeitung vornimmt, wodurch spontan auftretende, hell klingende Töne ("Kaffeetasse") z.B. gedämpft werden, dann kann er infolge des akustischen Darstellungsraumes erkennen, dass ähnliche Geräusche ("Türglocke" oder auch "Rauchmelder") ebenfalls gedämpft werden, wodurch er ggf. eine Abwägungsentscheidung treffen kann, eine Dämpfung evtl. nicht vollständig durchzuführen, um derartige Geräusche nicht zu überhören.
  • Als weiter vorteilhaft erweist es sich, wenn die erste Umgebungssituation zusätzlich anhand einer ersten Nutzungssituation definiert wird, und für die erste Umgebungssituation ein erster Wert der Einstellung für die Signalverarbeitung des Hörsystems vorgegeben wird, und eine zweite Umgebungssituation anhand einer zweiten Nutzungssituation definiert wird, und ein entsprechender zweiter Wert der besagten Einstellung vorgegeben wird, wobei insbesondere die zweite Region, welche im akustischen Darstellungsraum der ersten Umgebungssituation entspricht, mit der zweiten Region, welche im akustischen Darstellungsraum der zweiten Umgebungssituation entspricht, zumindest teilweise überlappt, wobei ein Vorliegen der ersten oder der zweiten Umgebungssituation anhand einem Vorliegen der ersten bzw. zweiten Nutzungssituation erkannt wird, und daraufhin der erste bzw. zweite Wert der Signalverarbeitung des Hörsystems entsprechend seiner Vorgabe für die erste bzw. zweite Umgebungssituation eingestellt wird.
  • Dies bedeutet insbesondere, dass der Benutzer in die Lage versetzt wird, ähnliche Geräusche zu identifizieren, welche aber in unterschiedlichen Umgebungen und insbesondere unterschiedlichen Nutzungssituationen entstanden sind. Abhängig von der Nutzungssituation kann der Benutzer des Hörsystems für bestimmte, ähnliche Geräusche unterschiedliche Signalverarbeitungseinstellung bevorzugen.
  • Als Beispiel sei hier ein Jäger genannt, welcher das Rascheln einer Zeitung möglicherweise als unangenehm laut empfindet, wogegen er auf der Jagd jedes Rascheln im Laub gerne hören möchte. In der Trainingsphase wird das Rascheln der Zeitung als unangenehm markiert, das Rascheln im Laub ist aber nicht markiert. Sofern die Geräusche zwar akustisch sehr ähnlich sind, jedoch sonst unterscheidbar sind, kann der Benutzer unterschiedliche Umgebungssituationen und somit unterschiedliche Einstellungen der Signalverarbeitung definieren. Ein Wunsch nach unterschiedlicher Behandlung von verschiedenem "Rascheln" kann z.B. bei den verschiedenen Nutzungssituationen "zu Hause" (z.B. Zeitung lesen) bzw. "Arbeit/Büro" (Kollege blättert in Dokumenten) vs. "im Freien" (Entspannen im Wald) entstehen.
  • Die Möglichkeit nach unterschiedlicher Behandlung wird dann insbesondere bereitgestellt, in dem in der Trainingsphase aus allen Sensoren des Hörgerätes, d.h. anhand der aufgenommenen Audiosignale (Mikrofone) und auch anderen Sensorsignalen Merkmalsvektoren ermittelt werden, welche in den Darstellungsraum abgebildet werden; aus den aufgenommenen Audiosignalen werden akustische Merkmalsvektoren ermittelt, welche in den akustischen Darstellungsraum abgebildet werden.
  • Anhand eines markierten akustischen Repräsentantenvektors kann der Benutzer erkennen, dass er eine geänderte Signalverarbeitung wünscht (z.B. ist "Zeitungsrascheln" markiert), aber erhält über den akustischen Darstellungsraum, die Information, dass es noch sehr ähnliche Geräusche (hier: Rascheln im Laub). Der markierte akustische Repräsentantenvektor zum Geräusch "Zeitungsrascheln" kann dabei insbesondere eine erste Untergruppe der akustischer Repräsentantenvektoren und somit einen ersten Bereich im akustischen Darstellungsraum bilden, ein anderer akustischer Repräsentantenvektor zum Geräusch "Rascheln im Laub" den zweiten Bereich.
  • Der Benutzer kann nun ein solches ähnliches Geräusch in der Visualisierung selektieren und erhält daraufhin im ("vollen") Darstellungsraum den markierten Repräsentantenvektor wie auch den entsprechenden, akustisch ähnlichen Repräsentantenvektor angezeigt und kann anhand ihrer Positionen erkennen, ob sie dort in unterscheidbaren Regionen liegen. Die eine Region repräsentiert dann die Situation ,zu Hause ', die andere z.B. ,im Wald'. Wenn diese Unterscheidbarkeit über die akustische Ähnlichkeit hinaus gegeben ist, dann wird gezielt die Signalverarbeitung für die eine Umgebungssituation (,zu Hause'), aber nicht die der anderen Umgebungsituation (,im Wald') angepasst.
  • Vorzugsweise wird ein Hörsystem verwendet, welches eine Hörvorrichtung, insbesondere ein Hörgerät und/oder ein Hörhilfegerät und/oder einen Kopfhörer sowie eine Recheneinheit und insbesondere eine Visualisierungseinrichtung aufweist.
  • Bevorzugt wird dabei die Definition der ersten Region für die erste Umgebungssituation in der Trainingsphase durch den ersten Benutzer eines Hörsystems erfolgt und in einem Cloud-Server gespeichert, wobei für die Anwendungsphase die besagte Definition durch den zweiten Benutzer eines für die Anwendung vergleichbaren, insbesondere hinsichtlich der Hörvorrichtung baugleichen Hörsystems aus dem Cloud-Server in das Hörsystem heruntergeladen wird. Hierdurch werden einzelner Umgebungssituationen, welche Benutzer treffen, für andere Benutzer verwendbar.
  • Bevorzugt wird in der Anwendungsphase durch eine Benutzereingabe eine Korrektur an der Definition der ersten Region und/oder an der Vorgabe für den wenigstens einen Wert einer Einstellung der Signalverarbeitung des Hörsystems vorgenommen, wobei daraufhin in der Anwendungsphase die korrigierte erste Region bzw. der korrigierte Wert der Einstellung der Signalverarbeitung verwendet wird. Hierdurch kann der Benutzer einerseits die für eine erste Umgebungssituation vorab getroffene Definition der wenigstens einen Einstellung der Signalverarbeitung nachträglich anpassen, und andererseits auch die Zuordnung z.B. eines Geräusches zu einer Umgebungssituation noch nachträglich vornehmen bzw. eine solche Zuordnung auch nachträglich löschen.
  • Günstigerweise wird jeder der Merkmalsvektoren jeweils auf einen zugehörigen Repräsentantenvektor in einem eindimensionalen Darstellungsraum abgebildet, wobei anhand einer räumlichen Verteilung der Endpunkte einer Untergruppe von Repräsentantenvektoren ein erstes Intervall im Darstellungsraum als erste Region für die erste Umgebungssituation des Hörsystems definiert wird. Ein eindimensionaler Darstellungsraum kann insbesondere für eine vergleichsweise niedrige Anzahl an Merkmalen (z.B. einem sechsdimensionalen Merkmalsraum) von Vorteil sein.
  • Die Erfindung nennt weiter ein Hörsystem, umfassend eine Hörvorrichtung, insbesondere ein Hörgerät, Hörhilfegerät oder einen Kopfhörer, und eine Hilfsvorrichtung mit einer Rechnereinheit, insbesondere einer Prozessoreinheit eines Smartphones oder Tablets, wobei das Hörsystem zur Durchführung des vorbeschriebenen Verfahrens eingerichtet ist. Das erfindungsgemäße Hörsystem teilt die Vorzüge des erfindungsgemäßen Verfahrens. Die für das Verfahren und für seine Weiterbildungen angegebenen Vorteile können sinngemäß auf das Hörsystem übertragen werden.
  • Bevorzugt umfasst das Hörsystem eine Visualisierungseinrichtung und/oder eine Eingabeeinrichtung für eine Benutzereingabe. Insbesondere sind dabei die Visualisierungseinrichtung und die Eingabeeinrichtung durch einen Touchscreen eines Smartphones oder Tablets implementiert, welches mit der Hörvorrichtung zur Datenübertragung verbindbar ist.
  • Das Hörsystem umfasst in einer bevorzugten Ausgestaltung folgende Teile:
    • Eine Hörvorrichtung, vorzugsweise gegeben durch ein Hörgerät, insbesondere eingerichtet zur Aufnahme eines Audiosignals mittels wenigstens eines eingebauten Mikrofons, sowie bevorzugt mit einem oder mehreren Sensoren wie z.B. einem Beschleunigungssensor und/oder Gyroskop, welche "nicht-akustische" Umgebungsdaten aufnehmen. Die Hörvorrichtung ist bevorzugt zur Erstellung des Merkmalsvektors aus den Umgebungsdaten und insbesondere zur Erstellung eines akustischen Merkmalsvektors aus den akustischen Umgebungsdaten eingerichtet.
    • Eine Hilfsvorrichtung, welche die Visualisierungseinrichtung und die Eingabeeinrichtung umfasst, und bevorzugt durch ein Smartphone oder ein Tablet gegeben ist. Insbesondere umfasst die Hilfsvorrichtung weitere Sensoren zur Ermittlung von Umgebungsdaten (z.B. Lokalisierungsdaten basierend auf GPS), wobei die Hilfsvorrichtung bevorzugt mittels einer drahtlosen Verbindung zur Übertragung dieser Umgebungsdaten an die Hörvorrichtung oder zum Empfang der Umgebungsdaten des Hörgerätes sowie zum Erstellen der genannten Merkmalsvektoren eingerichtet ist.
  • Des Weiteren sind im Hörsystem bevorzugt einzelne modulare Funktionen bzw. Bestandteile implementiert, welche die Durchführung des vorbeschriebenen Verfahrens ermöglichen. Diese modularen Funktionen umfassen insbesondere
    • Ein Software-Eingabemodul, welches ein User-Interface zur Verfügung stellt, an dem der Benutzer konkrete Umgebungssituationen, aber auch Nutzungssituationen anlegen und mit einer entsprechenden Markierung versehen kann ("zu Hause", "im Auto", "im Büro", "in der Kantine", "Fernsehen", "Fahrrad fahren", "im Musikzimmer"), angeben kann, dass er sich nun in einer der angelegten Nutzungssituationen befindet oder eine solche verlässt, konkrete Ereignisse anlegen und mit einer Markierung versehen kann ("Zahnarztbohrer", "Sauger", "Zeitungsrascheln", "Musikinstrumente spielen"), sowie angeben kann, ob ein angelegtes Ereignis soeben eintritt;
    • ein Dimensionsreduktionsmodul, welches die in der Trainingsphase gesammelten Merkmalsvektoren in den 2-dimensionalen (oder 3-dimentionalen oder auch eindimensionalen) Darstellungsraum abbildet. Das Dimensionsreduktionsmodul kann dabei insbesondere in unterschiedlichen Varianten implementiert werden, nämlich über eine Implementierung des t-SNE- Optimierungsverfahren, als UMAP, PCA, oder als Kohonen-Netz, welches Eingangsseitig die hochdimensionalen Merkmalsvektoren entgegennimmt und Ausgangsseitig 2-dimensionale (oder 3-dimensionale) Repräsentantenvektoren ausgibt. Das Dimensionsreduktionsmodul kann auf der Hörvorrichtung, auf einem Smartphone als Hilfsvorrichtung, oder auf einem zusätzlichen Rechner wie einem PC/Laptop implementiert sein.
  • Wenn das Optimierungsverfahren t-SNE eingesetzt wird, ist es vorteilhaft, das Dimensionsreduktionsmodul bevorzugt auf dem Smartphone als Hilfsvorrichtung oder auf einem PC/Laptop zu implementieren, da dort leistungsfähige Prozessoren für die Berechnung bereitstehen. Das Kohonen-Netz kann entweder als spezialisierte Hardware auf einer ASIC der Hörvorrichtung implementiert sein, oder auf einem neuromorphen Chip der Hörvorrichtung, welcher als Kohonen-Netz konfiguriert ist, aber auch für andre Aufgaben konfiguriert werden kann. Das Kohonen-netz kann auch auf der Hilfsvorrichtung implementiert sein;
    • ein Merkmalseditor zur Darstellung von Vektoren eines insbesondere 2-dimensionalen Raumes als Punkte oder auch Pfeile in einer Fläche auf einem Display oder Bildschirm, zur Hervorhebung von Punkten entsprechend einer Markierung des dargestellten Vektors, z.B. durch eine entsprechende Einfärbung, zur Textdarstellung von Eigenschaften einzelner Punkte, z.B. durch entsprechende Textfelder direkt neben einem Punkt, und zur Darstellung von zwei insbesondere 2-dimensionalen Räumen nebeneinander (einem Darstellungsraum und einem akustischen Darstellungsraum der entsprechenden Repräsentantenvektoren).
  • Eine Einfärbung von Punkten kann dabei Markierungen entsprechen, mit denen einzelne Merkmalsvektoren versehen wurden. Wenn die Markierungen eine Nutzungssituation oder eine Umgebungsituation angeben, spiegelt die Einfärbung dies entsprechend wider.
  • Sobald der Benutzer einen Punkt (Repräsentantenvektor) des akustischen Darstellungsraumes selektiert, kann der korrespondierende Punkt des ("vollen" Darstellungsraumes optisch hervorgehoben werden. Der Benutzer kann so erkennen, ob zwei einander ähnliche akustische Ereignisse, z.B. Zeitungsrascheln und Rascheln im Laub, welche im akustischen Merkmalsraum nahe beieinander liegen, durch die Dimensionsreduktion unter Einbeziehung von weiteren Umgebungsmerkmalen voneinander unterscheidbaren Umgebungsituationen zugeordnet werden können, z.B. ,zu Hause' oder ,im Wald', denn dann liegen die korrespondierenden Repräsentantenvektoren des Darstellungsraumes in unterschiedlichen Regionen. Der Merkmalseditor kann insbesondere auf der Hilfsvorrichtung implementiert sein.
    • ein Abbildungsmodul, welches in der Anwendungsphase Merkmalsvektoren in den 2- bzw. 3-dimensionalen Darstellungsraum abbildet. Das Abbildungsmodul ist bevorzugt in der Hörvorrichtung selbst implementiert, kann aber auch auf der Hilfsvorrichtung (bevorzugt als Smartphone gegeben) implementiert sein, und das Resultat der besagten Abbildung an die Hörvorrichtung übertragen. Sofern das Dimensionsreduktionsmodul ein t-SNE-Verfahren einsetzt, wird ein Merkmalsvektor mit einer Näherungsfunktion in den Darstellungsraum abgebildet, sofern die Dimensionsreduktion mittels eines Kohonen-Netzes arbeitet, kann die Abbildung von eben demselben Kohonen-Netz vorgenommen werden.
  • Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Hierbei zeigt schematisch:
    • Fig. 1
    in einem Blockdiagramm ein Verfahren zum Umgebungsabhängigen Betrieb eines Hörsystems
  • In Fig. 1 ist schematisch in einem Blockdiagramm ein Verfahren zum Umgebungsabhängigen Betrieb eines Hörsystems 1 dargestellt, wobei das Hörsystem vorliegend gebildet wird durch eine als Hörgerät 2 ausgestaltete Hörvorrichtung 3 sowie eine als Smartphone 4 ausgestaltete Hilfsvorrichtung 5. Die Hörvorrichtung 3 weist wenigstens einen elektro-akustischen Eingangswandler 6 auf, welcher vorliegend als ein Mikrofon ausgestaltet ist und aus einem Umgebungsschall ein Audiosignal 7 erzeugt. Des Weiteren weist die Hörvorrichtung 3 weitere Sensoren 8 auf, welche zusätzliche Sensorsignale 9 erzeugt. Die Sensoren 8 können dabei z.B. einen Beschleunigungssensor oder auch einen Temperatursensor umfassen.
  • In einer Trainingsphase 10 des Verfahrens werden nun für eine Mehrzahl an Erhebungszeitpunkten T1, T2, T3 jeweils anhand des Audiosignals 7 und des Sensorsignals 9 Umgebungsdaten ermittelt. Dies geschieht vorliegend, indem für das zunächst aus dem Audiosignal 7 laufend akustische Umgebungsdaten 12 erzeugt werden. Die akustischen Umgebungsdaten 12 umfassen hierbei: Eine 4-Hz-Modulation; einen Onset-Mean; eine Autokorrelationsfunktion; einen Pegel für tiefe und mittlere Frequenzen eines Rauschhintergrundes sowie ein Zentroid des Rauschhintergrundes; eine Stationarität; eine Windaktivität; einen Breitband-Maximalpegel; eine eigene Stimmaktivität. Ebenso werden aus dem Sensorsignal 9 laufen bewegungsbezogene Umgebungsdaten 14 erzeugt, welche hierbei die gemessenen instantanen Beschleunigungen in den drei Raumrichtungen umfassen.
  • Weitere Arten von akustischen Umgebungsdaten 12 und/oder bewegungsbezogenen Umgebungsdaten 14 oder sonstigen, insbesondere ortsbezogenen und/oder biometrischen Umgebungsdaten können allgemein als Umgebungsdaten 15 mit einbezogen werden, beispielsweise Magnetfeldsensoren, sonstige Handy- und/oder Smartwatchsensoren, ein Gyroskop, eine Pulsmessung, eine PPG-Messung (Photoplethysmogram), ein Elektrokardiogramm (EKG), eine Erkennung von Stress über die Messung des Herzschlags und seiner Variation, ein Lichtsensor, ein Barometer, ein Höraufwand bzw. eine Höraktivität (beispielsweise über eine "auditory attention"mittels einer EEG-Messung), eine Messung von Augen- bzw. Kopfbewegungen durch Muskelaktivität (EMG), Standort-Information über GPS, WLAN-Information, Geo-Fencing oder Bluetooth-Beacons für den aktuellen Standort bzw. Bereich.
  • Für die akustischen Umgebungsdaten 12 (vorliegend zehn verschiedene Arten an Daten) und die (vorliegend) drei bewegungsbezogenen Umgebungsdaten 14 erfolgt jeweils für den Zeitraum zwischen zwei Erhebungszeitpunkten T1, T2, T3 eine Pufferung 16 (für eine Erhebung zum Erhebungszeitpunkt T1 werden die genannten Signale ab einem Startzeitpunkt T0 gepuffert). Anschließend werden zu jeder einzelnen Art der akustischen Umgebungsdaten 12 und der bewegungsbezogenen Umgebungsdaten 14 jeweils ein Mittelwert Mn, eine Varianz Var und eine Mittelwert-Durchgangsrate MCR gebildet. Die genannten statistischen Größen Mn, Var, MCR der einzelnen akustischen Umgebungsdaten 12 und der bewegungsbezogenen Umgebungsdaten 14 über den gepufferten Zeitraum zwischen zwei Erhebungszeitpunkten T1, T2, T3 hinweg bilden hierbei für den Erhebungszeitpunkt T1, T2, T3 am Ende des Zeitraums der Pufferung jeweils Umgebungsmerkmale 16, und jeweils zu einem hochdimensionalen Merkmalsvektor M1, M2, M3 in einem hochdimensionalen Merkmalsraum 18 abgebildet. Die hohe Dimensionalität, z.B. 39D für jeweils drei statistische Merkmale aus zehn akustischen und drei bewegungsbezogenen Umgebungsdaten, ist hier nur durch die Anzahl der Achsen an den Diagrammen des Merkmalsraums 18 für die einzelnen Merkmalsvektoren M1, M2, M3 angedeutet.
  • Jeder der Merkmalsvektoren M1, M2, M3 wird nun aus dem Merkmalsraum 18 auf einen entsprechenden Repräsentantenvektor R1, R2, R3 in einem zweidimensionalen Darstellungsraum 20 abgebildet. Die Abbildung erfolgt hierbei bspw. mittels eines t-SNE-Optimierungsverfahrens (t-Distributed Stochastic Neighbor Embedding).
  • Nachfolgend wird der Ablauf des Optimierungsverfahrens kurz beschrieben (siehe z.B. "Visualizing Data using t-SNE", 2008, Laurens van der Maaten and Geoffrey Hinton).
  • Ein sog. Perplexity-Paramater definiert eine Anzahl der effektiven Nachbarn der Merkmalsvektoren, d.h., der Perplexity-Parameter bestimmt, wieviele Nachbarn einen Einfluss auf eine endgültige Lage des entsprechenden Repräsentantenvektors im zweidimensionalen Darstellungsraum 20 haben (dieser Parameter kann vorliegend z.B. auf einen Wert von 50 oder in der Größenordnung von 1/100 der Anzahl an Merkmalsvektoren gesetzt werden). Danach werden für alle Paare von hochdimensionalen Merkmalsvektoren einmalig Wahrscheinlichkeitsmaße dafür berechnet, dass zwei betreffende Merkmalsvektoren als nächste Nachbarn im hochdimensionalen Merkmalsraum zu identifizieren sind. Dies bildet eine Ausgangssituation ab.
  • Für den zweidimensionalen Darstellungsraum werden als Startwert zufällige, Gauß-verteilte Zufallszahlen Y angenommen. Danach werden in einzelnen Iterationen die aktuellen Ähnlichkeitsbeziehungen in Y berechnet. Zur Optimierung der Abbildung der Ähnlichkeitsbeziehungen wird nun eine Ähnlichkeit zwischen dem Merkmalsraum und dem Darstellungsraum anhand einer Kullback-Leibler-Divergenz festgestellt. Mit Hilfe eines Gradienten der besagten Divergenz werden die Repräsentantenvektoren (bzw. ihre Endpunkte) im Darstellungsraum über T Iterationen hinweg verschoben.
  • Eine mögliche Darstellung des Algorithmus lautet:
    • Merkmalsraum der hochdimensionalen Merkmalsvektoren X = {x1; x2; ... ; x n }, mit n als der Anzahl aller vorliegenden Merkmalsvektoren (vorliegend z.B. n = 4016)
    • Kostenfunktionsparameter: "perplexity" Perp: bestimmt die Anzahl der effektiven Nachbarn, mittels Wahl der Varianz σi für jeden Punkt durch eine binäre Suche (starker Einfluss auf Y)
    • Optimierungsparameter: Festlegung einer Anzahl an Iterationen t von T (z.B. 500), einer Lernrate h (z.B. 1000), und eines Momentums a(t) (z.B. 0.5 für t < 250, sonst a(t) = 0.8)
    • Ergebnis: zweidimensionaler Darstellungsraum Y = {y1; y2; ... ; y n },
    • Start des Verfahrens:
    • Berechnung des Wahrscheinlichkeitsmaßes für alle Merkmalsvektoren-Paare pij im hochdimensionalen Raum: p j | i = p ˜ j | i ∑ k ≠ i p ˜ k | i mit p ˜ j | i = exp − ‖ x i − x j ‖ 2 / 2 σ i
      Figure imgb0003
    • Setze p ij = p j | i + p i | j 2 n
      Figure imgb0004
    • "Zufälliges Ziehen" von n zweidimensional Gauß-verteilten Zufallszahlen zur Initialisierung von Y
    • Optimierung des r Abbildung in den Darstellungsraum:
      • ∘ Zählschleife der Optimierung für t=1 bis T:
        • ▪ Berechne das aktuelle Wahrscheinlichkeitsmaß im zweidimensionalen Raum: q ij = 1 + ‖ y i − y j ‖ 2 − 1 ∑ k ≠ l 1 + ‖ y k − y l ‖ 2 − 1
          Figure imgb0005
        • ▪ Messe die Ähnlichkeit zwischen X und Y (Kullback-Leibler-Divergenz) C = ∑ j ∑ i p ij log p ij q ij
          Figure imgb0006
        • ▪ Berechne den Gradienten: ∂ C ∂ y i = 4 ∑ j p ij − q ij y i − y j 1 + ‖ y i − y j ‖ 2 − 1
          Figure imgb0007
        • ▪ Verschiebe die zweidimensionalen Repräsentantenvektoren: y i t = y i t − 1 + h ∂ C ∂ y i + a y i t − 1 − y i t − 2
          Figure imgb0008
      • o Ende der Optimierung
    • Ende des Verfahrens
  • Auf das vorliegende Verfahren bezogen werden durch die oben beschriebene Abbildungsvorschrift somit Repräsentantenvektoren R1, R2, R3 im zweidimensionalen Darstellungsraum 20 aus den Merkmalsvektoren M1, M2, M3 des Merkmalsraumes 18 erzeugt.
  • Ein Benutzer des Hörsystems 1 kann sich den Darstellungsraum 20 nun auf seiner Hilfsvorrichtung 5 (auf dem Bildschirm 21 des Smartphones 4) darstellen lassen, und z.B. einen zusammenhängenden Bereich 22 als erste Region 24 definieren, welche einer konkreten ersten Umgebungssituation 25 in seiner Anwendung des Hörsystems 1 entspricht. Der besagten ersten Region 24 kann der Benutzer nun eine konkrete Einstellung 26 einer Signalverarbeitung des Audiosignals 7 in der Hörvorrichtung 3 zuordnen, beispielsweise frequenzbandweise Verstärkungs- und/oder Kompressionswerte und -parameter, oder Steuerparameter einer Rauschunterdrückung o.ä. Mit der Zuordnung der Einstellung 26 der Signalverarbeitung zur ersten Region 24 (und somit zur vorliegenden ersten Umgebungssituation 25, wie sie durch die Werte der Umgebungsdaten 15 in den einzelnen Merkmalsvektoren M1, M2, M3 charakterisiert ist), kann die Trainingsphase 10 für eine bestimmte Umgebungssituation as abgeschlossen betrachtet werden. Bevorzugt erfolgen dabei mehrere Trainingsphasen 10 für verschiedene Umgebungssituationen.
  • In einer Anwendungsphase 30 werden nun aus dem Audiosignal 7 der Hörvorrichtung 3 und aus dem Sensorsignal 9 zu einem Anwendungszeitpunkt T4 dieselben Umgebungsdaten 15 erhoben, wie in der Trainingsphase, und hieraus auf dieselbe Weise anhand der zum Anwendungszeitpunkt T4 ermittelten Werte auf entsprechende Weise ein Merkmalsvektor M4 im hochdimensionalen Merkmalsraum 18 gebildet. Hierbei können die Werte beispielsweise aus dem Mittelwert Mn, der Varianz Var und der Mittelwert-Durchgangsrate MCR der über einen kurzen Zeitraum (z.B. 60 Sekunden o.ä.) vor dem Anwendungszeitpunkt T4 erhobenen akustischen und bewegungsbezogenen Daten 12, 14 gebildet werden.
  • Der Merkmalsvektor M4 für den Anwendungszeitpunkt T4 wird nun auf einen Repräsentantenvektor R4 im Darstellungsraum 20 abgebildet.
  • Da das in der Trainingsphase 10 des vorliegenden Beispiels verwendete t-SNE-Verfahren zur Abbildung der Merkmalsvektoren M1, M2, M3 des Merkmalsraums 18 auf die Repräsentanten-vektoren R1, R2, R3 im Darstellungsraum 20 ein Optimierungsverfahren ist, welches das Wissen für alle verwendeten Merkmalsvektoren benötigt, erfolgt eine entsprechende Abbildung in der Anwendungsphase 30 mittels einer Näherungsabbildung (z.B. einer sog. "out-of-sample extension", OOS-Kernel). Dies kann über eine Regression erfolgen, mittels derer eine Abbildung anhand einer Vielzahl an Merkmalsvektoren des Merkmalsraumes 18 (z.B. 80% der Merkmalsvektoren) auf entsprechende Repräsentantenvektoren des Darstellungsraumes 20 "gelernt" wird, und verbleibende Merkmalsvektoren (also dann z.B. 20%) dazu verwendet werden, die Qualität der resultierenden Abbildung zu "testen". Mit der Abbildung der "Lernvektoren", also der zum Lernen der Abbildung verwendeten Merkmalsvektoren auf entsprechende Repräsentantenvektoren, kann dann eine Kernelfunktion bestimmt werden, welche lokale Abstandsbeziehungen zwischen den besagten Merkmals- und Represäntantenvektoren in ihren jeweiligen Räumen (Merkmals- bzw. Darstellungsraum) erhält. Damit kann ein neuer, unbekannter Merkmalsvektor vom Merkmalsraum 18 auf einen zugehörigen Repräsentantenvektor im Darstellungsraum 20 abgebildet werden, indem man die lokalen Abstandsbeziehungen zwischen den bekannten "Lernvektoren" erhält.
  • Eine detaillierte Erklärung hierzu findet sich z.B. in "Out-of-Sample Kernel and Extensions for Nonparametric Dimensionality Reduction", Andrej Gisbrecht, Wouter Lueks, Bassam Mokbel und Barbara Hammer, ESANN 2012 proceedings, European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, Brügge (Belgien), 25.-27. April 2012, sowie in "Parametric nonlinear dimensionality reduction using kernel t-SNE", Andrej Gisbrecht, Alexander Schulz und Barbara Hammer, Neurocomputing, Vol. 147, 71 - 82, Januar 2015.
  • Liegt nun der für den Anwendungszeitpunkt T4 wie beschrieben bestimmte Repräsentantenvektor R4 in der ersten Region 24, so wird erkannt, dass für das Hörsystem 1 die erste Umgebungssituation 25 vorliegt, und entsprechend die Hörvorrichtung 3 mit den Einstellungen 26 für die Signalverarbeitung des Audiosignals 26 betrieben, und die vorab definierten Verstärkungs- und/oder Kompressionswerte und -parameter, oder Steuerparameter einer Rauschunterdrückung auf das Audiosignal 7 angewandt.
  • Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, ist die Erfindung nicht durch dieses Ausführungsbeispiel eingeschränkt. Andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
    • Bezugszeichenliste
    • 1
    Hörsystem
    2
    Hörgerät
    3
    Hörvorrichtung
    4
    Smartphone
    5
    Hilfsvorrichtung
    6
    Eingangswandler
    7
    Audiosignal
    8
    Sensor
    9
    Sensorsignal
    10
    Trainingsphase
    12
    akustische Umgebungsdaten
    14
    bewegungsbezogene Umgebungsdaten
    16
    Pufferung
    18
    Merkmalsraum
    20
    Darstellungsraum
    21
    Bildschirm
    22
    Bereich
    24
    erste Region
    25
    erste Umgebungssituation
    26
    Einstellung (einer Signalverarbeitung)
    30
    Anwendungsphase
    M1, M2, M3
    Merkmalsvektor (in der Trainingsphase)
    M4
    Merkmalsvektor (in der Anwendungsphase)
    MCR
    Mittelwert-Durchgangsrate
    Mn
    Mittelwert
    R1, R2, R3
    Repräsentantenvektor (in der Trainingsphase)
    R4
    Repräsentantenvektor (in der Anwendungsphase)
    T0
    Startzeitpunkt
    T1, T2, T3
    Erhebungszeitpunkt
    T4
    Anwendungszeitpunkt
    Var
    Varianz

Claims (14)

  1. Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems (1), wobei in einer Trainingsphase (10)
    - zu einer Mehrzahl an Erhebungszeitpunkten (T1, T2, T3) jeweils Werte für eine erste Mehrzahl an Umgebungsdaten (15) eines ersten Benutzers des Hörsystems (1) ermittelt wird, und anhand der Werte der Umgebungsdaten (15) für jeden der Erhebungszeitpunkte (T1, T2, T3) jeweils ein Merkmalsvektor (M1, M2, M3) in einem wenigstes vierdimensionalen, insbesondere mindestens sechsdimensionalen Merkmalsraum (18) gebildet wird,
    - jeder der Merkmalsvektoren (M1, M2, M3) jeweils auf einen zugehörigen Repräsentantenvektor (R1, R2, R3) in einem maximal dreidimensionalen, insbesondere zweidimensionalen Darstellungsraum (20) abgebildet wird, und
    - anhand einer räumlichen Verteilung einer Untergruppe von Repräsentantenvektoren (R1, R2, R3) eine erste Region (24) im Darstellungsraum (20) für eine erste Umgebungssituation (25) des Hörsystems (1) definiert wird,
    wobei für die erste Umgebungssituation (25) wenigstens ein Wert einer Einstellung (26) für eine Signalverarbeitung des Hörsystems (1) vorgegeben wird, und
    wobei in einer Anwendungsphase (30)
    - zu einem Anwendungszeitpunkt (T4) Werte für die erste Mehrzahl an Umgebungsdaten (15) des ersten Benutzers oder eines zweiten Benutzers des Hörsystems (1) ermittelt werden und anhand der Werte der Umgebungsdaten (15) ein entsprechender Merkmalsvektor (M4) für den Anwendungszeitpunkt (T4) gebildet wird,
    - anhand der ersten Region (24) des Darstellungsraumes (20) und anhand des Merkmalsvektors (T4) für den Anwendungszeitpunkt (T4) ein Vorliegen der ersten Umgebungssituation (25) erkannt wird, und der wenigstens eine Wert der Signalverarbeitung des Hörsystems (1) entsprechend seiner Vorgabe für die erste Umgebungssituation (25), insbesondere automatsch, eingestellt wird, und
    - das Hörsystem (1) mit dem so eingestellten wenigstens einen Wert betrieben wird.
  2. Verfahren nach Anspruch 1,
    wobei in der Trainingsphase (10) durch eine Benutzereingabe jeweils eine Information zu einer aktuellen Nutzungssituation des Hörsystems (1), insbesondere in Abhängigkeit einer abgegrenzten Situation einer Tagesroutine des ersten Benutzers des Hörsystems (1) hinterlegt wird, und
    wobei die jeweilige Information zur Nutzungssituation mit den Merkmalsvektoren (T1, T2, T3) und/oder den zugehörigen Repräsentantenvektoren (R1, R2, R3) verknüpft wird, welche anhand der während einer bestimmten Nutzersituation erhobenen Werte der Umgebungsdaten (15) gebildet werden.
  3. Verfahren nach Anspruch 1 oder Anspruch 2,
    wobei wenigstens ein Teilbereich des Darstellungsraums (20), insbesondere mittels eines Bildschirms (21), visualisiert wird, und dabei wenigstens eine Teilmenge der Repräsentantenvektoren (R1, R2, R3) angezeigt wird, und
    wobei die erste Region (24) im Darstellungsraum (20) anhand einer Benutzereingabe, insbesondere hinsichtlich einer Gruppierung von visualisierten Repräsentantenvektoren (R1, R2, R3), definiert wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei zumindest in der Trainingsphase (10) die Abbildung der Merkmalsvektoren (M1, M2, M3) auf die jeweils zugehörigen Repräsentantenvektoren (R1, R2, R3) derart erfolgt, dass Abstandsrelationen von jeweils wenigstens drei Merkmalsvektoren (M1, M2, M3) im Merkmalsraum (18) infolge der Abbildung wenigstens näherungsweise für Abstandsrelationen der zugehörigen drei Repräsentantenvektoren (R1, R2, R3) im Darstellungsraum (20) erhalten bleiben.
  5. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei in der Anwendungsphase (30) ein Vorliegen der ersten Umgebungssituation erkannt (25) wird, indem der Merkmalsvektor (M4) für den Anwendungszeitpunkt (T4), in den Darstellungsraum (20) abgebildet wird, und eine Position des hierdurch gebildeten Repräsentantenvektors (R4) relativ zur ersten Region (24) bewertet wird, und insbesondere der Repräsentantenvektor (R4) als innerhalb der ersten Region (24) liegend erkannt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 5,
    wobei in der Anwendungsphase (30) ein Vorliegen der ersten Umgebungssituation (25) anhand des Merkmalsvektors (M4) für den Anwendungszeitpunkt (T4) und anhand wenigstens einiger der Merkmalsvektoren (M1, M2, M3) im Merkmalsraum (18), welche im Darstellungsraum (20) auf die Repräsentantenvektoren (R1, R2, R3) der ersten Region (24) abgebildet werden, erkannt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei in der Anwendungsphase (30) zu einer Mehrzahl an aufeinanderfolgenden Anwendungszeitpunkten (T4) jeweils Werte für die erste Mehrzahl an Umgebungsdaten (15) ermittelt werden und anhand der Werte der Umgebungsdaten (15) jeweils entsprechende Merkmalsvektoren (M4) für die aufeinanderfolgenden Anwendungszeitpunkte (T4) gebildet werden, und
    wobei ein Vorliegen der ersten Umgebungssituation (25) anhand der ersten Region (24) und anhand der besagten Merkmalsvektoren (M4) für die aufeinanderfolgenden Anwendungszeitpunkte (T4), insbesondere anhand eines Polygonzugs aus den besagten Merkmalsvektoren (M4) oder eines Polygonzugs aus den Repräsentantenvektoren (R4), welche im Darstellungsraum (20) den besagten Merkmalsvektoren (M4) entsprechen, erkannt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei für die erste Mehrzahl an Umgebungsdaten (15) akustische Umgebungsdaten (12) anhand eines Signals (7) wenigstens eines elektroakustischen Eingangswandlers, und/oder bewegungsbezogene Umgebungsdaten (14) anhand wenigstens eines Signals eines Beschleunigungssensors (8) und/oder eines Gyroskops und/oder ortsbezogene Umgebungsdaten anhand wenigstens eines Signals eines GPS-Sensors und/oder einer WLAN-Verbindung und/oder biometrische Umgebungsdaten anhand eines EKG-Sensors und/oder eines EEG-Sensors und/oder eines PPG-Sensors und/oder eines EMG-Sensors ermittelt werden.
  9. Verfahren nach Anspruch 8,
    wobei für die akustischen Umgebungsdaten (12) das Signal (7) des wenigstens einen elektroakustischen Eingangswandlers
    - hinsichtlich einer Sprachaktivität des ersten bzw. zweiten Benutzers des Hörsystems (1) und/oder
    - hinsichtlich eines Auftretens von Wind am elektroakustischen Eingangswandler und/oder
    - hinsichtlich eines spektralen Schwerpunkts eines Rauschhintergrundes und/oder
    - hinsichtlich eines Rauschhintergrundes in wenigstens einem Frequenzband und/oder
    - hinsichtlich einer Stationarität eines Schallsignals der Umgebung und/oder
    - hinsichtlich einer Autokorrelationsfunktion und/oder
    - hinsichtlich einer Modulationstiefe bei einer gegebenen Modulationsfrequenz, welche maximal 10 Hz beträgt, und/oder
    - hinsichtlich eines Einsetzens einer Sprachaktivität
    analysiert wird.
  10. Verfahren nach Anspruch 8 oder Anspruch 9,
    wobei als Werte der Umgebungsdaten (15) für einen Erhebungszeitpunkt (T1, T2, T3) und/oder den Anwendungszeitpunkt (T4) jeweils ein Mittelwert (Mn) und/oder eine Varianz (Var) und/oder eine Mittelwert-Durchgangsrate (MCR) und/oder ein Wertebereich und/oder ein Median der jeweiligen Umgebungsdaten, insbesondere bezogen auf einen Zeitraum zwischen dem jeweiligen Erhebungszeitpunkt (T2, T3) und einem unmittelbar vorangehenden Erhebungszeitpunkt (T1, T2) bzw. auf einen Zeitraum zwischen dem Anwendungszeitpunkt (T4) und einem unmittelbar vorangehenden Anwendungszeitpunkt, ermittelt werden.
  11. Verfahren nach einem der Ansprüche 8 bis 10,
    wobei anhand der akustischen Umgebungsdaten (12) jeweils einzelne Vektorprojektionen der Merkmalsvektoren (M1, M2, M3) der Erhebungszeitpunkte (T1, T2, T3) in einen akustischen Merkmalsraum gebildet werden,
    wobei die Vektorprojektionen des akustischen Merkmalsraumes jeweils auf akustische Repräsentantenvektoren in einem maximal dreidimensionalen, insbesondere zweidimensionalen akustischen Darstellungsraum abgebildet werden,
    wobei im akustischen Darstellungsraum eine zweite Region für die erste Umgebungssituation (25) des Hörsystems (1) definiert wird, und
    wobei ein Vorliegen der ersten Umgebungssituation (25) zusätzlich anhand der zweiten Region des akustischen Darstellungsraumes, insbesondere durch einen Vergleich mit einer Abbildung des Merkmalsvektors (M4) des Anwendungszeitpunktes (T4) in den akustischen Darstellungsraum, erkannt wird.
  12. Verfahren nach einem der Ansprüche 8 bis 11 in Verbindung mit Anspruch 2,
    wobei die erste Umgebungssituation (25) zusätzlich anhand einer ersten Nutzungssituation definiert wird, und für die erste Umgebungssituation (25) ein erster Wert der Einstellung (26) für die Signalverarbeitung des Hörsystems (1) vorgegeben wird,
    wobei eine zweite Umgebungssituation anhand einer zweiten Nutzungssituation definiert wird, und ein entsprechender zweiter Wert der besagten Einstellung (26) vorgegeben wird,
    wobei ein Vorliegen der ersten oder der zweiten Umgebungssituation anhand einem Vorliegen der ersten bzw. zweiten Nutzungssituation erkannt wird, und daraufhin der erste bzw. zweite Wert der Signalverarbeitung des Hörsystems (1) entsprechend seiner Vorgabe für die erste bzw. zweite Umgebungssituation eingestellt wird.
  13. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei die Definition der ersten Region (24) für die erste Umgebungssituation (25) in der Trainingsphase (10) durch den ersten Benutzer eines Hörsystems (1) mit einer Hörvorrichtung (3) erfolgt und in einem Cloud-Server gespeichert wird, und wobei für die Anwendungsphase (30) die besagte Definition durch den zweiten Benutzer eines für die Anwendung vergleichbaren Hörsystems (1) aus dem Cloud-Server in das Hörsystem (1) heruntergeladen wird.
  14. Hörsystem (1), umfassend eine Hörvorrichtung (3), insbesondere ein Hörgerät (2), Hörhilfegerät oder einen Kopfhörer, und eine Hilfsvorrichtung (5) mit einer Rechnereinheit, insbesondere einer Prozessoreinheit eines Smartphones (4) oder Tablets, wobei das Hörsystem (1) zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
EP20210166.3A 2019-12-06 2020-11-27 Verfahren zum umgebungsabhängigen betrieb eines hörsystems Pending EP3833053A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019219113 2019-12-06
DE102020208720.2A DE102020208720B4 (de) 2019-12-06 2020-07-13 Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems

Publications (1)

Publication Number Publication Date
EP3833053A1 true EP3833053A1 (de) 2021-06-09

Family

ID=73642574

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20210166.3A Pending EP3833053A1 (de) 2019-12-06 2020-11-27 Verfahren zum umgebungsabhängigen betrieb eines hörsystems

Country Status (1)

Country Link
EP (1) EP3833053A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005203981A (ja) * 2004-01-14 2005-07-28 Fujitsu Ltd 音響信号処理装置および音響信号処理方法
US20140355798A1 (en) * 2013-05-28 2014-12-04 Northwestern University Hearing Assistance Device Control
US20150124984A1 (en) * 2013-11-06 2015-05-07 Samsung Electronics Co., Ltd. Hearing device and external device based on life pattern

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005203981A (ja) * 2004-01-14 2005-07-28 Fujitsu Ltd 音響信号処理装置および音響信号処理方法
US20140355798A1 (en) * 2013-05-28 2014-12-04 Northwestern University Hearing Assistance Device Control
US20150124984A1 (en) * 2013-11-06 2015-05-07 Samsung Electronics Co., Ltd. Hearing device and external device based on life pattern

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREJ GISBRECHTALEXANDER SCHULZBARBARA HAMMER: "Parametric nonlinear dimensionality reduction using kernel t-SNE", NEUROCOMPUTING, vol. 147, January 2015 (2015-01-01)
ANDREJ GISBRECHTWOUTER LUEKSBASSAM MOKBELBARBARA HAMMER: "Out-of-Sample Kernel and Extensions for Nonparametric Dimensionality Reduction", ESANN 2012 PROCEEDINGS, EUROPEAN SYMPOSIUM ON ARTIFICIAL NEURAL NETWORKS, COMPUTATIONAL INTELLIGENCE AND MACHINE LEARNING, BRÜGGE (BELGIEN, April 2012 (2012-04-01), pages 25 - 27

Similar Documents

Publication Publication Date Title
DE69904822T2 (de) Verfahren und Anordnung zur Aufnahme von Schallsignalen
EP2603018B1 (de) Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung
EP2306756B1 (de) Verfahren zur Feinanpassung eines Hörhilfegerätes sowie Hörhilfegerät
DE102017214164B3 (de) Verfahren zum Betrieb eines Hörgeräts und Hörgerät
DE102008008898B3 (de) Verfahren und Vorrichtung zum Überwachen einer Hörhilfe
EP3451705A1 (de) Verfahren und vorrichtung zum schnellen erkennen der eigenen stimme
DE102020208720B4 (de) Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems
EP2519033B1 (de) Verfahren zum Betrieb eines Hörgerätes mit verringerter Kammfilterwahrnehmung und Hörgerät mit verringerter Kammfilterwahrnehmung
DE102020114146A1 (de) Sprechernachbildung eines mikrofons zur winddetektion
EP2645743B1 (de) Hörvorrichtung für eine binaurale Versorgung und Verfahren zum Bereitstellen einer binauralen Versorgung
DE102010026381A1 (de) Verfahren zum Lokalisieren einer Audioquelle und mehrkanaliges Hörsystem
DE102019220408A1 (de) Verfahren zur Anpassung eines Hörinstruments und zugehöriges Hörsystem
EP3873108A1 (de) Hörsystem mit mindestens einem im oder am ohr des nutzers getragenen hörinstrument sowie verfahren zum betrieb eines solchen hörsystems
EP2239963B1 (de) Verfahren und Hörvorrichtung zum Einstellen eines Hörgeräts mit in einer externen Einheit aufgezeichneten Daten
DE102007035174A1 (de) Hörvorrichtung gesteuert durch ein perzeptives Modell und entsprechendes Verfahren
DE112019003350T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund programm
EP3833053A1 (de) Verfahren zum umgebungsabhängigen betrieb eines hörsystems
EP2635047A2 (de) Verfahren zum Anpassen einer Hörvorrichtung anhand des Sensory Memory
DE102015212609A1 (de) Verfahren zum Betrieb eines Hörgerätesystems und Hörgerätesystem
DE102019201879B3 (de) Verfahren zum Betrieb eines Hörsystems und Hörsystem
DE102020216439A1 (de) Verfahren zum Betrieb eines Hörsystems mit einem Hörinstrument
EP2793488B1 (de) Binaurale Mikrofonanpassung mittels der eigenen Stimme
DE102022200810B3 (de) Verfahren für ein Hörsystem zur Anpassung einer Mehrzahl an Signalverarbeitungsparametern eines Hörinstrumentes des Hörsystems
EP3944635B1 (de) Verfahren zum betrieb eines hörsystems, hörsystem, hörgerät
DE102018204260B4 (de) Auswerteeinrichtung, Vorrichtung, Verfahren und Computerprogrammprodukt für eine hörgeschädigte Person zur umgebungsabhängigen Wahrnehmung eines Schallereignisses

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211209

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220422