WO2013140735A1 - 不快音圧推定システム、不快音圧推定装置、不快音圧推定方法およびそのコンピュータプログラム - Google Patents
不快音圧推定システム、不快音圧推定装置、不快音圧推定方法およびそのコンピュータプログラム Download PDFInfo
- Publication number
- WO2013140735A1 WO2013140735A1 PCT/JP2013/001515 JP2013001515W WO2013140735A1 WO 2013140735 A1 WO2013140735 A1 WO 2013140735A1 JP 2013001515 W JP2013001515 W JP 2013001515W WO 2013140735 A1 WO2013140735 A1 WO 2013140735A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound
- noise
- time
- stimulus
- sound pressure
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
- A61B5/121—Audiometering evaluating hearing capacity
- A61B5/125—Audiometering evaluating hearing capacity objective methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
Definitions
- This application relates to a technique for estimating unpleasant sound pressure using brain waves.
- Hearing loss means, for example, a state where it is difficult to hear sound of a specific frequency or frequency band.
- the frequency or frequency band that is difficult to hear varies from user to user.
- the hearing aid amplifies the sound so that the user can hear it.
- the amount of amplification required for each user varies depending on the user's auditory characteristics.
- HTL minimum audible threshold
- UCL uncomfortable level
- a method for measuring UCL using an electroencephalogram is being developed.
- Non-Patent Document 1 discloses that there is a correlation between the V-wave latency of the auditory brainstem response (ABR) to the click sound and the UCL.
- ABR auditory brainstem response
- Non-Patent Document 2 discloses that the loudness perceived by a person can be approximated from the amplitude of an auditory steady state response (ASSR) with respect to an amplitude-modulated sound.
- ASSR auditory steady state response
- UCL estimation for each frequency cannot be performed, more than 30 minutes are required for estimation, and the estimation accuracy may be low for loud sounds near the UCL.
- One non-limiting exemplary embodiment of the present application provides a technique capable of estimating a user's unpleasant sound pressure with improved accuracy without presenting a strong sound to the user.
- One non-limiting exemplary embodiment of the present application also provides a technique that allows a user's UCL to be estimated with good accuracy in an environment where periodic noise can affect electroencephalogram measurements. To do.
- an unpleasant sound pressure estimation system includes a biological signal measurement unit that measures a user's brain wave signal, an output unit that presents a sound stimulus to the user, and a sound stimulus.
- a feature amount extraction unit that extracts a feature amount of an event-related potential related to the sound stimulus from an electroencephalogram signal in a predetermined analysis section having a start time determined based on the presented time; and the feature amount extraction unit
- An unpleasant sound pressure determination unit that determines an unpleasant sound pressure with respect to the frequency of the sound stimulus group based on the extracted feature amount, and at least one of a plurality of noises included in periodic noise from the user's brain wave signal
- a periodic noise extraction unit that extracts a noise occurrence time, and a noise occurrence prediction that predicts the next noise occurrence time from the occurrence time of at least one noise extracted by the periodic noise extraction unit When, and a the noise generated based on the occurrence time of the predicted next noise prediction unit, the sound to determine the timing for outputting the
- the uncomfortable sound pressure estimation system According to the uncomfortable sound pressure estimation system according to one aspect of the present invention, even a user who wears a device that generates periodic noise can estimate UCL with good accuracy without listening to loud sounds. Can do.
- FIG. 1 It is a figure which illustrates the dispersion
- FIG. 2 is a diagram illustrating a hardware configuration according to the first embodiment.
- FIG. It is a figure which shows the example of the result accumulation in result accumulation DB.
- Non-Patent Document 1 and Non-Patent Document 2 the user is presented with a sound stimulus with an uncomfortable level of sound pressure, and after the user becomes unpleasant, A method for determining whether or not the sound pressure was UCL was used. That is, an approach for examining the uncomfortable sound pressure depending on whether or not the user is uncomfortable has been taken. For this reason, in order to perform hearing evaluation, a strong sound is presented to the user, and the user needs to actually experience an unpleasant state.
- the UCL is obtained with good accuracy without making the user as unpleasant as possible.
- embodiments of an uncomfortable sound pressure estimation system according to the present disclosure will be described with reference to the accompanying drawings.
- Event-related potential is a change in the potential of an electroencephalogram (EEG) generated in response to a stimulus.
- Sound stimulation is also called auditory stimulation and is a sound presented to the user.
- the “N1 component” is a negative component of the event-related potential that appears about 100 ms after the time when the sound stimulus is presented.
- the “P2 component” is a positive component of an event-related potential that appears about 200 ms after the time when the sound stimulus is presented.
- the “latency” is the time until the peak potential of the positive component or negative component appears from the time when the voice stimulus is presented.
- Negative component generally means a potential lower than 0 ⁇ V. In the case where there is a target for comparing potentials, a potential having a more negative value is also referred to as a negative component.
- “Positive component” generally refers to a potential greater than 0 ⁇ V. When there is an object whose potentials are to be compared, a potential having a more positive value is also referred to as a positive component.
- Uncomfortable loudness level is a sound pressure of a magnitude that the user feels uncomfortable.
- the minimum audible level is the sound pressure of the smallest sound that the user can hear. Also simply expressed as a threshold value.
- Presenting sound means outputting a pure sound.
- “Pure tone” is a sound represented by a sine wave having only a single frequency component among musical sounds that repeats periodic vibrations.
- the time after the elapse of a predetermined time calculated from a certain time point in order to define the event-related potential component is expressed as, for example, “latency of about 100 ms”. This means that a range centered on a specific time of 100 ms can be included.
- EMP Event-Related Potential
- the terms “about Xms” and “near Xms” mean that a width of 30 to 50 ms can exist around the Xms (for example, 100 ms ⁇ 30 ms, 200 ms ⁇ 50 ms).
- the user is presented with a sound stimulus having a sound pressure that is not uncomfortable sound pressure
- the electroencephalogram-induced response to the presented sound is measured, and based on the analysis result of the electroencephalogram-induced response, the user's UCL Is estimated.
- the user's UCL can be estimated without letting the user hear a loud sound that feels uncomfortable.
- a sound stimulus having a sound pressure of a magnitude that does not make the user feel uncomfortable avoids noise that is periodically mixed in the brain wave (referred to as periodic noise).
- periodic noise noise that is periodically mixed in the brain wave
- UCL is measured based on subjective reporting.
- Subjective reporting experiments were conducted before and after the electroencephalogram measurement experiment.
- the UCL data obtained in this subjective report experiment was used as reference data when UCL was estimated from the following brain waves.
- the other is an electroencephalogram measurement experiment that measures the response to sound stimulation.
- pure sounds with the same frequency were presented three times in a monotonically decreasing sound pressure change in 5 dB increments, and event-related potentials for each sound stimulus from the first sound to the third sound were measured.
- the continuous presentation of sound stimulation multiple times with a monotonously decreasing sound pressure change is also referred to as “decrescendo stimulation”.
- the event-related potential for this sound stimulus presentation was acquired and used as data for estimating the UCL value.
- the inventors of the present application also performed wavelet transformation of event-related potentials for the first to third sounds even when presenting a decrescendo stimulus with a sound pressure lower than the sound pressure generally evaluated as UCL. It was found that the UCL of the subjective report can be estimated by linearly discriminating the calculated change pattern of the wavelet coefficient.
- the event-related potential for sound stimulation occurs when the sound pressure of sound stimulation is higher than HTL. That is, the sound pressure range lower than the sound pressure generally evaluated as UCL is a range of sound pressure higher than HTL. This method enables UCL estimation in a short time and with high accuracy without presenting a loud sound.
- the UCL measured using the subjective report may be referred to as “subjective UCL”, and the UCL estimated from the AEP may be referred to as “estimated UCL”.
- Fig. 1 shows the UCL measurement results for each individual measured by subjective reports.
- FIG. 1 shows an average value of two measurement results.
- the unit of sound pressure is dBHL.
- the subjective UCL value varies to some extent.
- the subjective UCL value has a relatively large variation among individuals.
- EEG measurement experiment In the EEG experiment, for three frequencies (1000 Hz (1 kHz), 2000 Hz (2 kHz), and 4000 Hz (4 kHz)), three sound pressures (80, 75, 70 dBHL) was presented. The three sound pressures were monotonously lowered. And the characteristic change of the event related electric potential for every sound stimulus was investigated.
- “monotonic descent” means that the next sound has a lower sound pressure than the previous sound.
- FIG. 2 shows sound stimuli presented to the right and left ears.
- the horizontal axis in FIG. 2 is time.
- a tone burst sound having a rise time and a fall time of 3 ms and a duration of 44 ms was used.
- the above three sound stimuli are represented as first sound, second sound, and third sound in the order of presentation (here, in descending order of sound pressure), and S1, S2, and S3, respectively.
- a plurality of sound stimuli having the same frequency may be referred to as a “sound stimulus group”.
- the interval between the end time of the third sound (S3) included in the previous sound stimulation group and the start time of the first sound (S1) included in the next sound stimulation group was 450 ⁇ 50 ms.
- the sound stimulus was output from a PC via headphones (HDA200, manufactured by SENNHEISER).
- the sound pressure of the sound stimulation was calibrated using a sound level meter (LA-1440, manufactured by ONO SOKKI) and a coupler (IEC 318, manufactured by Larson Davis).
- FIG. 3 (a) shows the electrode positions of the international 10-20 method (10-20 System).
- FIG. 3B shows an electrode arrangement in which electrodes are mounted in this experiment. Circled numbers 1, 2 and 3 in FIG. 3B indicate electrode positions C3, Cz and C4, respectively.
- the inventors of the present application have an active electrode attached to C3, Cz, C4 (international 10-20 method) on the scalp and an active electrode attached to the right eye (circled number 4 in FIG. 3B), and a right mastoid.
- the potential difference from the reference electrode attached to the brain was measured as an electroencephalogram.
- a “mastoid” is the mastoid process of the skull below the base of the back of the ear. In FIG. 3B, the position of the mastoid is indicated by “Ref”.
- the sampling frequency was 1000 Hz and the time constant was 1 second.
- a 1-20 Hz bandpass filter was applied off-line.
- the waveform from -100 ms to 1000 ms 400 ms after S3 presentation was cut out and averaged for each left and right ear / frequency to obtain AEP.
- ⁇ 100 ms refers to a time point 100 milliseconds before the time when S1 is presented.
- trials in which a potential exceeding ⁇ 80 ⁇ V was included in any of the electrodes was excluded from the addition average because it was assumed to include the effects of eye movement and blinking.
- wavelet transform was applied to the electroencephalogram downsampled to 100 Hz.
- the coefficient (wavelet coefficient) obtained by the wavelet transform corresponds to the time-frequency information of the electroencephalogram.
- a Mexican hat ( ⁇ (t) (1t ⁇ 2) exp (t ⁇ 2/2)) was used for the mother wavelet.
- the scale of the wavelet coefficient is an integer from 1 to 9 (corresponding to 2.5-12.5 Hz).
- the wavelet coefficients were added and averaged to determine the evoked response (AEP) to continuous sounding. Note that the data of one person whose subjective UCL could not be measured correctly due to scale-out and the data of three persons whose number of additions was less than 15 in the AEP calculation for each left and right ear / frequency were excluded from the analysis target.
- the UCL was estimated by performing discriminant analysis (linear discriminant) on the evoked response (wavelet feature amount) to the continuous pronunciation obtained in this way.
- the wavelet feature amount was generated by dividing the range of 0 ms to 900 ms of wavelet coefficients after addition averaging by a time window of 50 ms and averaging the wavelet coefficients for each scale (division unit).
- any two wavelet feature values were combined, and the correspondence relationship between the subjective UCL and the wavelet feature values of participants other than himself / herself was learned and used as teacher data.
- Teacher data was created for each frequency of sound stimulation using brain waves measured by presenting sound stimulation to the left and right ears.
- the accuracy of UCL estimation was evaluated by average error (average of absolute values of differences between subjective UCL and estimated UCL for each analyzed left and right ear / frequency). The average error was obtained for all combinations of wavelet feature amounts (total 13041).
- the subjective UCL value was compared with the event-related potential averaged. If the difference in subjective UCL value for each participant is reflected as the difference in event-related potential, it is considered that the unpleasant sound pressure can be estimated from the event-related potential.
- the subjective UCL value is an index having a variation for each participant because personality with respect to a loud sound is different. Therefore, in order to reduce the variation, the event-related potentials were added and averaged into two groups, when the subjective UCL value was large and when the subjective UCL value was small, and compared. Specifically, the averaging was carried out separately for each participant and when the subjective UCL value for each frequency was 100 dBHL or more and when it was less than 100 dBHL. Note that 100 dBHL is a value near the center of the subjective UCL value of all participants obtained in the subjective report experiment.
- FIG. 4 shows the total average waveform of event-related potentials corresponding to the potential difference between the center (Cz) electrode and the reference electrode.
- the waveform shown in FIG. 4 is an averaged waveform obtained by adding measured event-related potentials for each condition.
- a waveform obtained by adding and averaging is referred to as a total addition average waveform.
- the thick line indicates the total average waveform of participants (UCL high group) having a subjective UCL of 100 dBHL or higher, and the broken line indicates the total of participants (UCL low group) having a subjective UCL lower than 100 dBHL.
- the addition average waveform is shown.
- the presentation timing (0 ms, 300 ms, 600 ms) of S1, S2, S3 is indicated by a vertical solid line.
- N1 component a negative component
- P2 component a positive component
- the difference in waveform between the UCL high group and the UCL low group is more conspicuous in the waveforms for S2 and S3 than for the waveform for S1.
- the UCL high group has a smaller amplitude than the UCL low group. From this, it can be seen that event-related potentials (particularly, event-related potentials related to S2 and S3) can be an indicator of UCL estimation.
- 5 (a) and 5 (b) show the total addition average wavelet coefficients of the UCL high group and the UCL low group.
- the strength (the magnitude of the wavelet feature amount) is shown by shading, where the dark portion has a high strength and the bright portion has a low strength.
- the UCL low group has a smaller response at 5 Hz or less in the waveform for S3 than the UCL high group.
- FIG. 6 shows the distribution of UCL and subjective UCL estimated using the time-frequency information of the electroencephalogram based on the linear discrimination described above.
- the results obtained without distinguishing the left and right ear / stimulus frequencies are shown.
- the frequency corresponding to each grid point is indicated by the size of a circle.
- FIG. 6 also shows a broken line corresponding to the case where the subjective UCL and the estimated UCL are equal. That is, if the center of the circle is on the broken line, the estimated UCL matches the subjective UCL.
- the UCL can be estimated using the time-frequency information of the electroencephalogram.
- the average error was 4.9 ⁇ 5.0 dB.
- FIG. 7 (a) shows the frequency of wavelet feature values used in the estimation of the top 1% where the average error was small.
- FIG. 7B shows the frequency of the wavelet feature amount for each time window used in the estimation of the top 1%.
- the wavelet feature amount after S3 presentation is effective for UCL estimation.
- the wavelet feature amount of 150-200 ms after S3 presentation is used at a frequency of 15% or more in the top 1% estimation. This interval coincides with the interval in which the difference is large in the total addition average waveform shown in FIG.
- the difference in the waveform of the event-related potential between the UCL high group and the UCL low group is larger in the waveforms for S2 and S3 than in the waveform for S1.
- the time-frequency information of the electroencephalogram in S3 is effective for UCL estimation.
- the event-related potentials for S2 and S3 differ depending on the level of subjective UCL, and it was revealed that the amplitude is small when subjective UCL is low.
- UCL could be estimated with an average error of 5 dB or less.
- the average error between the measured subjective UCL and the estimated UCL was 4.9 ⁇ 5.0 dB. Considering that the minimum scale of a general audiometer is 5 dB and that the measured variation of the subjective UCL is 4.0 ⁇ 4.3 dB, an acceptable error range in the measurement of auditory characteristics It is thought that.
- the amplitude of the event-related potential for S2 and S3 was attenuated. This is the effect of repeatedly presenting sound stimuli at short intervals.
- the experiments by the present inventors have revealed that the attenuation characteristic varies depending on the subjective UCL level, and is greatly attenuated in the UCL low group as compared to the UCL high group. An interpretation of this phenomenon is the possibility that tolerance to loud sounds is related to the duration of the refractory period. In the UCL low group, it can be inferred that the processing of S1 by the brain was not completed and S2 and S3 could not be analyzed (AEP was suppressed).
- the AEP for S1 was not significantly different regardless of the UCL level. Also, in the top 1% estimation, it was not used as frequently as S3. The amplitude of the N1 component with respect to the sound stimulus in the sound pressure range that is routinely heard is increased almost linearly according to the sound pressure of the sound stimulus. Thus, the AEP for S1 reflects the physical characteristics of sound stimulation and may contain little UCL information. Therefore, it can be said that it is effective to present a plurality of sound stimuli continuously in order to realize the UCL estimation with less burden on the user by using the sound stimuli of the sound pressure that is heard daily.
- the same tendency can be obtained by performing discriminant analysis by adding not only the wavelet feature quantity but also the information of the P1-N1 amplitude and the N1-P2 amplitude.
- the N1-P2 amplitude represents the absolute value of the difference between the negative amplitude of the N1 component and the positive amplitude of the P2 component. The same applies to the P1-N1 amplitude.
- Event-related potentials including P1, N1, and P2 components are determined by the time from the sound stimulus presentation to the peak occurrence (latency), the magnitude of the amplitude of the component, etc. It is thought that it depends.
- the teacher data may be created regardless of the left and right ears and the frequency.
- FIG. 8A shows the result of recording the brain waves of the pacemaker wearer by the present inventors. The electroencephalogram was recorded with the same settings as described above.
- FIG. 8 (a) shows a part of the raw waveform corresponding to the potential difference between the reference electrode attached to the right mastoid and the reference electrode attached to the central portion (Cz).
- the vertical axis represents potential ( ⁇ V)
- the horizontal axis represents time (ms).
- FIG. 8 (b) is a waveform obtained by first-order differentiation of the raw waveform of FIG. 8 (a). It can be seen that the origin of noise related to pulsation can be detected significantly by differentiation (arrow in FIG. 8B).
- Japanese Patent Laid-Open No. 2009-195571 discloses a method of creating a periodic noise template waveform and subtracting it from the raw waveform.
- the contact resistance between the scalp and the electrode fluctuates over time, so the amplitude of the noise component derived from the pulsation also fluctuates. Noise cannot be removed simply by subtraction.
- the present inventors examined a method for reducing deterioration in the accuracy of unpleasant sound pressure estimation by controlling the timing of presenting sound stimulation. As a result, it has been found that the uncomfortable sound pressure can be estimated with high accuracy by presenting the sound stimulus at an appropriate timing at which the periodic noise hardly affects the unpleasant sound pressure estimation. This technique can be used in combination with the conventional method for subtracting the template waveform described above.
- FIGS. 9A to 9C show the periodic noise and the temporal relationship between the sound stimulus timings according to the embodiment of the present disclosure.
- FIG. 9A shows a case where periodic noise is mixed at 1 Hz (heart rate 60)
- FIG. 9B shows a case where periodic noise is mixed at 1.7 Hz (heart rate about 100).
- FIG. 9C shows a case where periodic noise is mixed at 0.8 Hz (heart rate 48).
- the present inventors reduce the influence of noise by controlling the generation time (timing) of sound stimulation based on the time when noise occurs and the time when the electroencephalogram is affected by noise after the occurrence of noise.
- the present inventors have found a method for measuring the event-related potentials of the second and third sounds described above. This will be specifically described below.
- noise generation time the time when noise occurs
- noise duration the time during which the brain wave is affected by noise after the noise has occurred
- the thick solid lines shown in FIGS. 9A to 9C indicate the timing at which periodic noise is mixed.
- the timing at which periodic noise is mixed is the timing of pulsation.
- the timing at which the periodic noise is mixed is obtained, for example, by calculating the period of pulsation from previously measured pulsations and calculating the time of occurrence of the next pulsation based on the obtained period.
- the time DN2 from about 250 ms after the noise is mixed is shown by shading.
- the time DN2 from about 250 ms after the noise is mixed is a time during which the brain waves are affected by noise (noise duration).
- this period of about 250 ms is an example of the noise duration, and may vary depending on the electrical equipment that is the source of noise.
- the noise duration is determined as a period from the timing when periodic noise is mixed to the time after a predetermined time has elapsed.
- a predetermined time DN1 for example, 100 ms
- DN1 before noise mixing indicated by hatching may be included in the noise continuation time as a prediction error of timing at which periodic noise is mixed.
- the accuracy of UCL estimation can be improved by presenting the sound stimulus so as not to be affected by noise during the effective period after the sound stimulus is presented.
- the sound stimulus is presented so that the noise duration does not overlap the measurement time of the event-related potentials of the second sound and the third sound effective for UCL estimation found by the present inventors.
- the sound stimulus is presented so that the noise duration does not overlap the event-related potential measurement time after the particularly effective third sound stimulus (S3) is presented.
- S3 particularly effective third sound stimulus
- the measurement time of the event-related potentials of the second and third sounds when multiple sound stimuli are presented is considered as the analysis important section.
- the analysis important section DI is shown in gray.
- 9A and 9B show a case where only the measurement time of the event-related potential of the third sound is set as the analysis important section DI.
- the analysis important section DI can be determined as a predetermined time after the sound stimulus is generated.
- the sound stimulus is generated so that the analysis important interval DI is provided after the noise duration DN2 has elapsed from the noise occurrence time (that is, the noise duration DN2 and the analysis important interval DI do not overlap).
- the analysis important interval DI is provided after the noise duration DN2 has elapsed from the noise occurrence time (that is, the noise duration DN2 and the analysis important interval DI do not overlap).
- information on the intervals of each of the first sound, the second sound, and the third sound time information between the stimuli
- the measurement time of the event-related potential after the sound stimulus is generated (from the time after the stimulus until the measurement)
- the time is determined in advance.
- the event-related potential may always be measured, and information about the measurement time of the event-related potential after the sound stimulus generation may be extracted from the measured brain wave.
- the following period A and period B have the same time A sound stimulus may be generated so as to end with. Note that the period A and the period B do not necessarily end at the same time, and the period B may end after the period A ends.
- Period A is a period from the time of noise occurrence until the end of the noise continuation time.
- Period B is a period from the first sound presentation time to the second sound presentation time.
- the period B may be a period from the first sound presentation time to the time when the measurement of the event-related potential for the first sound is finished.
- the period B is, for example, from the first sound presentation time to the first sound presentation time. It may be a period up to the time when the event-related potential measurement time after the two-tone presentation ends.
- the length of the period B includes the length of the sound stimulus of the first sound and the second sound, the interval between the first sound and the second sound, and the measurement time of the event-related potential (stimulus after the second sound is generated). The time from later to measurement) is added.
- the low noise influence section may be shorter than 300 ms of the analysis important section. That is, there is a possibility that the event-related potential measurement time overlaps with the next noise occurrence time after the second sound is generated.
- the sound is set so that the section of 150 to 200 ms after S3 presentation, which is the most important section (second sound) among the analysis important sections (second sound and third sound), falls within the low noise influence section. It is also possible to present a stimulus.
- FIG. 8B shows the timing at which periodic noise accompanying pulsation occurs.
- a time at which the result of differentiating the measured electroencephalogram is greater than a predetermined threshold can be detected as the time at which noise occurs.
- the next periodic noise generation timing can be obtained from the past periodic noise generation interval.
- the average value of the 10 occurrences of periodic noise immediately before may be obtained by adding to the final periodic noise occurrence timing.
- the generation interval may be obtained by averaging the generation intervals of the previous periodic noise with a weight.
- the generation interval obtained by the above method may be corrected by applying a predetermined attenuation coefficient.
- processing such as increasing the number of additions is added to reduce the influence of periodic noise without changing the EEG measurement time. May be.
- the predetermined width can be determined from the standard deviation of the periodic noise interval that occurs in a general user. For example, when the standard deviation of the periodic noise generation interval is 0.1 s in a general stable user, the predetermined width may be set to 0.1. If it is a stable state, it is good also as 3 times or less of the standard deviation which almost all users are covered. When the periodic noise interval continues to fluctuate beyond a predetermined width, the margin of the prediction error for the next periodic noise occurrence may be set as wide as, for example, 200 ms.
- the timing schedule for presenting the sound stimulus is determined from the relationship between the low noise influence interval and the analysis important interval.
- the period of the periodic noise By shortening the period of the periodic noise, the length of the low noise influence section is shortened.
- the periodic variance of periodic noise due to pulsation or the like is small. Therefore, when the frequency of pulsation is high and the period of periodic noise is shortened, the degree of freedom of sound stimulation timing for setting the analysis important section in the low noise influence section is low. As a result, the timing of sound stimulation becomes constant as in the case of stimulation timing 1 shown in FIG. 15, and a problem of habitation in event-related potential measurement occurs.
- An unpleasant sound pressure estimation system includes a first sound having the same frequency and a sound pressure within a predetermined range as a biological signal measurement unit that measures a user's brain wave signal.
- An output unit that presents a sound stimulation group including two sounds and a third sound to the user, and each time when at least one of the second sound and the third sound is presented to the user is set as a starting point.
- a feature amount extraction unit that extracts a feature amount of an event-related potential related to at least one of the second sound and the third sound from an electroencephalogram signal of a predetermined analysis section, and the feature amount extraction unit that extracts the feature amount Based on the feature amount, a determination unit that determines an uncomfortable sound pressure with respect to the frequency of the sound stimulation group, and an occurrence time of at least one of a plurality of noises included in the periodic noise from the user's brain wave signal Extraction cycle
- a noise generation unit, a noise generation prediction unit that predicts a next noise generation time from at least one noise generation time extracted by the periodic noise extraction unit, and at least one of the second sound and the third sound
- a sound stimulus scheduling unit that determines the output timing of the sound stimulus group so that a predetermined time elapses after the predicted next noise occurrence time.
- the output unit may output the first sound, the second sound, and the third sound so that sound pressure decreases in order.
- the feature amount extraction unit may extract feature amounts related to N1-P2 amplitude or wavelet coefficients.
- the periodic noise extraction unit may differentiate the electroencephalogram signal of the user and determine that noise has occurred when the differentiation result is equal to or greater than a predetermined threshold.
- the noise generation prediction unit may calculate a period of periodic noise generation based on an average value or a weighted average value of generation intervals of a plurality of past noise generation timings to predict the next noise generation timing.
- the interval from 0 ms to 300 ms after the third sound output as the analysis interval does not enter the time zone from 100 ms before to 250 ms after the next noise generation timing predicted by the noise generation prediction unit.
- the output timing of the sound stimulation group may be set.
- a sound stimulation group determination unit for determining a frequency of a sound stimulation group including the first sound, the second sound, and the third sound, each of which is composed of a pure sound, and a sound pressure equal to or lower than a predetermined threshold value. And the sound which determines the sound pressure of the 1st sound, the 2nd sound, and the 3rd sound so that sound pressure may decrease in order of the 1st sound, the 2nd sound, and the 3rd sound.
- a stimulation sound pressure determination unit, and the output unit has the frequency determined by the sound stimulation group determination unit and the sound pressure determined by the sound stimulation sound pressure determination unit, the first sound and the second sound And the third sound may be output.
- the sound stimulation scheduling unit refers to the time interval between the first sound and the second sound, and after the elapse of a predetermined noise duration from the time when the next noise predicted by the noise generation prediction unit occurs, You may determine the time which outputs a 1st sound, a 2nd sound, and a 3rd sound so that it may become the measurement time of the event related electric potential of a 2nd sound and a 3rd sound.
- the sound stimulation scheduling unit is configured such that the time interval when the periodic noise occurs is smaller than the time from the measurement start time of the event-related potential of the second sound to the measurement end time of the event-related potential of the third sound. Includes a first sound, a second sound, and a second sound, so that an analysis interval for the third sound is provided after a predetermined noise duration has elapsed from the time when the next noise predicted by the noise occurrence prediction unit occurs. You may determine the time which outputs a 3rd sound.
- An unpleasant sound pressure estimation device is predicted based on a periodic noise generation time interval obtained from a user's brain wave signal measured by a biological signal measurement unit that measures the user's brain wave signal.
- the measurement time of the event-related potentials of the second sound and the third sound is received based on the interval between the first sound, the second sound, and the third sound that is received and held in advance.
- a sound stimulus scheduling unit that determines a time to output the first sound, the second sound, and the third sound so that a predetermined noise duration is after a next noise occurrence time; and the sound stimulus scheduling unit In the user's electroencephalogram signal measured by the biological signal measurement unit, the first sound, the second sound, And the third sound
- a feature amount extraction unit that extracts a feature amount of an event-related potential of the electroencephalogram signal starting from each of the applied times, and a frequency of the sound stimulation group based on the feature amount extracted by the feature amount extraction unit
- a determination unit for determining an uncomfortable sound pressure for.
- An unpleasant sound pressure estimation system is based on a biological signal measurement unit that measures a user's brain wave signal, an output unit that presents a sound stimulus to the user, and a time at which the sound stimulus is presented.
- a feature amount extraction unit that extracts a feature amount of an event-related potential related to the sound stimulus from an electroencephalogram signal in a predetermined analysis section having a start time determined in accordance with the feature amount extracted by the feature amount extraction unit
- An unpleasant sound pressure determining unit that determines an unpleasant sound pressure with respect to the frequency of the sound stimulation group, and extracting at least one noise generation time among a plurality of noises included in the periodic noise from the user's brain wave signal
- a periodic noise extraction unit, a noise generation prediction unit that predicts a next noise generation time from at least one noise generation time extracted by the periodic noise extraction unit, and the noise generation Based on the occurrence time of the next noise predicted by the measuring unit, and a sound stimulus scheduling unit for determining a timing for outputting the sound stimulus.
- An unpleasant sound pressure estimation method includes a first biological signal measurement step for measuring a user's brain wave signal, and a cycle from the user's brain wave signal measured in the first biological signal measurement step.
- the noise generation prediction step to predict Before presenting the user with a sound stimulus group including a first sound, a second sound, and a third sound having the same frequency and a sound pressure within a predetermined range, the noise generation prediction step to predict,
- the sound stimulation group is configured such that an analysis interval for at least one of the second sound and the third sound is provided after a predetermined time has elapsed from the predicted occurrence time of the next noise.
- a predetermined analysis determined from each time at which at least one of the second sound and the third sound presented to the user is measured in the signal measurement step and the second biological signal measurement step A feature amount extraction step for extracting a feature amount of an event-related potential related to at least one of the second sound and the third sound from the electroencephalogram signal of the section. Tsu including a flop, based on the feature amount extracted in the feature amount extracting step, a uncomfortable sound pressure determination step of determining the uncomfortable sound pressure with respect to the frequency of the sound stimulation group.
- a computer program is a computer program executed by a computer provided in an unpleasant sound pressure estimation device of an unpleasant sound pressure estimation system, and the computer program is a user's brain wave with respect to the computer.
- Generation of at least one of a plurality of noises included in periodic noise from a first biological signal measurement step of acquiring a signal and the user's brain wave signal acquired in the first biological signal measurement step A noise extraction step for extracting a time; a noise generation prediction step for predicting a next noise generation time from at least one noise generation time extracted in the noise extraction step;
- a sound stimulus scheduling step for determining the output timing of the group, and a first sound and a second sound having the same frequency and a sound pressure within a predetermined range at the output timing determined in the sound stimulus scheduling step.
- an output step for presenting the sound stimulation group including the third sound to the user, and a second living body for acquiring the user's brain wave signal when the sound stimulation group is presented at the output timing in the output step. At least one of the second sound and the third sound acquired in the signal measurement step and the second biological signal measurement step is sent to the user.
- FIG. 10 shows a functional block configuration of the uncomfortable sound pressure estimation system 100 of the present embodiment.
- the unpleasant sound pressure estimation system 100 includes a sound stimulus output unit 10, a biological signal measurement unit 50, and an unpleasant sound pressure estimation device 1.
- the unpleasant sound pressure estimation device 1 includes an event-related potential feature amount extraction unit 55, an unpleasant sound pressure determination unit 65, a sound stimulation group determination unit 70, a sound A stimulus sound pressure determination unit 71, a sound stimulus generation unit 75, a result accumulation DB 80, a sound stimulus scheduling unit 90, a periodic noise extraction unit 95, and a noise occurrence prediction unit 96 are provided.
- the event-related potential feature amount extraction unit 55 may be described as a “feature amount extraction unit 55”, and the unpleasant sound pressure determination unit 65 may be described as a “determination unit 65”.
- the pressure determining unit 71 may be described as “sound pressure determining unit 71”.
- the estimation device 1 is connected to the sound stimulus output unit 10 and the biological signal measurement unit 50 by wire or wirelessly.
- the sound stimulus output unit 10 is configured to present a sound stimulus to the user 5, and the biological signal measuring unit 50 is configured to measure the biological signal of the user 5.
- the block of the user 5 is also shown in the figure.
- the configuration of the estimation device 1 shown in FIG. 10 is an example.
- the estimation device 1 only needs to include at least the feature amount extraction unit 55, the unpleasant sound pressure determination unit 65, and the sound stimulus scheduling unit 90.
- the estimation device 1 may be configured to include the sound stimulus output unit 10, for example.
- the estimation system 100 is, for example, a pure tone in a sound pressure range higher than HTL and lower than a sound pressure generally evaluated as UCL is a monotonically descending sound pressure change, and is affected by the influence of periodic noise.
- UCL a sound pressure generally evaluated as UCL
- the feature quantity of the electroencephalogram for each sound stimulus from the first sound to the third sound is extracted, and the unpleasant sound pressure is measured from the change pattern of the feature quantity.
- FIG. 11 shows the configuration and usage environment of the unpleasant sound pressure estimation system 100 of the present embodiment.
- the estimation system 100 corresponds to the system configuration of the first embodiment shown in FIG.
- the estimation system 100 includes an estimation device 1, a sound stimulus output unit 10, and a biological signal measurement unit 50.
- the sound stimulus output unit 10 outputs a sound stimulus to the user 5.
- the sound stimulus output unit 10 may be, for example, a headphone or a speaker without distortion in frequency characteristics.
- the sound stimulus output unit 10 outputs the sound stimulus data generated by the estimation device 1 (sound stimulus generator 75) to the user 5. It is preferable that the sound stimulus output unit 10 can separately output the sound stimulus generated by the estimation device 1 (sound stimulus generation unit 75) to each of the left ear and the right ear.
- the sound stimulus output unit 10 is also referred to as an “output unit”.
- the biological signal measuring unit 50 is a measuring instrument that measures the biological signal of the user 5.
- the biological signal measurement unit 50 is an electroencephalograph.
- the biological signal measurement unit 50 measures an electroencephalogram corresponding to the potential difference between the exploration electrode B and the reference electrode A attached to the user 5.
- the exploration electrode B is, for example, disposed at an electrode position conforming to the International 10-20 method (10-20 System) shown in FIG.
- the reference electrode A is disposed on the mastoid of the user 5.
- the level (amplitude magnitude) or polarity (amplitude positive / negative) of the characteristic component of the event-related potential can be changed according to the part where the electroencephalogram measurement electrode is attached or the set position of the reference electrode and the exploration electrode. There is sex.
- the biological signal measurement unit 50 sends the measured brain wave or filtered brain wave to the estimation device 1 (periodic noise extraction unit 95 and feature amount extraction unit 55).
- the measured electroencephalogram or filtered electroencephalogram is also referred to as “electroencephalogram data”.
- the EEG data is subjected to frequency filtering with an appropriate cut-off frequency, and together with the trigger information received from the estimation device 1 (sound stimulus generation unit 75), the estimation device 1 (periodic noise extraction unit 95 and feature amount extraction unit) 55).
- the cutoff frequency may be set so as to pass from 5 Hz to 15 Hz. It is assumed that the user 5 is wearing an electroencephalograph in advance. An exploration electrode for measuring an electroencephalogram is attached to, for example, Cz in the center.
- the estimation device 1 determines a plurality of sound stimulus information to be output to the user 5. Specifically, the time for outputting a plurality of sound stimuli is determined so that the time for measuring the event-related potential in the analysis important section does not overlap the time for the periodic noise. The determination of the time for outputting a plurality of sound stimuli is also referred to as “sound stimulus scheduling”.
- the analysis important interval is an interval effective for estimating unpleasant sound pressure among event-related potentials for a plurality of sound stimuli. According to the knowledge of the present inventors described above, when a plurality of sound stimuli are composed of the first sound, the second sound, and the third sound, the event-related potentials for the second sound and the third sound. It is preferable to set a period during which (in particular, an event-related potential for the third sound) is obtained as an analysis important section.
- the sound stimulus determined by the estimation device 1 is presented to the user 5 by the sound stimulus output unit 10.
- the estimation device 1 extracts the feature quantity of the event-related potential cut out from each of the times when a plurality of sound stimuli are presented.
- the unpleasant sound pressure is estimated based on the event-related potentials in the analysis important section.
- the unpleasant sound pressure is preferably estimated for each user's ear (left ear or right ear) and sound frequency, for example. Details will be described later.
- the estimation device 1 In the estimation system 100 shown in FIG. 11, the estimation device 1, the biological signal measurement unit 50, and the sound stimulus output unit 10 are provided in the same casing.
- the estimation system 100 may include the biological signal measurement unit 50 and the sound stimulus output unit 10 in a separate housing from the estimation device 1. In that case, the biological signal measurement unit 50 transmits the measured electroencephalogram signal to the estimation device 1 connected wirelessly or by wire.
- FIG. 12 shows an example of the hardware configuration of the uncomfortable sound pressure estimation apparatus 1 of the present embodiment.
- the estimation device 1 includes a CPU 30, a memory 31, and an audio controller 32.
- the CPU 30, the memory 31 (recording medium), and the audio controller 32 are connected to each other via a bus 34 and can exchange data with each other.
- Each component of the estimation apparatus 1 is composed of a CPU 30.
- the CPU 30 executes a computer program 35 stored in the memory 31.
- the computer program 35 describes a processing procedure shown in a flowchart described later.
- the estimation device 1 controls the entire estimation system 100 according to the computer program 35, such as generation of sound stimulation, extraction and prediction of periodic noise, feature amount extraction of event-related potentials, and discriminant analysis of unpleasant sound pressure determination. Perform the process. This process will be described in detail later.
- the audio controller 32 outputs the sound stimulus to be presented through the sound stimulus output unit 10 with the designated sound pressure according to the instruction of the CPU 30.
- the estimation device 1 may be realized as hardware such as a DSP in which a computer program is incorporated in one semiconductor circuit.
- a DSP can realize all the functions of the CPU 30, the memory 31, and the audio controller 32 described above with a single integrated circuit.
- the computer program 35 described above can be recorded on a recording medium such as a CD-ROM and distributed as a product to the market, or can be transmitted through an electric communication line such as the Internet.
- a device for example, a PC having hardware shown in FIG. 12 can function as the estimation device 1 according to the present embodiment by reading the computer program 35.
- Each functional block of the estimation device 1 corresponds to a function realized as a whole by the CPU 30, the memory 31, and the audio controller 32 as a whole by executing the program described with reference to FIG.
- the sound stimulus group determination unit 70 determines information on a plurality of sound stimuli (sound stimulus groups) to be presented to the user 5.
- the sound stimulus group includes at least a first sound, a second sound, and a third sound.
- the information on the sound stimulation group preferably includes the frequency of the sound stimulation group. It is preferable that the first sound, the second sound, and the third sound have the same frequency.
- “same frequency” not only means completely the same frequency, but also means different frequencies within a range that is less than or equal to the accuracy that humans can hear. For example, different frequencies at 5 Hz or less are considered to be the same frequency.
- the information of the sound stimulus group includes the ear (right ear or left ear) presenting the sound stimulus, the frequency of the presented sound stimulus, the duration of the sound stimulus within the sound stimulus group, and the interval between the sound stimuli. Also good.
- the sound stimulation group determination unit 70 may randomly determine the presentation ear and frequency of the sound stimulation group based on the following restrictions, for example. It is preferable to select a sound stimulation group having a different frequency from the immediately preceding sound stimulation group. The left and right ears are preferably selected in a random order. However, it is preferable not to continuously present the sound stimulation group four or more times only to either the left or right ear. By doing this, the influence of brain wave habitation due to continuous presentation of sound stimulation groups of the same ear and frequency is reduced, and highly accurate uncomfortable sound pressure estimation can be realized.
- the duration of the sound stimulation is set to, for example, 25 ms or more so that the auditory evoked potential is stably evoked.
- the interval between successive sound stimuli is set to a time not shorter than the duration of the sound stimuli and not longer than 1 second. For example, it may be 300 ms or 200 ms.
- the sound stimulus group determining unit 70 transmits the determined information of the plurality of sound stimuli to the sound stimulus sound pressure determining unit 71 or the sound stimulus generating unit 75.
- the sound pressure determination unit 71 determines the sound pressures of the plurality of sound stimulation groups so that the sound pressure is monotonously decreased in order within a predetermined sound pressure range or less.
- the range equal to or lower than the predetermined sound pressure is, for example, a sound pressure range that is larger than the preset HTL of the user 5 and smaller than generally set to UCL.
- the sound pressure determination unit 71 sets, for example, the sound pressures of the plurality of sound stimulation groups to be less than the sound pressure (threshold value) generally evaluated as UCL. That is, the sound pressure of each sound stimulus of the sound stimulus group (for example, the first sound to the third sound) is set within the sound pressure range that the user 5 can comfortably hear.
- the sound pressure determination unit 71 may hold a predetermined threshold value in advance.
- the sound pressure of the first sound may be determined as 80 dBHL, the sound pressure of the second sound as 75 dBHL, and the sound pressure of the third sound as 70 dBHL.
- “monotonic descent” means that the next sound has the same sound pressure as the previous sound or a sound pressure smaller than the previous sound.
- the sound stimulation group is composed of the first sound, the second sound, and the third sound
- the sound is set so as to satisfy the relationship of the sound pressure of the first sound> the sound pressure of the second sound> the sound pressure of the third sound. Determine the pressure.
- the sound pressure determination unit 71 sends the sound stimulus interval in the sound stimulus group to the sound stimulus scheduling unit 90.
- the periodic noise extraction unit 95 receives the brain wave of the user 5 from the biological signal measurement unit 50 and extracts periodic noise.
- the brain wave received from the biological signal measuring unit 50 is differentiated, and the time when the brain wave greater than a predetermined threshold is detected is detected as the periodic noise generation timing. be able to.
- the predetermined threshold value may be determined based on a sampling frequency, a time constant, or an analog low-pass filter of the biological signal measuring unit 50. In the case of a sampling frequency of 1000 Hz, a time constant of 1 second, and a low-pass filter of 60 Hz, the predetermined threshold may be set to 10, for example.
- the periodic noise extraction unit 95 sends the extracted information on the generation timing of the periodic noise to the noise generation prediction unit 96.
- the noise generation prediction unit 96 predicts the next timing at which periodic noise mixed in the brain wave is generated.
- the next periodic noise generation timing can be obtained from the past periodic noise generation interval. For example, the average value of the 10 periodic noise occurrence intervals immediately before may be obtained by adding to the final periodic noise generation timing.
- the noise generation interval may be obtained by averaging the generation intervals of the previous periodic noise with a weight. Furthermore, when the heart rate is higher than the general user's heart rate in the user's age and sex, the generation interval obtained by the above method may be corrected by applying a predetermined attenuation coefficient. Then, the predicted next periodic noise occurrence timing (time) is sent to the sound stimulus scheduling unit 90.
- the sound stimulus scheduling unit 90 determines the time to present a plurality of sound stimuli so that the analysis important section and the period of occurrence of periodic noise (noise duration) do not overlap.
- the analysis important section is, for example, a time zone after the second sound and the third sound presentation (the second sound and the second sound). The period during which event-related potentials for three sounds are measured).
- a predetermined period after the output of the second sound and the third sound may be set as the analysis important section, and a time after a predetermined time has elapsed after the second sound and the third sound are output is set as a starting point. The predetermined period may be set as the analysis important section.
- the sound stimulus scheduling unit 90 refers to the interval of each stimulus of the first sound, the second sound, and the third sound and the predetermined time after the output of the second sound and the third sound, and determines the analysis important section. You may decide. Further, the analysis important section may be determined by holding in advance a predetermined time corresponding to the measurement time of the event-related potential of the second sound and the third sound after the first sound is output.
- the sound stimulus scheduling unit 90 acquires information on the periodic noise occurrence interval, the periodic noise occurrence time, and the noise duration so that the analysis important section does not overlap the noise duration from the noise occurrence time. Next, the time for outputting a plurality of sound stimuli is determined.
- the time from the noise occurrence time until the noise continuation time elapses is also referred to as “noise interval”.
- the time from when the noise continuation time elapses from the noise occurrence time until the next noise is generated is also referred to as “low noise influence section”.
- the measurement time of the event-related potential of the third sound is not particularly overlapped with the noise section among the analysis important sections described above.
- the sound stimulus scheduling unit 90 determines that the measurement time of the event-related potential of the third sound, not the second sound, is noise. You may determine the time which outputs several sound stimulation so that it may not overlap with an area.
- the sound stimulus scheduling unit 90 receives the stimulus interval in the sound stimulus group from the sound pressure determination unit 71, and receives information on the next time when periodic noise occurs from the noise generation prediction unit 96.
- the sound stimulus scheduling unit 90 determines the sound stimulus presentation timing so that the time zone (analytical important section) from 0 ms to 300 ms after the third sound presentation of the next sound stimulus group becomes a low noise influence section.
- the low noise influence section may be set, for example, in a period from a time point 250 ms after the latest periodic noise generation timing to a time point 100 ms before the next periodic noise generation timing.
- the next periodic noise generation timing is predicted by the noise generation prediction unit 96 and notified to the sound stimulus scheduling unit 90.
- the low noise influence section may be shorter than 300 ms of the analysis important section.
- the presentation timing of the sound stimulus is determined so that the section 150 to 200 ms after S3 presentation, which is the most important section in the analysis important section, falls within the low noise influence section.
- the sound stimulus scheduling unit 90 determines the time for presenting a plurality of sound stimuli.
- the sound stimulus scheduling unit 90 sends the determined sound stimulus presentation timings of the first to third sounds to the sound stimulus generation unit 75.
- the sound stimulus generator 75 receives sound stimulus data from the sound pressure determiner 71 based on the information of the presentation ear and frequency of the sound stimulus group and the duration, presentation interval, and sound pressure of the sound stimulus in the sound stimulus group. Is generated. Each sound stimulus may be, for example, a tone burst sound with a rise and fall of 3 ms. Then, the sound stimulus is output to the user 5 via the sound stimulus output unit 10 at the presentation timing of the sound stimulus group received from the sound stimulus scheduling unit 90. In addition, a trigger signal is output to the biological signal measuring unit 50 at the timing when the sound stimulus is output. Note that the sound stimulus generation unit 75 does not necessarily output a trigger signal to the biological signal measurement unit 50, and may only send the generated sound stimulus data to the sound stimulus output unit 10.
- one sound stimulus data including a plurality of sound stimuli having a change in sound pressure at predetermined time intervals may be created for one sound stimulus group.
- the trigger signal sent to the biological signal measuring unit 50 may be only the presentation timing of the first sound.
- the sound stimulus generation unit 75 may include an input device, or may be connected to an external input device.
- the user 5 or the hearing tester of the user 5 can input desired information using the input device, and the sound stimulus generation unit 75 generates sound stimulus using the information received from the input device. be able to.
- the feature amount extraction unit 55 is based on the brain wave received from the biological signal measurement unit 50 and the trigger information, and is set to a predetermined section (for example, a section from 100 ms before the first sound presentation to 400 ms after the third sound presentation). ) To cut out the event-related potential waveform. Further, based on the information on the sound stimulus received from the sound pressure determination unit 71, the feature quantities related to the wavelet coefficients for the first sound to the third sound are calculated.
- the calculated feature amount and sound stimulus information are sent to the unpleasant sound pressure determination unit 65.
- the feature quantity related to the wavelet coefficient may be obtained, for example, as a value obtained by averaging a predetermined range on each of the frequency axis and the time axis. For example, the average may be taken with a frequency width of 5 Hz to 15 Hz on the frequency axis, and the average may be taken with a time width of 50 ms on the time axis.
- a biological signal in a time range of 300 ms or less after the sound stimulus presentation may be used from the time of the sound stimulus presentation.
- the widths of the frequency axis and the time axis that are averaged for calculating the feature amount may be arbitrarily set within a range in which the unpleasant sound pressure can be estimated. That is, the frequency width is not limited to 5 Hz to 15 Hz, and the time width is not limited to 50 ms. It may be finer or coarser than these.
- the feature quantity extraction unit 55 may calculate the feature quantities related to the N1-P2 amplitude for the second sound and the third sound from the event-related potential received from the biological signal measurement unit 50, respectively.
- the N1-P2 amplitude may be obtained as an absolute value of the difference between the N1 amplitude and the P2 amplitude.
- the N1 amplitude may be a section average potential from 50 ms to 150 ms after each sound stimulus presentation of the second sound and the third sound, or may be a peak amplitude.
- the P2 amplitude may be a section average potential from 150 ms to 250 ms after each sound stimulus presentation, or may be a peak amplitude.
- the unpleasant sound pressure determination unit 65 is a predetermined reference that associates the feature amounts of the first sound, the second sound, and the third sound extracted by the feature amount extraction unit 55 with the feature amount and the value of the unpleasant sound pressure in advance. , The uncomfortable sound pressure of the user 5 is determined. The determination unit 65 may determine the uncomfortable sound pressure of the user 5 with reference to the characteristics of the event-related potential measured in the analysis important section and a predetermined standard.
- the determination unit 65 determines the uncomfortable sound pressure using the feature amounts received from the feature amount extraction unit 55 and related to the time-frequency information (for example, wavelet coefficients) of the first to third sounds. To do.
- the determination unit 65 may perform linear determination using time-frequency information (for example, wavelet feature amount) prepared in advance and a predetermined reference.
- the “predetermined standard” means information in which a feature amount and an unpleasant sound pressure value are associated in advance.
- the predetermined reference may be a table in which wavelet feature values and unpleasant sound pressure values are associated with each other, or may be a predetermined formula.
- the determination unit 65 holds a predetermined reference in advance.
- the predetermined standard is, for example, teacher data of a subjective UCL value.
- the teacher data is generated from the subjective UCL value and time-frequency information (for example, wavelet feature amount) measured by performing the above-described subjective report experiment and electroencephalogram measurement experiment in advance for at least two other persons.
- the sound stimulation conditions related to the sound pressure and the number of sound stimulations in the electroencephalogram measurement experiment when generating the teacher data need to be the same as the stimulation sound pressure change pattern determined by the sound pressure determination unit 71.
- the teacher data may be retained for each left and right ear or for each frequency.
- the teacher data used for estimation of the uncomfortable sound pressure is the left and right ears and frequency to be measured, and the left and right ears and frequency of the teacher data. May be switched and used so as to match.
- the teacher data may be switched in accordance with the user's deafness symptoms.
- teacher data may be prepared and switched in large categories such as conductive hearing loss and sensorineural hearing loss.
- teacher data may be prepared and switched for each audiogram pattern such as a low pitch gradual type or a high pitch gradual type.
- the unpleasant sound pressure determination unit 65 sends the determined unpleasant sound pressure to the result accumulation DB 80.
- the result accumulation DB 80 stores the unpleasant sound pressure received from the unpleasant sound pressure determination unit 65 for each of the left and right ears and frequencies, which are information on the sound stimulus group received from the sound stimulus group determination unit 70.
- FIG. 13 is an example of data accumulation in the result accumulation DB 80.
- FIG. 13 illustrates a case where unpleasant sound pressure is accumulated for each left and right ear and for each frequency.
- FIG. 14 is a flowchart illustrating a procedure of processing performed in the estimation system 100.
- the sound stimulus group determination unit 70 determines the duration and interval of the sound stimulus presented to the user 5.
- the duration of the sound stimulation is set to, for example, 25 ms or more so that the auditory evoked potential is stably evoked.
- the interval between stimuli is set to the time of 1 second or less more than the duration of sound stimulation. For example, it may be 300 ms or 200 ms. Then, it is sent to the sound stimulus scheduling unit 90 via the sound stimulus sound pressure determination unit 71.
- the biological signal measuring unit 50 measures the brain wave of the user 5 as a biological signal. Then, frequency filtering of an appropriate cut-off frequency is performed on the electroencephalogram data, which is sent to the noise extraction unit 95 and the feature amount extraction unit 55. It is assumed that the electroencephalogram is continuously measured until step S115 to be described later is completed, and during this time, the electroencephalogram data is sent to the noise extraction unit 95 and the feature amount extraction unit 55.
- the trigger information is also sent to the feature amount extraction unit 55.
- the periodic noise extraction unit 95 receives the brain wave of the user 5 from the biological signal measurement unit 50 and extracts periodic noise. For example, in the case of extracting pacemaker noise as periodic noise, the electroencephalogram received from the biological signal measuring unit 50 is differentiated, and if it is larger than a predetermined threshold, it is determined that periodic noise has occurred, Detect occurrence timing.
- the predetermined threshold can be determined by the sampling frequency and time constant in the biological signal measuring unit 50, and an analog low-pass filter. In the case of a sampling frequency of 1000 Hz, a time constant of 1 second, and a low-pass filter of 60 Hz, the predetermined threshold may be set to 10, for example. Then, the extracted periodic noise occurrence timing information is sent to the noise occurrence prediction unit 96.
- the noise generation prediction unit 96 predicts the next timing at which periodic noise mixed in the brain wave is generated.
- the next periodic noise generation timing can be obtained from the past periodic noise generation interval. For example, the average value of the 10 periodic noise occurrence intervals immediately before may be obtained by adding to the final periodic noise generation timing.
- the generation interval may be obtained by averaging the generation intervals of the previous periodic noise with a weight.
- the generation interval obtained by the above method may be corrected by applying a predetermined attenuation coefficient. Then, the predicted next periodic noise occurrence timing (time) is sent to the sound stimulus scheduling unit 90.
- the sound stimulus scheduling unit 90 receives the stimulus interval in the sound stimulus group from the sound pressure determination unit 71 and receives information on the next time when periodic noise occurs from the noise generation prediction unit 96.
- the sound stimulus scheduling unit 90 displays the second sound and the third sound (or only the third sound) of the next sound stimulus group after the time zone (analytical important section) from 0 ms to 300 ms is set to the low noise influence section.
- the timing for presenting the sound stimulus is determined as follows.
- the low noise influence period may be, for example, after 250 ms from the latest periodic noise generation timing and to 100 ms before the next periodic noise generation timing received from the noise generation prediction unit 96.
- the sound stimulus scheduling unit 90 sends the determined sound stimulus presentation timing of the first to third sounds to the sound stimulus generation unit 75.
- the sound stimulation group determination unit 70 determines the presentation ear / frequency of the sound stimulation group.
- the presentation ear and frequency may be determined randomly based on, for example, the following constraints. A sound stimulus having the same frequency as that of the immediately preceding sound stimulus group is not selected. The left and right ears are selected in a random order. However, the presentation of the sound stimulation group to the left or right ear is not continued four times or more.
- the sound stimulation sound pressure determination unit 71 receives information on the presentation ear / frequency of the sound stimulation group, the duration of the sound stimulation in the sound stimulation group, and the interval between stimulations from the sound stimulation group determination unit 70.
- the sound stimulation sound pressure determination unit 71 also has a sound pressure in a sound pressure range that is higher than a preset HTL and lower than a sound pressure generally evaluated as UCL, and in continuous sound stimulation. The sound pressure of the sound stimulation group is determined so that the sound pressure decreases monotonously.
- the sound pressure of the first sound may be determined as 80 dBHL, the sound pressure of the second sound as 75 dBHL, and the sound pressure of the third sound as 70 dBHL.
- the sound pressure of the first sound may be 80 dBHL
- the sound pressure of the second sound may be 70 dBHL
- the sound pressure of the third sound may be 60 dBHL.
- the sound pressure for each sound stimulus in the determined sound stimulus group is sent to the sound stimulus generator 75 together with the information received from the sound stimulus group determiner 70.
- the sound stimulus generation unit 75 generates sound stimulus data based on the sound stimulus information received from the sound stimulus sound pressure determination unit 71.
- Each sound stimulus may be, for example, a tone burst sound with a rise and fall of 3 ms.
- the sound stimulus generation unit 75 outputs the sound stimulus to the user via the sound stimulus output unit 10 at the presentation timing of the sound stimulus received from the sound stimulus scheduling unit 90.
- the sound stimulus generation unit 75 also outputs a trigger signal to the biological signal measurement unit 50 at this timing.
- the sound stimulus generator 75 may create one sound stimulus data for one sound stimulus group.
- One sound stimulus data created in this way includes data corresponding to a plurality of sound stimuli having sound pressure changes at predetermined time intervals.
- the trigger signal sent to the biological signal measuring unit 50 may be only the presentation timing of the first sound.
- the event-related potential feature quantity extraction unit 55 is based on the electroencephalogram and trigger information received from the biological signal measurement unit 50 and has a predetermined section (for example, a section from 100 ms before the first sound presentation to 400 ms after the third sound presentation) starting from the trigger information. Cut out event-related potentials.
- step S111 the feature amount extraction unit 55 calculates the feature amounts related to the wavelet coefficients for the first to third sounds according to the content of the sound stimulus received from the sound pressure determination unit 71, respectively.
- Step S112> The feature amount extraction unit 55 adds and averages the wavelet coefficients calculated in step S107 for each left and right ear and for each frequency based on the sound stimulation information received from the sound stimulation sound pressure determination unit 71.
- Step S113> The feature amount extraction unit 55 determines whether or not the average number of additions to the sound stimulus of the sound stimulus group presented in step S105 has reached a predetermined number. If the average addition count is less than or equal to the predetermined count, the process returns to step S103 to repeat the presentation of the sound stimulus group. When the average number of additions is equal to or greater than the predetermined number, the event-related potential feature amount extraction unit 55 sends the feature amount related to the averaged wavelet coefficient to the unpleasant sound pressure determination unit 65. Thereafter, the process proceeds to step S109.
- the predetermined number is, for example, 20 times. Note that “20 times” is the number of additions frequently used in the field of measuring event-related potentials, but this is an example, and it goes without saying that any number of times may be selected.
- the unpleasant sound pressure determination unit 65 determines the uncomfortable sound pressure of the user 5 using the feature amounts related to the wavelet coefficients of the first to third sounds received from the event-related potential feature amount extraction unit 55.
- the unpleasant sound pressure determination can be realized by linear determination using a wavelet feature amount of another person prepared in advance and teacher data of a subjective UCL value.
- the teacher data used for unpleasant sound pressure estimation may be switched and used so that the left and right ears and frequency of the measurement target coincide with the left and right ears and frequency of the teacher data.
- the teacher data may be switched in accordance with the user's deafness symptoms. For example, teacher data may be prepared and switched in large categories such as conductive hearing loss and sensorineural hearing loss. In addition, teacher data may be prepared and switched for each audiogram pattern such as a low pitch gradual type or a high pitch gradual type.
- the result accumulation DB 80 accumulates information on the determination result of the unpleasant sound pressure received from the unpleasant sound pressure determination unit 65 separately for each of the left and right ears and frequencies of the sound stimulation group presented in step S105.
- the triple sounding of the monotonically decreasing sound pressure change at the same frequency is presented at a timing when the influence of periodic noise on the estimation accuracy is low, EEG feature quantities for each sound stimulus up to three sounds are extracted. Further, the unpleasant sound pressure is estimated from the extracted feature value change pattern. Thereby, even a user wearing a pacemaker can realize hearing aid fitting in which the user does not feel uncomfortable sound pressure when wearing the hearing aid.
- the timing of presenting the triple pronunciation of the monotonically decreasing sound pressure change is controlled so as not to be affected by the periodic noise, and the user's uncomfortable sound pressure is measured by analyzing the electroencephalogram.
- this is only an example of an embodiment.
- various modifications can be made so as to schedule the stimulus timing when measuring other components of the event-related potential for other purposes. Is possible. For example, when it is determined whether or not a sound stimulus is heard based on the presence or absence of the N1 component of the event-related potential, the latency of 80 ms to 150 ms at which the N1 component is caused is the analysis important interval.
- the presentation timing of the sound stimulus may be set so that the analysis important section is included in the low noise influence section.
- the biological signal measurement unit 50 cuts out an event-related potential in a predetermined range starting from the trigger information from the sound stimulus generation unit 75 and transmits the event-related potential to the event-related potential feature amount extraction unit 55. did.
- this process is an example.
- the biological signal measurement unit 50 may continuously measure brain waves, and the feature amount extraction unit 55 may perform necessary event-related potential extraction and baseline correction. If it is the said structure, the sound stimulus production
- the result of unpleasant sound pressure estimation is stored in the result storage DB 80, but may not be stored.
- each determination result of the unpleasant sound pressure determination unit 65 may be simply output.
- Each determination result can be used as information regarding unpleasant sound pressure.
- the basic function of hearing aids is sound amplification.
- the amplification amount (gain) needs to be set for each user due to individual differences in auditory characteristics. Therefore, before starting to use the hearing aid, “fitting” is performed to set the gain for each frequency of the hearing aid. In order to achieve appropriate fitting, first, accurate measurement of the user's auditory characteristics is essential.
- HTL minimum audible threshold
- UCL uncomfortable level
- an audiometer is used to present a continuous sound or intermittent sound to the user using the ascending method (increase the sound pressure level gradually), and it is too noisy for a long time. Whether or not the sound pressure cannot be heard is reported to the user, and the sound pressure reported by the user is defined as UCL.
- Subjective report means that after a user hears a sound, the user reports a subjective impression of the sound.
- the gain for each frequency of the hearing aid and the sound pressure of the input sound is determined using the above-described auditory characteristics and a function called fitting theory.
- fitting theory there is no fitting theory that can be used universally for all users, and several fitting theories are mixed.
- the insertion gain of each frequency is made half of the HTL of that frequency.
- the Berger method slightly enhances the amplification from 1000 Hz to 4000 Hz in consideration of the frequency band and level of conversational speech.
- the POGO method is based on the half gain method and reduces the gains of 250 Hz and 500 Hz, which have a small amount of speech information and a small noise component, by 10 dB and 5 dB, respectively.
- the NAL-R method amplifies the long term acoustic analysis frequency of words to a comfortable level.
- the sound pressure amplification amount is insufficient, or (2) the sound pressure amplification amount is too large.
- the amplification amount of the sound pressure is insufficient, the user cannot recognize the voice. In this case, the purpose of using the above-mentioned hearing aid cannot be achieved.
- the hearing aid may present a voice having a sound pressure higher than necessary to the user. As a result, there is a risk of hurting the user's ear due to the sound having a high sound pressure.
- the UCL obtained by calculation from the HTL does not reflect individual differences and includes errors caused by individual differences.
- there is a method of measuring UCL by subjective report but the accuracy is low because the UCL standard fluctuates due to the influence of individuals or language expressions.
- a device that generates periodic noise without presenting a strong sound stimulus is mounted. Even the user can estimate the uncomfortable sound pressure of the user with good accuracy. Therefore, fitting of a hearing aid can be performed appropriately.
- the unpleasant sound pressure estimation system of the present disclosure is useful for adjusting a hearing aid at a hearing aid store or at home.
- Uncomfortable sound pressure estimation device (estimation device) 5 User 10 Sound Stimulation Output Unit 50 Biological Signal Measurement Unit 55 Event Related Potential Feature Extraction Unit (Feature Extraction Unit) 65 Unpleasant sound pressure determination unit (determination unit) 70 sound stimulation group determination unit 71 sound stimulation sound pressure determination unit (sound pressure determination unit) 75 Sound stimulus generator 80 Result storage DB 90 sound stimulus scheduling unit 95 periodic noise extraction unit 96 noise generation prediction unit 100 unpleasant sound pressure estimation system (estimation system)
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Otolaryngology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Neurosurgery (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
不快音圧推定システム(100)は、ユーザの脳波信号から複数の周期的ノイズが発生した時間間隔から予測したノイズが発生する時刻と音刺激の間隔とに基づいて、第2音及び第3音の事象関連電位の計測時間が、次の周期的ノイズが発生する時刻から所定のノイズ継続時間後となるように、音刺激群を出力する時刻を決定する音刺激スケジューリング部(90)と、音刺激群が出力される時刻を受け取り、生体信号計測部が計測したユーザの脳波信号において、音刺激群が出力されたそれぞれの時刻を起点とする、脳波信号の事象関連電位の特徴量を抽出する事象関連電位特徴量抽出部(55)と、事象関連電位特徴量抽出部で抽出した特徴量に基づいて、音刺激群の周波数に対する不快音圧を決定する不快音圧判定部(65)とを備える。
Description
本願は、脳波を用いて、不快音圧を推定する技術に関する。
難聴とは、たとえば、特定の周波数あるいは周波数帯の音が聞こえにくい状態を意味する。聞こえにくい周波数あるいは周波数帯は、ユーザごとに異なる。
補聴器は、ユーザが音を聞くことができるように、音を増幅する。ユーザの聴覚特性の違いにより、ユーザごとに必要な増幅量が異なる。
補聴器を利用する前にフィッティングを行い、音の周波数ごとの利得を決定する。フィッティングを行うためには、ユーザの聴覚特性を正確に測定することが必要になる。
聴覚特性の検査では、最初に最小可聴閾値(hearing threshold level:HTL)が調べられる。次に、不快レベル(uncomfortable level:UCL)が調べられる。HTL及びUCLは、補聴器から出力する音の音圧のダイナミックレンジを決定するために利用される。
脳波を用いて、UCLを測定する方法が開発されつつある。
たとえば、非特許文献1は、クリック音に対する聴性脳幹反応(auditory brainstem response: ABR)のV波潜時とUCLとに相関関係があることを開示している。
また、非特許文献2は、振幅変調音に対する聴性定常反応(auditory steady state response: ASSR)の振幅から、その人が感じるラウドネスが近似できることを開示している。非特許文献2に記載の技術では、周波数ごとのUCL推定ができず、また、推定に30分以上の時間を要し、さらにUCL付近の大きな音に関しては推定精度が低い場合があった。
Thornton, A. R., Yardley, L., & Farrell, G. (1987). The objective estimation of loudness discomfort level using auditory brainstem evoked responses. Scandinavian Audiology, 16, 219-225.
Zenker-Castro, F., & Barajas de Prat, J. J. (2008). Auditory steady-state responses and hearing device fitting Part A: The role of auditory steady-state responses in fitting hearing aids. (pp. 241-258). In G. Rance (Ed.), The auditory steady-state response: Generation, recording, and clinical application. San Diego: Plural.
上述した従来の技術では、ユーザをできるだけ不快な状態にさせることなく、そのユーザのUCLを良好な精度で求めることが望まれていた。また、周期的なノイズが脳波に影響を与え得る場合において、UCLを良好な精度で求めることが望まれていた。
本願の、限定的ではない例示的なある実施形態は、ユーザに強大な音を呈示せずに、ユーザの不快音圧をより向上した精度で推定することが可能な技術を提供する。また、本願の、限定的ではない例示的なある実施形態は、周期的なノイズが脳波測定に影響を与え得る環境において、良好な精度でユーザのUCLを推定することを可能にする技術を提供する。
上記課題を解決するために、本発明の一態様は、不快音圧推定システムは、ユーザの脳波信号を計測する生体信号計測部と、前記ユーザに音刺激を呈示する出力部と、音刺激が呈示された時刻に基づいて決定される起点時刻を有する所定の分析区間における脳波信号から、前記音刺激に関連する事象関連電位の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出した特徴量に基づいて、前記音刺激群の周波数に対する不快音圧を決定する不快音圧判定部と、前記ユーザの脳波信号から、周期的ノイズに含まれる複数のノイズのうちの少なくとも1つのノイズの発生時刻を抽出する周期的ノイズ抽出部と、前記周期的ノイズ抽出部が抽出した少なくとも1つのノイズの発生時刻から、次のノイズの発生時刻を予測するノイズ発生予測部と、前記ノイズ発生予測部で予測された次のノイズの発生時刻に基づいて、前記音刺激を出力するタイミングを決定する音刺激スケジューリング部とを含む。
上述の一般的かつ特定の態様は、システム、装置、方法およびコンピュータプログラムを用いて実装され、またはシステム、装置、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
本発明の一態様にかかる不快音圧推定システムによれば、周期的ノイズを発生するような装置をつけたユーザであっても、強大音を聞かせることなく良好な精度でUCLを推定することができる。
上記非特許文献1および非特許文献2に開示される従来の手法では、ユーザには、不快なレベルの音圧の音刺激を呈示し、ユーザが不快な状態になった後に、その音刺激の音圧がUCLであったかどうかを判定する方法がとられていた。つまり、ユーザが不快な状態になったかどうかによって、不快音圧を調べるアプローチが採られていた。このため、聴力評価を行うには、ユーザには強大な音が呈示され、それによりユーザは実際に不快な状態を経験する必要があった。
これに対し、本開示による不快音圧推定システムの一実施形態においては、ユーザをできるだけ不快な状態にさせることなく、良好な精度でUCLを求める。以下、添付の図面を参照しながら、本開示による不快音圧推定システムの実施形態を説明する。
まず、本明細書における用語の定義を説明する。
「事象関連電位(event-related potential:ERP)」とは、刺激に対して発生する脳波(electroencephalogram:EEG)の電位の変動である。
「音刺激」とは、聴覚刺激とも呼ばれ、ユーザに対して呈示する音である。
「N1成分」とは、音刺激を呈示した時刻を起点として、約100ms後に現れる事象関連電位の陰性成分である。
「P2成分」とは、音刺激を呈示した時刻を起点として、約200ms後に現れる事象関連電位の陽性成分である。
「潜時」とは、音声刺激が呈示された時刻を起点として陽性成分または陰性成分のピーク電位が出現するまでの時間である。
「陰性成分」とは、一般的には、0μVよりも小さい電位をいう。電位を比較する対象がある場合には、より負の値を有する電位を陰性成分ともいう。
「陽性成分」とは、一般的には、0μVよりも大きい電位をいう。電位を比較する対象がある場合には、より正の値を有する電位を陽性成分ともいう。
「不快音圧(uncomfortable loudness level:UCL)」とは、ユーザが不快に感じる大きさの音圧である。
「最小可聴値(hearing threshold level:HTL)」とは、ユーザが聞き取ることのできる最も小さい音の音圧である。単に閾値とも表記する。
「音を呈示する」とは、純音を出力することである。
「純音」とは、周期振動を繰り返す楽音のうち、単一の周波数成分しか持たない正弦波で表される音である。
本願明細書においては、事象関連電位の成分を定義するためにある時点から起算した所定時間経過後の時刻を、たとえば「潜時約100ms」と表現している。これは、100msという特定の時刻を中心とした範囲を包含し得ることを意味している。「事象関連電位(ERP)マニュアル-P300を中心に」(加我君孝ほか編集、篠原出版新社、1995)の30頁に記載の表1によると、一般的に、事象関連電位の波形には、個人ごとに30msから50msの差異(ずれ)が生じる。したがって、「約Xms」や「Xms付近」という語は、Xmsを中心として30から50msの幅がその前後(例えば、100ms±30ms、200ms±50ms)に存在し得ることを意味している。
本開示によれば、ユーザには不快音圧ではない程度の音圧の音刺激を呈示し、その呈示音に対する脳波誘発反応を計測し、脳波誘発反応の解析結果に基づいて、そのユーザのUCLを推定する。これにより、不快と感じるほどの強大音をユーザに聞かせなくても、そのユーザのUCLを推定できる。
以下、添付の図面を参照しながら、本開示による不快音圧推定システムの各実施形態を説明する。
以下に説明する実施形態による不快音圧推定システムでは、ユーザが不快と感じない程度の大きさの音圧を有する音刺激を、周期的に脳波に混入するノイズ(周期的ノイズと呼ぶ)を避けて、適切なタイミングで呈示することで、不快音圧を高精度に推定する。
不快音圧の推定システムや方法などを説明する前に、実施した実験とその実験結果を説明する。また、その後、周期的に脳波にノイズが混入する状況でも、高精度に不快音圧を推定するための音刺激呈示タイミングの制御方法について説明する。
(実験概要の説明)
1.実験概要
本発明者らは、脳波に基づく不快音圧の推定を目指し、以下の2つの実験を実施した。
1.実験概要
本発明者らは、脳波に基づく不快音圧の推定を目指し、以下の2つの実験を実施した。
一つは、主観報告に基づいてUCLを実測する主観報告実験である。主観報告実験は、脳波計測実験の前後にそれぞれ実施した。この主観報告実験で得られたUCLデータを、下記の脳波からUCLを推定する場合の基準データとして使用した。
もう一つは、音刺激に対する反応を計測する脳波計測実験である。脳波計測実験では、同一周波数の純音を5dB刻みの単調下降の音圧変化で3連発呈示し、第1音から第3音までのそれぞれの音刺激に対する事象関連電位を計測した。
以下、単調下降の音圧変化で音刺激を複数回連発呈示することを「デクレッシェンド刺激」とも表記する。この音刺激呈示に対する事象関連電位を取得して、UCL値の推定のデータとした。
その結果、本願発明者らは、一般的にUCLと評価される音圧よりも低い音圧のデクレッシェンド刺激を呈示した場合にも、第1音から第3音に対する事象関連電位のウェーブレット変換により算出したウェーブレット係数の変化パターンを線形判別することで、主観報告のUCLが推定できることを見出した。
なお、一般的にUCLと評価される音圧よりも低い音圧とは、HTL値によって変動するものとする。たとえば、Pascoeの研究成果(Pascoe, D.P. (1988). (Clinical measurements of the auditory dynamic range and their relation to formulas for hearing aid gain. In 1ensen. H. 1. (Ed.) Hearing Aid Fitting: Theoretical and Practical Views 13th Danavox Symposium. Copenhagen: Stougaard.))に基づき、図16に示したHTL値ごとの推定UCL値よりも少なくとも5dB以上低い値を、上述した「低い音圧」とする。
また、音刺激に対する事象関連電位が生起するのは、音刺激の音圧がHTLよりも高い場合である。すなわち、一般的にUCLと評価される音圧よりも低い音圧範囲とは、HTLよりも高い音圧の範囲とする。本手法により、強大音を呈示しなくても短時間かつ高精度なUCL推定が可能になる。
以下、本発明者らが実施した実験とその結果、そして分析により明らかになった脳波特徴について詳述する。
(実験条件の説明)
2.UCL主観報告実験および脳波計測実験
本実験により、主観報告を用いて計測したUCLと、音刺激に対する聴性誘発反応(auditory evoked potential:AEP)から推定したUCLとを比較し、AEPに基づくUCL推定の可能性を検討する。
2.UCL主観報告実験および脳波計測実験
本実験により、主観報告を用いて計測したUCLと、音刺激に対する聴性誘発反応(auditory evoked potential:AEP)から推定したUCLとを比較し、AEPに基づくUCL推定の可能性を検討する。
以下、主観報告を用いて計測したUCLを「主観UCL」と表記し、AEPから推定したUCLを「推定UCL」と表記することがある。
正常な聴力を持つ社会人男性18名(25-56歳、平均39.6±8.4歳)に対してインフォームドコンセントを実施し、実験参加の同意を得た。
2-1.UCL主観報告実験
オージオメータ(AA-72、RION製)を用いて、1kHz、2kHz、4kHzの断続音を片耳ずつ上昇法で呈示した。うるさくて長時間聞いていられないと感じた場合に挙手をさせ、左右耳・周波数ごとの主観UCLとして記録した。主観UCLは、脳波計測の前後で1回ずつ実施した。
オージオメータ(AA-72、RION製)を用いて、1kHz、2kHz、4kHzの断続音を片耳ずつ上昇法で呈示した。うるさくて長時間聞いていられないと感じた場合に挙手をさせ、左右耳・周波数ごとの主観UCLとして記録した。主観UCLは、脳波計測の前後で1回ずつ実施した。
以下、主観報告実験の結果を述べる。全ての参加者が健聴者であった。しかしながら、主観報告実験の結果は、個人ごとに大きく異なった。たとえば、同一周波数において主観UCLに個人間で最大40dBの差異があった。
これは、「うるさすぎて我慢できない」という定義の解釈は個人ごとに大きく異なることを示している。よって、主観報告によるUCL測定は難しいといえる。
図1は、主観報告によって測定した個人ごとのUCL測定結果である。図1には、2回の測定結果の平均値が示されている。音圧の単位は、dBHLである。図1中に示した左右耳ごと、周波数ごとの標準偏差からも分かるように、主観UCL値はある程度ばらついている。このように、主観UCL値は、個人ごとのばらつきが比較的大きい。
2-2.脳波計測実験
脳波実験では、3つの周波数(1000Hz(1kHz)、2000Hz(2kHz)、4000Hz(4kHz))について、一般的にUCLと評価される音圧よりも低い3つの音圧(80、75、70dBHL)の音刺激が呈示された。3つの音圧は単調下降させた。そして、音刺激ごとの事象関連電位の特徴変化を調べた。
脳波実験では、3つの周波数(1000Hz(1kHz)、2000Hz(2kHz)、4000Hz(4kHz))について、一般的にUCLと評価される音圧よりも低い3つの音圧(80、75、70dBHL)の音刺激が呈示された。3つの音圧は単調下降させた。そして、音刺激ごとの事象関連電位の特徴変化を調べた。
なお、本明細書において、「単調下降」とは、次の音が、前の音より小さい音圧を有することを意味する。
以下、図2、図3、及び図4を参照しながら、脳波計測実験の実験設定および実験結果を説明する。
図2に、右耳及び左耳に呈示した音刺激を示す。図2の横軸は時間である。
音刺激としては、立ち上がり及び立ち下がりが3msであり、持続時間44msを有するトーンバースト音を用いた。
同一の周波数を有する3個の音刺激を、80dBHLから5dBずつ音圧を下げて、左耳および右耳のそれぞれに呈示した。音刺激の間隔は、300msであった。また、音刺激の周波数を、1kHz、2kHz、および4kHzのそれぞれに設定して各周波数について実験を行った。このようにして、同一周波数の3個の音刺激を1セットとして、3種類の周波数と2種類の呈示する耳とにより、6種類の条件で実験を行った。
本明細書では、上記の3個の音刺激を、呈示する順(ここでは音圧の大きい順)に、第1音、第2音、第3音と表記し、それぞれS1、S2、S3と呼ぶ。また、同一の周波数である複数の音刺激を、「音刺激群」と称することがある。
前の音刺激群に含まれる第3音(S3)の終了時刻と、次の音刺激群に含まれる第1音(S1)の開始時刻までの間隔は、450±50msとした。
人間の慣れによる脳波への影響を低減するために、同じ周波数の連発音が続かないように設定した。連発音は、6種類の条件ごとに50回ずつ、計300回呈示した。参加者に対して、聞こえてくる音を黙って聞くように教示した。行動反応は求めなかった。
音刺激は、PCからヘッドフォン(HDA200、SENNHEISER製)を介して出力した。音刺激の音圧は、騒音計(LA-1440、ONO SOKKI製)及びカプラ(IEC318、Larson Davis製)を用いて校正した。
次に、脳波を計測するために装着される電極の位置を説明する。図3(a)は、国際10-20法(10-20 System)の電極位置を示す。図3(b)は本実験で電極を装着した電極配置を示す。図3(b)の丸付き数字1、2および3は、電極位置のC3、CzおよびC4をそれぞれ示す。
本願発明者らは、頭皮上のC3、Cz、C4(国際10-20法)に装着したアクティブ電極及び右目上に装着したアクティブ電極(図3(b)の丸付き数字4)と、右マストイドに装着した基準電極との電位差を脳波として計測した。「マストイド」とは、耳の裏の付け根の下部の頭蓋骨の乳様突起である。図3(b)には、マストイドの位置が「Ref」によって示されている。
サンプリング周波数は1000Hz、時定数は1秒とした。オフラインで1-20Hzのバンドパスフィルタをかけた。
S1を起点に、-100msから1000ms(S3呈示後400ms)までの波形を切り出し、左右耳・周波数ごとに加算平均してAEPを求めた。ここで、「-100ms」とは、S1を呈示した時刻より100ミリ秒前の時点をいう。また、いずれかの電極において±80μVを超える電位が含まれた試行は、眼球運動や瞬目によるノイズの影響を含むことが想定されるため、加算平均から除外した。
一方で、脳波に含まれる時間-周波数成分を抽出するために、100Hzにダウンサンプリングした脳波に対してウェーブレット変換を施した。ウェーブレット変換により得られた係数(ウェーブレット係数)は、脳波の時間-周波数の情報に対応する。
マザーウェーブレットには、メキシカンハット(ψ(t)=(1t^2)exp(t^2/2))を用いた。ウェーブレット係数のスケールは1から9の整数とした(2.5-12.5Hzに対応)。
そして、呈示した耳(左耳又は右耳)、及び音刺激の周波数ごとに、ウェーブレット係数を加算平均して、連発音に対する誘発反応(AEP)を求めた。なお、スケールアウトのため主観UCLが正しく測定できなかった1名のデータと、左右耳・周波数ごとのAEP算出において加算回数が15回に満たなかった3名のデータを分析対象から除外した。
このようにして得られた、連発音に対する誘発反応(ウェーブレット特徴量)に対して判別分析(線形判別)を実施することで、UCLを推定することとした。
具体的には、ウェーブレット特徴量は、加算平均後のウェーブレット係数の0msから900msの範囲を、50msの時間窓で分割し、スケール(分割単位)ごとにウェーブレット係数を平均することによって生成した。また、任意の2つのウェーブレット特徴量を組合せるとともに、自分以外の参加者の主観UCLとウェーブレット特徴量との組合せの対応関係を学習し、教師データとして用いた。教師データは、左耳及び右耳に音刺激を呈示して測定した脳波を用いて、音刺激の周波数ごとに作成した。
UCL推定の精度は、平均誤差(分析した全参加者の左右耳・周波数ごとの主観UCLと推定UCLの差の絶対値の平均)によって評価した。平均誤差は、全てのウェーブレット特徴量の組合せに対して求めた(計13041通り)。
3.実験結果
以下、脳波計測実験の結果を説明する。
以下、脳波計測実験の結果を説明する。
まず、音圧変化に対する事象関連電位に、不快音圧推定の指標が含まれることを確認するために、主観UCL値と、加算平均した事象関連電位との比較を行った。参加者ごとの主観UCL値の差が、事象関連電位の差として反映されるのであれば、事象関連電位から不快音圧を推定できると考えられる。
ここで、上述のように主観UCL値は、強大音に対するパーソナリティが異なることから、参加者ごとのばらつきを持った指標である。そこで、そのばらつきを低減するために、主観UCL値が大きかった場合と小さかった場合の2つにグループに分けて事象関連電位を加算平均し、比較を行った。具体的には、参加者ごと、周波数ごとの主観UCL値が100dBHL以上であった場合と、100dBHL未満であった場合とに分けて加算平均を実施した。なお、100dBHLは、主観報告実験で得られた全参加者の主観UCL値の中央付近の値である。
図4に、中心部(Cz)の電極と基準電極との電位差に対応する事象関連電位の総加算平均波形を示す。図4に示す波形は、条件毎に、測定した事象関連電位を加算して、平均した波形である。以下、加算して平均した波形を総加算平均波形と表記する。
図4において、太線は、100dBHL以上の主観UCLを有する参加者(UCL高グループ)の総加算平均波形を示しており、破線は、100dBHLより低い主観UCLを有する参加者(UCL低グループ)の総加算平均波形を示している。
S1、S2、S3の呈示タイミング(0ms、300ms、600ms)を縦の実線で明示した。
主観UCLの高低によらず、それぞれの音刺激を呈示してから約100ms後に陰性成分(N1成分)が現れ、約200ms後に陽性成分(P2成分)が現れている。
また、UCL高グループとUCL低グループとの波形の差は、S1に対する波形よりも、S2及びS3に対する波形において顕著である。S2及びS3に対する波形において、UCL高グループは、UCL低グループよりも、小さい振幅を有することがわかる。このことから、事象関連電位(特に、S2およびS3に関連する事象関連電位)がUCL推定の指標となり得ることがわかる。
次に、上記のようにして求めたウェーブレット係数に基づいてUCLを推定する場合を説明する。
図5(a)及び(b)に、UCL高グループとUCL低グループの総加算平均ウェーブレット係数を示す。図5(a)及び(b)において、濃淡により強度(ウェーブレット特徴量の大きさ)が示されており、濃い部分は強度が大きく、明るい部分は強度が小さい。例えば、UCL低グループは、UCL高グループより、S3に対する波形において、5Hz以下の反応が小さいことがわかる。
図6に、上記に説明した線形判別による、脳波の時間-周波数の情報を用いて推定したUCLと、主観UCLとの分布を示す。ここでは、左右耳・刺激周波数を区別せずに得られた結果が示されている。また、各格子点に該当した度数を丸印の大きさで示している。
また、図6には、主観UCLと推定UCLとが等しい場合に対応する破線が示されている。つまり、丸印の中心が破線上にあれば、推定UCLが、主観UCLと一致したことになる。
推定UCLと主観UCLとの間でばらつきが存在するものの、脳波の時間-周波数の情報を用いて、UCLが推定できていることがわかる。平均誤差は、4.9±5.0dBであった。なお、全体の72.6%において、推定誤差が5dB以下であり、実測値と推定値の相関係数はr=0.566であった。
図7(a)は、平均誤差が小さかった上位1%の推定で用いられたウェーブレット特徴量の頻度を示す。図7(b)は、上位1%の推定で用いられた時間窓ごとのウェーブレット特徴量の頻度を示す。
図7(a)及び(b)より、S3呈示後のウェーブレット特徴量がUCL推定に有効であるとわかる。特に、S3呈示後150-200msのウェーブレット特徴量は、上位1%の推定において、15%以上の頻度で利用されている。この区間は、図4に示す総加算平均波形で差が大きかった区間と一致している。
このようにして、本発明者らは、実験によって、下記の2つの知見を得た。
1つ目は、図4からわかるように、UCL高グループとUCL低グループとの事象関連電位の波形の差は、S1に対する波形よりも、S2及びS3に対する波形の方が大きいという点である。
2つ目は、図5及び図7からわかるように、S3の脳波の時間-周波数の情報は、UCL推定に有効であるという点である。
つまり、主観UCLの高低によって、S2およびS3に対する事象関連電位が異なり、主観UCLが低い場合に振幅が小さいことが明らかになった。
また、ウェーブレット特徴量を線形判別した結果、5dB以下の平均誤差でUCLを推定できた。
平均誤差は、S3に対するウェーブレット特徴量(特に、S3呈示後150-200ms)を用いて推定した場合に特に小さくなった。これらの結果は、S3呈示後の事象関連電位にUCLの情報が含まれており、その分析によりUCLが推定できることを示唆している。
実測した主観UCLと推定したUCLとの平均誤差は4.9±5.0dBであった。一般的なオージオメータの最小目盛が5dBであること、実測した主観UCLの2回のばらつきが4.0±4.3dBであることを考慮すれば、聴覚特性の測定においては、許容できる誤差範囲だと考えられる。
S1と比べて、S2およびS3に対する事象関連電位の振幅は減衰した。これは、短い間隔で音刺激を連発呈示した影響である。本発明者らの実験により、その減衰特性は主観UCLの高低により異なり、UCL高グループと比較して、UCL低グループにおいて大きく減衰することが明らかになった。この現象の解釈として、大きな音への耐性が、不応期の持続時間と関係する可能性が挙げられる。UCL低グループでは、脳によるS1の処理が完了せず、S2とS3の分析ができなかった(AEPが抑制された)と推察できる。
一方、S1に対するAEPは、UCLの高低によらず大きな差がなかった。また、上位1%の推定において、S3ほど頻繁に利用されなかった。日常的に耳にする音圧範囲での音刺激に対するN1成分の振幅は、音刺激の音圧の大きさに応じてほぼ線形に増大する。よって、S1に対するAEPは、音刺激の物理的特性を反映し、UCLの情報をほとんど含まない可能性がある。したがって、日常的に耳にする音圧の音刺激を用いて、ユーザの負担が少ないUCL推定を実現するには、複数の音刺激を連続して呈示することが有効であるといえる。
なお、ウェーブレット特徴量だけでなく、P1-N1振幅とN1-P2振幅の情報を加えて判別分析を行っても、同様の傾向が得られるものと考えられる。ここで、N1-P2振幅とは、N1成分の陰性の振幅とP2成分の陽性の振幅の差の絶対値を表している。P1-N1振幅についても同様である。
P1成分、N1成分、及びP2成分を含む事象関連電位は、音刺激呈示からピーク発生までの時間(潜時)と、その成分の振幅の大きさ等で定められるため、時間と周波数の関係に依存すると考えられる。
また、以上に説明した判別分析を行うとき、教師データは、左右耳および周波数によらず作成してもよい。
(周期的ノイズが混入する場合の刺激呈示タイミングの制御方法)
ペースメーカーをつけたユーザの脳波を計測すると、拍動のタイミングで脳波にノイズが発生する。図8(a)は、本発明者らが、ペースメーカー装着者の脳波を記録した結果を示す。脳波は、上述と同様の設定で記録した。
ペースメーカーをつけたユーザの脳波を計測すると、拍動のタイミングで脳波にノイズが発生する。図8(a)は、本発明者らが、ペースメーカー装着者の脳波を記録した結果を示す。脳波は、上述と同様の設定で記録した。
図8(a)は、右マストイドに装着した基準電極と中心部(Cz)に装着した基準電極との電位差に対応する生波形の一部を示す。図8(a)の縦軸は、電位(μV)であり、横軸は、時間(ms)である。
生波形のレベルにおいて、拍動に起因して約50μVの振幅を持つ大きなノイズが混入し、そのノイズは発生開始から約250ms程度持続している様子がみてとれる。ペースメーカーに限らず、その他の電気機器(例えば、リハビリ用電気刺激器や人工弁)により周期的なノイズが生じる場合であっても、同様のノイズが脳波形に現れると考えられる。
図8(b)は、図8(a)の生波形を1階微分した波形である。微分により、拍動に関連するノイズの起点が顕著に検出できることがわかる(図8(b)中の矢印)。
これは、不快音圧推定の精度を悪化させる大きなノイズである。図4に示したように、5μV以下の波形の差を利用して、UCLを推定することが有効である。そのため、刺激とは時間同期しないノイズであっても数十μVのノイズが混入すると、推定誤差が大きくなると考えられる。
このような周期的ノイズの影響を低減する方法として、事象関連電位を求める際の除外試行判定の基準を厳しく設定する方法が考えられる。しかしながら、たとえば、±30μVを超える電位を含む試行を除外した場合、周期的ノイズによってほとんどの試行が加算できず、検査時間が延びるという問題が発生する。また、他の方法として、特開2009-195571号公報には、周期的ノイズのテンプレート波形を作成し、生波形から減算する方法が開示されている。しかしながら、たとえばドライ電極を用いてペーストをつけずに脳波を計測する場合には、頭皮と電極の接触抵抗が時間変動するため、拍動由来のノイズ成分の振幅も変動し、単純にテンプレート波形を引き算するだけでは、ノイズを除去することはできない。
そこで、本発明者らは、音刺激を呈示するタイミングを制御することによって、不快音圧推定の精度悪化を低減する方法について検討した。その結果、周期的ノイズが不快音圧推定に影響しにくい適切なタイミングで音刺激を呈示することによって、高い精度で不快音圧を推定することができることを見出した。なお、本手法は、上述のテンプレート波形を減算する従来方法との併用も可能である。
図9(a)~(c)は、本開示に係る実施形態による、周期的ノイズと、音刺激タイミングの時間関係とを示す。図9(a)は、周期的ノイズが1Hzで混入する場合(心拍数60)を示し、図9(b)は、周期的ノイズが1.7Hzで混入する場合(心拍数約100)を示し、図9(c)は、周期的ノイズが0.8Hzで混入する場合(心拍数48)を示す。
本発明者らは、ノイズが発生する時刻と、ノイズ発生後に脳波がノイズの影響を受ける時間とに基づいて、音刺激の発生時刻(タイミング)を制御することにより、ノイズの影響を低減して、上述の第2音及び第3音の事象関連電位を測定する方法を見出した。以下、具体的に説明する。
以下、ノイズが発生する時刻を「ノイズ発生時刻」と表記し、ノイズ発生後に脳波がノイズの影響を受ける時間を「ノイズ継続時間」とも表記する。
図9(a)~(c)に示す太実線は、周期的ノイズが混入するタイミングを示している。図9(a)~(c)において、周期的ノイズが混入するタイミングは、拍動のタイミングである。
周期的ノイズが混入するタイミングは、例えば、事前に測定した拍動から拍動の周期を求め、求めた周期に基づいて、次の拍動の発生時刻を計算することで求められる。
図9(a)~(c)に、ノイズ混入後から約250ms程度までの時間DN2を網掛けで示す。ノイズ混入後から約250ms程度までの時間DN2は、上述のように、脳波がノイズの影響を受ける時間(ノイズ継続時間)である。ただし、この約250msという期間は、ノイズ継続時間の一例であり、ノイズ発生源となる電気機器等に依存して変動し得る。
ノイズ継続時間は、周期的ノイズが混入するタイミングから所定時間経過後の時刻までの期間として定められる。なお、周期的ノイズが混入するタイミングの予測誤差として、斜線で示すノイズ混入前の所定時間DN1(例えば、100ms)をノイズ継続時間に含めても良い。
事象関連電位を用いたUCLの推定において、音刺激呈示後の有効な期間にノイズの影響を受けないように音刺激を呈示することで、UCLの推定精度を向上させることができる。
例えば、本発明者らが見出したUCL推定に有効な第2音及び第3音の事象関連電位の測定時間に、ノイズ継続時間が重ならないように、音刺激を呈示する。あるいは、特に有効な第3音目の音刺激(S3)呈示後の事象関連電位の測定時間に、ノイズ継続時間が重ならないように、音刺激を呈示する。これにより、不快音圧の推定精度を向上させることができる。以下、より具体的に説明する。
複数の音刺激を呈示した時の第2音及び第3音の事象関連電位の測定時間を、分析重要区間と考える。図9(a)~(c)では、分析重要区間DIを、グレーで示す。なお、図9(a)および(b)では、第3音の事象関連電位の測定時間のみを分析重要区間DIとして設定した場合を示している。分析重要区間DIは、音刺激発生後の所定時間として決定することができる。
ノイズ発生時刻からノイズ継続時間DN2が経過した後に、分析重要区間DIが設けられるように(すなわち、ノイズ継続時間DN2と分析重要区間DIとが重ならないように)、音刺激を発生させる。このために、例えば、第1音、第2音、及び第3音のそれぞれの間隔の情報(刺激間の時間情報)と、音刺激発生後の事象関連電位の測定時間(刺激後から測定までの時間)とを予め決定しておく。なお、常に事象関連電位は測定しても良く、測定した脳波から、音刺激発生後の事象関連電位の測定時間の情報を抽出しても良い。
第2音及び第3音の事象関連電位の測定時間を分析重要区間とする場合(例えば、図9(c)に示す場合)には、例えば、下記の示す期間Aと期間Bとが同じ時刻で終わるように、音刺激を発生すればよい。なお、期間Aと期間Bとは必ずしも同じ時刻に終了する必要は無く、期間Aの終了後に期間Bが終了してもよい。
期間Aは、ノイズ発生時刻からノイズ継続時間が経過し終えるまでの期間である。期間Bは、第1音呈示時刻から第2音呈示時刻までの期間である。あるいは、期間Bは、第1音呈示時刻から、第1音についての事象関連電位の測定を終了する時刻までの期間であってもよい。
また、第3音の関連電位の測定時間のみを分析重要区間とする場合(例えば、図9(a)および(b)に示す場合)、期間Bは、例えば、第1音呈示時刻から、第2音呈示後の事象関連電位の測定時間が終了する時刻までの期間であってよい。この場合、期間Bの長さは、第1音及び第2音の音刺激の長さと、第1音と第2音との間隔と、第2音発生後から事象関連電位の測定時間(刺激後から測定までの時間)とを加算した時間となる。
なお、周期的ノイズが1.7Hzよりも短い周期で混入する場合には、ノイズ影響低区間が、分析重要区間の300msよりも短くなる可能性がある。つまり、第2音発生後から事象関連電位の測定時間が、次のノイズ発生時刻と重なる可能性がある。
その場合には、分析重要区間(第2音及び第3音)の中でも最も重要な区間(第3音)であるS3呈示後150から200msの区間が、ノイズ影響低区間に入るように、音刺激を呈示することも可能である。
以下、ノイズ発生時刻の推定について説明する。
図8(b)に、拍動に伴う周期的ノイズが発生したタイミングを示している。計測した脳波を微分した結果が所定の閾値より大きい時刻を、ノイズが発生した時刻として検出することができる。
次の周期的ノイズの発生タイミングは、過去の周期的ノイズの発生間隔から求めることが可能である。
たとえば直前10回の周期的ノイズの発生間隔の平均値を、最終の周期的ノイズ発生タイミングに加えることで求めてもよい。また、発生間隔は、直前の周期的ノイズの発生間隔に重みをつけて平均して求めてもよい。さらに、心拍数がユーザの年齢・性別における一般的なユーザの心拍数よりも高い場合、上述の方法で求めた発生間隔に、所定の減衰係数をかけて補正してもよい。
一般に、拍動に伴う周期的ノイズの場合には、安静にしている場合であれば、時間経過とともに安定する傾向にある。一方で、疾病等の理由により、周期が安定せず、変動するユーザも存在する。そこで、ユーザの拍動による周期的ノイズの間隔の変動の幅や、変動の傾向(増加または減少)を算出し、時間経過によって周期が変動するか否かを判断することも可能である。
時間経過によって周期が所定の幅を超えて変動する場合には、脳波の計測開始を遅らせることで、周期的ノイズの影響を受けないようにすることもできる。
一方、時間経過によって周期が所定の幅よりも変動しない場合には、脳波の計測の時間を変更せず、周期的ノイズの影響を少なくするために、加算回数を増加させる等の処理を追加してもよい。
所定の幅は、一般的なユーザにおいて生じる周期的ノイズの間隔の標準偏差から決めることができる。たとえば、一般的な安定状態のユーザにおいて、周期的ノイズの発生間隔の標準偏差が0.1sの場合には、所定の幅を0.1としてもよい。安定状態であればほぼ全てのユーザがカバーされる標準偏差の3倍以下としてもよい。なお、周期的ノイズの間隔が所定の幅を超えて変動し続ける場合には、次の周期的ノイズ発生の予測誤差のマージンをたとえば200msのように広く設定してもよい。
疾病等の理由ではなく、周期的ノイズの間隔が変動している場合には、周期はいずれ安定すると考えられる。そこで、そのようなユーザにおいて時間経過により周期的ノイズの周期が変動する傾向が見られた場合には、あと、どれくらいの時間で安定した脳波の計測が可能かを判断することも可能である。このような時間の情報を計測者に提示することで、ユーザへの計測の説明や準備の時間を有効に活用することができるようになる。
ここまでにおいては、ノイズ影響低区間と分析重要区間の関係から、音刺激を提示するタイミングのスケジュールを決定する例について述べた。周期的ノイズの周期が短くなることで、ノイズ影響低区間の長さが短くなる。また、安定状態にある一般的なユーザでは、拍動等による周期的ノイズの周期の分散は小さい。そのため、拍動の周波数が高く、周期的ノイズの周期が短くなった場合には、ノイズ影響低区間に分析重要区間を設定するための音刺激タイミングの自由度が低くなる。その結果、図15に示す刺激タイミング1のように、音刺激のタイミングが一定になり、事象関連電位計測における慣れ(habituation)の問題が発生する。そこで、たとえば、図15に示す音刺激タイミング2のように、ある刺激を欠落させたり、図15に示す音刺激タイミング3のようにある音刺激のタイミングを前後どちらかにずらす、というスケジューリング方法も可能である。ただし、音刺激のタイミングをずらした場合には、分析重要区間がノイズ影響低区間から外れることがある。この場合には、該当する測定結果を分析対象から除外するようにしてもよい。
以上に説明した不快音圧の推定を実現するための本発明の一態様の概要は以下のとおりである。
本発明の一態様である不快音圧推定システムは、ユーザの脳波信号を計測する生体信号計測部と、同一の周波数を有し、かつ、所定の範囲内の音圧を有する第1音、第2音、及び第3音を含む音刺激群を前記ユーザに呈示する出力部と、前記第2音及び前記第3音のうちの少なくとも一方が前記ユーザに呈示されたそれぞれの時刻を起点として定められる所定の分析区間の脳波信号から、前記第2音及び前記第3音の少なくとも一方に関連する事象関連電位の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出された前記特徴量に基づいて、前記音刺激群の周波数に対する不快音圧を判定する判定部と、前記ユーザの脳波信号から、周期的ノイズに含まれる複数のノイズのうちの少なくとも1つのノイズの発生時刻を抽出する周期的ノイズ抽出部と、前記周期的ノイズ抽出部が抽出した少なくとも1つのノイズの発生時刻から、次のノイズの発生時刻を予測するノイズ発生予測部と、前記第2音及び第3音の少なくとも一方についての分析区間が、前記予測された次のノイズの発生時刻から所定時間が経過した後に設けられるように、前記音刺激群の出力タイミングを決定する音刺激スケジューリング部とを備える。
前記出力部は、前記第1音、前記第2音、及び前記第3音を、音圧が順に減少するように出力してもよい。
前記特徴量抽出部は、N1-P2振幅、または、ウェーブレット係数に関する特徴量を抽出してもよい。
前記周期的ノイズ抽出部は、前記ユーザの脳波信号を微分し、前記微分の結果が所定の閾値以上の場合にノイズが発生したものと判断してもよい。
前記ノイズ発生予測部において、過去複数回のノイズ発生タイミングの発生間隔の平均値または重み付け平均値によって、周期的ノイズ発生の周期を算出し、次のノイズ発生タイミングを予測してもよい。
前記音刺激スケジューリング部において、前記ノイズ発生予測部が予測した次のノイズ発生タイミングの前100msから後ろ250msの時間帯に、前記分析区間としての前記第3音出力後0msから300msの区間が入らないように、前記音刺激群の出力タイミングが設定されてもよい。
さらに、それぞれが純音で構成される前記第1音、前記第2音および第3音を含む音刺激群の周波数を決定する音刺激群決定部と、所定の閾値以下の音圧を有し、かつ、前記第1音、前記第2音、前記第3音の順に順番に音圧が減少するように、前記第1音、前記第2音、及び前記第3音の音圧を決定する音刺激音圧決定部とを備え、前記出力部は、前記音刺激群決定部が決定した周波数で、かつ、音刺激音圧決定部が決定した音圧で、前記第1音、前記第2音、及び前記第3音を出力してもよい。
前記音刺激スケジューリング部は、前記第1音及び前記第2音の時間間隔を参照して、前記ノイズ発生予測部が予測した次のノイズが発生する時刻から所定のノイズ継続時間経過後に、前記第2音及び第3音の事象関連電位の計測時間となるように、第1音、第2音、および第3音を出力する時刻を決定してもよい。
前記音刺激スケジューリング部は、前記周期的ノイズが発生した時間間隔が、前記第2音の事象関連電位の計測開始時刻から前記第3音の事象関連電位の計測終了時刻までの時間よりも小さい場合には、前記ノイズ発生予測部が予測した次のノイズが発生する時刻から所定のノイズ継続時間経過後に、前記第3音についての分析区間が設けられるように、第1音、第2音、および第3音を出力する時刻を決定してもよい。
本発明の一態様である不快音圧推定装置は、ユーザの脳波信号を計測する生体信号計測部が計測した前記ユーザの脳波信号から得られた周期的ノイズの発生時間間隔に基づいて予測された、次のノイズが発生する時刻を受け取り、予め保持する第1音、第2音、および第3音の間隔に基づいて、前記第2音及び第3音の事象関連電位の計測時間が、前記次のノイズ発生時刻から所定のノイズ継続時間後となるように、前記第1音、前記第2音、および前記第3音を出力する時刻を決定する音刺激スケジューリング部と、前記音刺激スケジューリング部で決定した前記第1音、前記第2音、及び前記第3音が出力される時刻を受け取り、前記生体信号計測部が計測したユーザの脳波信号において、前記第1音、前記第2音、及び前記第3音が出力されたそれぞれの時刻を起点とする、前記脳波信号の事象関連電位の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出した特徴量に基づいて、前記音刺激群の周波数に対する不快音圧を判定する判定部とを備える。
本発明の別の一態様である不快音圧推定システムは、ユーザの脳波信号を計測する生体信号計測部と、前記ユーザに音刺激を呈示する出力部と、音刺激が呈示された時刻に基づいて決定される起点時刻を有する所定の分析区間における脳波信号から、前記音刺激に関連する事象関連電位の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出した特徴量に基づいて、前記音刺激群の周波数に対する不快音圧を決定する不快音圧判定部と、前記ユーザの脳波信号から、周期的ノイズに含まれる複数のノイズのうちの少なくとも1つのノイズの発生時刻を抽出する周期的ノイズ抽出部と、前記周期的ノイズ抽出部が抽出した少なくとも1つのノイズの発生時刻から、次のノイズの発生時刻を予測するノイズ発生予測部と、前記ノイズ発生予測部で予測された次のノイズの発生時刻に基づいて、前記音刺激を出力するタイミングを決定する音刺激スケジューリング部とを備える。
本発明の一態様である不快音圧推定方法は、ユーザの脳波信号を計測する第1の生体信号計測ステップと、前記第1の生体信号計測ステップで計測された前記ユーザの脳波信号から、周期的ノイズに含まれる複数のノイズのうちの少なくとも1つのノイズの発生時刻を抽出するノイズ抽出ステップと、前記ノイズ抽出ステップで抽出された少なくとも1つのノイズの発生時刻から、次のノイズの発生時刻を予測するノイズ発生予測ステップと、同一の周波数を有しかつ所定の範囲内の音圧を有する第1音、第2音、及び第3音を含む音刺激群を前記ユーザに呈示する前に、前記第2音及び第3音の少なくとも一方についての分析区間が、前記予測された次のノイズの発生時刻から所定時間が経過した後に設けられるように、前記音刺激群の出力タイミングを決定する音刺激スケジューリングステップと、前記音刺激スケジューリングステップで決定された出力タイミングで、前記同一の周波数を有し、かつ、所定の範囲内の音圧を有する第1音、第2音、及び第3音を含む音刺激群を前記ユーザに呈示する出力ステップと、前記出力ステップにおいて前記出力タイミングで前記音刺激群が呈示された時の前記ユーザの脳波信号を計測する第2の生体信号計測ステップと、前記第2の生体信号計測ステップにおいて計測された、前記第2音及び前記第3音のうちの少なくとも一方が前記ユーザに呈示されたそれぞれの時刻を起点として定められる所定の分析区間の脳波信号から、前記第2音及び前記第3音の少なくとも一方に関連する事象関連電位の特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにおいて抽出された特徴量に基づいて、前記音刺激群の周波数に対する不快音圧を判定する不快音圧判定ステップとを含む。
本発明の一態様であるコンピュータプログラムは、不快音圧推定システムの不快音圧推定装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、ユーザの脳波信号を取得する第1の生体信号計測ステップと、前記第1の生体信号計測ステップで取得された前記ユーザの脳波信号から、周期的ノイズに含まれる複数のノイズのうちの少なくとも1つのノイズの発生時刻を抽出するノイズ抽出ステップと、前記ノイズ抽出ステップで抽出された少なくとも1つのノイズの発生時刻から、次のノイズの発生時刻を予測するノイズ発生予測ステップと、同一の周波数を有しかつ所定の範囲内の音圧を有する第1音、第2音、及び第3音を含む音刺激群を前記ユーザに呈示する前に、前記第2音及び第3音の少なくとも一方についての分析区間が、前記予測された次のノイズの発生時刻から所定時間が経過した後に設けられるように、前記音刺激群の出力タイミングを決定する音刺激スケジューリングステップと、前記音刺激スケジューリングステップで決定された出力タイミングで、前記同一の周波数を有しかつ所定の範囲内の音圧を有する第1音、第2音、及び第3音を含む音刺激群を前記ユーザに呈示する出力ステップと、前記出力ステップにおいて前記出力タイミングで前記音刺激群が呈示された時の前記ユーザの脳波信号を取得する第2の生体信号計測ステップと、前記第2の生体信号計測ステップにおいて取得された、前記第2音及び前記第3音のうちの少なくとも一方が前記ユーザに呈示されたそれぞれの時刻を起点として定められる所定の分析区間の脳波信号から、前記第2音及び前記第3音の少なくとも一方に関連する事象関連電位の特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにおいて抽出された特徴量に基づいて、前記音刺激群の周波数に対する不快音圧を判定する不快音圧判定ステップとを実行させる。
(実施形態1)
まず、実施形態1による不快音圧推定システムの構成および動作を説明する。
まず、実施形態1による不快音圧推定システムの構成および動作を説明する。
図10は、本実施形態の不快音圧推定システム100の機能ブロックの構成を示す。
不快音圧推定システム100(以下、「推定システム100」と記述することがある)は、音刺激出力部10と、生体信号計測部50と、不快音圧推定装置1とを備えている。不快音圧推定装置1(以下、「推定装置1」と記述することがある)は、事象関連電位特徴量抽出部55と、不快音圧判定部65と、音刺激群決定部70と、音刺激音圧決定部71と、音刺激生成部75と、結果蓄積DB80と、音刺激スケジューリング部90と、周期的ノイズ抽出部95と、ノイズ発生予測部96とを備えている。なお、以下では、事象関連電位特徴量抽出部55を「特徴量抽出部55」と記述することがあり、不快音圧判定部65を「判定部65」と記述することがあり、音刺激音圧決定部71を「音圧決定部71」と記述することがある。
推定装置1は、音刺激出力部10及び生体信号計測部50と、有線又は無線で接続されている。音刺激出力部10はユーザ5に音刺激を呈示するように構成され、生体信号計測部50はユーザ5の生体信号を計測できるように構成されている。なお、説明の便宜のために、図においてユーザ5のブロックも示されている。
図10に示す推定装置1の構成は一例である。推定装置1は、少なくとも、特徴量抽出部55と、不快音圧判定部65と、音刺激スケジューリング部90とを備えていれば良い。推定装置1は、例えば、音刺激出力部10を含むように構成されていても良い。
本実施形態による推定システム100は、例えば、HTLよりも高くかつ一般的にUCLと評価される音圧よりも低い音圧範囲の純音を単調下降の音圧変化で、周期的ノイズの影響の影響を受けにくい時間帯において3回連発呈示し、第1音から第3音までのそれぞれの音刺激に対する脳波の特徴量を抽出し、その特徴量の変化パターンから不快音圧を測定する。
<利用環境>
図11は、本実施形態の不快音圧推定システム100の構成および利用環境を示す。推定システム100は、図10に示す実施形態1のシステム構成に対応している。推定システム100は、推定装置1と、音刺激出力部10と、生体信号計測部50とを備えている。
図11は、本実施形態の不快音圧推定システム100の構成および利用環境を示す。推定システム100は、図10に示す実施形態1のシステム構成に対応している。推定システム100は、推定装置1と、音刺激出力部10と、生体信号計測部50とを備えている。
<音刺激出力部10>
音刺激出力部10は、ユーザ5に、音刺激を出力する。音刺激出力部10は、例えば、周波数特性に歪みのないヘッドフォンやスピーカであってよい。
音刺激出力部10は、ユーザ5に、音刺激を出力する。音刺激出力部10は、例えば、周波数特性に歪みのないヘッドフォンやスピーカであってよい。
音刺激出力部10は、推定装置1(音刺激生成部75)で生成された音刺激データを、ユーザ5に出力する。音刺激出力部10は、左耳及び右耳のそれぞれに、推定装置1(音刺激生成部75)で生成された音刺激を、別個に出力できることが好ましい。以下、音刺激出力部10は、「出力部」とも表記する。
<生体信号計測部50>
生体信号計測部50は、ユーザ5の生体信号を計測する計測器である。本開示においては、生体信号計測部50は、脳波計である。生体信号計測部50は、ユーザ5に装着した探査電極B及び基準電極Aの電位差に対応する脳波を計測する。
生体信号計測部50は、ユーザ5の生体信号を計測する計測器である。本開示においては、生体信号計測部50は、脳波計である。生体信号計測部50は、ユーザ5に装着した探査電極B及び基準電極Aの電位差に対応する脳波を計測する。
探査電極Bは、例えば、図3(a)に示す国際10-20法(10-20System)に準拠する電極位置に配置される。基準電極Aは、例えば、ユーザ5のマストイドに配置される。
なお、事象関連電位の特徴成分のレベル(振幅の大きさ)又は極性(振幅の正負)は、脳波計測用の電極を装着する部位、又は基準電極および探査電極の設定位置に応じて、変わる可能性がある。
しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極に応じて適切な改変を行って、事象関連電位の特徴を抽出し、不快音圧の測定を行うことが可能である。そのような改変例は、本発明の範疇である。
脳波データに対して、適切な遮断周波数の周波数フィルタリングを行っても良い。生体信号計測部50は、計測した脳波またはフィルタリングした脳波を推定装置1(周期的ノイズ抽出部95および特徴量抽出部55)に送る。以下、計測した脳波又はフィルタリングした脳波を、「脳波データ」とも表記する。
例えば、脳波データに対して、適切な遮断周波数の周波数フィルタリングを行い、推定装置1(音刺激生成部75)から受けたトリガ情報とともに、推定装置1(周期的ノイズ抽出部95および特徴量抽出部55)に送付する。
周波数フィルタとして、バンドパスフィルタを用いる場合は、たとえば5Hzから15Hzまでを通過させるように遮断周波数を設定してもよい。ユーザ5はあらかじめ脳波計を装着しているものとする。脳波計測用の探査電極はたとえば中心部のCzに装着される。
<不快音圧推定装置1>
推定装置1は、ユーザ5に出力する複数の音刺激の情報を決定する。具体的には、分析重要区間の事象関連電位を計測する時間と、周期的ノイズの時間とが重ならないように、複数の音刺激を出力する時刻を決定する。複数の音刺激を出力する時刻の決定を、「音刺激のスケジューリング」とも表記する。
推定装置1は、ユーザ5に出力する複数の音刺激の情報を決定する。具体的には、分析重要区間の事象関連電位を計測する時間と、周期的ノイズの時間とが重ならないように、複数の音刺激を出力する時刻を決定する。複数の音刺激を出力する時刻の決定を、「音刺激のスケジューリング」とも表記する。
分析重要区間とは、複数の音刺激に対する事象関連電位のうち、不快音圧の推定に有効な区間である。上記に説明した本発明者らの知見によれば、複数の音刺激が第1音、第2音、及び第3音で構成される場合には、第2音及び第3音に対する事象関連電位(特に、第3音に対する事象関連電位)が得られる期間を分析重要区間に設定することが好ましい。
推定装置1が決定した音刺激が、音刺激出力部10によってユーザ5に呈示される。
推定装置1は、複数の音刺激が呈示された時刻のそれぞれを起点に切り出した事象関連電位の特徴量を抽出する。複数の音刺激に対する事象関連電位のうち、分析重要区間の事象関連電位に基づいて、不快音圧を推定する。不快音圧は、例えば、ユーザの耳(左耳又は右耳)、及び音の周波数毎に推定することが好ましい。詳細は、後述する。
図11に示す推定システム100では、推定装置1と、生体信号計測部50と、音刺激出力部10とが、同じ筐体内に備えられている。
推定システム100は、生体信号計測部50および音刺激出力部10を、推定装置1と別の筐体に備えてもよい。その場合には、生体信号計測部50は、計測した脳波信号を、無線または有線で接続されている推定装置1に送信する。
<不快音圧推定装置1のハードウェア構成>
図12は、本実施形態の不快音圧推定装置1のハードウェア構成の一例を示す。
図12は、本実施形態の不快音圧推定装置1のハードウェア構成の一例を示す。
推定装置1は、CPU30と、メモリ31と、オーディオコントローラ32とで構成される。CPU30と、メモリ31(記録媒体)と、オーディオコントローラ32とは、互いにバス34で接続されており、相互にデータの授受が可能である。推定装置1の各構成要素は、CPU30で構成される。
CPU30は、メモリ31に格納されているコンピュータプログラム35を実行する。コンピュータプログラム35には、後述するフローチャートに示される処理手順が記述されている。推定装置1は、このコンピュータプログラム35にしたがって、音刺激の生成、周期的ノイズの抽出および予測、事象関連電位の特徴量抽出、不快音圧判定の判別分析等の、推定システム100の全体を制御する処理を行う。この処理は後に詳述する。
オーディオコントローラ32は、CPU30の命令に従って、それぞれ、呈示すべき音刺激を指定された音圧で音刺激出力部10を介して出力する。
なお、推定装置1は、1つの半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現されてもよい。そのようなDSPは、1つの集積回路で上述のCPU30、メモリ31、オーディオコントローラ32の機能を全て実現することが可能である。
上述のコンピュータプログラム35は、CD-ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。図12に示すハードウェアを備えた機器(たとえばPC)は、当該コンピュータプログラム35を読み込むことにより、本実施形態による推定装置1として機能し得る。
推定装置1の各機能ブロックは、それぞれ、図12を用いて説明したプログラムが実行されることによって、CPU30、メモリ31、オーディオコントローラ32によって全体としてその時々で実現される機能に対応している。
以下、推定装置1の各構成要素を説明する。
<音刺激群決定部70>
音刺激群決定部70は、ユーザ5に呈示する複数の音刺激(音刺激群)の情報を決定する。本実施形態において、音刺激群は、少なくとも第1音、第2音、及び第3音を含む。
音刺激群決定部70は、ユーザ5に呈示する複数の音刺激(音刺激群)の情報を決定する。本実施形態において、音刺激群は、少なくとも第1音、第2音、及び第3音を含む。
音刺激群の情報は、音刺激群の周波数を含むことが好ましい。第1音、第2音、及び第3音は、同じ周波数を有することが好ましい。本明細書において、「同じ周波数」とは、完全に同一の周波数を意味するだけでなく、人間が聞き取れる精度以下の範囲で異なる周波数をも意味している。例えば、5Hz以下で異なる周波数は、同じ周波数であるとみなす。
音刺激群の情報は、音刺激を呈示する耳(右耳または左耳)、呈示する音刺激の周波数、音刺激群内の音刺激の持続時間、複数の音刺激間の間隔を含んでいても良い。
音刺激群決定部70は、音刺激群の呈示耳および周波数を、たとえば次の制約に基づいてランダムに決定してもよい。直前の音刺激群と、異なる周波数を有する音刺激群を選択することが好ましい。左右耳はランダムな順序で選択することが好ましい。ただし、左右どちらか一方の耳のみに、音刺激群の呈示を4回以上連続させないことが好ましい。こうすることで、同一耳、周波数の音刺激群の連続呈示による脳波の慣れ(habituation)の影響が低減され、高精度な不快音圧推定が実現できる。
音刺激の持続時間は、聴覚誘発電位が安定して惹起されるように、たとえば25ms以上に設定される。また、連続する音刺激間の間隔は、音刺激の持続時間以上で1秒以下の時間に設定される。たとえば、300msとしてもよいし、200msとしてもよい。
音刺激群決定部70は、決定した、複数の音刺激の情報を、音刺激音圧決定部71又は音刺激生成部75に送信する。
<音刺激音圧決定部71>
音圧決定部71は、所定の音圧以下の範囲で、かつ、順に音圧が単調減少するように、複数の音刺激群の音圧を決定する。
音圧決定部71は、所定の音圧以下の範囲で、かつ、順に音圧が単調減少するように、複数の音刺激群の音圧を決定する。
所定の音圧以下の範囲とは、例えば、あらかじめ設定されたユーザ5のHTLより大きく、かつ、一般的にUCLとされるよりも小さい音圧範囲である。
音圧決定部71は、例えば、複数の音刺激群の音圧を、一般的にUCLと評価される音圧(閾値)未満に設定する。つまり、ユーザ5が快適に聞くことができる音圧範囲内に、音刺激群(例えば、第1音から第3音)のそれぞれの音刺激の音圧を設定する。音圧決定部71は、予め所定の閾値を保持しても良い。
例えば、ある周波数におけるHTL値が50dBHLであり、所定の音圧が90dBHLの場合を考える。このとき、第1音の音圧を80dBHL、第2音の音圧を75dBHL、第3音の音圧を70dBHLと決定してもよい。
また、上述のように、「単調下降」とは、次の音が、前の音と同じ音圧、又は前の音より小さい音圧を有することを意味する。音刺激群が第1音、第2音、及び第3音で構成される場合、第1音の音圧>第2音の音圧>第3音の音圧の関係を満たすように、音圧を決定する。
また、音圧決定部71は、音刺激群内の音刺激の間隔を音刺激スケジューリング部90に送る。
<周期的ノイズ抽出部95>
周期的ノイズ抽出部95は、生体信号計測部50からユーザ5の脳波を受取り、周期的ノイズの抽出を行う。
周期的ノイズ抽出部95は、生体信号計測部50からユーザ5の脳波を受取り、周期的ノイズの抽出を行う。
たとえば、周期的ノイズとしてペースメーカーによるノイズを抽出する場合には、生体信号計測部50から受けた脳波を微分し、所定の閾値より大きい脳波が発生した時刻を、周期的ノイズの発生タイミングとして検出することができる。
上記の所定の閾値は、生体信号計測部50のサンプリング周波数、時定数、又はアナログローパスフィルタに基づいて決定されてよい。サンプリング周波数1000Hz、時定数1秒、ローパスフィルタ60Hzの場合には、所定の閾値をたとえば10としてもよい。周期的ノイズ抽出部95は、抽出した周期的ノイズの発生タイミングの情報を、ノイズ発生予測部96に送付する。
<ノイズ発生予測部96>
ノイズ発生予測部96は、脳波に混入する周期的ノイズが次に発生するタイミングを予測する。次の周期的ノイズの発生タイミングは、過去の周期的ノイズの発生間隔から求めることが可能である。たとえば直前10回の周期的ノイズの発生間隔の平均値を、最終の周期的ノイズ発生タイミングに加えることで求めてもよい。
ノイズ発生予測部96は、脳波に混入する周期的ノイズが次に発生するタイミングを予測する。次の周期的ノイズの発生タイミングは、過去の周期的ノイズの発生間隔から求めることが可能である。たとえば直前10回の周期的ノイズの発生間隔の平均値を、最終の周期的ノイズ発生タイミングに加えることで求めてもよい。
また、ノイズ発生間隔は、直前の周期的ノイズの発生間隔に重みをつけて平均して求めてもよい。さらに、心拍数がユーザの年齢・性別における一般的なユーザの心拍数よりも高い場合、上述の方法で求めた発生間隔に、所定の減衰係数をかけて補正してもよい。そして、予測した次の周期的ノイズ発生タイミング(時刻)を、音刺激スケジューリング部90に送付する。
<音刺激スケジューリング部90>
音刺激スケジューリング部90は、分析重要区間と、周期的ノイズの発生期間(ノイズ継続時間)とが重ならないように、複数の音刺激を呈示する時刻を決定する。
音刺激スケジューリング部90は、分析重要区間と、周期的ノイズの発生期間(ノイズ継続時間)とが重ならないように、複数の音刺激を呈示する時刻を決定する。
分析重要区間は、複数の音刺激が第1音、第2音、及び第3音で構成される場合には、例えば、第2音及び第3音呈示後の時間帯(第2音及び第3音に対する事象関連電位が計測される期間)である。分析重要区間は、第2音及び第3音の出力後の所定期間を分析重要区間としても良いし、第2音及び第3音を出力してから所定時間経過後の時刻を開始点とする所定期間を分析重要区間としても良い。
音刺激スケジューリング部90は、第1音、第2音、及び第3音の各刺激の間隔と、第2音、及び第3音の出力後の所定時間とを参照して、分析重要区間を決定しても良い。また、第1音を出力後からの第2音、及び第3音の事象関連電位の計測時間までの時間に相当する所定時間を予め保有することにより、分析重要区間を決定してもよい。
音刺激スケジューリング部90は、例えば、周期的ノイズの発生間隔、周期的ノイズの発生時刻、及びノイズの継続時間の情報を取得し、分析重要区間がノイズの発生時刻からノイズ継続時間と重ならないように、複数の音刺激を出力する時刻を決定する。
ノイズ発生時刻からノイズ継続時間を経過するまでの時間を「ノイズ区間」とも表記する。ノイズ発生時刻からノイズ継続時間を経過後、次のノイズが発生するまでの時間を、「ノイズ影響低区間」とも表記する。
上記の分析重要区間のうちでも、特に第3音の事象関連電位の計測時間をノイズ区間と重ならないようにすることが好ましい。第2音及び第3音の事象関連電位の計測時間の合計がノイズ影響低区間よりも長い場合、音刺激スケジューリング部90は、第2音ではなく第3音の事象関連電位の計測時間がノイズ区間と重ならないように、複数の音刺激を出力する時刻を決定してもよい。
以下、複数の音刺激を呈示する時刻の決定方法の一例を説明する。
音刺激スケジューリング部90は、音圧決定部71から音刺激群内の刺激間隔を受け取り、また、ノイズ発生予測部96から、次に周期的ノイズが発生する時刻の情報を受け取る。
音刺激スケジューリング部90は、次の音刺激群の第3音呈示後0msから300msの時間帯(分析重要区間)が、ノイズ影響低区間になるように音刺激の呈示タイミングを決定する。
ノイズ影響低区間は、たとえば、最新の周期的ノイズ発生タイミングから250ms経過後の時点から、次の周期的ノイズ発生タイミングの100ms前の時点までの期間に設定されてもよい。次の周期的ノイズ発生タイミングは、ノイズ発生予測部96によって予測され、音刺激スケジューリング部90に通知される。
なお、周期的ノイズが1.7Hzよりも高い周波数(短い周期)で混入する場合には、ノイズ影響低区間が、分析重要区間の300msよりも短くなる可能性がある。その場合には、分析重要区間の中でも最も重要な区間であるS3呈示後150から200msの区間が、ノイズ影響低区間に入るように、音刺激の呈示タイミングを決定する。
つまり、周期的ノイズの発生間隔からノイズ継続時間を引いた時間が、分析重要区間よりも小さい場合には、分析重要区間のうち優先する区間を、ノイズ区間と重ならないように、音刺激を発生する時刻を決定する。
なお、図9(a)~(c)を用いて説明した内容も、音刺激スケジューリング部90が複数の音刺激を呈示する時刻を決定する一例である。音刺激スケジューリング部90は、決定した第1音から第3音の音刺激呈示タイミングを、音刺激生成部75に送る。
<音刺激生成部75>
音刺激生成部75は、音圧決定部71から受け取った、音刺激群の呈示耳・周波数、音刺激群内の音刺激の持続時間・呈示間隔・音圧の情報に基づいて、音刺激データを生成する。各音刺激は、たとえば、立ち上がりおよび立ち下がりが3msのトーンバースト音であってよい。そして、音刺激スケジューリング部90から受け取った音刺激群の呈示タイミングで、音刺激出力部10を介してユーザ5に音刺激を出力する。また、音刺激を出力したタイミングで、生体信号計測部50にトリガ信号を出力する。なお、音刺激生成部75は、必ずしも生体信号計測部50にトリガ信号を出力しなくてもよく、音刺激出力部10に対して生成した音刺激データを送るだけであっても良い。
音刺激生成部75は、音圧決定部71から受け取った、音刺激群の呈示耳・周波数、音刺激群内の音刺激の持続時間・呈示間隔・音圧の情報に基づいて、音刺激データを生成する。各音刺激は、たとえば、立ち上がりおよび立ち下がりが3msのトーンバースト音であってよい。そして、音刺激スケジューリング部90から受け取った音刺激群の呈示タイミングで、音刺激出力部10を介してユーザ5に音刺激を出力する。また、音刺激を出力したタイミングで、生体信号計測部50にトリガ信号を出力する。なお、音刺激生成部75は、必ずしも生体信号計測部50にトリガ信号を出力しなくてもよく、音刺激出力部10に対して生成した音刺激データを送るだけであっても良い。
音刺激データは、たとえば、一つ音刺激群に対して、所定の時間間隔で音圧変化のある複数の音刺激を含む音刺激データを一つ作成してもよい。その場合、生体信号計測部50に送付するトリガ信号は、第1音の呈示タイミングだけでもよい。
なお、音刺激生成部75は入力装置を含んでいてもよいし、あるいは、外部の入力装置に接続されていても良い。この場合、ユーザ5又はユーザ5の聴力検査者は、入力装置を用いて所望の情報を入力することができ、音刺激生成部75は、入力装置から受け取った情報を用いて音刺激を生成することができる。
<事象関連電位特徴量抽出部55>
特徴量抽出部55は、生体信号計測部50から受け取った脳波およびトリガ情報に基づいて、トリガ情報を起点にして定められる所定区間(たとえば第1音呈示前100msから第3音呈示後400msの区間)の事象関連電位の波形を切り出す。また、音圧決定部71から受け取った音刺激の情報に基づいて、第1音から第3音に対するウェーブレット係数に関する特徴量をそれぞれ算出する。
特徴量抽出部55は、生体信号計測部50から受け取った脳波およびトリガ情報に基づいて、トリガ情報を起点にして定められる所定区間(たとえば第1音呈示前100msから第3音呈示後400msの区間)の事象関連電位の波形を切り出す。また、音圧決定部71から受け取った音刺激の情報に基づいて、第1音から第3音に対するウェーブレット係数に関する特徴量をそれぞれ算出する。
算出した特徴量と、音刺激の情報(左右耳、周波数、音圧等)とを、不快音圧判定部65に送付する。ウェーブレット係数に関する特徴量は、たとえば周波数軸および時間軸のそれぞれで所定範囲を平均した値として求められてもよい。たとえば、周波数軸では5Hzから15Hzの周波数幅で平均が取られ、時間軸では50msの時間幅で平均が取られてもよい。たとえば、P2成分に関連するウェーブレット特徴量を求めるために、音刺激呈示の時刻から音刺激呈示後300ms以下の時間範囲の生体信号を用いても良い。特徴量算出のために平均する周波数軸および時間軸の幅は、不快音圧が推定できる範囲において、任意に設定されてよい。すなわち、周波数幅は5Hzから15Hzに限られず、時間幅は50msに限られない。これらよりも細かくしてもよいし、粗くしてもよい。
なお、特徴量抽出部55は、生体信号計測部50から受け取った事象関連電位から、第2音と第3音に対するN1-P2振幅に関連する特徴量をそれぞれ算出してもよい。N1-P2振幅は、N1振幅とP2振幅の差の絶対値として求めてもよい。たとえば、N1振幅は、第2音および第3音のそれぞれの音刺激呈示後50msから150msにおける区間平均電位としてもよいし、ピーク振幅としてもよい。たとえばP2振幅は、それぞれの音刺激呈示後150msから250msにおける区間平均電位としてもよいし、ピーク振幅としてもよい。
<不快音圧判定部65>
不快音圧判定部65は、特徴量抽出部55が抽出した第1音、第2音、及び第3音の特徴量と、予め特徴量と不快音圧の値とを対応付けた所定の基準を参照して、ユーザ5の不快音圧を判断する。なお、判定部65は、分析重要区間に測定した事象関連電位の特徴と、所定の基準を参照して、ユーザ5の不快音圧を判断しても良い。
不快音圧判定部65は、特徴量抽出部55が抽出した第1音、第2音、及び第3音の特徴量と、予め特徴量と不快音圧の値とを対応付けた所定の基準を参照して、ユーザ5の不快音圧を判断する。なお、判定部65は、分析重要区間に測定した事象関連電位の特徴と、所定の基準を参照して、ユーザ5の不快音圧を判断しても良い。
具体的には、判定部65は、特徴量抽出部55から受け取った、第1音から第3音それぞれの時間-周波数情報(例えば、ウェーブレット係数)に関する特徴量を用いて、不快音圧を判定する。判定部65は、あらかじめ用意した時間-周波数情報(例えば、ウェーブレット特徴量)と所定の基準とを利用して、線形判別を実施してもよい。
所定の基準とは、予め特徴量と不快音圧の値とを対応付けた情報を意味する。所定の基準は、ウェーブレット特徴量と不快音圧の値とを対応付けた表であっても良いし、所定の式であっても良い。判定部65は、予め所定の基準を保持する。
所定の基準とは、例えば、主観UCL値の教師データである。教師データは、少なくとも2人以上の他者に対して、あらかじめ上述の主観報告実験および脳波計測実験を実施し測定した主観UCL値と時間-周波数情報(例えば、ウェーブレット特徴量)とから生成する。
ここで、教師データを生成する際の脳波計測実験の音圧および音刺激数に関する音刺激条件は、音圧決定部71で決定した刺激音圧の変化パターンと同一である必要がある。教師データの保持方法は、たとえば図13に示すように、左右耳ごと、周波数ごととしてもよい。その場合、特徴量抽出部55から受けた音刺激の左右耳と周波数の情報に基づいて、不快音圧推定に用いる教師データを、測定対象の左右耳および周波数と、教師データの左右耳および周波数が一致するように切り替えて用いてもよい。また、教師データは、ユーザの難聴の症状に合わせて切り替えてもよい。たとえば伝音性難聴と感音性難聴のような大きな分類でそれぞれ教師データを用意し、切り替えてもよい。また、低音漸傾型や高音漸傾型などのオージオグラムのパターンごとに教師データを用意し、切り替えてもよい。不快音圧判定部65は、判定した不快音圧を結果蓄積DB80に送付する。
<結果蓄積DB80>
結果蓄積DB80は、不快音圧判定部65から受けた不快音圧を、音刺激群決定部70から受けた音刺激群の情報である、左右耳、周波数ごとに保存する。図13は、結果蓄積DB80におけるデータ蓄積の例である。図13では、左右耳ごと、周波数ごとの不快音圧を蓄積する場合を例示している。
結果蓄積DB80は、不快音圧判定部65から受けた不快音圧を、音刺激群決定部70から受けた音刺激群の情報である、左右耳、周波数ごとに保存する。図13は、結果蓄積DB80におけるデータ蓄積の例である。図13では、左右耳ごと、周波数ごとの不快音圧を蓄積する場合を例示している。
<不快音圧推定システム100の処理>
次に、図14を参照しながら図10の推定システム100において行われる処理手順を説明する。図14は、推定システム100において行われる処理の手順を示すフローチャートである。
次に、図14を参照しながら図10の推定システム100において行われる処理手順を説明する。図14は、推定システム100において行われる処理の手順を示すフローチャートである。
<ステップS101>
音刺激群決定部70は、ユーザ5に呈示する音刺激の持続時間および間隔を決定する。音刺激の持続時間は、聴覚誘発電位が安定して惹起されるよう、たとえば25ms以上に設定する。また、刺激間間隔は、音刺激の持続時間以上で1秒以下の時間に設定する。たとえば、300msとしてもよいし、200msとしてもよい。そして、音刺激音圧決定部71を介して音刺激スケジューリング部90に送付する。
音刺激群決定部70は、ユーザ5に呈示する音刺激の持続時間および間隔を決定する。音刺激の持続時間は、聴覚誘発電位が安定して惹起されるよう、たとえば25ms以上に設定する。また、刺激間間隔は、音刺激の持続時間以上で1秒以下の時間に設定する。たとえば、300msとしてもよいし、200msとしてもよい。そして、音刺激音圧決定部71を介して音刺激スケジューリング部90に送付する。
<ステップS102>
生体信号計測部50は、生体信号としてユーザ5の脳波を計測する。そして、脳波データに対して適切な遮断周波数の周波数フィルタリングを行い、ノイズ抽出部95および、特徴量抽出部55に送る。なお、脳波は、後述するステップS115が終了するまで計測され続け、この間、脳波データがノイズ抽出部95および特徴量抽出部55に送られるものとする。また、生体信号計測部50にトリガ情報が入力された場合には、特徴量抽出部55にはトリガ情報も送られる。
生体信号計測部50は、生体信号としてユーザ5の脳波を計測する。そして、脳波データに対して適切な遮断周波数の周波数フィルタリングを行い、ノイズ抽出部95および、特徴量抽出部55に送る。なお、脳波は、後述するステップS115が終了するまで計測され続け、この間、脳波データがノイズ抽出部95および特徴量抽出部55に送られるものとする。また、生体信号計測部50にトリガ情報が入力された場合には、特徴量抽出部55にはトリガ情報も送られる。
<ステップS103>
周期的ノイズ抽出部95は、生体信号計測部50からユーザ5の脳波を受け取り、周期的ノイズの抽出を行う。たとえば、周期的ノイズとしてペースメーカーによるノイズを抽出する場合には、生体信号計測部50から受けた脳波を微分し、所定の閾値より大きい場合に周期的ノイズが発生したと判断し、周期的ノイズの発生タイミングを検出する。所定の閾値は、生体信号計測部50におけるサンプリング周波数や時定数、アナログローパスフィルタによって決定できる。サンプリング周波数1000Hz、時定数1秒、ローパスフィルタ60Hzの場合には、所定の閾値をたとえば10としてもよい。そして、抽出した周期的ノイズの発生タイミングの情報を、ノイズ発生予測部96に送る。
周期的ノイズ抽出部95は、生体信号計測部50からユーザ5の脳波を受け取り、周期的ノイズの抽出を行う。たとえば、周期的ノイズとしてペースメーカーによるノイズを抽出する場合には、生体信号計測部50から受けた脳波を微分し、所定の閾値より大きい場合に周期的ノイズが発生したと判断し、周期的ノイズの発生タイミングを検出する。所定の閾値は、生体信号計測部50におけるサンプリング周波数や時定数、アナログローパスフィルタによって決定できる。サンプリング周波数1000Hz、時定数1秒、ローパスフィルタ60Hzの場合には、所定の閾値をたとえば10としてもよい。そして、抽出した周期的ノイズの発生タイミングの情報を、ノイズ発生予測部96に送る。
<ステップS104>
ノイズ発生予測部96は、脳波に混入する周期的ノイズが次に発生するタイミングを予測する。次の周期的ノイズの発生タイミングは、過去の周期的ノイズの発生間隔から求めることが可能である。たとえば直前10回の周期的ノイズの発生間隔の平均値を、最終の周期的ノイズ発生タイミングに加えることで求めてもよい。また、発生間隔は、直前の周期的ノイズの発生間隔に重みをつけて平均して求めてもよい。さらに、心拍数がユーザの年齢・性別における一般的なユーザの心拍数よりも高い場合、上述の方法で求めた発生間隔に、所定の減衰係数をかけて補正してもよい。そして、予測した次の周期的ノイズ発生タイミング(時刻)を、音刺激スケジューリング部90に送る。
ノイズ発生予測部96は、脳波に混入する周期的ノイズが次に発生するタイミングを予測する。次の周期的ノイズの発生タイミングは、過去の周期的ノイズの発生間隔から求めることが可能である。たとえば直前10回の周期的ノイズの発生間隔の平均値を、最終の周期的ノイズ発生タイミングに加えることで求めてもよい。また、発生間隔は、直前の周期的ノイズの発生間隔に重みをつけて平均して求めてもよい。さらに、心拍数がユーザの年齢・性別における一般的なユーザの心拍数よりも高い場合、上述の方法で求めた発生間隔に、所定の減衰係数をかけて補正してもよい。そして、予測した次の周期的ノイズ発生タイミング(時刻)を、音刺激スケジューリング部90に送る。
<ステップS105>
音刺激スケジューリング部90は、音圧決定部71から、音刺激群内の刺激間隔を受け取り、ノイズ発生予測部96から、次に周期的ノイズが発生する時刻の情報を受け取る。音刺激スケジューリング部90は、次の音刺激群の第2音および第3音(あるいは第3音のみ)が呈示された後0msから300msの時間帯(分析重要区間)が、ノイズ影響低区間になるように音刺激の呈示タイミングを決定する。ノイズ影響低区間は、たとえば最新の周期的ノイズ発生タイミングから250msより後で、ノイズ発生予測部96から受けた次の周期的ノイズ発生タイミングの100ms前までであってもよい。なお、周期的ノイズが1.7Hzよりも短い周期で混入する場合には、ノイズ影響低区間が、分析重要区間の300msよりも短くなる可能性がある。その場合には、分析重要区間の中でも最も重要な区間であるS3呈示後150から200msの区間が、ノイズ影響低区間に入るように、音刺激の呈示タイミングを決定する。そして、音刺激スケジューリング部90は、決定した第1音から第3音の音刺激呈示タイミングを、音刺激生成部75に送る。
音刺激スケジューリング部90は、音圧決定部71から、音刺激群内の刺激間隔を受け取り、ノイズ発生予測部96から、次に周期的ノイズが発生する時刻の情報を受け取る。音刺激スケジューリング部90は、次の音刺激群の第2音および第3音(あるいは第3音のみ)が呈示された後0msから300msの時間帯(分析重要区間)が、ノイズ影響低区間になるように音刺激の呈示タイミングを決定する。ノイズ影響低区間は、たとえば最新の周期的ノイズ発生タイミングから250msより後で、ノイズ発生予測部96から受けた次の周期的ノイズ発生タイミングの100ms前までであってもよい。なお、周期的ノイズが1.7Hzよりも短い周期で混入する場合には、ノイズ影響低区間が、分析重要区間の300msよりも短くなる可能性がある。その場合には、分析重要区間の中でも最も重要な区間であるS3呈示後150から200msの区間が、ノイズ影響低区間に入るように、音刺激の呈示タイミングを決定する。そして、音刺激スケジューリング部90は、決定した第1音から第3音の音刺激呈示タイミングを、音刺激生成部75に送る。
<ステップS106>
音刺激群決定部70は、音刺激群の呈示耳・周波数を決定する。呈示耳および周波数は、たとえば次の制約に基づいてランダムに決定されてもよい。直前の音刺激群と同じ周波数の音刺激は選択しない。左右耳はランダムな順序で選択する。ただし、左右どちらか一方の耳への音刺激群の呈示を4回以上連続させない。
音刺激群決定部70は、音刺激群の呈示耳・周波数を決定する。呈示耳および周波数は、たとえば次の制約に基づいてランダムに決定されてもよい。直前の音刺激群と同じ周波数の音刺激は選択しない。左右耳はランダムな順序で選択する。ただし、左右どちらか一方の耳への音刺激群の呈示を4回以上連続させない。
<ステップS107>
音刺激音圧決定部71は、音刺激群決定部70から音刺激群の呈示耳・周波数、音刺激群内の音刺激の持続時間・刺激間間隔の情報を受け取る。音刺激音圧決定部71は、また、あらかじめ設定されたHTLよりも高く、一般的にUCLと評価される音圧よりも低い音圧範囲に音圧を有し、かつ、連続する音刺激において音圧が単調下降するように、音刺激群の音圧を決定する。たとえば、ある周波数におけるHTL値が50dBHLであった場合には、第1音の音圧を80dBHL、第2音の音圧を75dBHL、第3音の音圧を70dBHLと決定してもよい。また、第1音の音圧を80dBHL、第2音の音圧を70dBHL、第3音の音圧を60dBHLとしてもよい。決定した音刺激群内の音刺激ごとの音圧は、音刺激群決定部70から受け取った情報とともに、音刺激生成部75に送られる。
音刺激音圧決定部71は、音刺激群決定部70から音刺激群の呈示耳・周波数、音刺激群内の音刺激の持続時間・刺激間間隔の情報を受け取る。音刺激音圧決定部71は、また、あらかじめ設定されたHTLよりも高く、一般的にUCLと評価される音圧よりも低い音圧範囲に音圧を有し、かつ、連続する音刺激において音圧が単調下降するように、音刺激群の音圧を決定する。たとえば、ある周波数におけるHTL値が50dBHLであった場合には、第1音の音圧を80dBHL、第2音の音圧を75dBHL、第3音の音圧を70dBHLと決定してもよい。また、第1音の音圧を80dBHL、第2音の音圧を70dBHL、第3音の音圧を60dBHLとしてもよい。決定した音刺激群内の音刺激ごとの音圧は、音刺激群決定部70から受け取った情報とともに、音刺激生成部75に送られる。
<ステップS108>
音刺激生成部75は、音刺激音圧決定部71から受け取った音刺激の情報に基づいて音刺激データを生成する。各音刺激は、たとえば、立ち上がりおよび立ち下がりが3msであるトーンバースト音であってよい。
音刺激生成部75は、音刺激音圧決定部71から受け取った音刺激の情報に基づいて音刺激データを生成する。各音刺激は、たとえば、立ち上がりおよび立ち下がりが3msであるトーンバースト音であってよい。
<ステップS109>
音刺激生成部75は、音刺激スケジューリング部90から受け取った音刺激の呈示タイミングにおいて、音刺激出力部10を介してユーザに音刺激を出力する。音刺激生成部75は、また、このタイミングで生体信号計測部50にトリガ信号を出力する。音刺激生成部75は、たとえば1つの音刺激群に対して1つの音刺激データを作成してもよい。このようにして作成された1つの音刺激データには、所定の時間間隔で音圧変化のある複数の音刺激に対応するデータが含まれる。その場合、生体信号計測部50に送付するトリガ信号は、第1音の呈示タイミングだけでもよい。
音刺激生成部75は、音刺激スケジューリング部90から受け取った音刺激の呈示タイミングにおいて、音刺激出力部10を介してユーザに音刺激を出力する。音刺激生成部75は、また、このタイミングで生体信号計測部50にトリガ信号を出力する。音刺激生成部75は、たとえば1つの音刺激群に対して1つの音刺激データを作成してもよい。このようにして作成された1つの音刺激データには、所定の時間間隔で音圧変化のある複数の音刺激に対応するデータが含まれる。その場合、生体信号計測部50に送付するトリガ信号は、第1音の呈示タイミングだけでもよい。
<ステップS110>
事象関連電位特徴量抽出部55は、生体信号計測部50から受けた脳波およびトリガ情報に基づき、トリガ情報を起点に所定区間(たとえば第1音呈示前100msから第3音呈示後400msの区間)の事象関連電位を切り出す。
事象関連電位特徴量抽出部55は、生体信号計測部50から受けた脳波およびトリガ情報に基づき、トリガ情報を起点に所定区間(たとえば第1音呈示前100msから第3音呈示後400msの区間)の事象関連電位を切り出す。
ステップS111において、特徴量抽出部55は、音圧決定部71から受けた音刺激の内容に応じて、第1音から第3音に対するウェーブレット係数に関する特徴量をそれぞれ算出する。
<ステップS112>
特徴量抽出部55は、ステップS107において算出したウェーブレット係数を、音刺激音圧決定部71から受けた音刺激の情報に基づいて、左右耳ごと、周波数ごとに加算平均する。
特徴量抽出部55は、ステップS107において算出したウェーブレット係数を、音刺激音圧決定部71から受けた音刺激の情報に基づいて、左右耳ごと、周波数ごとに加算平均する。
<ステップS113>
特徴量抽出部55は、ステップS105で呈示された音刺激群の音刺激に対する加算平均回数が所定回数に到達したか否かを判定する。加算平均回数が所定回数以下の場合には処理はステップS103へ戻り、音刺激群の呈示を繰り返す。加算平均回数が所定回数以上の場合には、事象関連電位特徴量抽出部55は、加算平均したウェーブレット係数に関する特徴量を、不快音圧判定部65に送る。その後、処理はステップS109へと進む。所定回数とは、たとえば20回である。なお、「20回」は、事象関連電位を計測する分野において多く採用される加算回数であるが、これは一例であり、任意の回数が選択されても良いことは言うまでもない。
特徴量抽出部55は、ステップS105で呈示された音刺激群の音刺激に対する加算平均回数が所定回数に到達したか否かを判定する。加算平均回数が所定回数以下の場合には処理はステップS103へ戻り、音刺激群の呈示を繰り返す。加算平均回数が所定回数以上の場合には、事象関連電位特徴量抽出部55は、加算平均したウェーブレット係数に関する特徴量を、不快音圧判定部65に送る。その後、処理はステップS109へと進む。所定回数とは、たとえば20回である。なお、「20回」は、事象関連電位を計測する分野において多く採用される加算回数であるが、これは一例であり、任意の回数が選択されても良いことは言うまでもない。
<ステップS114>
不快音圧判定部65は、事象関連電位特徴量抽出部55から受け取った、第1音から第3音それぞれのウェーブレット係数に関する特徴量を用いて、ユーザ5の不快音圧を判断する。不快音圧判定は、あらかじめ用意した他者のウェーブレット特徴量と主観UCL値の教師データとを利用した線形判別によって実現することができる。不快音圧推定に用いる教師データは、測定対象の左右耳および周波数と、教師データの左右耳および周波数が一致するように切り替えて用いてもよい。また、教師データは、ユーザの難聴の症状に合わせて切り替えてもよい。たとえば伝音性難聴と感音性難聴のような大きな分類でそれぞれ教師データを用意し、切り替えてもよい。また、低音漸傾型や高音漸傾型などのオージオグラムのパターンごとに教師データを用意し、切り替えてもよい。
不快音圧判定部65は、事象関連電位特徴量抽出部55から受け取った、第1音から第3音それぞれのウェーブレット係数に関する特徴量を用いて、ユーザ5の不快音圧を判断する。不快音圧判定は、あらかじめ用意した他者のウェーブレット特徴量と主観UCL値の教師データとを利用した線形判別によって実現することができる。不快音圧推定に用いる教師データは、測定対象の左右耳および周波数と、教師データの左右耳および周波数が一致するように切り替えて用いてもよい。また、教師データは、ユーザの難聴の症状に合わせて切り替えてもよい。たとえば伝音性難聴と感音性難聴のような大きな分類でそれぞれ教師データを用意し、切り替えてもよい。また、低音漸傾型や高音漸傾型などのオージオグラムのパターンごとに教師データを用意し、切り替えてもよい。
<ステップS115>
結果蓄積DB80は、ステップS105で呈示された音刺激群の、左右耳、周波数ごとに分けて、不快音圧判定部65から受け取った不快音圧の判定結果の情報を蓄積する。
結果蓄積DB80は、ステップS105で呈示された音刺激群の、左右耳、周波数ごとに分けて、不快音圧判定部65から受け取った不快音圧の判定結果の情報を蓄積する。
本実施形態の不快音圧推定システム100によれば、同一周波数で単調下降の音圧変化の3連発音を、周期的ノイズが推定精度に及ぼす影響が低いタイミングで呈示し、第1音から第3音までのそれぞれの音刺激に対する脳波の特徴量が抽出される。また、抽出された特徴量の変化パターンから不快音圧が推定される。これにより、ペースメーカーを装着したユーザであっても、補聴器装用時にユーザが不快音圧を感じない、補聴器フィッティングが実現できる。
(その他実施形態)
なお、実施形態1においては、単調下降の音圧変化の3連発音を呈示するタイミングを周期的ノイズの影響を受けないように制御し、脳波の分析によりユーザの不快音圧を測定する場合について説明した。しかしこれは実施形態の一例に過ぎない。本明細書で述べた、分析重要区間をノイズ影響低区間に設定するという思想に基づいて、他の目的で事象関連電位の他成分を計測する際の刺激タイミングをスケジューリングするように種々の改変が可能である。たとえば、事象関連電位のN1成分の有無により音刺激が聞こえたかどうかを判定する場合には、N1成分が惹起される潜時80ms-150msが分析重要区間である。その分析重要区間が、ノイズ影響低区間に含まれるように音刺激の呈示タイミングを設定すればよい。
なお、実施形態1においては、単調下降の音圧変化の3連発音を呈示するタイミングを周期的ノイズの影響を受けないように制御し、脳波の分析によりユーザの不快音圧を測定する場合について説明した。しかしこれは実施形態の一例に過ぎない。本明細書で述べた、分析重要区間をノイズ影響低区間に設定するという思想に基づいて、他の目的で事象関連電位の他成分を計測する際の刺激タイミングをスケジューリングするように種々の改変が可能である。たとえば、事象関連電位のN1成分の有無により音刺激が聞こえたかどうかを判定する場合には、N1成分が惹起される潜時80ms-150msが分析重要区間である。その分析重要区間が、ノイズ影響低区間に含まれるように音刺激の呈示タイミングを設定すればよい。
実施形態1の説明では、生体信号計測部50は、音刺激生成部75からのトリガ情報を起点にして予め定められた範囲の事象関連電位を切り出し、事象関連電位特徴量抽出部55に送信するとした。しかしながら、この処理は一例である。他の処理として、たとえば、生体信号計測部50は継続的に脳波を計測し、特徴量抽出部55が必要な事象関連電位の切り出しおよびベースライン補正を行ってもよい。当該構成であれば、音刺激生成部75は生体信号計測部50にトリガ情報を送信する必要はなくなり、特徴量抽出部55にトリガ信号を直接送信すればよい。
また、実施形態1においては、不快音圧推定の結果は、結果蓄積DB80に蓄積されるとしたが、蓄積しなくてもよい。たとえば結果蓄積DB80を不快音圧推定装置1の外部に設ける場合には、不快音圧判定部65の各判定結果を単に出力すればよい。各判定結果は、不快音圧に関する情報として利用され得る。
(補聴器の調整について)
補聴器の基本機能は音の増幅である。その増幅量(利得)は、聴覚特性の個人差により、ユーザごとに設定する必要がある。そこで、補聴器を使い始める前には,補聴器の周波数ごとの利得を設定する「フィッティング」を行う。適切なフィッティングを実現するためには、まずユーザの聴覚特性の正確な測定が必須である。
補聴器の基本機能は音の増幅である。その増幅量(利得)は、聴覚特性の個人差により、ユーザごとに設定する必要がある。そこで、補聴器を使い始める前には,補聴器の周波数ごとの利得を設定する「フィッティング」を行う。適切なフィッティングを実現するためには、まずユーザの聴覚特性の正確な測定が必須である。
聴覚特性の検査では、まず最小可聴閾値(hearing threshold level:HTL)が、つぎに不快レベル(uncomfortable level:UCL)が調べられる。HTLとUCLは、補聴器から出力する音圧のダイナミックレンジを決定するために利用される。難聴判断に用いられるHTLは、オージオメータを用いて周波数ごとに音が聞こえたかどうかを測定する比較的簡単な検査である。HTLを周波数(たとえば250Hz、500Hz、1000Hz、2000Hz、4000Hz)ごとにプロットした図は、オージオグラムと呼ばれる。他方、UCLは、不快になる大きな音を出して測定する必要があり,心理的なストレス・疲労を招くため、HTLから周波数ごとに計算で求められる場合が多い。なお、主観報告によりUCLを測定する場合には、オージオメータを用いて、連続音または断続音を、上昇法(段々と音圧レベルを上げる)を用いてユーザに呈示し、うるさすぎて長時間聞いていられない音圧であるか否かをユーザに報告させ、ユーザが報告した音圧を、UCLとする。
「主観報告」とは、ユーザが音を聞いた後に、ユーザがその音に対する主観的な感想を報告することである。
補聴器の周波数ごと、入力音の音圧ごとの利得は、上述の聴覚特性とフィッティング理論と呼ばれる関数を用いて決定される。現在、全てのユーザに対して汎用的に利用できるフィッティング理論はなく、いくつかのフィッティング理論が混在している。たとえばハーフゲイン法は、各周波数の挿入利得をその周波数のHTLの半分にする。Berger法は、会話音声の周波数帯域とレベルを考慮して1000Hzから4000Hzの増幅をやや増強する。POGO法は、ハーフゲイン法を基礎とし語音情報が少なく騒音成分が多い250Hzと500Hzの利得をそれぞれ10dB、5dB減じる。NAL-R法は、言葉の長時間音響分析周波数が快適レベルに入るように増幅する。
不適切なフィッティングの例として、(1)音圧の増幅量が不足している場合、または、(2)音圧の増幅量が大きすぎる場合がある。たとえば、音圧の増幅量が不足している場合、ユーザは音声が聞き分けられない。この場合には、上述の補聴器を利用する目的が達成できない。また、音圧の増幅量が大きすぎる場合、ユーザは音声の聞き分けはできるが、音声をうるさく感じる。その結果、ユーザは、補聴器を長時間使用できない。そこで、上記(1)または(2)のいずれにも該当しないように、補聴器のフィッティングを行う必要がある。特に(2)は、補聴器は、ユーザに対して、必要以上に大きい音圧を有する音声を呈示する可能性がある。その結果、大きい音圧を有する音声により、ユーザの耳を傷つける危険性があった。
(2)の問題を回避するためには、UCLを正しく求める必要があるが、HTLから計算で求めたUCLには、個人差が反映されず、個人差に起因する誤差が含まれた。また、主観報告によりUCLを測定する方法もあるが、UCLの基準が個人または言語表現の影響を受けて変動するため精度が低かった。
これに対して、以上に説明した本開示の不快音圧推定システムの一実施形態によれば、強大な音刺激を呈示することなく、かつ、周期的なノイズを発生する装置を装着しているユーザであっても、ユーザの不快音圧を良好な精度で推定できる。したがって、補聴器のフィッティングを適切に行うことができる。
本開示の不快音圧推定システムは、補聴器店や家庭などでの補聴器の調整等に有用である。
1 不快音圧推定装置 (推定装置)
5 ユーザ
10 音刺激出力部
50 生体信号計測部
55 事象関連電位特徴量抽出部 (特徴量抽出部)
65 不快音圧判定部 (判定部)
70 音刺激群決定部
71 音刺激音圧決定部 (音圧決定部)
75 音刺激生成部
80 結果蓄積DB
90 音刺激スケジューリング部
95 周期的ノイズ抽出部
96 ノイズ発生予測部
100 不快音圧推定システム (推定システム)
5 ユーザ
10 音刺激出力部
50 生体信号計測部
55 事象関連電位特徴量抽出部 (特徴量抽出部)
65 不快音圧判定部 (判定部)
70 音刺激群決定部
71 音刺激音圧決定部 (音圧決定部)
75 音刺激生成部
80 結果蓄積DB
90 音刺激スケジューリング部
95 周期的ノイズ抽出部
96 ノイズ発生予測部
100 不快音圧推定システム (推定システム)
Claims (13)
- ユーザの脳波信号を計測する生体信号計測部と、
同一の周波数を有し、かつ、所定の範囲内の音圧を有する第1音、第2音、及び第3音を含む音刺激群を前記ユーザに呈示する出力部と、
前記第2音及び前記第3音のうちの少なくとも一方が前記ユーザに呈示されたそれぞれの時刻を起点として定められる所定の分析区間の脳波信号から、前記第2音及び前記第3音の少なくとも一方に関連する事象関連電位の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された前記特徴量に基づいて、前記音刺激群の周波数に対する不快音圧を判定する判定部と、
前記ユーザの脳波信号から、周期的ノイズに含まれる複数のノイズのうちの少なくとも1つのノイズの発生時刻を抽出する周期的ノイズ抽出部と、
前記周期的ノイズ抽出部が抽出した少なくとも1つのノイズの発生時刻から、次のノイズの発生時刻を予測するノイズ発生予測部と、
前記第2音及び第3音の少なくとも一方についての分析区間が、前記予測された次のノイズの発生時刻から所定時間が経過した後に設けられるように、前記音刺激群の出力タイミングを決定する音刺激スケジューリング部と
を備える不快音圧推定システム。 - 前記出力部は、前記第1音、前記第2音、及び前記第3音を、音圧が順に減少するように出力する、請求項1に記載の不快音圧推定システム。
- 前記特徴量抽出部は、N1-P2振幅、または、ウェーブレット係数に関する特徴量を抽出する、請求項1または2に記載の不快音圧推定システム。
- 前記周期的ノイズ抽出部は、前記ユーザの脳波信号を微分し、前記微分の結果が所定の閾値以上の場合にノイズが発生したものと判断する、請求項1から3のいずれかに記載の不快音圧推定システム。
- 前記ノイズ発生予測部において、過去複数回のノイズ発生タイミングの発生間隔の平均値または重み付け平均値によって、周期的ノイズ発生の周期を算出し、次のノイズ発生タイミングを予測する、請求項1から4のいずれかに記載の不快音圧推定システム。
- 前記音刺激スケジューリング部において、前記ノイズ発生予測部が予測した次のノイズ発生タイミングの前100msから後ろ250msの時間帯に、前記分析区間としての前記第3音出力後0msから300msの区間が入らないように、前記音刺激群の出力タイミングが設定される、請求項1から5のいずれかに記載の不快音圧推定システム。
- それぞれが純音で構成される前記第1音、前記第2音および第3音を含む音刺激群の周波数を決定する音刺激群決定部と、
所定の閾値以下の音圧を有し、かつ、前記第1音、前記第2音、前記第3音の順に順番に音圧が減少するように、前記第1音、前記第2音、及び前記第3音の音圧を決定する音刺激音圧決定部とを備え、
前記出力部は、前記音刺激群決定部が決定した周波数で、かつ、音刺激音圧決定部が決定した音圧で、前記第1音、前記第2音、及び前記第3音を出力する、請求項1から6のいずれかに記載の不快音圧推定システム。 - 前記音刺激スケジューリング部は、前記第1音及び前記第2音の時間間隔を参照して、前記ノイズ発生予測部が予測した次のノイズが発生する時刻から所定のノイズ継続時間経過後に、前記第2音及び第3音の事象関連電位の計測時間となるように、第1音、第2音、および第3音を出力する時刻を決定する、請求項1から7のいずれかに記載の不快音圧推定システム。
- 前記音刺激スケジューリング部は、前記周期的ノイズが発生した時間間隔が、前記第2音の事象関連電位の計測開始時刻から前記第3音の事象関連電位の計測終了時刻までの時間よりも小さい場合には、前記ノイズ発生予測部が予測した次のノイズが発生する時刻から所定のノイズ継続時間経過後に、前記第3音についての分析区間が設けられるように、第1音、第2音、および第3音を出力する時刻を決定する、請求項1に記載の不快音圧推定システム。
- ユーザの脳波信号を計測する生体信号計測部が計測した前記ユーザの脳波信号から得られた周期的ノイズの発生時間間隔に基づいて予測された、次のノイズが発生する時刻を受け取り、予め保持する第1音、第2音、および第3音の間隔に基づいて、前記第2音及び第3音の事象関連電位の計測時間が、前記次のノイズ発生時刻から所定のノイズ継続時間後となるように、前記第1音、前記第2音、および前記第3音を出力する時刻を決定する音刺激スケジューリング部と、
前記音刺激スケジューリング部で決定した前記第1音、前記第2音、及び前記第3音が出力される時刻を受け取り、前記生体信号計測部が計測したユーザの脳波信号において、前記第1音、前記第2音、及び前記第3音が出力されたそれぞれの時刻を起点とする、前記脳波信号の事象関連電位の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出した特徴量に基づいて、前記音刺激群の周波数に対する不快音圧を判定する判定部と
を備える、不快音圧推定装置。 - ユーザの脳波信号を計測する生体信号計測部と、
前記ユーザに音刺激を呈示する出力部と、
音刺激が呈示された時刻に基づいて決定される起点時刻を有する所定の分析区間における脳波信号から、前記音刺激に関連する事象関連電位の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出した特徴量に基づいて、前記音刺激群の周波数に対する不快音圧を決定する不快音圧判定部と、
前記ユーザの脳波信号から、周期的ノイズに含まれる複数のノイズのうちの少なくとも1つのノイズの発生時刻を抽出する周期的ノイズ抽出部と、
前記周期的ノイズ抽出部が抽出した少なくとも1つのノイズの発生時刻から、次のノイズの発生時刻を予測するノイズ発生予測部と、
前記ノイズ発生予測部で予測された次のノイズの発生時刻に基づいて、前記音刺激を出力するタイミングを決定する音刺激スケジューリング部と
を備える、不快音圧推定システム。 - ユーザの脳波信号を計測する第1の生体信号計測ステップと、
前記第1の生体信号計測ステップで計測された前記ユーザの脳波信号から、周期的ノイズに含まれる複数のノイズのうちの少なくとも1つのノイズの発生時刻を抽出するノイズ抽出ステップと、
前記ノイズ抽出ステップで抽出された少なくとも1つのノイズの発生時刻から、次のノイズの発生時刻を予測するノイズ発生予測ステップと、
同一の周波数を有しかつ所定の範囲内の音圧を有する第1音、第2音、及び第3音を含む音刺激群を前記ユーザに呈示する前に、前記第2音及び第3音の少なくとも一方についての分析区間が、前記予測された次のノイズの発生時刻から所定時間が経過した後に設けられるように、前記音刺激群の出力タイミングを決定する音刺激スケジューリングステップと、
前記音刺激スケジューリングステップで決定された出力タイミングで、前記同一の周波数を有し、かつ、所定の範囲内の音圧を有する第1音、第2音、及び第3音を含む音刺激群を前記ユーザに呈示する出力ステップと、
前記出力ステップにおいて前記出力タイミングで前記音刺激群が呈示された時の前記ユーザの脳波信号を計測する第2の生体信号計測ステップと、
前記第2の生体信号計測ステップにおいて計測された、前記第2音及び前記第3音のうちの少なくとも一方が前記ユーザに呈示されたそれぞれの時刻を起点として定められる所定の分析区間の脳波信号から、前記第2音及び前記第3音の少なくとも一方に関連する事象関連電位の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出された特徴量に基づいて、前記音刺激群の周波数に対する不快音圧を判定する不快音圧判定ステップと
を含む、不快音圧推定方法。 - 不快音圧推定システムの不快音圧推定装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは、前記コンピュータに対し、
ユーザの脳波信号を取得する第1の生体信号計測ステップと、
前記第1の生体信号計測ステップで取得された前記ユーザの脳波信号から、周期的ノイズに含まれる複数のノイズのうちの少なくとも1つのノイズの発生時刻を抽出するノイズ抽出ステップと、
前記ノイズ抽出ステップで抽出された少なくとも1つのノイズの発生時刻から、次のノイズの発生時刻を予測するノイズ発生予測ステップと、
同一の周波数を有しかつ所定の範囲内の音圧を有する第1音、第2音、及び第3音を含む音刺激群を前記ユーザに呈示する前に、前記第2音及び第3音の少なくとも一方についての分析区間が、前記予測された次のノイズの発生時刻から所定時間が経過した後に設けられるように、前記音刺激群の出力タイミングを決定する音刺激スケジューリングステップと、
前記音刺激スケジューリングステップで決定された出力タイミングで、前記同一の周波数を有しかつ所定の範囲内の音圧を有する第1音、第2音、及び第3音を含む音刺激群を前記ユーザに呈示する出力ステップと、
前記出力ステップにおいて前記出力タイミングで前記音刺激群が呈示された時の前記ユーザの脳波信号を取得する第2の生体信号計測ステップと、
前記第2の生体信号計測ステップにおいて取得された、前記第2音及び前記第3音のうちの少なくとも一方が前記ユーザに呈示されたそれぞれの時刻を起点として定められる所定の分析区間の脳波信号から、前記第2音及び前記第3音の少なくとも一方に関連する事象関連電位の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出された特徴量に基づいて、前記音刺激群の周波数に対する不快音圧を判定する不快音圧判定ステップと
を実行させる、コンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013540927A JP5915944B2 (ja) | 2012-03-19 | 2013-03-08 | 不快音圧推定システム、不快音圧推定装置、不快音圧推定方法およびそのコンピュータプログラム |
US14/081,392 US9332357B2 (en) | 2012-03-19 | 2013-11-15 | Uncomfortable sound pressure estimation system, uncomfortable sound pressure estimation apparatus, uncomfortable sound pressure estimation method, and computer program thereof |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061453 | 2012-03-19 | ||
JP2012-061453 | 2012-03-19 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/081,392 Continuation US9332357B2 (en) | 2012-03-19 | 2013-11-15 | Uncomfortable sound pressure estimation system, uncomfortable sound pressure estimation apparatus, uncomfortable sound pressure estimation method, and computer program thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013140735A1 true WO2013140735A1 (ja) | 2013-09-26 |
Family
ID=49222218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/001515 WO2013140735A1 (ja) | 2012-03-19 | 2013-03-08 | 不快音圧推定システム、不快音圧推定装置、不快音圧推定方法およびそのコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9332357B2 (ja) |
JP (1) | JP5915944B2 (ja) |
WO (1) | WO2013140735A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110366086A (zh) * | 2019-07-18 | 2019-10-22 | 河海大学常州校区 | 基于脑电eeg的骨传导助听器自动增益控制方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10542961B2 (en) | 2015-06-15 | 2020-01-28 | The Research Foundation For The State University Of New York | System and method for infrasonic cardiac monitoring |
JP2017064390A (ja) * | 2015-09-28 | 2017-04-06 | パナソニックIpマネジメント株式会社 | 電気刺激システム、電気刺激方法、コンピュータプログラム |
CN115137372A (zh) * | 2017-04-28 | 2022-10-04 | 麦克赛尔株式会社 | 脑波数据分析***、信息处理终端、电子设备以及用于脑波分析检查的信息的呈现装置 |
WO2019060298A1 (en) | 2017-09-19 | 2019-03-28 | Neuroenhancement Lab, LLC | METHOD AND APPARATUS FOR NEURO-ACTIVATION |
US11717686B2 (en) | 2017-12-04 | 2023-08-08 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to facilitate learning and performance |
EP3731749A4 (en) | 2017-12-31 | 2022-07-27 | Neuroenhancement Lab, LLC | NEURO-ACTIVATION SYSTEM AND METHOD FOR ENHANCING EMOTIONAL RESPONSE |
US11364361B2 (en) | 2018-04-20 | 2022-06-21 | Neuroenhancement Lab, LLC | System and method for inducing sleep by transplanting mental states |
CN113382683A (zh) | 2018-09-14 | 2021-09-10 | 纽罗因恒思蒙特实验有限责任公司 | 改善睡眠的***和方法 |
US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
KR20210007385A (ko) * | 2019-07-11 | 2021-01-20 | 현대자동차주식회사 | 오류 모니터링을 이용한 교통 감시 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004179965A (ja) * | 2002-11-27 | 2004-06-24 | Chugoku Hochoki Center:Kk | 補聴器の自動増幅特性調整装置 |
JP2004337294A (ja) * | 2003-05-14 | 2004-12-02 | Japan Science & Technology Agency | バイタルサイン計測システム、バイタルサイン計測方法、バイタルサイン計測プログラム、及び記録媒体 |
WO2008038650A1 (fr) * | 2006-09-27 | 2008-04-03 | National University Corporation Chiba University | Dispositif et système d'inspection du potentiel évoqué |
JP2009288354A (ja) * | 2008-05-28 | 2009-12-10 | Japan Science & Technology Agency | 音響装置及び音響調整方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5139028A (en) * | 1990-10-26 | 1992-08-18 | Telectronics Pacing Systems, Inc. | Heart rejection monitoring apparatus and method |
US5630425A (en) * | 1995-02-17 | 1997-05-20 | Ep Technologies, Inc. | Systems and methods for adaptive filtering artifacts from composite signals |
US6115628A (en) * | 1999-03-29 | 2000-09-05 | Medtronic, Inc. | Method and apparatus for filtering electrocardiogram (ECG) signals to remove bad cycle information and for use of physiologic signals determined from said filtered ECG signals |
US8165687B2 (en) * | 2008-02-26 | 2012-04-24 | Universidad Autonoma Metropolitana, Unidad Iztapalapa | Systems and methods for detecting and using an electrical cochlear response (“ECR”) in analyzing operation of a cochlear stimulation system |
JP2009195571A (ja) | 2008-02-22 | 2009-09-03 | Kanazawa Inst Of Technology | ノイズ除去方法とその方法を利用可能な生体情報計測装置および脳磁場計測装置 |
US8543195B1 (en) * | 2009-11-03 | 2013-09-24 | VivaQuant, LLC | ECG sensing with noise filtering |
US9554733B2 (en) * | 2010-07-28 | 2017-01-31 | Honeywell Hearing Technologies As | Hearing protection device with integrated audiometric testing |
-
2013
- 2013-03-08 WO PCT/JP2013/001515 patent/WO2013140735A1/ja active Application Filing
- 2013-03-08 JP JP2013540927A patent/JP5915944B2/ja active Active
- 2013-11-15 US US14/081,392 patent/US9332357B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004179965A (ja) * | 2002-11-27 | 2004-06-24 | Chugoku Hochoki Center:Kk | 補聴器の自動増幅特性調整装置 |
JP2004337294A (ja) * | 2003-05-14 | 2004-12-02 | Japan Science & Technology Agency | バイタルサイン計測システム、バイタルサイン計測方法、バイタルサイン計測プログラム、及び記録媒体 |
WO2008038650A1 (fr) * | 2006-09-27 | 2008-04-03 | National University Corporation Chiba University | Dispositif et système d'inspection du potentiel évoqué |
JP2009288354A (ja) * | 2008-05-28 | 2009-12-10 | Japan Science & Technology Agency | 音響装置及び音響調整方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110366086A (zh) * | 2019-07-18 | 2019-10-22 | 河海大学常州校区 | 基于脑电eeg的骨传导助听器自动增益控制方法 |
Also Published As
Publication number | Publication date |
---|---|
US9332357B2 (en) | 2016-05-03 |
JP5915944B2 (ja) | 2016-05-11 |
US20140072130A1 (en) | 2014-03-13 |
JPWO2013140735A1 (ja) | 2015-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5915944B2 (ja) | 不快音圧推定システム、不快音圧推定装置、不快音圧推定方法およびそのコンピュータプログラム | |
JP5215508B1 (ja) | 不快閾値推定システム、方法およびそのプログラム、補聴器調整システムおよび不快閾値推定処理回路 | |
JP5352029B1 (ja) | 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム | |
US9712931B2 (en) | Hearing aid gain determination system, hearing aid gain determination method, and computer program | |
JP5579352B1 (ja) | 不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム | |
JP5215507B1 (ja) | 不快音圧決定システム、その方法およびそのプログラム、補聴器調整システムおよび不快音圧決定装置 | |
JP5091366B2 (ja) | 音圧評価システム、その方法およびそのプログラム | |
JP5406414B2 (ja) | 不快音圧推定システム、不快音圧推定装置、不快音圧推定システムの作動方法およびそのコンピュータプログラム | |
JP5632569B2 (ja) | 不快音圧推定システム、不快音圧推定プロセッサ、不快音圧推定方法およびそのコンピュータプログラム | |
Adachi et al. | Estimating uncomfortable loudness levels using evoked potentials to auditory stimuli for hearing aid fitting | |
Chun et al. | Aided electrophysiology using direct audio input: effects of amplification and absolute signal level |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2013540927 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13763640 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13763640 Country of ref document: EP Kind code of ref document: A1 |