CN102265335B - 助听器的调整装置和方法 - Google Patents

助听器的调整装置和方法 Download PDF

Info

Publication number
CN102265335B
CN102265335B CN2010800037241A CN201080003724A CN102265335B CN 102265335 B CN102265335 B CN 102265335B CN 2010800037241 A CN2010800037241 A CN 2010800037241A CN 201080003724 A CN201080003724 A CN 201080003724A CN 102265335 B CN102265335 B CN 102265335B
Authority
CN
China
Prior art keywords
phoneme
syllable
sound
hear
sonifer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010800037241A
Other languages
English (en)
Other versions
CN102265335A (zh
Inventor
森川幸治
足立信夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102265335A publication Critical patent/CN102265335A/zh
Application granted granted Critical
Publication of CN102265335B publication Critical patent/CN102265335B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Neurosurgery (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供一种助听器的调整装置、方法和程序，在助听器购买之后进行再调整时无需前往助听器销售店进行，在各种日常生活使用场合下当场就能自动进行调整。助听器的调整装置具备：声音取出部，对收集的声音信号进行声学处理，利用包含在声音信号中的音素或音节的信息，输出确定发出音素或音节的时刻的时刻信息；脑波测量部，其测量用户的脑波信号；判定部，根据以音素或音节的发声时刻为起点的脑波信号的事件相关电位，判定针对音素或音节是否听得清楚；音素指定部，在判定为听不清楚的情况下，将多个音素或音节之中在时间上出现在前面的音素或音节指定为听不清楚；和增益调整部，根据音素的种类决定增益调整方法，以决定的增益调整方法来调整音素或音节的增益。

Description

助听器的调整装置和方法
技术领域
本发明涉及用于进行助听器调整的技术。具体而言本发明涉及利用用户的脑波来确定利用助听器时感觉难以听清的因素并调整助听器的修正处理使得听得更清楚。 
背景技术
近年来，由于社会的高龄化或长时间听大音量音乐的机会增加等的影响，老年性或声音性听障者增加。此外，随着助听器的小型化、高性能化，助听器安装的门槛越来越低，以在日常生活中能清楚地听见谈话为目的利用助听器的用户在增加。 
助听器是通过声音的放大来补偿用户下降的听力的装置。各用户对助听器所要求的声音的放大量因用户听力下降的程度、或者因频带而不同。因此，在开始利用助听器之前，首先需要进行配合各用户的听力在每个频率调整声音放大量的调试。 
调试一般根据每个用户的听力敏度图来进行。所谓“听力敏度图”是针对各频率的纯音进行倾听的评价结果，例如是针对多个频率的各个声音，根据频率划分用户能听见的最小声压水平(分贝值)的图。听力敏度图可在助听器店或医院制作。 
助听器店或医院首先制作不同用户的听力敏度图。然后，根据调试方法、也就是用来基于听力敏度图放大至可轻松地听见的声压水平的调整方法，来决定放大量并进行初期调整。 
在助听器店中，还根据需要通过口头或CD一个一个地将单音节的声音呈现给用户，实施对能否实际听到语音进行评价的语音清晰度评价，进行助听器的微调。通过这种评价和助听器的反复调整，从而能够获得具有适合用户听力的特性的助听器。 
但是，即便是这样细心地进行调整，也未必能调整出令人满意的助听器，这样的问题依然存在。这是因为助听器的评价以及调整是在助听器的销售店由销售店的专业人员进行。 
具体来说，由于助听器用户实际配戴助听器是在日常的生活中，也就是在家里时、观看电视时、外出时配戴，因此不同情况下最合适的助听器的调整是不同的。以往，在日常生活中助听器的调整不满意的情况下，要先记住该场景(例如，能听清楚谈话但看电视时较吵、与助听器店的专业人员的会话没问题但与家人的对话依然听不清等等)，将这些情况在助听器店传达给专业人员，专业人员根据该结果再次进行调整。 
这种调整的难度在于，需要用户一边回忆一边说明过去听不清的体验和该场合听不见的程度，专业人员根据彼此的对话从助听器可调整的多个项目中推定合适的项目。原本听力方面的主观表现其偏差就很大，还要根据记忆来进行，从而这种调整相当困难。 
作为应对这种问题的对策，考虑在日常生活场合中自动进行再调整。作为针对这种研究的现有相关技术，已知：根据脑波等客观指标进行评价而不是基于口头报告进行听力评价(专利文献1)的技术、根据外部环境音的变化调整再生音的技术(专利文献2)、保持多个调试参数进行切换的技术(专利文献3)等。 
专利文献1利用脑波采用ASSR(Audiroty Steady-State Response)进行针对纯音的各频率的听觉特性的评价，由此不必听取不同用户间偏差较大的口头报告就能进行评价。 
专利文献2中是针对外部环境音的波动始终能够再现相同音质的音乐的方案，由此能够适应某种程度上的外部环境音的波动。 
专利文献3中预先保持多个调试参数，配合生活场所的声音环境来切换调试的参数。 
专利文献1：JP特表2003-533258号公报 
专利文献2：JP专利第4145507号说明书 
专利文献3：JP专利第3482465号说明书 
这些技术是使听力适应因不同生活场所而异的声音环境的技术，对于不进行口头报告的情况下进行听力评价是有用的。 
然而，即便利用这些技术，也无法实现用户不费事地进行日常生活的听力评价，也无法在该情况下实现助听器再调整。换句话说，无法客观地检测日常生活中用户感觉难以听清的声音，并自动地调整。例如，专利文献1尽管能针对用户的纯音进行听力评价，但不能进行针对会话声音的评价。专利文献2在某种程度上能进行适合于外部声音的调整，但无法进行与用户实际听感相应的调整。再有，在专利文献3中，保持多个调整参数，但未必能准备适合所有状况的参数。 
对于用户而言，与声音环境无关，用户自身通过助听器能否容易听到正在听的声音，为是否应该调整助听器的基准。特别是如果能够确定难以听清的音素，则可进行仅改善针对该音素的听力的调整。一般情况下，根据助听器的个别调整方法，还存在即便对于特定的音素具有效果但对于其他音素会带来不良影响的弊端。只要利用现有的调整方法，就必须针对所有声音的调整，这种调整是相当困难的。因此，通过不是现有调整方法的方法，将难以听见的音素作为对象并且对其他音素不会带来影响的调整方法是有效的。 
发明内容
本发明的目的是实现一种用户不必针对日常生活中遭遇的各种声音环境特意进行口头报告或手动调整，也能由助听器侧确定需要该调整的定时以及需要改善听力的音素，并自动进行再调整的助听器的再调整装置。 
本发明所涉及的助听器的调整装置具备：集音部，收集周围的声响，并输出声音信号；声音取出部，利用包含在所述声音信号中的音素或音节的信息，输出用来确定发出所述音素或音节的时刻的时刻信息；脑波测量部，对用户的脑波信号进行测量；听力判定部，根据从所述脑波测量部所测量的脑波信号取得的、以所确定的发出所述音素或音节的时刻为起点的事件相关电位，判定针对所述音素或音节是否听得清楚；音素指定部，在所述听力判定部中判定为针对多个音素或音节听不清楚的情况下，将所述多个音素或音节之中在时间上出现在前面的音素或音节指定为难以听清；和增益调整部，针对由所述音素指定部所指定的所述音素或音节，根据所述音素的种类决定增益调整方法，按照所决定的增益调整方法来调整所述 音素或音节的增益。 
所述听力判定部可以根据所述事件相关电位之中在发出所述音素或音节的时刻为起点800ms±100ms的事件相关电位中是否包含规定的特征成分，判定针对所述音素或音节是否听得清楚。 
所述脑波测量部可以利用设置在所述用户的国际10-20法中的Pz周边的电极，来测量所述脑波信号。 
所述听力判定部在所述事件相关电位中包含阳性成分时可以判定所述音素或音节听不清楚。 
所述脑波测量部可以利用设置在所述用户的国际10-20法中的Cz周边的电极，来测量脑波信号。 
所述听力判定部在所述事件相关电位中包含阴性成分时可以判定所述音素或音节听不清楚。 
所述增益调整部可以根据由所述音素指定部所指定的音素的种类，从多种的增益调整方法之中选择与所述音素种类相应的增益调整方法。 
本发明所涉及的其他调整装置具备：声音取出部，利用包含在由收集周围声响的集音部所收集的周围声响的声音信号中的音素或音节的信息，输出用来确定发出所述音素或音节的时刻的时刻信息；听力判定部，根据从测量用户脑波信号的脑波测量部所测量的脑波信号取得的、以所确定的发出所述音素或音节的时刻为起点的事件相关电位，判定针对所述声音是否听得清楚；和音素指定部，在所述听力判定部中判定为针对多个音素或音节听不清楚的情况下，将所述多个音素或音节之中在时间上出现在前面的音素或音节指定为难以听清，输出由所述音素指定部所指定的音素的信息。 
所述调整装置可以将由所述音素指定部所指定的音素的信息输出至调整音素增益的增益调整部。 
本发明所涉及的助听评价装置具备：集音部，收集周围的声响，并输出声音信号；声音取出部，利用包含在所述声音信号中的音素或音节的信息，输出用来确定发出所述音素或音节的时刻的时刻信息；脑波测量部，对用户的脑波信号进行测量；听力判定部，根据从所述脑波测量部所测量的脑波信号取得的、以所确定的发出所述音素或音节的时刻为起点的事件 相关电位，判定针对所述音素或音节是否听得清楚；音素指定部，在所述听力判定部中判定为针对多个音素或音节听不清楚的情况下，将所述多个音素或音节之中在时间上出现在前面的音素或音节指定为难以听清，并存储所指定的结果。 
本发明所涉及的助听器的调整方法包括：收集周围的声响，并输出声音信号的步骤；利用包含在所述声音信号中的音素或音节的信息，输出用来确定发出所述音素或音节的时刻的时刻信息的步骤；对用户的脑波信号进行测量的步骤；根据从测量到的脑波信号取得的、以所确定的发出所述音素或音节的时刻为起点的事件相关电位，判定针对所述音素或音节是否听得清楚的步骤；在所述判定的步骤中判定为针对多个音素或音节听不清楚的情况下，将所述多个音素或音节之中在时间上出现在前面的音素或音节指定为难以听清的步骤；和针对所指定的所述音素或音节，根据所述音素或音节的种类决定增益调整方法，按照所决定的增益调整方法来调整所述音素或音节的增益的步骤。 
本发明所涉及的计算机程序是用于助听器调整的计算机程序，由计算机来执行，所述计算机程序使所述计算机执行如下步骤：接受所收集的周围声响的声音信号的步骤；利用包含在所述声音信号中的音素或音节的信息，输出用来确定发出所述音素或音节的时刻的时刻信息的步骤；接受所测量的用户的脑波信号的步骤；根据从所述脑波信号取得的、以所确定的发出所述音素或音节的时刻为起点的事件相关电位，判定针对所述音素或音节是否听得清楚的步骤；在所述判定的步骤中判定为针对多个音素或音节听不清楚的情况下，将所述多个音素或音节之中在时间上出现在前面的音素或音节指定为难以听清的步骤；和针对所指定的所述音素或音节，根据所述音素或音节的种类决定增益调整方法，按照所决定的增益调整方法来调整所述音素或音节的增益的步骤。 
根据本发明，通过脑波解析指定安装了助听器的用户感觉听不清楚的定时及其音素，推定用户的听力。可根据其结果所得到的信息，进行适合于被指定为听不清楚的音素的调整。用户能够在根据听不清楚时当场调整助听处理。因此，例如用户不需要记住听不清楚的状况然后前往助听器销售店向专业人员进行说明，从而接受再调整的这种麻烦。 
附图说明
图1是表示行动实验的实验步骤的概要的图。 
图2是表示对应3个条件的不同频率的增益调整量的图。 
图3是表示1次试验的步骤的流程图。 
图4表示根据按键的结构分类的参加者听懂声音的自信度、和按下按键的正误概率。 
图5是表示国际10-20法的电极位置的图。 
图6是表示脑波测量实验的实验步骤的概要的图。 
图7是表示1次试验的步骤的流程图。 
图8是根据听懂自信度对以声音呈现为起点的Pz处的事件相关电位进行总加法平均的波形图。 
图9是按照不同听懂自信度表示电极位置C3、Cz、C4处的以声音呈现为起点的事件相关电位700ms至900ms的区间平均电位的图。 
图10表示由本申请发明者总结的、阳性成分的有无与听懂自信度以及听清楚的对应关系。 
图11表示助听器的再调整***100的结构和利用环境。 
图12例示了再调整***100的使用场合。 
图13表示本实施方式的助听器的再调整***100的硬件结构图。 
图14(a)表示仅由助听器进行的处理的步骤，图14(b)表示组合了本实施方式的助听器再调整***100的处理时的概要步骤。 
图15表示声音取出部5的处理的详细内容。 
图16是声音取出部5的处理的具体说明图。 
图17是表示听力判定部7进行的处理步骤的流程图。 
图18是表示听力判定处理的数据处理的例子。 
图19是表示音素指定部8进行的处理的步骤的流程图。 
图20表示成为音素指定的处理原理的听觉上的特性数据。 
图21表示由于包含听不清楚的音节的辅音的种类，应该进行的调整方法是不同的例子。 
图22表示助听评价装置112的结构。 
具体实施方式
以下，参照附图对本发明的“助听器的再调整装置”的各实施方式进行说明。 
在本发明的助听器的再调整装置的结构中，包含以下2点技术事项。其一是对基于脑波测量的听力程度(听懂的自信度)进行评价，另一点是通过脑波测量针对连续声音评价听力程度的情况下确定哪个音素难以听清楚。 
对于第1技术事项的基于脑波测量的听懂自信度评价，本申请发明者实施了独自提出的2种实验，用于用户即便不进行回答输入也可实现语音清晰度评价。并且，发现了用于能进行针对语音的评价而不是现有的针对纯音评价的指标。 
在实施方式的方面之前，首先说明这2种实验内容和由此得到的新的发现。 
此外，第2技术事项是本申请发明者基于第1实验结果和多个语音连续的情况下的听觉研究的见解而得到构思的结果。对于第2技术事项在实施方式的说明中详细叙述。 
本申请发明者为了实现用户不需要口头报告的语音清晰度评价，实施了以下的行动实验和脑波测量实验。 
本申请发明者首先实施用于研究听懂自信度和听错发生概率之间的关系的行动实验。具体而言，以声音和文字(平假名)按照顺序呈现单音节的语音，让用户确认声音和文字是否相同，以按钮来回答声音听取的自信度。其结果，本申请发明者发现在声音的听懂自信度较高的情况下听错的发生概率为10％以下，在听懂自信度较低的情况下听错的发生概率为较高的40％以上。 
接下来，本申请发明者实施脑波实验，以声音呈现单音节的语音，研究针对声音呈现的反应。并且，根据行动实验中所取得的听懂自信度对作为脑波信号分量之一的事件相关电位进行加法平均。其结果发现，在以声音刺激为起点的事件相关电位中，相比针对声音听懂的自信度较低的情况，在自信度较高的情况下，在头部中心部周边潜时(latent time)700ms 至900ms引起阳性成分。 
根据该行动实验和脑波实验的发现，可以基于以声音呈现为起点的头部中心部附近的事件相关电位的潜时700ms至900ms的阳性成分的有无来判定声音听懂自信度，也可评价对应于此的语音清晰度。以往，语音清晰度评价是通过用户的口头等的回答正误来进行的，但通过本方法是根据用户是否认为听懂了声音来实现语音清晰度评价，而不是根据实际是否正确听懂声音。 
1.行动实验 
本申请发明者为了研究声音听懂相关的自信度与听错发生概率之间的关系，实施了行动实验。以下，参照图1至图3说明所实施的行动实验的实验设定和实验结果。 
实验参加者是具有正常听力的大学生和研究生6名。 
图1表示行动实验的实验步骤概要。 
首先，在步骤A中呈现单音节的声音。刺激语音参照“助听器调试的方法”(小寺一兴，诊断与治疗公司，1999年，172页)，从经常容易相互听混的“ナ行/マ行”的一对、“ラ行/ヤ行”的一对、“カ行/タ行”的一对中选择。指示实验参加者在听到声音之后脑海中想象对应的平假名。以在具有正常听力的参加者中按不同声音使听懂自信度分散开的方式，呈现出对频率增益进行加工的三种条件下的声音。(1)0dB条件：作为容易听懂的声音未进行频率增益的加工。(2)-25dB：将250Hz～16kHz频率的增益逐渐地调整(降低)至-25dB。(3)-50dB：将250Hz～16kHz频率的增益逐渐地调整(降低)至-50dB。图2表示条件(1)～(3)各自情况下的每个频率的增益调整量。之所以降低高频率的频率增益，是为了再现高龄者听力衰弱的典型图形。一般的高龄听障者难以听清楚高频率的声音。通过降低高频的频率增益，能够使听力健康者模拟出与高龄听障者同等的听力。 
接下来，在步骤B中让实验参加者按下键盘的空格键。步骤B是按下用于进入步骤C的按键，是为了实验中以以参加者的节奏呈现步骤C的文字刺激而附加的。该按键也称为“下一个”按键。 
在步骤C中在显示器上呈现一个文字的平假名。分别以0.5的概率呈 现作为一致试验与步骤A中呈现的声音一致的文字、作为不一致试验与声音不一致的平假名。不一致的平假名使一般经常容易听混的“ナ行/マ行”、“ラ行/ヤ行”、“カ行/タ行”成对，选择母音一样而与声音不同的行的文字。例如，在步骤A中呈现平假名“な”的情况下，在一致试验中步骤C中呈现“な”，在不一致试验中步骤C中呈现“ま”。 
步骤D是用于确认参加者感觉步骤A中呈现出的声音与步骤C中呈现出的文字有多大程度不一致的按键(键盘的数字1～5)。在感觉绝对一致的情况下按下5，在感觉大概一致的情况下按下4，不知道的情况下按下3，感觉大概不一致的情况下按下2，感觉绝对不一致的情况下按下1。在该按键操作中，对于按下5或1的情况，对于参加者而言，虽然作为结果在步骤C的阶段区分正确和不正确，但也可以认为是在听到步骤A的阶段呈现出的声音的时刻有自信听懂。同样，在按下2和4的情况下，认为是参加者对于听懂声音没有自信。 
进行将上述步骤A至步骤D反复108次的实验(108次试验)。 
图3是表示1次试验的步骤的流程图。在该流程图中，为了方便说明记载了装置动作和实验参加者的动作双方。 
步骤S11中向实验参加者呈现单音节的声音。声音以0dB条件、-25dB条件、-50dB条件的三个条件按随机顺序呈现(步骤A)。 
在步骤S12中参加者听到单音节声音之后脑海中浮现对应的平假名。此外，所谓“平假名”是在日本语中表现发言的文字(表音文字)。 
在步骤S13中，参加者作为下一个按键按下空格键(步骤B)。 
在步骤S14中，以步骤S13为起点在显示器上按照50％的概率呈现与声音一致或者不一致的平假名(步骤C)。 
在步骤S15中，参加者确认步骤S12中脑海浮现的平假名与步骤S14中呈现的平假名是否一致。 
在步骤S16中，参加者以1至5的数字键回答步骤S15中感觉何种程度一致/不一致(步骤D)。 
以下，表示行动实验的实验结果。 
图4表示基于按键的结果分类的参加者的声音听懂自信度与按键的正误概率。听懂自信度以如下方式分类。将按下5(绝对一致)或1(绝对 不一致)的情况设为听懂自信度“高”。自信度为“高”的概率在整个试验中是60.4％(864试验中的522次试验)。将按下4(大概一致)、3(不知道)、2(大概不一致)的情况设为听懂自信度“低”。自信度为“低”的概率在整个试验中是39.6％(864次试验中的342次试验)。对于按键按下的正误，通过所按下的按键来判定声音与文字的一致/不一致。在一致试验中按下5(绝对一致)或4(大概一致)的情况、以及在不一致试验中按下1(绝对不一致)或2(大概不一致)的情况被设为正确，将此外的情况设为错误。 
图4(a)是听懂自信度较高的试验中按键按下的正误结果。可知在大致所有的试验(92％)中选择正确的按键。这表示在听懂自信度高的情况下可正确听出声音。根据该结果，可以说听懂自信度高的情况能够评价为语音清晰度高。 
图4(b)是听懂自信度较低的试验中按键按下的正误结果。可知按下错误按键的概率较高(42％)。这表示在听懂自信度低的情况下容易发生听错。根据该结果，可以说听懂自信度低的情况能够评价为语音清晰度低。 
此外，不同参加者的听错发生概率在听懂自信度低的情况下会很高(p＜.01)。 
以上，通过行动实验可明确根据用户针对声音的听懂自信度能够实现语音清晰度评价。由此，如果通过按下按键以外的方法能够测定听懂自信度，则可基于该指标实现没有回答输入的语音清晰度评价。本申请发明者着眼于脑波的事件相关电位，研究在实施脑波测量实验之后反映针对声音的听懂自信度的差异的脑波成分是否存在。以下，说明所实施的脑波测量实验。 
2.脑波测量实验 
本申请发明者为了研究声音听懂自信度与声音呈现后的事件相关电位的关系，实施了脑波测量实验。以下，参照图5至图9，说明所实施的脑波测量实验的实验设定和实验结果。 
实验参加者是与行动实验相同的大学生和研究生6名。 
本申请发明者以右耳为基准，利用设置在头皮上的Fz、Cz、Pz、C3、C4(国际10-20法)的位置的电极测量并记录脑波。图5是表示国际10-20 法的电极位置的图。采样频率设为200Hz，时间常数设为1秒。以离线方式加载1～6Hz的数字带通滤波器。作为针对声音呈现的事件相关电位，以声音呈现为起点提取-100ms至1000ms的波形。根据上述行动实验的所有条件(0dB·-25dB·-50dB)中的不同参加者不同语音的听懂自信度，来进行事件相关电位的加法平均。 
图6表示脑波测量实验的实验步骤的概要。 
在步骤X中呈现单音节的声音。刺激语音与行动实验同样地参照“助听器调试的方法”(小寺一兴，诊断与治疗公司，1999年，172页)，从彼此容易听混的“ナ行/マ行”的一对、“ラ行/ヤ行”的一对、“カ行/タ行”的一对中选择。指示实验参加者在听到声音之后脑海中想象对应的平假名。以在具有正常听力的参加者中按声音使听懂自信度分散开的方式，与行动实验同样，呈现出对频率增益进行了加工的三种条件下的声音。 
(1)0dB条件：作为容易听懂的声音未进行频率增益的加工。 
(2)-25dB：将250Hz～16kHz频率的增益逐渐地调整(降低)至-25dB。 
(3)-50dB：将250Hz～16kHz频率的增益逐渐地调整(降低)至-50dB。 
进行将上述步骤X反复108次的实验(108次试验)。 
图7表示1次试验的步骤的流程图。对于与图3相同的块附于相同的参照符号，并省略其说明。与图3的差异在于没有步骤S13至步骤S16实验参加者不需要明示的行动。 
以下，表示脑波测量实验的实验结果。 
图8是根据听懂自信度，对以声音呈现为起点的Pz处的事件相关电位进行总加法平均的波形。根据上述行动实验的所有条件(0dB·-25dB·-50dB)下的每个参加者每个语音的听懂自信度来进行加法平均。图8的横轴是时间，其单位为ms；纵轴是电位，其单位为μV。从图8所示的刻度可知，曲线下方对应正(阳性)，上方对应负(阴性)。按照-100ms至0ms的平均电位为0的方式使基线一致。 
图8所示的虚线是在行动实验中听懂自信度为高的情况、实线为听懂自信度低的情况下的电极位置Pz处的事件相关电位的加法平均波形。根据图8可知，与表示听懂自信度高的虚线相比，表示听懂自信度低的实线中在潜时700ms至900ms处出现阳性成分。 
对于每个参加者的700ms至900ms的区间平均电位，在听懂自信度高时为-0.47μV，在自信度低时为0.13μV。对区间平均电位进行t检验(t test)的结果，听懂自信度低的情况下区间平均电位有意变大(p＜.05)。 
基于这些结果，本申请发明者导出如下结论：以声音呈现为起点潜时700ms至900ms的事件相关电位的阳性成分反映了听懂自信度，该阳性成分可用作听懂自信度指标。对0ms至1000ms中的所有采样进行t检验的结果，因听懂自信度的差异引起的有意差持续30ms以上的时间带，仅是730ms至770ms以及840ms至915ms。 
图9是按照不同听懂自信度表示电极位置C3、Cz、C4处的以声音呈现为起点的事件相关电位700ms至900ms的区间平均电位的图。图9所示的黑圆点线是听懂自信度高的情况下的区间平均电位，白圆点线是听懂自信度低的情况下的区间平均电位。在电极位置C3、Cz、C4分别对自信度高的情况下和自信度低的情况下的区间平均电位进行t检验的结果，在任意的部位都存在有意差(p＜.05)。 
根据图9可知，在电极位置Cz处，在听懂自信度高的情况下事件相关电位为阳性，在听懂自信度低的情况下事件相关电位为阴性。若关注于事件相关电位的极性，可知在电极位置Pz测量时(图8)和在电极位置Cz测量时极性翻转。作为针对听觉刺激的一般的事件相关电位已知P300成分。 
P300成分在电极位置Cz和Pz极性几乎不发生翻转。此外，与P300成分的潜时300ms附近相比，由于本实验中获取的成分的潜时与700ms至900ms不同，因此在听懂自信度低的情况下在电极位置Pz引起的本次的阳性成分很有可能是与P300成分不同的成分。在以下的说明中，主要说明利用在电极位置Pz处测量的脑波信号的例子，但是在将电极位置设为Cz的情况下，只要像本段开始所述那样使极性翻转来重新读一遍即可。此外，所谓“P300成分”是根据“新生理心理学2卷”(宫田主编，北大路书房，1997)14页，一般在Odd Ball课题中针对标的刺激引起的潜时300ms附近的事件相关电位的阳性成分。 
再有，根据图9可知，对于在电极位置C3、Cz、C4听懂自信度高的情况下的区间平均电位即黑圆点线和听懂自信度低的情况下的区间平均 电位即白圆点线，其电位分布(大小关系)有所不同。多重比较的结果，电位分布有意地存在差异(p＜.05)。由此，可以说从电极位置C3、Cz、C4的电位分布可判定听懂自信度。 
上述电极位置Pz处的潜时700ms至900ms的阳性成分(图8)和电极位置C3、Cz、C4处的潜时700ms至900ms的特征成分(图9)可通过各种方法进行识别。例如，能够采用对潜时约700ms附近的峰值振幅的大小进行阈值处理的方法、基于典型的上述成分的波形制作模板然后计算与该模板的相似度的方法等。此外，阈值和模板既可以利用预先保持的典型的用户数据，也可以根据个人情况制作。 
此外，在本次的实验中，为了确认在以声音呈现为起点的事件相关电位在听懂自信度中出现特征成分，以40次左右为单位对6个参加者的数据进行加法平均。但是，通过在特征量提取方法(例如波形的小波变换)和识别方法(例如支持向量机学习)方面下功夫，即便在非加法或几次左右的少数加法的情况下也可识别阳性成分。 
在本申请说明书中，为了定义事件相关电位的成分将从某时间点开始的经过规定时间后的时刻，例如表现为“潜时700ms至900ms”。这意味着能包含以700ms至900ms这种特定的时刻为中心的范围。此时，700ms和900ms的边界也包含在“潜时700ms至900ms”中。根据“以事件相关电位(ERP)指南P300为中心”(加我君孝等编辑，篠原出版新社，1995)的30页记载的表1，一般情况下，在事件相关电位的波形中按照不同个人产生30ms至50ms的差异(偏差)。因此，“约Xms”和“Xms附近”这种表述，是指以Xms为中心30ms至50ms的宽度存在于其前后(例如，300ms±30ms、700ms±50ms)。 
此外，上述的“30ms至50ms的宽度”是P300成分的一般的个人差异的例子，但上述潜时700ms至900ms的阳性成分与P300相比，由于潜时较迟，因此用户的个人差异便显得更大。这样，优选以更宽的宽度例如100ms左右的宽度进行处理。 
如上述，通过行动实验和脑波测量实验，本申请发明者发现：(1)根据用户针对声音的听懂自信度能够评价语音清晰度，(2)以声音呈现为起点的事件相关电位的潜时700ms至900ms的阳性成分反映出听懂自信 度。据此，以事件相关电位的阳性成分为指标通过针对声音的听懂自信度，可作为听不清楚的程度的评价指标利用。图10表示由本申请发明者总结的、阳性成分的有无与听懂自信度以及听清楚程度的对应关系。该对应关系是以电极位置Pz部位的阳性成分为例制作出的。 
以下，对本发明的实施方式所涉及的助听器的再调整装置进行说明。助听器的再调整装置，在日常生活中使用助听器时测量因集音部输入的会话声音引起的脑波，利用以会话声音的各音素为起点的事件相关电位的潜时700ms至900ms的阳性成分的有无，来进行各音素的听懂程度的评价。存在听不清楚的音素的情况下，再调整装置对助听器进行再调整。 
实施方式1 
以下，参照附图对助听器的再调整装置的实施方式进行说明。 
图11表示助听器的再调整***100的结构和利用环境。助听器的再调整***100具备助听器部101和助听器调整部102两个部分。助听器部101是起到助听器左右的部分，具有集音部2、助听处理部3、输出部4。助听器部101通过集音部102收集外界的声音，通过助听处理部3进行与用户1的听力情况相应的助听处理，其结果从输出部4输出至用户。 
图12是使用再调整***100的场景的一例。用户将助听器101和再调整装置102为一体的助听器的再调整***100戴在耳朵上。对于图12的与图11的结构要素相对应的部分附于相同参照符号。例如，图11的集音部2对应装在助听器上的麦克风2。此外，图11的输出部4对应向用户提示声音的扬声器(接收器)。此外，图11的助听处理部3对应助听器内部的未图示的信号处理电路(芯片电路)。 
图11的助听调整部102在助听器部101的外部进行追加的处理。助听调整部102具有：脑波测量部6、声音取出部5、听力判定部7、音素指定部8、增益调整部9。脑波测量部6测量用户1的脑波。声音取出部5从集音部2所收集的声响信息中提取声音部分。通过使脑波测量部6测量的脑波和声音取出部5所指定的声响信息对应起来，测量相对于各个声响信息的脑反应。基于该脑反应，听力判定部7利用与听清楚程度相关的脑波特征(实验和数据已说明)判定听力。之后，对于听力的判定结果，由于脑波的潜时偏差的原因针对多个文字判定为听不清楚的情况下，由音素 指定部8进行消除该模糊的处理，并通过增益调整部9实施对应各听不清楚的调整。该调整对助听处理部3进行，反映在以后的助听器部101的助听处理中。 
图11的助听调整部102对应图12所示的电路102等。更为具体而言，图11的助听调整部102的脑波测量部6具有作为放大生物体信号的电路的脑波计主体6a、电极6b和电极6c。通过测量安装在头部及其周边的至少2个电极间的电位差来测量脑波。在该例中，在助听器主体101和用户耳朵接触的部分，设置电极6b和6c。最近，为了提供高功能和实用性也存在将助听器同时安装在两耳的情况，该情况下对于脑波测量可对两耳间的电位进行测量，从而可更容易地测出脑活动。 
在上述的脑波测量实验中将电极配置在头皮上。但是，也可以考虑在其他位置配置电极。如图9所示那样无论在听懂自信度高的情况下还是低的情况下，C3-Cz-C4的电极分布的图案(pattern)翻转。这样，即便在比电极位置C3、C4还靠外侧的耳朵位置配置电极的情况下，也可判定听懂自信度。 
其他的助听调整部102的结构要素主要是进行信号处理的功能部分。这些如图13所示那样，作为内置于助听器主体的部件来实现。所谓部件例如设想DSP、存储器等。以下进行详细说明。 
图13表示本实施方式中的助听器的再调整***100的硬件结构。作为助听器的再调整***100的硬件，设置有进行助听器部101的信号处理的CPU101a、RAM101b、ROM101d。RAM101b内保存着处理的程序101c。同样，设有进行助听调整部102的信号处理的CPU102a、RAM102b、ROM102d。在RAM102b中保存着处理的程序102c。 
作为与外部之间的输入输出关系的设备，作为集音部2设有麦克风2a和声音输入电路2b，作为输出部4设有扬声器(接收器)4a和声音输出电路4b。对于脑波测量部6设有脑波计6a、电极6b、电极6c。 
各个设备通过总线100a彼此连接，能够进行数据的收发。例如，由集音部2收集的声音信号，通过保存在RAM101b中的程序101c由CPU101a进行助听处理后送往输出部4。 
此外，助听器的再调整***100也可以由1组的CPU、RAM、ROM 构成，作为在半导体电路中嵌入计算机程序的DSP等硬件来实现。这样的DSP能够在一个集成电路上全部实现上述CPU、RAM、ROM、声音输入输出电路等的功能。 
此外，上述的计算机程序101c、102c记录在CD-ROM等记录介质中作为产品在市面上流通，或者通过网络等的电子通信线路进行传送。 
接下来，利用图14～图22对这种助听器的再调整***100中的处理进行详细说明。 
图14(a)表示由通常的助听器进行的处理的步骤，图14(b)表示组合了本实施方式的助听器再调整***100的处理时的概要步骤。对于概要说明中不充分的步骤，会在后面根据详细的流程图进行说明。 
图14(a)是助听器的处理流程的概要。 
在步骤S20中，集音部2收集外部的声响。 
在步骤S30中，助听处理部3进行助听处理。所谓助听处理是如下处理：将步骤S20中收集的声响分解为不同频率的功率，针对各个频率进行规定放大，再次还原为声音。在本说明书中将针对每个频率进行规定放大称为“助听处理”，将对每个频率下应该以哪种程度的增益进行调整的规定值进行变更称为“增益调整”。 
在步骤S40中，输出部4将进行助听处理之后的结果输出至用户。具体而言，输出部4输出调整后的声音，从而用户1与调整前相比能够听到容易听清楚的声音。 
针对上述处理，图14(b)表示再调整***的处理流程的概要。在图中，对于进行与助听器的处理相同处理的步骤，附于与图14(a)中使用的序号相同的序号，并省略其说明。在此，与助听器处理不同的部分是由助听器的处理步骤S20和步骤S30所夹着的步骤S50～S90的部分，这里进行助听调整处理。 
在步骤S50中，声音取出部5取出声音信号。在本申请发明者进行的上述脑波实验中，声音以一音节一音节的方式呈现。但是，由于用户在日常情况下会听到连续声音，因此需要声音信号的取出。 
在步骤S60中，脑波测量部6测量脑波。由于脑波计近年来的小型化和低耗电化，因此可以实现在助听器中组装脑波计的机器。对于小型化的 脑波计的电极位置，如果是利用单耳来安装助听器的再调整***100的类型，则例如在助听器与头部的皮肤接触的部分设置多个即可。或者，如果是利用双耳来安装助听器的再调整***100的类型，则可以在双耳设置电极。在后者的情况下，也可以利用双耳间的脑波。此外，如果是头戴式耳机这种的形状则可以测量头部的脑波。 
虽然一般认为所测量的脑波包含各种的信息，但通过如事件相关电位那样使其与刺激呈现存在关系，从而能够掌握诱发电位相对于声音呈现的倾向。 
在步骤S70中，听力判定部7提取声音取出部5所取出的声音信号对应的脑波信号。通过提取各脑波成分，从而听力判定部7进行听力情况的判定。 
在步骤S80中，音素指定部8在听力判定部7的输出结果之中指定存在多个听不清楚的声音候选的情况下真正听不清楚的部分。 
在步骤S90中，增益调整部9调整针对听不清楚的音素或音节的增益。一般情况下，对于助听器的个别的调整方法，针对特定的音素有效果但针对其他音素则带来不良影响，针对所有声响的调整是困难的，而以听不清楚的音素为对象的调整是有效的。 
接下来，对于上述流程之中的与发明内容关联特别大的声音信号的取出处理(步骤S50)、听力判定处理(步骤S70)、音素指定处理(步骤S80)以及增益调整处理(步骤S90)，通过独立的流程图和附图对其处理进行详细说明。 
图15表示声音取出部5的处理流程的详细内容，图16表示其处理的说明图。以下，按照图15的流程图，根据需要与图16对应起来进行说明。 
在步骤S51中，声音取出部5取得由集音部2记录的声音信号。收录声音每一定的周期(定时)被取入声音取出部5一定长度。在图16所示的例子中，声音取出部5将“收录声音”所示的收录声音信号51取入。 
在步骤S52中，声音取出部5将收录声音信号51通过声学处理52(图16)变换为音素序列。针对变换后的音素序列，进行步骤S53的提取处理。 
所谓步骤S52的声学处理，是在声音数据中检测包含哪种的音素和音节的处理，在语音识别的领域中用于前期处理。具体而言，本实施方式中 的声学处理以存储的各音素和音节的声学数据(例如标准的声音波形及其特征量)为基础与当前数据进行比较运算，从而识别当前的说话内容的处理。 
在步骤S53中，声音取出部5接受步骤S52的声学处理的结果，提取并输出音素或音节的序列。图16表示一例，声学处理52的结果，提取出“hai/do/ti/ra/de/mo/i/i”这种音素列53。在本申请说明书中，提取按照音节水平划分的音素。但是，提取的细致程度可以适当变更。例如也可以按照音素水平划分出“h/a/i/d/o/u/m/o”等。此外，即便作为更大的单位按照单词水平或无音区间来划分，也可以进行与上述同样的处理。对于单词的认定，例如声音取出部5可以保存使音素列的排列与单词对应起来的词典数据，基于音素列53来参照词典数据来实现。 
在步骤S54中，声音取出部5使作为输出音素列53提取出的各音节与在何时发声对应起来，分别成对地进行存储。 
通过这种处理，最终得到当前发出的音节信息与发出该音节的时刻对应起来的信息。以该对应关系为基础，能够利用本说明书的开始所说明的脑波实验(事件相关电位测量实验)中的成果。具体而言，对不同音节取出脑波，然后判断针对个别音节的脑波特征，从而能够判定听力。 
接下来，对图14(b)的步骤S70所示的听力判定处理进行详细说明。听力判定处理由听力判定部7(图11)进行。图17表示听力判定部7进行的处理步骤。此外，图18表示一例听力判定处理的数据处理。 
在图17的步骤S71中，听力判定部7从声音取出部5接受音节信息和与其对应的时刻信息71(图18)。能够根据时刻信息71确定各音素的发声时刻。 
在步骤S72中，听力判定部7从脑波测量部6接受到脑波数据之后，以音节和时刻的对应信息71中包含的时刻为起点提取事件相关电位。事件相关电位是与某事件(此时为某音节的发音)相关地测量到的脑波信息，从发生音节的时刻起取出规定区间(例如-100ms至1000ms的区间72a)的脑波，由此得到事件相关电位。分别针对各音节取出脑波。图18中表示取出的事件相关电位72b。 
在步骤S73中，听力判定部7针对取出的事件相关电位72b提取用于 解析的脑波特征。本次关注的脑波特征例如是800ms±100ms的特征阳性成分，解析的特征量例如使用潜时700ms至900ms的最大振幅和区间平均电位、其他Wavelet的系数等。 
在步骤S74中，听力判定部7针对步骤S73中获取的脑波特征，判别是否包含与听不清楚程度有关系的成分(例如从Pz测量到脑波的情况下为后期阳性成分，也被称为LPP(Late Positive Potential))。判定为包含LPP的情况下，进入步骤S75，在判定为不包含LPP的情况下进入步骤S76。 
如果举出该判定方法的一个例子，只要对最大振幅或区间平均电位与规定阈值进行比较从而判定是否包含LPP即可。或者，也可以根据脑波特征、和基于潜时700ms至900ms的典型阳性成分信号的波形制作出的脑波波形的规定模板之间的相似度(例如相关系数)，来判定是否相似。图18中示意地表示对取出的事件相关电位72b和难以听清时的LPP的波形73进行比较。将比较结果为彼此相似的情况判定为“存在阳性成分”，将彼此不相似的情况判定为“没有阳性成分”。对于对规定阈值和模板，既可以基于预先保存的一般用户的阳性成分的波形来计算制作，也可以基于不同个人的阳性成分的波形进行计算制作。 
在步骤S75中，听力判定部7判定为“听不清楚”。 
在步骤S76中，听力判定部7判定为“听得清楚”。 
在步骤S77中，听力判定部7保存听力的结果。听力的结果例如像判定结果77(图18)那样保持为表。横轴排列音节，在表格内针对其音节保存判定结果。如图18的记载所示，例如在hai、ra中保存听得清楚的结果，在do、ti中保存听不清楚的结果。 
通过这种处理来进行听力判定的处理，即便对于通常的连续发声也可评价针对各音节的听力。 
但是，在此也存在与哪个文字难以听清相关的问题。该问题被认为是由于如下原因引起的：当对音节的变换速度(发音速度)和脑波的特征区间的宽度进行比较时，脑波的特征区间的宽度较宽。 
以下，具体进行说明。标准的发音速度大概为8～12短音节( 文字)，例如日语中10短音节/秒的发音速度是标准的。在本实施方式的例子中，由于1音节大致对应1文字，因此假设该情况下某音节发出之后直至发出 下一音节之前的时间为100ms左右。 
另一方面，根据本申请发明者实施的脑波测量实验，与听不清楚相关的脑波的特征出现在700ms至900ms，在事件相关电位的领域中是相当滞后的潜时带。通常，越是滞后的潜时带则事件相关电位的潜时的误差越大。在本实施方式的例子中，作为对象的事件相关电位的潜时误差被假设为±100ms。实际上，本申请发明者在所实施的脑波实验中也发现如下特征：确认出有意差的区间为730ms～915ms、宽度较宽。 
如果基于上述两个方面的特性来考虑，在发生了一次感觉“听不清楚”的主观现象的情况下，根据脑波的潜时误差，针对多个(例如2、3、4)连续的音素或音节则很有可能判定为包含脑波特征成分。该情况下，如听力判定结果77所示那样针对多个连续的音节(do、ti)出现听不清楚的处理结果，而搞清实际上究竟是因哪个音节则能实现更有效的助听器调整。检测到多个被判定为听不清楚的音素或音节的情况下，时间上先出现的声音(最先出现的声音)作为听不清楚的声音，可以用作后述的调整处理的对象来处理。 
一般情况下对于助听器的最终阶段的调整中的个别的调整方法，由于按照不同音素频率特性的图案所有不同，因此其对于特定的音素有效果。但是，也具有对于其他音素带来不良影响等，针对全部声响的调整较困难，仅仅能针对听不清楚的音素进行正确调整的特性。 
因此，在听力判定处理之后得到多个听不清楚的音节候选的情况下，需要指定哪个音节听得最不清楚。在本实施方式中该处理由音素指定部8来实现，对有效利用本申请发明者所关注的听觉上的特性的音素指定部8的处理进行说明。 
因此，下面详细说明图14(b)的步骤S80所示的音素指定处理。音素指定处理由音素指定部8(图11)来进行。 
图19表示音素指定部8进行的处理的步骤。此外，图20表示成为音素指定处理的原理的听觉上的特性数据。以下，按照图19的流程图在过程中一边与图20的听觉原理对应起来一边进行说明。 
在步骤S81中，音素指定部8从听力判定部7接受音节和听力的评价结果。 
在步骤S82中，音素指定部8首先判定在听力的评价结果中是否存在“听不清楚”。如果不存在“听不清楚”的情况下，进入步骤S83，输出没有“听不清楚”的音节并结束处理。在存在“听不清楚”的情况下，进入步骤S84。 
在步骤S84中，音素指定部8对“听不清楚”这种评价结果是否连续进行判断。在“听不清楚”这种的评价结果不连续的情况下，进入步骤S85，将“听不清楚”的音节作为其结果输出并结束处理。如果“听不清楚”这种评价结果连续的情况下，进入步骤S86。进入步骤S86的情况下，基于脑波的潜时和发音速度的关联，判断出音节的指定中存在模糊。 
在步骤S86中，音素指定部8将连续的“听不清楚”的音节之中最接近词头的音节选定为听得最不清楚的音节，将其作为结果输出并结束处理。例如，在图18的听力判定结果77中，例如以do和ti作为候选。音素指定部8在其中将do决定为最终结果。 
根据图20的听觉原理说明该处理有效的原因。 
图20表示3音节无意义词汇的第1音、第2音、第3音的清晰度曲线。该清晰度曲线引用于(小寺一兴，“助听的进步和社会性应用”，诊断与治疗公司，2006年，67页)。该清晰度曲线是针对8名正常听力者的语音清晰度的评价结果。横轴表示以自觉阈值上的检查音水平使被测者听到的声音大小(单位：dBSL)，纵轴是语音清晰度(单位：％)。评价结果中，将检测音水平分为10～40分贝的4个阶段，在各个水平中分别分配并表示第1音、第2音、以及第3音的清晰度。 
根据该曲线可知，在3音节词汇中第1音的语音清晰度最低，然后第2音、第3音顺序提高。 
该结果表示在不使用前后关系的无意义词汇中，第1音可能成为听得最不清楚的音节这一发现。本申请发明的目的是在日常生活的会话场景中指定发音中难以听懂的音节。本申请发明者针对该目的，认为有效的方法是在脑波处理的结果判定为听不清楚的候选连续存在多个的情况下，将最靠近开头的音节判定为听得最不清楚。在实验条件下虽然是无意义词汇，但在日常会话中，可基于前后的文字关系等推定单词，考虑到第1音是最难以利用其前后关系这一点，选择靠近开头的音节也是较为妥当的。 
此外，假设在难以听清楚的候选中不包含包括词头音的情况。基于图20的发现可知，由于靠近词头的音更加难以听清楚，因此选择靠近词头的音是较为妥当的。 
此外，针对连续声音，可以按如下方式考虑与该实验结果的关系性。对于声音数据，在会话文中若存在多个较短的无音区域，并以该无音区域作为间断捕获发音，则连续声音可视为多个单词水平的单发声的反复。即便考虑到脑波的潜时为±10ms左右，由于在连续声音中也出现几百毫秒的无音区域，因此认为作为单词等的连续是没有影响的这种假设能得到支持。 
最后，说明助听器的再调整中的最后的步骤即增益调整处理。增益调整处理由增益调整部9(图11)进行。具体而言，在存在由音素指定部8指定的“听不清楚”的音节的情况下，音素指定部8参照图21这种的表，导入特定的助听处理等，从而仅改善听不清的声音。 
图21的表，表示基于包含被认定听不清楚的音节的辅音的种类，应该进行的调整方法不同的例子。增益调整部9将该表保存在内部存储器或缓冲器(未图示)，根据该表来应用辅音部的伸长或辅音部的伸长压缩。该表可根据听不清楚的辅音、以及针对与其对应的再调整处理的助听器相关研究结果(例如，小寺一兴，“助听的进步和社会性应用”，诊断与治疗公司，2006年，78页等。)预先制作。 
例如，对于无声辅音h、有声辅音d、g等，辅音部伸长这种的处理是有效的，对于无声辅音ts等，辅音部伸长压缩这种的处理是有效的。根据该表所示的规则进行再调整，由此仅调整听不清楚的辅音。 
如上述说明，根据本发明，通过脑波解析指定用户感觉听不清楚的定时及其音节，并进行适合于所指定的音节的再调整。由此，用户不需要记住听不清楚的状况并前往助听器销售店向专业人员进行说明然后接受再调整这种的麻烦工序，在感觉听不清楚的情况下能够当场进行再调整，从而减轻了用户的负担。 
在上述的实施方式的说明中，电极位置例如设定为国际10-20法中的Pz等。但是，作为各用户，难以严格地确定对应Pz位置的电极位置。因此，只要是被认为Pz的位置(Pz的周边位置)即可。即便在Pz的周边位 置也可正确测量事件相关电位。对于电极位置Cz等也同样。 
变形例 
以下，对上述实施方式所涉及的助听器的再调整***100的变形例进行说明。 
首先，助听器的再调整装置100，也可以是不具有助听器功能的形式。具体而言，可以仅提供图11中的助听调整部102。此时，助听器部101是通常的助听器。不过，助听器部101具有用于从外部PC等进行增益调整的接口。助听调整部102的声音取出部5，经由该接口从助听器部101的集音部102接受声音信息(声音信号)。然后，从助听调整部102向助听器部101的助听处理部3发送增益调整的指示。此外，助听器部101也可以是仅接受增益调整的形式。此时，助听调整部102另外具有与集音部相同的功能即可。 
此外，在助听调整部102中也可省略增益调整部9，仅用于评价。再有，助听调整部102也可以将评价结果输出至设置在外部的增益调整部(未图示)。增益调整部具有与增益调整部9相同的功能即可。 
再有，在助听调整部102中也可以省略脑波测量部6。可以将脑波测量部6设置在助听调整部102的外部，与助听调整部102连接。 
图22表示变形例中的助听评价装置112的结构。助听评价装置112与助听调整部102(图11)的不同点在于，助听评价装置112中未设置图11的增益调整部9、以及具备集音部2。由于其他结构相同，因此省略各结构要素的说明。 
根据该结构，可以进行评价数据的收集。与图12所示的例子相比，助听评价装置112中输出部4不是必需的，此外助听评价装置112也可以不必像助听调整部102那样被小型化。 
此外，在图22所示的助听评价装置112的结构中，还可以省略集音部2和/或脑波测量部6。可以将集音部2和/或脑波测量部6设置外部，通过将其与助听评价装置112连接，由此可实现与图22所示的助听评价装置112相同的动作。例如，可由高性能的麦克风、大尺寸的医疗用或研究用的脑波计、PC来构成助听评价装置112。由于不需要用于小型化的技术开发，并且可利用现有的麦克风、脑波计、PC和计算机程序，因此能以 低成本实现。 
作为使用状况的概况可考虑以下形式：例如在助听器店内进行助听器调整的调试员将该助听评价装置112安装于用户，基于进行会话过程中的脑波来评价听力。通过音素指定部8的功能，能够将表示会话中的哪部分用户感觉听不清楚的评价结果的信息保存在内部存储器(未图示)。或者，将所记录的信息输出至未图示的监视器，或者输出至另行设置的用于观察增益的增益调整器。此外，助听评价装置112也可以实时输出评价结果的信息。根据该信息，调试员能够实施合适的增益调整。根据该方法，在无法确立针对所有听力的自动增益调整方法的阶段中，能够根据用户实际感觉到的听不清楚的程度来调整助听处理。 
此外，助听评价装置112除了在助听器店内进行调整之外，例如还可用于用户进行日常生活的职场、公共场所、自己家中。例如，在购买助听器之前，在助听器店可将助听评价装置112借给用户。然后，用户在超长日常生活的过程中，在助听评价装置112中进行脑波测量，记录并存储用户针对哪种状况的哪种会话听不清楚。助听器店的调试员参照其存储数据推荐最佳形式的助听器和增益调整。 
本发明的助听器的再调整装置，通过脑波来检测假设了助听器用户在日常生活中遭遇的听不清楚，从而能在当场进行再调整。因此，能够广泛地用于使用助听器的场合。 
符号说明： 
2    集音部 
3    助听处理部 
4    输出部 
5    声音取出部 
6    脑波测量部 
7    听力判定部 
8    音素判定部 
9    增益调整部 
10   存储部 
100   助听器的再调整*** 
101   助听器部 
102   助听调整部 

Claims (14)

1.一种助听器的调整装置，其具备：
集音部，收集周围的声响，并输出声音信号；
声音取出部，利用包含在所述声音信号中的音素或音节的信息，输出用来确定发出所述音素或音节的时刻的时刻信息；
脑波测量部，对用户的脑波信号进行测量；
听力判定部，根据从所述脑波测量部所测量的脑波信号提取的、以所确定的发出所述音素或音节的时刻为起点的规定区间的事件相关电位，判定针对所述音素或音节是否听得清楚；
音素指定部，在所述听力判定部中判定为针对多个音素或音节听不清楚的情况下，将所述多个音素或音节之中在时间上出现在前面的音素或音节指定为难以听清；和
增益调整部，针对由所述音素指定部所指定的所述音素或音节，根据所述音素的种类决定增益调整方法，按照所决定的增益调整方法来调整所述音素或音节的增益。
2.根据权利要求1所述的调整装置，其中，
所述听力判定部，根据所述事件相关电位之中以发出所述音素或音节的时刻为起点800ms±100ms的事件相关电位中是否包含规定的特征成分，判定针对所述音素或音节是否听得清楚。
3.根据权利要求2所述的调整装置，其中，
所述脑波测量部利用设置在所述用户的国际10-20法中的Pz周边的电极，来测量所述脑波信号。
4.根据权利要求3所述的调整装置，其中，
所述听力判定部在所述事件相关电位中包含阳性成分时判定所述音素或音节听不清楚。
5.根据权利要求2所述的调整装置，其中，
所述脑波测量部利用设置在所述用户的国际10-20法中的Cz周边的电极，来测量所述脑波信号。
6.根据权利要求5所述的调整装置，其中，
所述听力判定部在所述事件相关电位中包含阴性成分时判定所述音素或音节听不清楚。
7.根据权利要求1所述的调整装置，其中，
所述增益调整部根据由所述音素指定部所指定的音素的种类，从多种的增益调整方法之中选择与所述音素种类相应的增益调整方法。
8.根据权利要求1所述的调整装置，其中，
所述音素指定部，在所述听力判定部中判定为针对多个连续的音素或音节听不清楚的情况下，将所述多个连续的音素或音节之中在时间上出现在前面的音素或音节指定为难以听清。
9.一种助听器的调整装置，其具备：
声音取出部，利用包含在由收集周围声响的集音部所收集的周围声响的声音信号中的音素或音节的信息，输出用来确定发出所述音素或音节的时刻的时刻信息；
听力判定部，根据从测量用户脑波信号的脑波测量部所测量的脑波信号提取的、以所确定的发出所述音素或音节的时刻为起点的规定区间的事件相关电位，判定针对所述音素或音节是否听得清楚；和
音素指定部，在所述听力判定部中判定为针对多个音素或音节听不清楚的情况下，将所述多个音素或音节之中在时间上出现在前面的音素或音节指定为难以听清，
输出由所述音素指定部所指定的音素的信息。
10.根据权利要求9所述的调整装置，其中，
将由所述音素指定部所指定的音素的信息输出至调整音素增益的增益调整部。
11.一种助听评价装置，其具备：
集音部，收集周围的声响，并输出声音信号；
声音取出部，利用包含在所述声音信号中的音素或音节的信息，输出用来确定发出所述音素或音节的时刻的时刻信息；
脑波测量部，对用户的脑波信号进行测量；
听力判定部，根据从所述脑波测量部所测量的脑波信号提取的、以所确定的发出所述音素或音节的时刻为起点的规定区间的事件相关电位，判定针对所述音素或音节是否听得清楚；
音素指定部，在所述听力判定部中判定为针对多个音素或音节听不清楚的情况下，将所述多个音素或音节之中在时间上出现在前面的音素或音节指定为难以听清，并存储所指定的结果。
12.根据权利要求11所述的助听评价装置，其中，
所述音素指定部，在所述听力判定部中判定为针对多个连续的音素或音节听不清楚的情况下，将所述多个连续的音素或音节之中在时间上出现在前面的音素或音节指定为难以听清。
13.一种助听器的调整方法，其包括：
收集周围的声响，并输出声音信号的步骤；
利用包含在所述声音信号中的音素或音节的信息，输出用来确定发出所述音素或音节的时刻的时刻信息的步骤；
对用户的脑波信号进行测量的步骤；
根据从测量到的脑波信号提取的、以所确定的发出所述音素或音节的时刻为起点的规定区间的事件相关电位，判定针对所述音素或音节是否听得清楚的步骤；
在所述判定的步骤中判定为针对多个音素或音节听不清楚的情况下，将所述多个音素或音节之中在时间上出现在前面的音素或音节指定为难以听清的步骤；和
针对所指定的所述音素或音节，根据所述音素或音节的种类决定增益调整方法，按照所决定的增益调整方法来调整所述音素或音节的增益的步骤。
14.根据权利要求13所述的助听器的调整方法，其中，
所述指定步骤中，在所述判定听不清楚的步骤中判定为针对多个连续的音素或音节听不清楚的情况下，将所述多个连续的音素或音节之中在时间上出现在前面的音素或音节指定为难以听清。
CN2010800037241A 2009-07-03 2010-07-02 助听器的调整装置和方法 Expired - Fee Related CN102265335B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009159115 2009-07-03
JP2009-159115 2009-07-03
PCT/JP2010/004359 WO2011001694A1 (ja) 2009-07-03 2010-07-02 補聴器の調整装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
CN102265335A CN102265335A (zh) 2011-11-30
CN102265335B true CN102265335B (zh) 2013-11-06

Family

ID=43410780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800037241A Expired - Fee Related CN102265335B (zh) 2009-07-03 2010-07-02 助听器的调整装置和方法

Country Status (4)

Country Link
US (1) US9149202B2 (zh)
JP (1) JP4769336B2 (zh)
CN (1) CN102265335B (zh)
WO (1) WO2011001694A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012108128A1 (ja) * 2011-02-10 2012-08-16 パナソニック株式会社 脳波記録装置、補聴器、脳波記録方法およびそのプログラム
EP2740279B1 (en) * 2011-08-03 2021-09-01 T&W Engineering A/S Hearing aid with self fitting capabilities
DK2581038T3 (en) 2011-10-14 2018-02-19 Oticon As Automatic real-time hearing aid fitting based on auditory evoked potentials
KR101368927B1 (ko) * 2012-01-03 2014-02-28 (주)가온다 오디오 신호 출력 방법 및 장치, 오디오 신호의 볼륨 조정 방법
JP6167904B2 (ja) 2012-04-24 2017-07-26 パナソニックＩｐマネジメント株式会社 語音弁別能力判定装置、語音弁別能力判定システム、補聴器利得決定装置、語音弁別能力判定方法およびそのプログラム
WO2013161189A1 (ja) 2012-04-24 2013-10-31 パナソニック株式会社 補聴器利得決定システム、補聴器利得決定方法、およびコンピュータプログラム
EP2560412A1 (en) 2012-10-08 2013-02-20 Oticon A/s Hearing device with brain-wave dependent audio processing
US9933990B1 (en) * 2013-03-15 2018-04-03 Sonitum Inc. Topological mapping of control parameters
CN103816007B (zh) * 2013-11-22 2016-04-06 刘志勇 一种基于脑电频域特征指标化算法的耳鸣治疗设备及方法
US10037712B2 (en) * 2015-01-30 2018-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of detecting a classification of an object
US10157607B2 (en) 2016-10-20 2018-12-18 International Business Machines Corporation Real time speech output speed adjustment
EP3711306B1 (en) * 2017-11-15 2024-05-29 Starkey Laboratories, Inc. Interactive system for hearing devices
TWI669709B (zh) * 2018-07-17 2019-08-21 宏碁股份有限公司 電子系統及音訊處理方法
US11228849B2 (en) 2018-12-29 2022-01-18 Gn Hearing A/S Hearing aids with self-adjustment capability based on electro-encephalogram (EEG) signals
DK3675525T3 (da) * 2018-12-29 2023-08-14 Research Foundation Of The City Univ Of New York Rfcuny Høreapparater med selvjusteringsevne baseret på elektroencefalogram (EEG) signaler
JP7189033B2 (ja) * 2019-01-23 2022-12-13 ラピスセミコンダクタ株式会社 半導体装置及び音出力装置
CN113286243A (zh) * 2021-04-29 2021-08-20 佛山博智医疗科技有限公司 一种自测言语识别的纠错***及方法
CN113286242A (zh) * 2021-04-29 2021-08-20 佛山博智医疗科技有限公司 分解言语信号修饰音节提升语音信号清晰度的装置
CN116156401B (zh) * 2023-04-17 2023-06-27 深圳市英唐数码科技有限公司 基于大数据监测的助听设备智能检测方法、***和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330339B1 (en) * 1995-12-27 2001-12-11 Nec Corporation Hearing aid
JP3269669B2 (ja) * 1992-09-24 2002-03-25 株式会社日立製作所 聴覚補償装置
CN101176146A (zh) * 2005-05-18 2008-05-07 松下电器产业株式会社 声音合成装置
CN101223571A (zh) * 2005-07-20 2008-07-16 松下电器产业株式会社 音质变化部位确定装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6225282B1 (en) * 1996-01-05 2001-05-01 Genentech, Inc. Treatment of hearing impairments
JP3961616B2 (ja) 1996-05-22 2007-08-22 ヤマハ株式会社 話速変換方法および話速変換機能付補聴器
JP2904272B2 (ja) 1996-12-10 1999-06-14 日本電気株式会社 ディジタル補聴器、及びその補聴処理方法
WO2001087147A2 (en) 2000-05-19 2001-11-22 Michael Sasha John System and method for objective evaluation of hearing using auditory steady-state responses
JP3482465B2 (ja) 2001-01-25 2003-12-22 独立行政法人産業技術総合研究所 モバイルフィッティングシステム
JP4145507B2 (ja) 2001-06-07 2008-09-03 松下電器産業株式会社 音質音量制御装置
CA2452945C (en) * 2003-09-23 2016-05-10 Mcmaster University Binaural adaptive hearing system
JP4064446B2 (ja) 2005-12-09 2008-03-19 松下電器産業株式会社 情報処理システム、情報処理装置および方法
JP4788956B2 (ja) * 2006-01-31 2011-10-05 独立行政法人産業技術総合研究所 脳活動解析方法および装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3269669B2 (ja) * 1992-09-24 2002-03-25 株式会社日立製作所 聴覚補償装置
US6330339B1 (en) * 1995-12-27 2001-12-11 Nec Corporation Hearing aid
CN101176146A (zh) * 2005-05-18 2008-05-07 松下电器产业株式会社 声音合成装置
CN101223571A (zh) * 2005-07-20 2008-07-16 松下电器产业株式会社 音质变化部位确定装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2007-202619A 2007.08.16
JP特开第3269669号B2 2002.01.18

Also Published As

Publication number Publication date
JPWO2011001694A1 (ja) 2012-12-13
WO2011001694A1 (ja) 2011-01-06
CN102265335A (zh) 2011-11-30
US20110188664A1 (en) 2011-08-04
US9149202B2 (en) 2015-10-06
JP4769336B2 (ja) 2011-09-07

Similar Documents

Publication Publication Date Title
CN102265335B (zh) 助听器的调整装置和方法
JP4638558B2 (ja) 語音明瞭度評価システム、その方法およびそのコンピュータプログラム
CN102202570B (zh) 语音清晰度评价***、其方法
US9149214B2 (en) Annoyance judgment system, apparatus, method, and program
JP5042398B1 (ja) 脳波記録装置、補聴器、脳波記録方法およびそのプログラム
JP5002739B2 (ja) 聴力判定システム、その方法およびそのプログラム
US9044157B2 (en) Assessment system of speech sound listening, and method and program thereof
CN102469961B (zh) 语音清晰度评价***和方法
CN103561643B (zh) 语音辨别能力判定装置、***和方法、以及助听器增益决定装置
CN114830691A (zh) 包括压力评估器的听力设备
CN113274000B (zh) 认知障碍患者双耳信息整合功能的声学测量方法及装置
Miao et al. Measurement of Functional Auditory Intelligence in Humans

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131106

CF01 Termination of patent right due to non-payment of annual fee