CN102781321A - 听力判定***、其方法及其程序 - Google Patents

Abstract

提供一种用于同时且在短时间内对语音清晰度和舒适性进行判定的判定***。判定***具备：呈现语音控制部，其参照保存多个语音的数据以及多个语音的至少1个组的数据的语音数据库，来决定呈现给用户的语音；听觉刺激呈现部，其用声音将所决定的语音呈现给用户；视觉刺激呈现部，其用文字将所决定的语音呈现给用户；按组加法运算部，其参照语音数据库，按照每个语音的组对用户的脑波信号的事件相关电位进行加法运算；第1判定部，其根据按照每个组进行加法运算而得到的事件相关电位，按照每个组来判定用户是否舒适地听到语音的舒适性，至少判定用户是否努力听到语音、或者用户是否对语音感到嘈杂；和第2判定部，其根据事件相关电位，按照每个语音来判定用户是否清晰地听到语音的清晰性。

Description

听力判定***、其方法及其程序

技术领域

本发明涉及用于判定是否听清了语音，并且判定是否舒适地听到了语音的技术。更具体来说，本发明涉及一种听力判定***，其用于在助听器等中对声音的每个频率的放大量等进行调整来得到对于各个用户来说合适大小的声音的调试(fitting)，同时判定语音清晰度和舒适性。

背景技术

近年来，伴随社会的老龄化，老年性的重听者不断增加。而且在年轻人中，由于长时间听大音量的音乐的机会增加等的影响，音响性的重听者也不断增加。此外，伴随助听器的小型化/高性能化，用户对助听器的佩戴使用的抗拒越来越少。以这些为背景，利用助听器的用户不断增加。

助听器是使用户难以听觉辨别的频率的声音放大的装置。佩戴使用助听器的目的在于，通过对用户的下降了的听力进行弥补，使会话的听觉辨别能力提高。用户对助听器所要求的声音的放大量，根据每个用户的听力下降的程度而不同。因此，在开始助听器的利用之前，首先需要进行每个用户的听力判定。

在为了利用助听器而进行的听力判定中，语音清晰度判定也很重要。“语音清晰度判定”是指，是否听清了语音的判定。具体来说，是与是否听清了单音节的语音相关的听觉辨别能力的判定。“单音节的语音”表示一个元音或辅音与元音的组合(例如“あ”/“だ”/“し”)。

根据非专利文献1，现有的语音清晰度判定按照以下这样的步骤进行。首先，利用日本听觉医学会所制定的57S式语言表(50个单音节)，或者67S式语言表(20个单音节)，通过一个一个地口头或CD再现来让用户听单音节的声音。接着，让用户用讲话或记述等方法来回答将所呈现的语音听取为哪个语音。然后，判定者对语言表和回答进行对照，并计算所有的单音节中被正确地听取的单音节的比例即正确回答率。该正确回答率是语音清晰度。此外，关于语音清晰度的判定方法，已知专利文献1、2那样的技术。

在先技术文献

专利文献

专利文献1：JP特开平9-038069号公报

专利文献2：JP特开平6-114038号公报

非专利文献

非专利文献1：“助听器调试的见解”，小寺一兴，诊断和治疗社，1999年，166页

发明内容

发明要解决的课题

在上述的判定方法中，用户需要通过讲话或记述来进行回答，而且判定者需要通过人工作业来判定用户的回答的正误。因此，上述的判定方法无论对于用户来说还是对于判定者来说都负担较大，且花费时间。

另一方面，若估计长时间使用助听器，则不仅需要判定语音清晰度，还需要判定佩戴使用时的舒适性。“舒适性判定”是指用户听得是否舒适的判定。

以往所进行的与舒适性相关的判定是从用户是否处于不适状态这样的角度进行的。例如，在嘈杂得无法忍受的情况下、或声音小得无法听见的情况下，用户口头向判定者申诉该情况。或者，进行决定最大输出声压水平的不适程度检查。这难以客观地判定用户以怎样的舒适程度听到声音。

本发明的目的在于，提供一种用于在短时间内判定语音的听觉的舒适性的听力判定***。并且，本发明的目的在于，提供一种用于同时并在短时间内判定语音清晰度和舒适性的听力判定***。

解决课题的手段

本发明的听力判定***具备：生物体信号测量部，其测量用户的脑波信号；呈现语音控制部，其参照保存多个语音的数据以及所述多个语音的至少1个组的数据的语音数据库，来决定呈现给所述用户的语音；听觉刺激呈现部，其用声音将所决定的所述语音呈现给所述用户；视觉刺激呈现部，其用文字将所决定的所述语音呈现给所述用户；按组加法运算部，其参照所述语音数据库，按照每个所述语音的组对所述脑波信号的事件相关电位进行加法运算；舒适性判定部，其根据按照每个所述组进行加法运算而得到的所述事件相关电位，按照每个所述组来判定所述用户是否舒适地听到所述语音的舒适性，并输出判定结果；和清晰度判定部，其根据所述事件相关电位，按照每个语音来判定所述用户是否清晰地听到所述语音的清晰性，并输出判定结果。

所述舒适性判定部，也可以基于按照每个所述组进行加法运算而得到的所述事件相关电位，以从所述听觉刺激呈现部呈现了所述语音的声音的时刻为起点，在600ms到900ms的范围内是否具有规定的阳性分量，以及在100ms到300ms的范围内是否具有规定的阴性分量，按照每个所述组来判定所述舒适性。

所述舒适性判定部，也可以具备：阳性分量判定部，其判定按照每个所述组进行加法运算而得到的所述事件相关电位，以从所述听觉刺激呈现部呈现了所述语音的声音的时刻为起点，在600ms到900ms的范围内是否具有规定的阳性分量；阴性分量判定部，其基于在100ms到300ms的范围内是否具有规定的阴性分量，来判定所述用户是否舒适地听到所述语音；和判定部，其基于所述阳性分量判定部的判定结果、以及所述阴性分量判定部的判定结果，按照每个所述组来判定所述舒适性。

所述清晰度判定部，也可以基于按照每个所述语音进行加法运算而得到的所述事件相关电位，以从所述视觉刺激呈现部呈现了所述语音的文字的时刻为起点，在200ms到400ms的范围内或者约400ms到600ms的范围内是否具有规定的阳性分量，按照每个语音来判定所述清晰性。

在所述语音数据库中，所述多个语音的每一个，也可以基于预先规定的规则，被分类到所述至少1个组。

所述至少1个组也可以是元音的组、有声辅音的组、无声辅音的组。

在所述语音数据库中，所述多个语音的每一个，也可以基于误听产生概率的大小，被分类到所述至少1个组。

所述呈现语音控制部，也可以决定呈现给所述用户的语音的呈现次数，在所述语音数据库中，所述多个语音的每一个，基于语音数被分类到所述多个组，所述呈现语音控制部，根据所述多个组的语音数，来决定所述听觉刺激呈现部所呈现的声音的呈现次数、以及所述视觉刺激呈现部所呈现的文字的呈现次数。

所述呈现语音控制部，也可以决定呈现给所述用户的语音的呈现次数，所述听觉刺激呈现部以及所述视觉刺激呈现部，持续呈现所述语音的声音以及文字，直到达到由所述呈现语音控制部决定的所述声音的呈现次数、以及所述文字的呈现次数为止。

所述呈现语音控制部，也可以决定呈现给所述用户的语音的呈现次数，所述呈现语音控制部，也可以决定将呈现给所述用户的特定的语音呈现多次。

所述呈现语音控制部，也可以根据所述用户的脑波信号的大小来决定呈现次数。

所述听力判定***也可以还具备听力判定结果数据库，该听力判定结果数据库保存从所述舒适性判定部、以及所述清晰度判定部分别输出的判定结果。

所述听力判定***，也可以还具备按语音加法运算部，该按语音加法运算部参照所述语音数据库，按照每个语音对所述事件相关电位进行加法运算，所述清晰度判定部，根据按照每个所述语音进行加法运算而得到的所述事件相关电位，按照每个语音来判定所述用户是否清晰地听到所述语音的清晰性。

本发明的其他的听力判定***具备：生物体信号测量部，其测量用户的脑波信号；呈现语音控制部，其参照保存多个语音的数据以及所述多个语音的至少1个组的数据的语音数据库，来决定呈现给所述用户的语音；听觉刺激呈现部，其用声音将所决定的所述语音呈现给所述用户；按组加法运算部，其参照所述语音数据库，按照每个所述语音的组对所述脑波信号的事件相关电位进行加法运算；和舒适性判定部，其根据按照每个所述组进行加法运算而得到的所述事件相关电位，按照每个所述组来判定所述用户是否舒适地听到所述语音的舒适性，并输出判定结果。

本发明的另一个其他的听力判定***具备：呈现语音控制部，其参照保存多个语音的数据以及所述多个语音的至少1个组的数据的语音数据库，来决定呈现给所述用户的语音，并且，按照由听觉刺激呈现部用声音将所决定的所述语音呈现给所述用户，由视觉刺激提示部用文字将所决定的所述语音呈现给所述用户的方式来进行控制；按组加法运算部，其参照所述语音数据库，按照每个所述语音的组来对生物体信号测量部所测量出的脑波信号的事件相关电位进行加法运算；舒适性判定部，其根据按照每个所述组进行加法运算而得到的所述事件相关电位，按照每个所述组来判定所述用户是否舒适地听到所述语音的舒适性，并输出判定结果；和清晰度判定部，其根据所述事件相关电位，按照每个语音来判定所述用户是否清晰地听到所述语音的清晰性，并输出判定结果。

本发明的听力判定方法包含如下步骤：测量用户的脑波信号的步骤；参照保存多个语音的数据以及所述多个语音的至少1个组的数据的语音数据库，来决定呈现给所述用户的语音的步骤；用声音将所决定的所述语音呈现给所述用户的步骤；用文字将所决定的所述语音呈现给所述用户的步骤；参照所述语音数据库，按照每个所述语音的组对所述脑波信号的事件相关电位进行加法运算的步骤；根据按照每个所述组进行加法运算而得到的所述事件相关电位，按照每个所述组来判定所述用户是否舒适地听到所述语音的舒适性，并输出判定结果的步骤；和根据所述事件相关电位，按照每个语音来判定所述用户是否清晰地听到所述语音的清晰性，并输出判定结果的步骤。

本发明的计算机程序，是由设置在听力判定***中的计算机执行的计算机程序，所述计算机程序使安装在所述听力判定***中的计算机执行如下步骤：接受测量出的用户的脑波信号的步骤；参照保存多个语音的数据以及所述多个语音的至少1个组的数据的语音数据库，来决定呈现给所述用户的语音的步骤；用声音将所决定的所述语音呈现给所述用户的步骤；用文字将所决定的所述语音呈现给所述用户的步骤；参照所述语音数据库，按照每个所述语音的组对所述脑波信号的事件相关电位进行加法运算的步骤；根据按照每个所述组进行加法运算而得到的所述事件相关电位，按照每个所述组来判定所述用户是否舒适地听到所述语音的舒适性，并输出判定结果的步骤；和根据所述事件相关电位，按照每个语音来判定所述用户是否清晰地听到所述语音的清晰性，并输出判定结果的步骤。

发明的效果

根据本发明，对于测量了针对单音节的语音的声音呈现的事件相关电位、和针对文字呈现的事件相关电位时的脑波波形，选择按照语音清晰度和舒适性判定的每次判定进行加法运算的波形，从而能够减少声音和文字的呈现次数。由此，能够在短时间内进行基于脑波的听力判定，因此能够实现对于用户来说负担较少的听力判定。

此外，根据本发明，利用针对单音节的语音的声音呈现的事件相关电位来进行舒适性的判定。通过不进行语音清晰度的判定，能够在更短时间内进行听力判定(特别是舒适性判定)。

附图说明

图1是表示在本发明的听力判定***中，在进行舒适性判定以及清晰度判定时所利用的脑波和声音呈现以及文字呈现的定时的图。

图2(a)是表示声音和变形的6个条件的图，(b)是表示每个频率的增益调整量的图。

图3(a)是表示国际10-20法的电极位置的图，(b)是表示在本实验中安装了电极的电极配置的图。

图4是表示脑波测量实验的实验步骤的概要的图。

图5是表示一次试行的步骤的流程图。

图6是表示与努力性相关的每个参加者的主观判定的结果的图。

图7是表示与嘈杂度相关的每个参加者的主观判定的结果的图。

图8(a)是基于与努力性相关的主观判定对头顶部(Pz)的以声音呈现为起点的事件相关电位进行了总加法平均而得到的波形图，(b)是表示计算每次抽样的p值而得到的结果的图。

图9是基于与嘈杂度相关的主观判定对在头顶部(Pz)以声音刺激为起点的事件相关电位进行了总加法平均而得到的波形图。

图10是表示实验步骤的概要的图。

图11是表示条件(1)～(3)的每一个条件下的每个频率的增益调整量的图。

图12是表示一次试行的步骤的流程图。

图13是表示按照绝对不一致/绝对一致的每个主观判定来对头顶部的电极位置(Pz)上的事件相关电位进行总加法平均而得到的结果的图。

图14是表示针对3个判定项目，使加法运算次数变化时的识别率的变化的图。

图15是对针对频率的每个音素的听力水平进行绘制而得到的图。

图16是表示按照上述方式将67S式语言表的20个语音分组后的例子的图。

图17是表示本申请发明者们所总结的判定方法的关系的图。

图18是表示实施方式1的听力判定***100的构成以及利用环境的图。

图19是表示实施方式1的听力判定装置1的硬件构成的图。

图20是实施方式1的听力判定***100的方框构成图。

图21是表示保存在语音DB12中的数据库的一例的图。

图22是表示清晰度判定部8的构成的图。

图23是表示舒适性判定部9的构成的图。

图24是表示在听力判定***100中进行的处理的步骤的流程图。

图25是表示图24的步骤S18的详细的处理步骤的流程图。

图26是表示图24的步骤S19的详细的处理步骤的流程图。

图27是表示关于清晰度的判定结果、以及将语音分组时的每个组的舒适性的判定结果的一例的图。

图28是表示重复特定的组的语音(元音的“ア”)来将语音分组时的每个组的舒适性的判定结果的一例的图。

图29是表示按照每个单音节的单词，对努力性、嘈杂度以及清晰度进行判定而得到的结果的一例的图。

图30是实施方式2的听力判定***101的方框构成图。

图31是表示在实施方式2的听力判定***101中进行的整体的处理步骤的流程图。

图32是表示实施方式3的助听器调整***103的构成的图。

图33是表示存储在调整量DB301中的数据的例子的图。

图34是表示存储在调整量DB301中的、用于对助听处理进行调整的信息的例子的图。

图35是表示在助听器调整***103中进行的整体的处理步骤的流程图。

具体实施方式

以下，参照附图，对本发明的听力判定***的实施方式进行说明。

本发明的听力判定***，用于将语音听取时的用户状态分为是否听觉辨别出了语音、和用户以怎样的舒适程度听取了语音，并根据脑波来判定该用户状态。例如，如图1所示，听力判定***是组合了舒适性判定和语音清晰度判定的***。不过，也可以不进行语音清晰度判定，只进行舒适性判定。

舒适性判定，通过用声音呈现单音节的语音并让用户对声音进行听觉辨别的设定，将以声音呈现为起点的用户的脑波信号的事件相关电位作为指标来进行舒适性判定。语音清晰度判定，通过在用声音呈现了单音节的语音之后呈现文字并让用户判断声音呈现与文字呈现是否一致的设定，将以文字呈现为起点的用户的脑波信号的事件相关电位作为指标来进行语音清晰度判定。在此“事件相关电位”是指，作为脑波的一部分的、在时间上与外在或者内在的事件相关联而产生的脑的一时性的电位变动。

在本说明书中，说明舒适性和语音清晰度能够根据脑波的事件相关电位来进行判定。首先，说明为了验证舒适性判定和语音清晰度判定分别能够根据怎样的脑波分量来实现，而由本申请发明者们实施的脑波测量实验的详细情况，之后，说明实施方式。

1.本申请发明者们所实施的实验

本申请发明者们认为除了语音清晰度判定以外还需要舒适性判定。后述的实验的结果，本申请发明者们想到，舒适性判定能够分离为如下两个要素：(1)表示进行多大的努力来听觉辨别出了语音的“努力性”；以及(2)表示感到语音有多嘈杂的“嘈杂度”。这是对后述的语音清晰度曲线的测定时的用户状态进行详细分析后的结果，而首次得到的结论。以下，具体地进行说明。

在语音清晰度判定中，按照每个语音用○/×来判定是否听觉辨别出了声音，并将听觉辨别出的语音的数量除以判定对照的语音数(67S式语言表的情况下为20)来求出。前述的“语音清晰度曲线”是针对多个听力水平，对该语音清晰度进行测定，并表示了其结果的曲线。语音清晰度判定所得到的判定结果是听觉辨别的正确回答率，因此反映了是否听觉辨别出了声音，但没有反映在语音听取时用户处于怎样的状态。但是，在听觉辨别出了声音的状况下，存在舒适地实现了听觉辨别的情况、和虽然实现了听觉辨别但不适的情况。

语音清晰度判定是在助听器销售店实施的短时间的判定。因此，判定中的用户，最大限度地努力想要听觉辨别出语音声音。此外，因为用户是否感觉到嘈杂不是判定对象，所以只要不是无法忍受的嘈杂度，即使稍微感到嘈杂，用户也会忍耐来完成判定课题。在日常性地佩戴使用助听器的情况下，总是维持最大限的努力来听取会话是很困难的。而且，因为助听器的佩戴使用会持续很长时间，所以需要长时间地忍受嘈杂，对于用户来说成为负担。

鉴于这些状况，本申请发明者们认为，作为语音听取时的用户状态，应区分不需要努力或者忍耐嘈杂的情况、和需要努力或者忍耐嘈杂的情况来进行判定。并且，这些特定为语音听取时的舒适性的要素。努力性和嘈杂度是完全不同的脑内处理，因此存在通过脑波的测定能够对各自进行区分来判定的可能性。

因此，本申请发明者们，为了特定实现语音清晰度判定和舒适性判定的脑波的特征分量而实施了以下的两种实验。

首先，实施了如下脑波测量实验(脑波测量实验1)：通过用声音呈现单音节的语音并让用户想象与声音对应的语音的设定，以声音呈现为起点对事件相关电位进行测量，之后作为针对语音的舒适性，进行与“努力性”和“嘈杂度”相关的主观报告。

并且，实施了如下脑波测量实验(脑波测量实验2)：通过用声音和文字依次呈现单音节的语音的设定，以文字呈现为起点来测量事件相关电位。

在脑波测量实验1中，基于与努力性/嘈杂度相关的主观报告，分别对事件相关电位进行了加法平均。在脑波测量实验2中，基于在实验的前后所取得的与嘈杂度相关的主观报告，对事件相关电位进行了加法平均。在脑波测量实验2中，基于在实验中所取得的声音与文字的一致/不一致，对事件相关电位进行了加法平均。

以下总结上述两种事件相关电位实验的结果。

脑波测量实验1的结果，发现了：在以声音刺激为起点的事件相关电位中，与对声音听觉辨别的自信度高的情况相比，在自信度低的情况下，在头顶部引起了潜伏期约750ms的阳性分量。

此外，发现了：与上述阳性分量相独立，伴随刺激声音的声压水平的增加，潜伏期约200ms的阴性分量的振幅增大。

脑波测量实验2的结果，发现了：在以文字刺激为起点的事件相关电位中，与声音的听觉辨别度高的情况相比，在听觉辨别度低的情况下，在头顶部引起潜伏期约500ms的阳性分量，与声音的听觉辨别度低的情况相比，在听觉辨别度高的情况下，在头顶部引起潜伏期约300ms的阳性分量。在此的“潜伏期”是表示以呈现了声音刺激的时刻为起点，到出现阳性分量或阴性分量为止的时间。

根据这些确认以及发现，看出了：(1)努力性的判定，能够根据与声音的听觉辨别自信度的对应，通过以呈现了声音的时刻为起点的事件相关电位的潜伏期约750ms的阳性分量的有无来判定，(2)嘈杂度的判定，能够根据潜伏期约200ms的阴性分量的有无来判定，(3)语音清晰度，能够根据以呈现了文字的时刻为起点的事件相关电位的潜伏期约300ms的阳性分量、和潜伏期约500ms的阳性分量的有无来判定。通过本方法，能够在语音清晰度判定的同时，客观、定量地实现关于在该语音听取时是否进行了努力/是否感到了嘈杂的判定。

以下，对本申请发明者们为了实现听力判定而实施的脑波测量实验的详细情况进行说明。

1.1.脑波测量实验1(与舒适性相关的实验)

在脑波测量实验1中，调查了在声音呈现后所取得的与努力性以及嘈杂度相关的主观报告、和以声音为起点的事件相关电位之间的关系。以下，参照图2至图9，说明脑波测量实验的实验设定以及实验结果。

实验参加者是具有正常的听力的大学生/研究生15名。

作为刺激而呈现的语音声音，从容易听错的无声辅音中采用了日本听觉医学会所制定的67S式语言表的8个音(シ、ス、キ、ク、タ、テ、ト、ハ)。为了对具有正常的听力的参加者操作作为舒适性的要素的“努力性”和“嘈杂度”，使用了调整了频率增益的语音声音。“频率增益”意味着多个频带的每一个的增益(电路的增益、放大率)。

在频率增益的调整中，设定了3种声压(大：Large、中：Middle、小：Small)×2种变形(无：Flat、有：Distorted)的共计6个条件。具体来说，如以下的(1)～(6)所示。关于条件的记载，在本说明书中，例如声压大且无变形，取Large和Flat的首字母，记述为LF条件等。

(1)LF(Large Flat)条件：作为声压大且容易听觉辨别的声音，在所有的频带中使增益提高了20dB。(2)LD(Large Distorted)条件：作为声压大但难以听觉辨别的声音，以MD条件为基础整体提高了20dB。(3)MF(Middle Flat)条件：作为声压大且容易听觉辨别的声音，没有进行频率增益的加工。(4)MD(Middle Distorted)条件：作为难以听觉辨别的声音，对LF条件的声音将250Hz-16kHz的频率的增益逐渐调整(降低)至-30dB。(5)SF(Small Flat)条件：作为声压小但容易听觉辨别的声音，在所有的频带中将增益降低了20dB。(6)SD(SmallDistorted)条件：作为声压小且难以听觉辨别的声音，以MD条件为基础整体降低了20dB。

图2(a)表示声音和变形的6个条件。此外，在图2(b)中，示出每个频率的增益调整量。使高频的频率增益降低的理由是为了模拟作为高龄重听的典型的模式的高音重听型。声音刺激从频率特性平缓(flat)的扬声器呈现。

脑波从头皮上的Fz、Cz、Pz、C3、C4(国际10-20法)、左右太阳穴、右眼上下开始，以右乳突骨为基准进行了记录。“乳突骨”是指，耳朵背面的耳根下部的头盖骨的乳样突起。图3(a)表示国际10-20法(10-20System)的电极位置，图3(b)表示在本实验中安装了电极的电极配置。抽样频率为200Hz，时间常数为1秒。脱机的情况下施以1-6Hz的数字带通滤波器。作为针对声音呈现的事件相关电位，以呈现了声音的时刻为起点提取了-200ms到1000ms的波形。在此，“-200毫秒”是指，呈现声音的时刻的200毫秒前的时间点。

图4表示脑波测量实验的实验步骤的概要。首先，在步骤A中呈现了将频率增益调整为6个条件的单音节的声音。所呈现的声音的详细情况见后述。接着在步骤B中，让参加者听声音，并记录与听取的声音相对应的文字。不改变呈现声音的条件，仅使语音的种类变化。将步骤A和B反复试行5次。然后在步骤C中，让参加者进行针对在步骤A中所呈现的声音的、与努力性/嘈杂度等相关的主观判定。主观判定利用触摸面板，通过视觉模拟量表(visual analog scale)(100个等级判定)进行。将上述的步骤A到步骤C作为1个模块，反复了12个模块(共计60次试行)。按照每个模块使呈现声音的声压和变形的条件以随机的顺序变化。

图5是表示一次试行的步骤的流程图。

在步骤S11中，将单音节的声音呈现给实验参加者。

在步骤S12中，参加者听单音节的声音并想象相对应的文字。

在步骤S13中，参加者记录针对所听取的声音的文字。

在步骤S14中，对声音被呈现的次数进行计数。呈现次数到4次为止返回S11。当呈现次数为5次时进入S15，并将呈现次数复位。

在步骤S15中参加者对在步骤S11中听取的声音进行主观的回答。

以下，对主观判定结果的分布和阈值的设定进行说明。

首先，示出主观判定的结果。基于主观判定结果，对通过后述的方法决定的每个参加者基于阈值进行了努力性/嘈杂度的有无的标签设定。以下，将该主观判定的标签作为参加者的状态。

图6是与努力性相关的每个参加者的主观判定的结果。示出了相对于全部试行的比例。图6中的实线是主观判定结果的分布，虚线表示对主观判定(努力性高、努力性低)进行了分割的阈值。由于主观判定的个体差异较大，因此基于每个人的判定结果(视觉模拟量表的1～100)的次序而决定了阈值。具体来说，将个人内的判定结果的次序位于中央的值作为阈值。其中，判定结果相同的判定作为相同的主观判定(努力性高、努力性低)来处理。

图7是与嘈杂度相关的每个参加者的主观判定的结果。显示了相对于全部试行的比例。图7中的实线表示主观判定结果的分布，虚线表示对主观判定(嘈杂、不嘈杂)进行了分割的阈值。与努力性相同，由于主观判定的个体差异较大，因此本申请发明者们按照每个人基于判定结果(视觉模拟量表的1～100)的次序而决定了阈值。具体来说，个人内的判定结果的次序，从判定结果较大的一方将3分之1作为嘈杂，将除此之外作为不嘈杂，而设定了阈值。其中，判定结果相同的判定作为相同的主观判定(嘈杂/不嘈杂)来处理。

接着，说明与努力性相关的实验结果。

以下，说明事件相关电位的结果。

首先，示出基于努力性的有无进行了加法平均后的结果。图8(a)是基于与努力性相关的主观判定，对头顶部(Pz)的以声音呈现为起点的事件相关电位进行总加法平均后的波形。加法平均基于上述测量实验的全部6个条件下的每个模块的与努力性相关的主观判定而进行。图8(a)的横轴为时间，单位是ms，纵轴为电位，单位是μV。从图8(a)所示的量表(scale)可知，曲线的下方向与正(阳性)相对应，上方向与负(阴性)相对应。图8(a)所示的虚线是判定为努力性低的情况下的加法平均波形，实线是判定为努力性高的情况下的加法平均波形。

根据图8(a)可知，与语音听取时的努力性低的情况(虚线)相比，在努力性高的情况(实线)下，在潜伏期600-900ms出现了阳性分量。试着观察每个主观判定的600-900ms的区间平均电位，在努力性低的情况下为1.99μV，在努力性高的情况下为2.73μV。对区间平均电位进行t检定后的结果，存在10％的水平的显著差异。图8(b)是对每次抽样的p值进行计算而得到的结果。根据图8(b)可知，在以声音刺激为起点约600-900ms的时间带中，与其他时间带相比，p值较小。因此，可以说，语音听取的努力性，存在反映到以声音呈现为起点潜伏期约600-900ms的阳性电位中的可能性。对从0ms到1000ms的所有的抽样的每一个实施了t检定的结果，主观判定的差异所导致的显著差异持续了15ms以上的时间带为420-445ms、655-670ms、730-745ms、775-830ms(p＜.05)。

接着，说明与嘈杂度相关的实验结果。

首先，示出基于嘈杂度的有无进行了加法平均的结果。

图9是基于与嘈杂度相关的主观判定对在头顶部(Pz)以声音刺激为起点的事件相关电位进行了总加法平均的波形。加法平均基于上述测量实验的全部6个条件下的、每个模块的与嘈杂度相关的主观判定而进行。图9的横轴为时间，单位是ms，纵轴为电位，单位是μV。从图9中所示的量表可知，曲线的下方向与正(阳性)相对应，上方向与负(阴性)相对应。图9中所示的实线是用户通过主观判定感觉到“嘈杂”的情况下的总加法平均波形，虚线是用户通过主观判定感觉到“不嘈杂”的情况下的加法平均波形。

根据图9可知，与判定为不嘈杂的虚线相比，在判定为嘈杂的实线中，在潜伏期约200ms所引起的阴性分量(N1分量)的潜伏期较短。每个参加者的N1分量的潜伏期，在嘈杂情况下为195ms，在不嘈杂情况下为240ms。对潜伏期进行了t检定的结果，看到了显著差异(p＜.05)。此外，每个参加者的潜伏期200ms-300ms的区间平均电位，在嘈杂情况下为0.14μV，在不嘈杂情况下为-1.38μV。对潜伏期200ms-300ms的区间平均电位进行了t检定的结果，嘈杂的情况下的区间平均电位非常大(p＜.05)。因此，以声音呈现为起点的N1分量的潜伏期、和以声音呈现为起点约200-300ms的阴性分量的平均电位反映嘈杂度，存在能够作为语音听取时的嘈杂度的指标来利用的可能性。对0ms-1000ms的所有的抽样的每一个实施了t检定的结果，主观判定的差异所导致的显著差异持续了15ms以上的时间带为50-70ms、155-175ms、225-290ms、920-935ms。

1.2.脑波测量实验2(与语音清晰度相关的实验)

在脑波测量实验2中，本申请发明者们调查了语音清晰度与文字呈现后的事件相关电位之间的关系。以下，参照图10至图13，对脑波测量实验2的实验设定以及实验结果进行说明。

实验参加者是具有正常的听力的大学生/研究生5名。

脑波从图3(a)所示的头皮上的Fz、Cz、Pz、C3、C4(国际10-20法)开始以右乳突骨为基准进行了记录。抽样频率为200Hz，时间常数为1秒。脱机的情况下施以0.1-6Hz的数字带通滤波器。作为针对文字呈现的事件相关电位，以呈现了文字的时刻为起点提取了从-100ms到1000ms的波形。事件相关电位的加法平均，基于在脑波测量实验3中取得的按下按钮的结果(绝对一致/绝对不一致)而进行。

图10是表示实验步骤的概要的图。

首先，在步骤E中呈现了单音节的声音。语音从容易听错的ナ行/マ行、ラ行/ヤ行、カ行/タ行中选择。按照语音听取时的听取容易度变化的方式，呈现了将频率增益变为3个等级的下述3个条件的声音。

(1)无增益调整的条件：呈现了无频率增益调整的声音。

(2)增益小的条件：呈现了将250Hz-16kHz的频率的增益逐渐调整(降低)至-25dB的声音。

(3)增益大的条件：呈现了将250Hz-16kHz的频率的增益逐渐调整(降低)至-50dB的声音。预先指示实验参加者听声音并想象相对应的文字。

图11表示条件(1)～(3)的每个条件下的每个频率的增益调整量。使高频的频率增益降低的理由，是为了再现高龄者的重听的典型模式，对听力正常者也模拟与高龄重听者的听觉难度同等的听觉。

接着在图10的步骤F中让实验参加者按下键盘的空格键。通过由参加者按下按钮，从而步骤进入到下一个步骤G。该步骤F是为了按照参加者的步调来呈现步骤G的文字刺激而附加的。

在步骤G中在显示器上呈现了一个文字。按照使具有正常的听力的参加者感到不一致的方式，以50％的概率呈现了与在步骤E中呈现的声音不一致的文字。不一致的文字，将容易听错的ナ行和マ行、ラ行和ヤ行、カ行和タ行作为对，选择了元音一致但发音不同的行的文字。例如，在步骤E中呈现了“な”的情况下，在步骤G中作为一致条件呈现了“な”，作为不一致条件呈现了“ま”。在此情况下，若参加者正确地听取了声音，则对于“な”的呈现将会感到符合预期，对于“ま”的呈现将会感到不符合预期。

步骤H为了确认参加者对于在步骤E中呈现的声音和在步骤G中呈现的文字感到了多大的不一致而设置。在感到绝对一致的情况下使其按下键盘的数字5，在感到大概一致的情况下使其按下4，在不知道的情况下使其按下3，在感到大概不一致的情况下使其按下2，在感到绝对不一致的情况下使其按下1。

本申请发明者们，进行了将步骤E到步骤H反复试行108次的实验。在本实验中，呈现语音使用マ·ナ/ヤ·ラ/カ·タ行的各3个音，针对这些语音分3个等级进行了增益调整(共计54种)。

图12是表示一次试行的步骤的流程图。在该流程图中，为了说明的方便，记载了装置的动作和实验参加者的动作这两者。

在步骤S21中将单音节的声音呈现给实验参加者。

在步骤S22中参加者听单音节的声音并想象相对应的文字。

在步骤S23中参加者按下作为“下一步”按钮的空格键。

步骤S24是以步骤S23为起点将与声音一致或不一致的文字呈现于显示器的步骤。声音和文字一致的概率为50％。因此，声音和文字不一致的概率也为50％。

在步骤S25中参加者确认在步骤S22中想象的文字与在步骤S24中呈现的文字是否一致。

在步骤S26中参加者用1到5的数字键来回答在步骤S26中感到了多大的一致/不一致。

图13表示按照绝对不一致/绝对一致的每个主观判定对头顶部的电极位置(Pz)上的事件相关电位进行了总加法平均而得到的结果。将作为刺激而呈现了文字的时刻设为0ms，将-100到1000ms的事件相关电位用于计算。图13的横轴为时间，单位是ms，纵轴为电位，单位是μV。曲线的下方向对应于正(阳性)，上方向对应于负(阴性)。使-100ms到0ms的平均电位与0相一致来进行了基线校正。

图13所示的实线，是参加者感到不一致的情况下的事件相关电位的加法平均波形，虚线是参加者感到一致的情况下的事件相关电位的加法平均波形。根据图13可知：(1)与参加者感到不一致的实线相比，在呈现参加者感到一致的虚线中，在以潜伏期200ms到400ms为中心的范围内出现了阳性分量；以及(2)与参加者感到一致的虚线相比，在呈现参加者感到不一致的实线中，在以潜伏期500ms到600ms为中心的范围内出现了阳性分量。对0ms到1000ms的所有抽样的每一个实施了t检定的结果，上述语音清晰度的差异所导致的显著差异(p＜.05)持续了20ms以上的时间带，为270ms-390ms和450ms-540sms。

根据这些脑波测量实验的结果，示出了存在通过观察特定的潜伏期的事件相关电位分量能够判定(1)努力性、(2)嘈杂度、(3)语音清晰度的可能性。

接着，说明识别率与加法运算次数之间的关系。

本申请发明者们为了将基于上述实验而发现的分量用于判定，进行了用于确定必要的加法运算次数的脑波数据的分析。对针对用于进行各判定的3种事件相关电位使加法运算次数依次增加时的识别率进行了调查的结果，发现了在将一定的识别率(例如80％)的达成作为前提条件时：(1)每个判定项目所需要的加法运算次数有很大不同；(2)语音清晰度判定用比现有脑波所需要的加法运算次数(20次)少的加法运算次数即可；(3)在舒适性判定中，需要比现有脑波所需要的加法运算次数(20次)更多的加法运算次数。

以下，说明对3种判定项目(努力性、嘈杂度、语音清晰度)进行的分析的详细情况。

关于努力性，利用在脑波测量实验1中测量出的事件相关电位，对主观报告的“努力性高/努力性低”进行了识别。

首先，从各“努力性高/努力性低”条件下的全部试行的波形中随机取出加法运算次数个波形，并进行了加法平均。本申请发明者们针对各条件作成了20个波形的该加法运算波形。

接着，根据加法运算波形来计算在上述实验中判定为存在显著差异的区间(600ms-900ms)的平均电位，并作为特征量。此外，在各“努力性高/努力性低”条件下的总加法平均波形中也计算同样的区间的平均电位，并将该平均值作为阈值。然后，在对特征量进行计算而得到的结果比阈值大时识别为“努力性高”、比阈值小时识别为“努力性低”。将此时的针对全部波形的识别结果的正解数的比例作为识别率。

关于嘈杂度，利用在脑波测量实验1中测量出的事件相关电位，对主观报告的“嘈杂/不嘈杂”进行了识别。首先，从各“嘈杂/不嘈杂”条件下的全部试行的波形中随机取出加法运算次数个波形，并进行了加法平均。本申请发明者们针对各条件作成了20个波形的该加法运算波形。

接着，根据加法运算波形来计算在上述实验中判定为存在显著差异的区间(200ms～300ms)的平均电位和N1潜伏期，并将它们作为特征量(二维)。

在此，说明针对这些特征量区分“嘈杂/不嘈杂”的识别界线。在识别界线的计算中，使用了总加法平均波形。针对与特征量作成时同样的区间计算了各“嘈杂/不嘈杂”条件下的总加法平均波形的平均电位和N1潜伏期。像这样在“嘈杂/不嘈杂”条件下计算出的平均电位和N1潜伏期，在电位-时间的曲线中被绘制为“点”。此时，考虑通过这2点的直线，将通过该直线的中点的垂线作为识别界线。并且，在对特征量进行计算而得到的结果位于识别界线的上方时识别为“嘈杂”，位于下方时识别为“不嘈杂”。将此时的针对全部波形的识别结果的正解数的比例作为识别率。

接着，说明语音清晰度的判定处理。

关于语音清晰度，利用在脑波测量实验2中测量出的事件相关电位，对主观报告的“绝对一致/绝对不一致”进行了识别。首先，从各“绝对一致/绝对不一致”条件下的全部试行的波形中随机取出加法运算次数个波形，并进行了加法平均。针对各条件作成了20个波形的该加法运算波形。接着，根据加法运算波形计算在上述实验中判定为存在显著差异的区间(270ms-390ms、450ms-540ms)的平均电位，并将其差作为特征量。此外，在各“绝对一致/绝对不一致”条件下的总加法平均波形中也对同样的区间的平均电位差进行计算，并将其平均值作为阈值。在识别中利用前述的阈值，在对特征量进行计算而得到的结果比阈值大时识别为“绝对一致”，比阈值小时识别为“绝对不一致”。将此时的针对全部波形的识别结果的正解数的比例作为识别率。

实验的结果，本申请发明者们，得到了与加法运算次数和识别率的关系相关的以下这样的数据。图14表示针对以上的3个判定项目，使加法运算次数变化时的识别率的变化。图14的识别率是重复了100次上述计算时的平均值。根据图14，虽然由于被实验者数较少因此能够看到稍微的变动，但基本上在所有的判定项目中若横轴的加法运算次数增加，则识别率提高。不过，努力性可以说即使增加次数，识别率也难以上升。

另一方面，若关注每个判定项目的识别率，则可以看出各自的加法运算次数与识别率的关系不同。语音清晰度在加法运算次数为5次时识别精度达到80％，与此相对，嘈杂度在加法运算次数为20次时识别精度为70％。并且，关于努力性的识别精度，可以说即使加法运算次数更多也不会达到语音清晰度和嘈杂度的识别精度。实验的结果，本申请发明者们发现了这样的特性。

作为能够看到该特性的理由，可以考虑脑波分量的大小的差异。

在图13所示的语音清晰度的识别中使用的区间的电位差(图13中的表示为“约6μV”、“约2.5μV”的电位差)、与图8和图9所示的为了识别舒适性而使用的区间的电位差(在各个图中表示为“约1μV”的电位差)存在很大不同。

作为其理由，可以列举以下2个理由。首先，作为第一个理由，可以考虑刺激的种类的差异。因为语音清晰度的判定是对视觉刺激的反应，所以一般来说容易做出比对听觉刺激的反应更大的反应且脑波分量变大。与此相对，舒适性(“努力性”以及“嘈杂度”)是对听觉刺激的反应，因此可以认为脑波分量的大小与对视觉刺激的反应相比变小。

作为另一个理由，可以考虑判定内容的差异。语音清晰度是听觉辨别出的语音与所呈现的文字是否一致这种能够明确地判断的判定内容。与此相对，舒适性是是否舒适这种暧昧的判定。因此，可以认为语音清晰度判定与舒适性判定相比脑波分量变大。因此，存在本次实验所得到的识别精度根据识别方法等而波动的可能性。但是，可以认为语音清晰度和舒适性的识别精度的顺序关系不会因为刺激的种类和脑波分量而发生变化。

在此，考虑每个判定项目的必要加法运算次数。必要加法运算次数根据加法运算次数与识别率的关系来决定。例如，若假设在语音清晰度判定中需要80％的识别精度，则此时的必要加法运算次数为5次。这样，必要加法运算次数由每个判定项目所需的识别精度来决定。因此，必要加法运算次数在上述识别精度发生了变化的情况下变动，且根据所实施的听力判定内容不同，也存在所需的精度发生变化的可能性，因此预想会发生变动。以下，为了对必要加法运算次数进行记述，作为一例，假设语音清晰度判定中所需的精度为80％，舒适性中所需的精度为70％来进行说明。

总结以上，如图14所示，可知为了达成一定的识别率(本次为语音清晰度80％、舒适性70％)，关于清晰度可以比现有技术所需的加法运算次数(20次)少，关于舒适性需要与现有技术相同程度或者现有技术以上的加法运算次数。不过，虽然在清晰度与舒适性之间必要加法运算次数存在差异，但由于这些作为对一连串的声音呈现和文字呈现的反应而被判定，因此在一次试行中，清晰度和舒适性的反应仅能分别得到1次。

为了保持舒适性的识别精度，需要使加法运算次数成为现有的20次或者20次以上。但是，若增加了加法运算次数，则花费很长的呈现时间。例如，在为了判定语音清晰度而使用了67S语言表的20个语音的情况下，在将20个语音各呈现了20次的情况下，合计需要呈现400次。因此，被实验者需要在400次的呈现中集中于声音的听觉辨别，可以认为对于被实验者来说成为很大的负担。此外，关于选择所需的时间，若呈现声音的声压为3种，声音刺激间的间隔为3秒，对裸耳时/佩戴使用时进行听力判定，则推断400次的呈现最低花费2个小时。

关于加法运算次数与呈现时间的关系，本申请发明者们着眼于语音清晰度和舒适性的必要加法运算次数的差异、以及语音清晰度和舒适性的判定所需的细致度不同这一情况。

在本说明书中所说的判定的“细致度”是表示最终所使用的判定结果的输出是每个语音的输出还是汇总了几个语音后的输出的概念。语音清晰度判定，是对是否听觉辨别出了语音进行判定，因此需要按照每个语音来判定正解/非正解。另一方面，舒适性判定中的、嘈杂度或努力性的判定不需要按照每个语音来判定舒适/不适，可以认为在相同的声压等条件下可将听起来相同的语音汇总来进行判定。该想法可以说是对舒适性判定时的用户的听觉进行分析后的结果，由本申请发明者们所初次想到的。以下，具体地进行说明。

首先，关于舒适性判定时的用户的听觉，分别说明努力性判定和嘈杂度判定。如前所述，努力性是表示用户尽了多大的努力来对语音进行了听觉辨别的指标。在此，考虑用户没能听觉辨别出语音的状况，推测与所呈现的声压的大小相比，在语音的频率接近的情况下，变得无法区分。因此，可以认为努力性能够以频率为基准进行汇总来判定。

图15是对针对频率的每个音素的听力水平进行绘制后的图。根据图15可以看出，在音素的分布中存在偏重(频率的偏重)。因此，在对努力性进行汇总来判定的情况下，只要按照图15中的每种分布或每种接近的语音来分组即可。

另一方面，关于嘈杂度，即使声音的频带不同，其影响也较小，声音的振幅的大小成为直接的要素。因此，认为可以根据主宰语音的振幅大小的元音的种类来分组。如上所述，可以认为即使将相同的声音振幅或相同的频带的声音进行汇总来判定，与按照每个语音来判定舒适性而得到的结果的差异也很少。即，可以说语音清晰度判定更需要细致的判定。图16表示按照上述方式将67S式语言表的20个语音分组后的例子。并且，图16(a)是针对努力性，根据图15的分布，将67S式语言表的20个语音分组后的例子。

例如图16(a)的“シ”以及“ス”，被分类到图15的位于频率约6000Hz附近的“s”的组。此外，图16(a)的“キ”、“ク”、“タ”、“テ”以及“ト”，被分类到图15的位于频率约3500Hz附近的“k”以及“t”的组。图16(a)的“ハ”以及“ガ”，被分类到图15的位于频率约1800Hz附近的“h”以及“g”的组。

另一方面，图16(b)是针对嘈杂度，按照每个元音将67S式语言表的20个语音分组后的例子。

根据这些情况，本申请发明者们发现，若对必要的判定的细致度和必要的加法运算次数进行综合，则关于需要细致的判定的清晰度判定，加法运算次数可以较少，以及，关于需要多次加法运算的舒适性判定，可以将多个语音汇总来进行判定。图17表示本申请发明者们所总结的判定方法的关系。

根据该见解，本申请发明者们想出了以下的构思：针对必要加法运算次数不同的听力判定项目，通过根据判定项目来切换进行加法平均的波形，能够实现作为整体的声音和文字的呈现次数的削减。

以下，关于基于该构思而构成的本发明的实施方式的详细情况和本发明的效果，以作为舒适性判定而进行了嘈杂度判定的情况为例，参照附图进行说明。

在本申请说明书中，为了对事件相关电位的分量进行定义，将从某时间点起算的规定时间经过后的时刻表现为例如“潜伏期约750ms”。这意味着可能包含以750ms这一特定的时刻为中心的范围。根据“事件相关电位(ERP)指南-以P300为中心”(加我君孝等编辑，筱原出版新社，1995)的30页中记载的表1，一般来说，在事件相关电位的波形中，按照每个人而产生30ms到50ms的差异(偏差)。因此，“约Xms”或“Xms附近”这种语句意味着以Xms为中心，在其前后可能存在30到50ms的幅度(例如，300ms±30ms、750ms±50ms)。

另外，上述的“30ms到50ms的幅度”是P300分量的一般的个体差异的例子，但由于上述潜伏期约750ms的阳性分量比P300潜伏期晚，因此用户的个体差异更大地显现。因此，优选作为更宽的幅度、例如在前后各100ms到150ms程度的幅度来处理。因此，在本实施方式中，“潜伏期约750ms”表示潜伏期600ms到900ms。潜伏期600ms到900ms意味着潜伏期600m以上900ms以下。

此外，关于“潜伏期200ms附近”或“潜伏期约200ms”，既可以当作对于潜伏期200ms在前后各具有30到50ms的幅度，也可以当作比其宽一些的幅度，例如在前后各具有50ms到100ms的幅度。

此外，一般来说，“阳性分量”意味着比0μV大的电位。但是，在本申请说明书中“阳性分量”不需要绝对为阳性(比0μV大)。在本申请说明书中，为了识别听觉辨别自信度是高还是低而识别“阳性分量”的有无，只要能够辨别听觉辨别自信度的明显的高低，则区间平均电位等也可以为0μV以下。

另外，一般来说“阴性分量”意味着比0μV小的电位。但是在本申请说明书中“阴性分量”不需要绝对为阴性(比0μV小)。在本申请说明书中，为了识别是否感觉到了嘈杂而识别“阴性分量”的有无，只要能够识别是否感觉到了嘈杂，则区间平均电位等也可以为0μV以上。在能够判定阴性分量的大小的情况下，记述为阴性分量的有无。

2.实施方式1

图18表示本实施方式的听力判定***100的构成以及利用环境。

听力判定***100具备：听力判定装置1、生物体信号测量部3、视觉刺激部4、和听觉刺激部5。生物体信号测量部3至少与2个电极A以及B连接。例如，电极A粘贴于用户5的乳突骨，电极B粘贴于用户5的头皮上的位置(所谓的Pz)。

听力判定***100按照声音和文字的顺序将单音节的语音呈现给用户2。基于以声音呈现时刻为起点而测量出的用户2的脑波(事件相关电位)，来进行舒适性判定。此外，基于以文字呈现时刻为起点而测量出的用户2的脑波(事件相关电位)，来进行语音清晰度判定。

通过生物体信号测量部3来取得与电极A和电极B的电位差相对应的用户2的脑波。生物体信号测量部3，将与电位差相对应的信息(脑波信号)通过无线或有线方式发送到听力判定装置1。在图18中，示出了生物体信号测量部3通过无线方式将该信息发送到听力判定装置1的例子。

听力判定装置1进行用于听力判定的声音的声压控制、和声音以及文字的提示定时的控制，对用户2经由听觉刺激部5(例如扬声器)呈现声音，并经由视觉刺激部4(例如显示器)呈现文字。

图19表示本实施方式的听力判定装置1的硬件构成。听力判定装置1具有CPU30、存储器31、音频控制器32、和图形控制器33。它们通过总线34相互连接，并能够相互进行数据的交换。

CPU30执行保存在存储器31中的计算机程序35。在计算机程序35中，记述有后述的流程图所示的处理步骤。听力判定装置1，按照该计算机程序35，利用保存在相同的存储器31中的语音DB12，来进行对听力判定***100的整体进行控制的处理。此外，听力判定装置1所产生的判定结果，被保存在存储器31内的听力判定结果DB10中。该处理在后面详述。

音频控制器32按照CPU30的命令，分别生成应呈现的声音，并将所生成的声音信号以指定的声压输出到听觉刺激呈现部5。

图形控制器33按照CPU30的命令，分别生成应呈现的文字，并输出到视觉刺激呈现部4。

后述的听力判定装置1的各功能模块(除了语音DB12之外)，分别与通过执行图19所示的程序35，由CPU30、存储器31、音频控制器32、图形控制器33作为整体在其各个时刻所实现的功能相对应。

图20表示本实施方式的听力判定***100的方框构成图。

听力判定***100具备：听力判定装置1、生物体信号测量部3、视觉刺激呈现部4、和听觉刺激呈现部5。为了说明的方便而示出用户2的方框。

听力判定***100在利用用户2的脑波信号来进行听力判定时使用。听力判定由听力判定装置1执行。

以下，对听力判定***100的构成要素的功能的概要进行说明。详细的功能以及构成在后面详述。

生物体信号测量部3，对用户的脑波进行测量，并提取分别以声音和文字的刺激为起点的事件相关电位。视觉刺激呈现部4根据来自听力判定装置1的指示，将表示语音的文字呈现为用户。所呈现的文字成为对用户2的视觉的刺激。听觉刺激呈现部5，根据来自听力判定装置1的指示，将语音的声音呈现给用户。所呈现的声音成为对用户2的听觉的刺激。

听力判定装置1具备：按语音加法运算部6、按组加法运算部7、清晰度判定部8、舒适性判定部9、听力判定结果数据库(DB)10、呈现语音控制部11、和语音数据库(DB)12。

按组加法运算部7，利用多个语音的组的数据，按组对以声音呈现为起点的事件相关电位进行加法运算。该组只要至少存在1个即可。各组基于预先规定的规则被分类。例如为元音的组、无声辅音的组、有声辅音的组。其中，根据规则也可以存在作为要素的语音所不属于的组。

清晰度判定部8根据按语音进行了加法运算的脑波波形来判定每个语音的语音清晰度。

舒适性判定部9根据按组进行了加法运算的脑波波形来判定每个组的舒适性。

听力判定结果DB10保存判定结果。

呈现语音控制部11参照语音并决定应呈现给用户的语音。

按语音加法运算部6利用语音的信息，按语音对以文字刺激呈现为起点的事件相关电位进行加法运算。

语音DB12保存语音和语音的分组的数据。

以下，详细地说明各模块。

生物体信号检测部3是对安装在用户2的头部的电极上的电位变化进行测量的设备，例如，是脑波计等。将探测电极放在例如头顶部的Pz，将基准电极放在左右某一方的乳突骨，并对作为探测电极与基准电极的电位差的脑波进行测量。生物体信号测量部3，对用户2的脑波进行测量，并以从呈现语音控制部11接受的触发为起点来提取规定区间(例如从-200ms到1000ms的区间)的事件相关电位。此时，将以与听觉刺激相对应的触发为起点的事件相关电位发送到按组加法运算部7，将以与视觉刺激相对应的触发为起点的事件相关电位发送到按语音加法运算部6。

另外，在本实施方式的说明中，生物体信号测量部3，以来自呈现语音控制部70的触发为起点来提取预先规定的范围的事件相关电位，进行基线校正并将电位波形的数据发送到事件相关电位处理部55。但是，该处理是一例。作为其他处理，例如，生物体信号测量部50也可以持续测量脑波，并由事件相关电位处理部55来进行必要的事件相关电位的提取以及基线校正。若为该构成，则呈现语音决定部70不需要将触发发送到生物体信号测量部50，只要将触发发送到事件相关电位处理部55即可。

视觉刺激呈现部4是对用户2呈现用于语音清晰度判定的文字的设备。视觉刺激呈现部4例如是电视机或显示器。视觉刺激呈现部4将由呈现语音控制部11决定的语音的文字呈现在显示面上。

听觉刺激提示部4是对用户呈现用于舒适性判定的声音的设备。听觉刺激提示部4例如是扬声器或耳机。听觉刺激提示部4的种类任意。但是，为了进行正确的判定，需要按照能够以指定的声压正确地呈现声音的方式进行调整。由此，听觉刺激提示部4，能够正确地呈现由呈现语音控制部11决定的单音节的声音。

语音DB12是用于听力判定的语音的数据库。图21表示保存在语音DB12中的数据库的一例。在图21所示的语音DB12中，按照每个语音，保存有所呈现的声音文件、辅音标签的语音信息。被保存的声音，根据预先测定出的重听者的听力图基于调试手法完成了每个频率的增益调整。被保存的语音的种类，也可以是在57S语言表、67S语言表中列举出的语音。辅音标签在判定用户2在哪个辅音上产生误听的概率较高时利用。

此外，语音DB12具有多个语音的组的数据。与误听产生可能性(误听的产生容易度、或者误听产生的概率)相应的分组后的数据，在判定用户2在哪个组中产生误听的概率较高时利用。分组采用例如大分类、中分类、小分类。

大分类根据元音、无声辅音、有声辅音的分类分别记载为0、1、2。中分类为无声辅音内、有声辅音内的分类。无声辅音内可以分类为サ行(中分类：1)和タ·カ·ハ行(中分类：2)，有声辅音内可以分类为ラ·ヤ·ワ行(中分类：1)和ナ·マ·ガ·ザ·ダ·バ行(中分类：2)。小分类可以分类为ナ·マ行(小分类：1)和ザ·ガ·ダ·バ行(小分类：2)。关于误听产生可能性，参照了“助听器调试的见解”(小寺一兴，诊断和治疗社，1999年，172页)。

此外，语音DB12具有用于按组进行加法运算的按舒适性判定的加法运算组的数据。加法运算组的数据，在对在按组加法运算部7中进行加法运算的事件相关电位进行切换时利用。加法运算组例如是嘈杂度、努力性。嘈杂度按判定语音的振幅分别记载为0、1、2、3、4、5。努力性按判定语音的频率分别记载为0、1、2、3、4、5。

呈现语音控制部11参照语音DB12决定呈现的语音，并将与所决定的语音相关的信息发送到视觉刺激呈现部4和听觉刺激呈现部5。此外，与声音和文字各自的呈现时刻相一致地，将触发发送到生物体信号测量部3。此外，将所呈现的语音的信息发送到按语音加法运算部6，并将所呈现的语音信息和该语音所具有的分组的数据发送到按组加法运算部7。此外，也可以控制由视觉刺激呈现部4以及听觉刺激呈现部5呈现所决定的语音。

在本实施方式中，假定呈现语音控制部11向视觉刺激呈现部4以及听觉刺激呈现部5发送相同的语音信息来进行说明。

按语音加法运算部6以及按组加法运算部7，根据从呈现语音控制部11接受的呈现语音信息的内容，关于从生物体信号测量部3接受的事件相关电位的波形，切换进行加法平均的波形。

按语音加法运算部6从生物体信号测量部3接受以与视觉刺激相对应的触发为起点的事件相关电位。此时，利用从呈现语音控制部11接受的呈现语音信息，仅选择通过相同的语音的呈现而得到的事件相关电位来进行加法平均。然后，将按照每个语音执行了规定次数的加法平均的脑波数据发送到清晰度判定部8。在仅用相同的语音进行了加法平均的情况下，能够进行每个语音的听觉辨别判定。

按组加法运算部7从生物体信号测量部3接受以与听觉刺激相对应的触发为起点的事件相关电位。此时，利用从呈现语音控制部11接受的呈现语音信息和语音所具有的分组的数据，选择通过相同的组内的语音的呈现而得到的事件相关电位来进行加法平均。然后，将按照每个组执行了规定次数的加法平均的脑波数据发送到舒适性判定部9。

例如，按组加法运算部7选择通过属于相同的声音组(图21中的大分类等)的语音的呈现而得到的事件相关电位来进行加法平均。

清晰度判定部8对从按语音加法运算部6接受的加法平均后的脑波波形进行识别，并按照每个语音判定语音清晰度的有无。将语音清晰度的判定结果发送到听力判定结果DB10。

图22表示清晰度判定部8的构成。

如图22所示，清晰度判定部8具备阳性分量判定部51和判定部52。

阳性分量判定部51接受从按语音加法运算部6接受的加法平均后的脑波波形，根据加法运算波形来判定潜伏期约300ms或约500ms的阳性分量的有无。阳性分量的有无通过以下方法来识别。例如，阳性分量判定部51将潜伏期200ms到400ms的最大振幅或潜伏期200ms到400ms的区间平均电位与规定的阈值进行比较。并且，在潜伏期200ms到400ms的范围内、或者潜伏期400ms到600ms的范围内的最大振幅或区间平均电位大于阈值的情况下识别为“存在阳性分量”，将小于阈值的情况识别为“不存在阳性分量”。

判定部52从阳性分量判定部51接受阳性分量的有无，根据阳性分量的有无来判定清晰度，并将判定结果发送到听力判定结果DB10。

舒适性判定部9对从按组加法运算部7接受的加法平均后的脑波(事件相关电位)的波形进行识别，判定每个组的舒适性的有无。舒适性判定部9将舒适性的判定结果发送到听力判定结果DB10。

图23表示舒适性判定部9的构成。

如图23所示，舒适性判定部8具有特征分量判定部41、判定部42、和基准数据库(DB)43。

特征分量判定部41，从按组加法运算部7接受加法平均后的脑波(事件相关电位)的波形，从基准DB43接受用于分别检测阴性分量以及阳性分量的潜伏期以及阈值的数据。

特征分量判定部41具备阳性分量判定部41a、和阴性分量判定部41b。

在判定努力性的情况下，阳性分量判定部41a根据加法运算波形来判定在潜伏期约750ms是否存在阳性分量。阳性分量的有无通过以下方法来识别。例如，阳性分量判定部41a将潜伏期600ms到900ms的最大振幅或潜伏期600ms到900ms的区间平均电位与规定的阈值进行比较。使用区间平均电位的情况下的“规定的阈值”，作为一般的用户的阳性分量的有无的阈值，也可以设为通过上述实验而得到的“努力性高”和“努力性低”的区间平均电位的中央值即2.36μV。然后，阳性分量判定部41a，在区间平均电位大于阈值的情况下识别为“存在阳性分量”，将小于阈值的情况识别为“不存在阳性分量”。上述的“潜伏期约750ms”以及阈值基于从基准DB43接受的数据来设定。

在判定嘈杂度的情况下，阴性分量判定部41b根据加法运算波形来判定潜伏期约200ms的阴性分量的有无。阴性分量的有无通过以下方法来识别。例如，阴性分量判定部41b将潜伏期100ms到300ms的最大振幅或潜伏期100ms到300ms的区间平均电位与规定的阈值进行比较。然后，在区间平均电位大于阈值的情况下识别为“存在阴性分量”，将小于阈值的情况识别为“不存在阴性分量”。此外，阴性分量判定部41b也可以将潜伏期100ms到300ms的阴性电位的峰值的潜伏期与规定的阈值进行比较。然后，阴性分量判定部41b，在阴性电位的峰值潜伏期比规定的阈值短的情况下识别为“存在阴性分量”，将峰值潜伏期比规定的阈值小的情况识别为“不存在阴性分量”。“规定的阈值”，作为一般的用户的阴性分量的有无的阈值，也可以设为通过上述实验而得到的“嘈杂”和“不嘈杂”的阴性分量的潜伏期的中央值即218ms。或者，阴性分量判定部41b也可以根据与根据潜伏期约200ms的典型的阴性分量信号的波形而作成的规定的模板的类似度(例如相关系数)，将类似的情况识别为“存在阴性分量”，将不类似的情况识别为“不存在阴性分量”。规定的阈值或模板也可以根据预先保持的一般的用户的阴性分量的波形来算出/作成。上述的潜伏期(“约200ms”等)以及阈值，基于从基准DB43接受的数据来设定。

判定部42从特征分量判定部41接受阳性分量以及阴性分量的有无，根据阳性分量以及阴性分量的有无来判定舒适性，并将判定结果发送到听力判定结果DB10。

听力判定结果DB10是保存听力判定结果的数据库。从清晰度判定部8和舒适性判定部9分别接受判定结果，并作为听力判定结果而保存。

以下，参照图24～图26，详细地说明上述听力判定***100的处理步骤。

首先，参照图24对在图16的听力判定***100中进行的整体的处理步骤进行说明。图24是表示在听力判定***100中进行的处理的步骤的流程图。

在步骤S10中，生物体信号测量部3开始进行用户2的脑波的测量。在以后的步骤中，脑波测量连续地进行。

在步骤S11中，呈现语音控制部11参照语音DB12来决定呈现的单音节的语音。听觉刺激呈现部5将所决定的语音的声音呈现给用户2。呈现语音控制部11在呈现声音的同时，对生物体信号测量部3发送声音刺激呈现触发，并向按组加法运算部7发送呈现语音信息和语音所具有的分组的数据。此时，在图21所示的辅音标签、大分类、中分类、小分类中，与各语音相对应的标签或编号参照分组的数据。例如，在将分组设为“大分类”，并呈现了语音“あ”的情况下，呈现语音控制部11向按组加法运算部7发送分组的数据“0”。

在步骤S12中，呈现语音控制部11参照语音DB12来决定与在步骤S11中呈现的听觉刺激相对应的单音节的语音。视觉刺激呈现部4对用户2呈现所决定的文字。例如，在听觉刺激呈现的1秒后(1000ms后)，进行视觉刺激呈现。呈现语音控制部11在呈现文字的同时，对生物体信号测量部3发送视觉刺激呈现触发，并对按语音加法运算部6发送所呈现的语音的信息。

在步骤S13中，生物体信号测量部3从呈现语音控制部11接受触发，从测量出的脑波中，以触发为起点提取例如-200ms到1000ms的事件相关电位。然后，求出-200ms到0ms的平均电位，按照该平均电位成为0μV的方式，来对所得到的事件相关电位进行基线校正。此时，将以与听觉刺激相对应的触发为起点的事件相关电位发送到按组加法运算部7，将以与视觉刺激相对应的触发为起点的事件相关电位发送到按语音加法运算部6。

在步骤S14中，按组加法运算部7，基于从呈现语音控制部11接受的呈现语音和语音所具有的分组的数据，按照每个组对在步骤S13中提取出的事件相关电位进行加法平均。例如，图21所示的辅音标签、大分类、中分类、小分类、嘈杂度、努力性相当于分组。当将分组设为“大分类”，呈现了语音“あ”时，从呈现语音控制部11发送语音“あ”和分组的数据“0”。按组加法运算部7参照分组的数据“0”，并存储其波形。之后，当呈现了分组的数据相同的语音(“い”、“う”、“え”、“お”)时，按组加法运算部7对这些波形进行加法平均。

在步骤S15中，按语音加法运算部6，基于从呈现语音控制部11接受的呈现语音的信息，按语音对在步骤S13中提取出的事件相关电位进行加法平均。

步骤S16是是否对预定进行听力判定的1套语音结束了呈现的分支，在没有完成的情况下返回到步骤S11，在完成了的情况下进入到步骤S17。

步骤S17是是否对判定所需的语音套数结束了呈现的分支，在没有完成的情况下返回到步骤S11，在完成了的情况下进入到步骤S18。

在步骤S18中，舒适性判定部9从按组加法运算部7接受按照每个组进行了加法平均的脑波数据，并判定每个组的舒适性的有无。然后，将舒适性的判定结果发送到听力判定结果DB12。以下，参照图25说明步骤S18的详细情况。

图25是表示图24的步骤S18的详细的处理步骤的流程图。

在步骤S40中，特征分量判定部41判定将判定项目设为“嘈杂度”还是设为“努力性”。即特征分量判定部41从按组加法运算部7接受对判定项目进行特定的数据，在判定项目为嘈杂度的情况下进入到步骤S41的处理，在判定项目为努力性的情况下进入到步骤S47的处理。

在步骤S41中，特征分量判定部41从基准DB43接受用于检测阴性分量的潜伏期数据。

在步骤S42中，特征分量判定部41接受按照每个组进行了加法平均的脑波数据。

在步骤S43中，阴性分量判定部41b判定是否存在潜伏期约200ms的阴性分量。在通过阴性分量判定部41b没有检测出阴性分量的情况下，处理进入到步骤S44，在检测出了阴性分量的情况下，处理进入到步骤S45。

在步骤S44中，判定部42针对在步骤S11中呈现的语音从阴性分量判定部41b接受不存在潜伏期约200ms的阴性分量这一情况，判定为“舒适”，并对判定结果进行储存。

在步骤S45中，判定部42针对在步骤S11中呈现的语音从阴性分量判定部41b接受存在潜伏期约200ms的阴性分量这一情况，判定为“不适”，并对判定结果进行储存。

在步骤S46中，判定部42判定是否对预定进行舒适性判定的所有的组完成了舒适性判定。在没有完成舒适性判定的情况下处理返回步骤S41，在完成了的情况下处理结束。

接着，说明将努力性作为判定项目的处理。

在步骤S47中，特征分量判定部41从基准DB43接受用于检测阳性分量的潜伏期数据。

在步骤S48中，特征分量判定部41接受按照每个组进行了加法平均的脑波数据。

在步骤S49中，阳性分量判定部41a判定是否存在潜伏期约200ms的阳性分量。在通过阳性分量判定部41a没有检测出阳性分量的情况下处理进入到步骤S50，在检测出了阳性分量的情况下处理进入到步骤S51。

在步骤S50中，判定部42针对在步骤S11中呈现的语音从阳性分量判定部41a接受不存在潜伏期约750ms的阳性分量这一情况，判定为“舒适”，并对判定结果进行储存。

在步骤S51中，判定部42针对在步骤S11中呈现的语音从阴性分量判定部41a接受存在潜伏期约750ms的阳性分量这一情况，判定为“不适”，并对判定结果进行储存。

在步骤S52中，判定部42判定是否对预定进行舒适性判定的所有的组完成了舒适性判定。在没有完成的情况下处理返回到步骤S47，在完成了的情况下处理结束。

再次参照图24。

在步骤S18中，清晰度判定部8从按语音加法运算部6接受按照每个语音进行了加法平均的脑波数据，并判定每个语音的语音清晰度的有无。然后，将语音清晰度的判定结果发送到听力判定结果DB12。以下，参照图26说明步骤S19的详细情况。

在步骤S53中，阳性分量判定部51接受按照每个组进行了加法平均的脑波数据。

步骤S54为基于在阳性分量判定部51中是否检测出了潜伏期约300ms的阳性分量的分支，在没有检测出阳性分量的情况下进入到步骤S53，在检测出了阳性分量的情况下进入到步骤S54。

在步骤S55中，判定部52针对在步骤S11中从呈现语音控制部11接受的组，从阳性分量判定部41接受存在潜伏期约300ms的阳性分量这一情况，判定为舒适，并对判定结果进行储存。

在步骤S56中，判定部52针对在步骤S11中从呈现语音控制部11接受的组，从阳性分量判定部41接受不存在潜伏期300ms的阳性分量这一情况，判定为不清晰，并对判定结果进行储存。

步骤S57是是否对预定进行清晰度判定的所有的语音完成了清晰度判定的分支，在没有完成的情况下返回到步骤S53，在完成了的情况下结束语音清晰度判定。

在步骤S20中，听力判定结果DB10从清晰度判定部8接受按照每个语音判定了清晰/不清晰而得到的判定结果，从舒适性判定部9接受按照每个组判定了舒适/不适而得到的判定结果。然后，将这些结果储存在数据库中。

对在此前说明的听力判定***100中，根据判定项目来切换进行加法运算的波形的效果进行说明。

以下，在考虑到声音和文字的呈现次数的基础上，将呈现次数分为语音套和必要套数来表现。

“语音套”汇集了进行判定的语音，例如，在呈现67S语言表的20个语音的情况下，该20个语音相当于1套语音，其呈现次数为20次。通过将该语音套重复必要套数次，能够实现脑波的加法平均。

另一方面，“必要套数”是指为了达成语音清晰度判定和舒适性判定这两者所需的加法运算次数的语音套的个数。以不切换上述波形的情况为例，必要套数为20次。此外，合计的呈现次数为语音套的语音×必要套数。

图27表示针对清晰度的判定结果、以及将语音分组时的每个组的舒适性的判定结果的一例。

关于本发明中的波形的切换效果，以如下情况为例进行说明：如图27所示，语音套(20个语音、67S语言表)，针对20个语音进行语音清晰度判定，并汇总为图21所示的大分类来进行舒适性判定。如前所述，大分类为元音、无声辅音、有声辅音的分类。此时67S语言表的20个语音分别在元音组中包含3个语音，在有声辅音组中包含9个语音，在无声辅音组中包含8个语音。在此，设按语音进行判定所需的加法运算次数为5次，舒适性判定所需的加法运算次数为20次，来计算必要套数。

在计算必要套数时，需要分别针对语音清晰度判定、舒适性判定来考虑必要的套数。

语音清晰度判定对20个语音进行判定，因此若呈现5套的语音套(20个语音)，则加法运算次数成为5次，能够实现语音清晰度判定。

20个语音：1个语音×5套＝加法运算次数5次

另一方面，舒适性判定对3个组进行判定，因此若针对3个组分别考虑必要套数，则成为：

元音：3个语音×7套＝加法运算次数21次

有声辅音：9个语音×3套＝加法运算次数27次

无声辅音：8个语音×3套＝加法运算次数24次

元音为7套，有声辅音为3套，无声辅音为3套，能够达成舒适性判定所需的加法运算次数20次。

在此，为了达成两方的判定所需的加法运算次数，需要与必要套数最大的一方一致。因此，在本例的情况下，根据组内的语音数最少的元音组来决定必要的套数，其必要套数为7次。

根据该结果，能够将必要的套数从20次大幅削减到7次。而且，此时的判定结果，如图27所示，清晰度能够按照每个语音得到清晰/不清晰的判定结果，舒适性能够按照每个声音组得到舒适/不适的判定结果。

在此，图27的判定结果(○、×)是指，对加法运算波形检测分量，并对其有无进行判定后的结果。例如，在语音清晰度判定中，判定阳性分量的有无，将判定为无的语音设为○(清晰)，将判定为有的语音设为×(不清晰)。

同样，在舒适性判定中，对分量的有无进行判定，将判定为无的组设为○(舒适)，将判定为有的组设为×(不适)。

在上述的例子中，将呈现语音设为20个语音，将呈现声音的声压设为3种，将声音刺激间的间隔设为3秒，对裸耳时/佩戴使用时考虑听力判定时间。使用本方法前的必要套数为20次，判定时间为

20个语音×3种×3秒×2个模式×20套＝7200秒(2时间)。

与此相对，若使用本方法，则成为

20个语音×3种×3秒×2个模式×7套＝2520秒(42分)。因此，判定时间从2个小时变为42分钟，能够实现大幅的时间缩短。

根据本实施方式的听力判定***100，声音/文字的呈现次数被削减，听力判定在短时间内实现。由此，例如在助听器销售店中的听力判定中，判定所需的时间被削减，节省了助听器用户的时间。

另外，在本次的实施例中，嘈杂度的判定结果表示舒适性。在对舒适性进行判定时，既可以由脑波测量实验时所记述的、努力性的判定结果来表示舒适性，也可以由嘈杂度和努力性这两者的判定结果来表示舒适性。

在生物体信号测量部3中，测量出的事件相关电位的特征分量的电平或极性，存在根据安装脑波测量用电极的部位、或基准电极以及探测电极的设定的方式而改变的可能性。但是，基于以下的说明，本领域技术人员能够根据此时的基准电极以及探测电极的设定方式进行适当改变，来对事件相关电位的特征分量进行检测，并进行听力判定。这样的改变例属于本发明的范畴。

另外，在本次的实施例中，分组的数据由语音数据库来保持，但该数据也可以保持于按组加法运算部7。

另外，在按组加法运算部7中，按组进行加法运算时的声音组，既可以将具有相同的辅音的语音作为一组，也可以将误听产生可能性(图21所示的组的大分类/中分类/小分类)相同的语音作为一组。在用具有相同的辅音的语音进行了加法平均的情况下，能够判定在哪个辅音上舒适性较低。此外，在按照每个误听产生可能性组进行了加法平均的情况下，例如在有声辅音和无声辅音的分组中，能够如下这样进行每个组的判定：针对有声辅音舒适性较高，而针对无声辅音舒适性较低。在每个辅音、每个组的加法平均中，能够分别得到确保了属于组内的语音数次的加法运算次数的加法运算波形。因此，针对必要加法运算次数较多的舒适性判定，能够用较少的声音/文字呈现次数来进行判定。

另外，所呈现的语音在从语音DB12中进行选择时，也可以仅呈现必要加法运算次数个。例如，与之前同样，以汇总为3个声音组(元音：3个语音、有声辅音：9个语音、无声辅音：8个语音)的情况为例，必要套数为7套。此时，虽然有声辅音组和无声辅音组的必要套数为3套，但仍然呈现了7套，因此判定时间变长。像这样，在相对于每组的必要套数，整体的套数较多的情况下，可以减少其套数。不过，在此情况下，因为语音清晰度的必要套数为5套，所以为了实现两个判定，无法减少到小于5套。因此，有声辅音组和无声辅音组的必要套数为5次。因此，也可以按照元音组为7套、有声辅音组和无声辅音组为5套而结束呈现的方式，在按照每个组达到了必要加法运算次数的时间点结束呈现。如上所述，在仅呈现了必要加法运算次数个的情况下，本发明中的时间缩短的效果更大。

另外，所呈现的语音既可以从语音DB12中随机地选择，也可以集中地选择特定的辅音或组的语音。与之前同样，以汇总为3个声音组(元音：3个语音、有声辅音：9个语音、无声辅音：8个语音)的情况为例。此时，如图28所示，考虑重复特定的组的语音(元音的“ア”)的情况。在此情况下，根据前述的必要套数的计算方法，能够用5套达成加法运算次数20次。因此，全部的判定所需的套数为5套(set)。像这样，若对组内的语音进行调整，则本发明中的时间缩短的效果更大。

另外，所呈现的语音从语音DB12中随机地选择的方法、集中地选择特定的辅音或组的语音的方法、和仅呈现必要加法运算次数个的方法也可以进行组合。通过对两个方法进行组合，能够以必要最小套数进行判定，能够以本***中的最短的判定时间结束听力判定。

另外，在呈现语音控制部11中，也可以根据由生物体信号测量部3测量出的用户2的脑波信号分量的大小，来决定各个判定项目所需的套数。通过根据信号分量的大小来决定套数，能够在达成了希望的精度的状态下，以对于用户来说最短的判定时间来实现听力判定。

另外，在呈现语音控制部11中，也可以从听力判定***100接受未判定/再判定的语音的信息来决定语音。

另外，在清晰度判定部8和舒适性判定部9中，阳性分量或阴性分量的识别，既可以通过与阈值的比较来进行，也可以通过与模板的比较来进行。

另外，听力判定装置1也可以作为在1个半导体电路中安装了计算机程序的DSP等硬件来实现。这种DSP能够用1个集成电路来实现上述的CPU30、存储器31、音频控制器32、图形控制器33的所有功能。

上述的计算机程序35可以记录在CD-ROM等记录介质中并作为产品在市场上流通，或者，可以通过因特网等电气通信线路来传输。具备图19所示的硬件的设备(例如PC)，通过读入该计算机程序35，能够发挥本实施方式的听力判定装置1的作用。另外，语音DB12也可以不保持在存储器31中，而保持在例如与总线34连接的硬盘(未图示)中。

另外，因为本实施方式中的听力判定装置1能够携带，所以例如可以实际将助听器和听力判定装置1带到家里或职场等用户利用助听器的声音环境中来进行听力判定。由此，能够更加正确地判定日常生活中的听觉。

另外，在图18中视觉刺激呈现部4为显示器，但视觉刺激呈现部4也可以为电视机。通过采用与电视机连接的构成，听力判定装置1只要具备生成用于在电视机中显示影像的影像信号的公知的电路、以及输出该影像信号的端子即可。由此，能够得到简化了构成的、容易携带的听力判定装置1，能够在用户进行利用的环境中进行听力判定。此时，进而，听觉刺激呈现部5也可以为通常设置于电视机中的扬声器。由此，仅具备向电视机的影像信号以及声音信号的生成电路以及输出端子，能够实现构成的简化。

另外，在图18中听觉刺激呈现部5为扬声器，但听觉刺激呈现部5也可以为耳机。通过使用耳机，携带变得简单，能够在用户进行利用的环境中进行听力判定。

此外，在本实施方式中，舒适性判定的结果以及清晰度判定的结果，储存在听力结果积累DB10中，但也可以不进行储存。例如，在将结果积累DB80设置在舒适性判定装置1的外部的情况下，只要输出阳性分量判定部60以及阴性分量判定部65的各判定结果即可。各判定结果可以作为与语音听取的舒适性相关的信息来利用。

另外在本说明书中，出于确认在事件相关电位中出现反映了与清晰度相关的主观判定的分量的情况的用意，而对事件相关电位的波形进行了加法运算或加法平均。但是，这是一例。通过想办法利用特征量提取的方法(例如波形的小波变换)或识别方法(例如支持向量机学习)，通过非加法运算或者数次程度的少次加法运算也能够识别阳性分量/阴性分量。例如也可以省略按语音加法运算部6。

由此，在用户利用助听器的声音环境中也能够实现听力判定。

另外，在本实施方式中假定日本语的听力判定而进行了说明。但是，只要为单音节的语音则既可以为英语也可以为中国语。例如在英语的情况下，只要呈现单音节的单词，并进行每个单词的判定即可。图29示出了按照每个单音节的单词，对努力性、嘈杂度以及清晰度进行判定而得到的结果的一例。

3.实施方式2

在实施方式1中，说明了同时对语音清晰度和舒适性进行判定的例子。

在本实施方式中，对虽然判定舒适性但不进行语音清晰度判定的听力判定***进行说明。

图30表示本实施方式的听力判定***101的方框构成图。听力判定***101与实施方式1的听力判定***100的不同点在于听力判定装置102的构成。具体来说，从本实施方式所涉及的听力判定装置102中，省略了实施方式1所涉及的听力判定装置1的视觉刺激呈现部4、按语音加法运算部6以及清晰度判定部8。伴随该构成的差异，呈现语音控制部11不输出用于将语音的文字作为视觉刺激而输出的指示，而且，也不需要将以视觉刺激为起点的触发发送到生物体信号测量部3。其他与实施方式1的听力判定***100相同。

图31是表示在图30的听力判定***101中进行的整体的处理步骤的流程图。该流程图与实施方式1的听力判定***100的流程图(图24)的不同点在于，省略了图24的步骤S12、S15以及S19。

关于公共的构成以及处理动作，援用实施方式1的说明。

根据本实施方式所涉及的听力判定***101以及听力判定装置102，由于省略了与清晰度相关的判定，从而不需要进行语音的区分，只要进行与舒适性相关的判定即可，因此能够在更短时间内得到判定结果。

4.实施方式1以及2的变形例

在上述的实施方式的听力判定***100中，在清晰度判定部8(图22)内的阳性分量判定部51、以及舒适性判定部9(图23)内的阳性分量判定部41a以及阴性分量判定部41b中，利用根据一般的用户的阳性分量/阴性分量而算出的阈值、或一般的用户的阳性分量/阴性分量的模板，分别判定了阳性分量的有无和阴性分量的有无。

但是，事件相关电位的波形的个体差异较大，因此在以这些波形为基准的识别中，难以高精度地判定努力性/嘈杂度。

因此，也可以在语音听取的舒适性判定之前进行用于测定每个用户的潜伏期约750ms的阳性分量和潜伏期约200ms的阴性分量的特征的校准，并基于每个人的分量特征来判定舒适性。是否进行校准也可以由用户来选择。

校准的方法例如如下所述。

呈现语音控制部11参照语音DB12来决定语音的种类。然后，呈现语音控制部11针对单音节的声音呈现来设定(1)虽然用户不努力就能够听见但感到“嘈杂”的声压水平、或者(2)虽然需要努力但感到“不嘈杂”的声压水平。然后，经由听觉刺激呈现部5向用户2呈现声音。

然后，按语音加法运算部6以及按组加法运算部7按照每个声压水平对由生物体信号测量部50测量出的事件相关电位进行加法平均。

最后，按语音加法运算部6以及按组加法运算部7保存每个声压水平的特征量。更具体来说，按语音加法运算部6以及按组加法运算部7，根据加法平均波形，分别算出在上述的阳性分量判定部51、以及阳性分量判定部41a和阴性分量判定部41b中用于识别的特征量。例如，在特征量为区间平均电位的情况下，算出规定区间的平均电位。然后，将分别的阈值保存在基准DB43等中。这样得到的平均值可以说表示了该用户固有的特征。

若使用这样得到的阈值，则能够进行考虑了各个用户的个体差异的更正确的判定。

5.实施方式3

图32表示实施方式3的助听器调整***103的构成。助听器调整***103具备听力判定***104、调整量DB301、和调整部303。助听器调整***103中包含的构成要素相互通过有线方式或无线方式连接，进行信息的收发。并且，调整部303通过有线方式或无线方式与未图示的助听器进行信息的收发。

助听器调整***103中含有的听力判定***104与实施方式1的构成相同。听觉判定***104中含有的呈现语音控制部302与呈现语音控制部11不同，参照调整量DB301，来调整所决定的语音。

调整量DB301存储有与助听器的调整量相关的多个值。例如，图33表示存储在调整量DB301中的数据的例子。图33所示的调整量表示了按照每5dB而变大的声压的值。调整量DB301也可以具有每小于5dB的值的放大量。调整量DB301优选具有用于助听器调整的放大量的值。此外，调整量DB301也可以具有指向性强度、辅音强调、降噪等与助听处理相关的值，更详细来说，也可以具有用于调整助听处理的信息。例如，图34表示存储在调整量DB301中的、用于调整助听处理的信息的例子。在具有助听处理作为与声音处理相关的附加功能的情况下，如图34所示，也可以具有表示指向性强度、辅音强调、降噪的各功能的开启(ON)/关闭(OFF)的信息。在此所说的(1)指向性强度、(2)辅音强调、(3)降噪具有以下的功能。

(1)指向性强度：清晰度本身不发生变化。另一方面，因为音源不同的噪声被降低，所以舒适性提高。

(2)辅音强调：因为增加辅音的频带的增益调整量，所以清晰度提高。另一方面，因为声音本身的频率特性发生变化，所以舒适性降低。

(3)降噪：因为声音信息也与噪声一起被降低，所以清晰度下降。另一方面，嘈杂度降低。

另外，在图34中示出了“开启”或“关闭”这样的文字，但这是一例。调整量DB301也可以保持与“开启”以及“关闭”相对应的数值。例如调整量DB301也可以保持与“开启”相对应的数值“1”、以及与“关闭”相对应的数值“0”。

呈现语音控制部302，参照语音DB12，决定提示给用户2的语音。呈现语音控制部302与呈现语音控制部11不同，对所决定的语音进行调整。具体来说，呈现语音控制部302参照调整量DB301，对所决定的语音进行调整。而且，呈现语音控制部302将与调整后的语音相关的信息发送到听觉刺激提示部5。听觉刺激呈现部5将呈现语音控制部302所调整后的语音呈现给用户2。

调整部303从呈现语音控制部302接收所呈现的语音的信息。在语音的信息中，含有所决定的语音和调整量。调整部303基于存储在听力测量结果DB10中的结果，来判定是否为合适的调整量。在判定为不是合适的调整量的情况下，调整部303参照调整量DB301，指示呈现语音控制部302以不同的调整量进行调整。

在得到了表示嘈杂度高的判定结果的情况下，呈现语音控制部302，例如，以比上次的放大量小的放大量进行调整。

图35是表示在图32的助听器调整***103中进行的整体的处理步骤的流程图。图35所示的流程图，与实施方式1的听力判定***100的流程图(图24)不同，具有步骤S31以及S32。关于公共的构成以及处理动作，援用实施方式1的说明。

在步骤S31中，调整部303参照在步骤S20中保存的结果，来对舒适性以及清晰度进行判定。调整部303在判定为舒适性以及清晰度处于规定的范围内的情况下，判定呈现语音控制部302的调整是合适的并结束处理。另外，此时调整部303，基于被判定为合适的调整量，来对助听器进行调整，或者，也可以将被判定为合适的调整量的信息发送到助听器。

另一方面，在调整部303判定为舒适性以及清晰度的至少任意一方为规定的范围外的情况下，处理进入到步骤S32。调整部303将用于变更调整量的指示输出到呈现语音控制部302。在步骤S32中，呈现语音控制部302接受来自调整部303的指示，参照调整量DB301，读出不同的调整量的信息并变更调整量。

在上述的步骤S32中，在得到了表示嘈杂度高的判定结果的情况下，呈现语音控制部302，例如从调整量DB301读入表示比上次的放大量小的放大量的信息，或者，将降噪设为“开启”。在得到了表示努力性高的判定结果的情况下，呈现语音控制部302，例如从调整量DB301读入比上次的放大量大的放大量的信息，或者，将指向性强度处理设为“开启”。在得到了表示清晰度低的判定结果的情况下，呈现语音控制部302，例如从调整量DB301读入比上次的放大量大的放大量的信息，或者，将辅音强调处理设为“开启”。

之后，处理返回步骤SS11，再次进行测定。

通过以上说明了的构成以及动作，能够调整所决定的语音来进行再次的测定。

工业实用性

根据本发明的听力判定装置以及安装了听力判定装置的听力判定***，听力判定能够在短时间内进行，因此不仅在对身体不自如的用户等长时间的拘束成为很大负担的用户的听力判定中能够利用，而且在对所有人的听力判定中都能够利用。

符号说明

1、102  听力判定装置

2  用户

3  生物体信号测量部

4  听觉刺激呈现部

5  视觉刺激呈现部

6  按语音加法运算部

7  按组加法运算部

8  清晰度判定部

9  舒适性判定部

10  听力判定结果DB

11、302  呈现语音控制部

12  语音DB

41  特征分量判定部

41a  阳性分量判定部

41b  阴性分量判定部

42  判定部

43  基准DB

51  阳性分量判定部

52  判定部

100、101  听力判定***

103  助听器调整***

104  听力判定***

301  调整量DB

303  调整部303

Claims (20)

1.一种判定***，具备：

生物体信号测量部，其测量用户的脑波信号；

呈现语音控制部，其参照保存多个语音的数据以及所述多个语音的至少1个组的数据的语音数据库，来决定呈现给所述用户的语音；

听觉刺激呈现部，其用声音将所决定的所述语音呈现给所述用户；

视觉刺激呈现部，其用文字将所决定的所述语音呈现给所述用户；

按组加法运算部，其参照所述语音数据库，按照每个所述语音的组对所述脑波信号的事件相关电位进行加法运算；

第1判定部，其根据按照每个所述组进行加法运算而得到的所述事件相关电位，按照每个所述组来判定所述用户是否舒适地听到所述语音的舒适性，至少判定所述用户是否努力听到所述语音、或者所述用户是否对所述语音感觉到嘈杂；和

第2判定部，其根据所述事件相关电位，按照每个语音来判定所述用户是否清晰地听到所述语音的清晰性。

2.根据权利要求1所述的判定***，其中，

所述舒适性判定部，基于按照每个所述组进行加法运算而得到的所述事件相关电位，在以从所述听觉刺激呈现部呈现了所述语音的声音的时刻为起点600ms以上900ms以下的范围内是否具有规定的阳性分量，以及在100ms以上300ms以下的范围内是否具有规定的阴性分量，按照每个所述组来判定所述舒适性。

3.根据权利要求2所述的判定***，其中，

所述舒适性判定部具备：

阳性分量判定部，其判定按照每个所述组进行加法运算而得到的所述事件相关电位，在以从所述听觉刺激呈现部呈现了所述语音的声音的时刻为起点600ms以上900ms以下的范围内是否具有规定的阳性分量；

阴性分量判定部，其基于在100ms以上300ms以下的范围内是否具有规定的阴性分量，来判定所述用户是否舒适地听到所述语音；和

判定部，其根据所述阳性分量判定部的判定结果、以及所述阴性分量判定部的判定结果，按照每个所述组来判定所述舒适性。

4.根据权利要求1或2所述的判定***，其中，

所述清晰度判定部，基于按照所述每个语音进行加法运算而得到的所述事件相关电位，以从所述视觉刺激呈现部呈现了所述语音的文字的时刻为起点，在200ms以上400ms以下的范围内或者约400ms以上600ms以下的范围内是否具有规定的阳性分量，按照每个语音来判定所述清晰性。

5.根据权利要求1所述的判定***，其中，

在所述语音数据库中，所述多个语音的每一个，基于预先规定的规则，被分类到所述至少1个组。

6.根据权利要求5所述的判定***，其中，

所述至少1个组，是元音的组、有声辅音的组、无声辅音的组。

7.根据权利要求5所述的判定***，其中，

在所述语音数据库中，所述多个语音的每一个，基于误听产生概率的大小，被分类到所述至少1个组。

8.根据权利要求5所述的判定***，其中，

在所述第1判定部判定所述用户是否努力听到所述语音的情况下，所述至少1个组基于所述语音的频率而被分组。

9.根据权利要求5所述的判定***，其中，

在所述第1判定部判定所述用户是否对所述语音感觉到嘈杂的情况下，所述至少1个组基于所述语音的种类而被分组。

10.根据权利要求5所述的判定***，其中，

所述呈现语音控制部决定呈现给所述用户的语音的呈现次数，

在所述语音数据库中，所述多个语音的每一个，基于语音数被分类到所述多个组，

所述呈现语音控制部，根据所述多个组的语音数，决定所述听觉刺激呈现部所呈现的声音的呈现次数、以及所述视觉刺激呈现部所呈现的文字的呈现次数。

11.根据权利要求1所述的判定***，其中，

所述呈现语音控制部决定呈现给所述用户的语音的呈现次数，

所述听觉刺激呈现部以及所述视觉刺激呈现部，持续呈现所述语音的声音以及文字，直到达到由所述呈现语音控制部决定的所述声音的呈现次数、以及所述文字的呈现次数为止。

12.根据权利要求1或11所述的判定***，其中，

所述呈现语音控制部，决定呈现给所述用户的语音的呈现次数，

所述呈现语音控制部，决定对呈现给所述用户的特定的语音进行多次呈现。

13.根据权利要求12所述的判定***，其中，

所述呈现语音控制部，根据所述用户的脑波信号的大小来决定呈现次数。

14.根据权利要求1所述的判定***，其中，

还具备听力判定结果数据库，所述听力判定结果数据库保存从所述舒适性判定部、以及所述清晰度判定部分别输出的判定结果。

15.根据权利要求1所述的判定***，其中，

还具备按语音加法运算部，所述按语音加法运算部参照所述语音数据库，按照每个语音对所述事件相关电位进行加法运算，

所述清晰度判定部，根据按照每个所述语音进行了加法运算而得到的所述事件相关电位，按照每个语音来判定所述用户是否清晰地听到所述语音的清晰性。

16.一种判定***，具备：

生物体信号测量部，其测量用户的脑波信号；

呈现语音控制部，其参照保存多个语音的数据以及所述多个语音的至少1个组的数据的语音数据库，来决定呈现给所述用户的语音；

听觉刺激呈现部，其用声音将所决定的所述语音呈现给所述用户；

按组加法运算部，其参照所述语音数据库，按照每个所述语音的组对所述脑波信号的事件相关电位进行加法运算；和

舒适性判定部，其根据按照每个所述组进行加法运算而得到的所述事件相关电位，按照每个所述组来判定所述用户是否舒适地听到所述语音的舒适性，并输出判定结果。

17.一种判定***，具备：

呈现语音控制部，其参照保存多个语音的数据以及所述多个语音的至少1个组的数据的语音数据库，来决定呈现给所述用户的语音，并且，按照由听觉刺激呈现部用声音将所决定的所述语音呈现给所述用户，由视觉刺激提示部用文字将所决定的所述语音呈现给所述用户的方式进行控制；

按组加法运算部，其参照所述语音数据库，按照每个所述语音的组对生物体信号测量部所测量出的脑波信号的事件相关电位进行加法运算；

舒适性判定部，其根据按照每个所述组进行加法运算而得到的所述事件相关电位，按照每个所述组来判定所述用户是否舒适地听到所述语音的舒适性，并输出判定结果；和

清晰度判定部，其根据所述事件相关电位，按照每个语音来判定所述用户是否清晰地听到所述语音的清晰性，并输出判定结果。

18.一种助听器调整***，具备：

生物体信号测量部，其测量用户的脑波信号；

呈现语音控制部，其参照保存多个语音的数据以及所述多个语音的至少1个组的数据的语音数据库，来决定呈现给所述用户的语音，并参照包含语音的放大量或用于对助听处理进行调整的信息的调整量数据库，来对所决定的所述语音进行调整；

听觉刺激呈现部，其用声音将调整后的所述语音呈现给所述用户；

视觉刺激呈现部，其用文字将调整后的所述语音呈现给所述用户；

按组加法运算部，其参照所述语音数据库，按照每个所述语音的组来对所述脑波信号的事件相关电位进行加法运算；

第1判定部，其根据按照每个所述组进行加法运算而得到的所述事件相关电位，按照每个所述组来判定所述用户是否舒适地听到调整后的所述语音的舒适性，至少判定所述用户是否努力听到调整后的所述语音、或者所述用户是否对调整后的所述语音感到嘈杂；

第2判定部，其根据所述事件相关电位，按照每个语音来判定所述用户是否清晰地听到调整后的所述语音的清晰性；和

调整部，其在所述第1判定部判定出所述用户没有努力听到调整后的所述语音、或者所述用户对调整后的所述语音不感到嘈杂，并且所述第2判定部判定出所述用户清晰地听到调整后的所述语音的情况下，判定为所述调整量合适。

19.一种判定方法，包含如下步骤：

测量用户的脑波信号的步骤；

参照保存多个语音的数据以及所述多个语音的至少1个组的数据的语音数据库，来决定呈现给所述用户的语音的步骤；

用声音将所决定的所述语音呈现给所述用户的步骤；

用文字将所决定的所述语音呈现给所述用户的步骤；

参照所述语音数据库，按照每个所述语音的组对所述脑波信号的事件相关电位进行加法运算的步骤；

根据按照每个所述组进行加法运算而得到的所述事件相关电位，按照每个所述组来判定所述用户是否舒适地听到所述语音的舒适性，并输出判定结果的步骤；和

根据所述事件相关电位，按照每个语音来判定所述用户是否清晰地听到所述语音的清晰性，并输出判定结果的步骤。

20.一种计算机程序，其由设置在听力判定***中的计算机来执行，

所述计算机程序，使安装在所述听力判定***中的计算机执行如下步骤：

接受测量出的用户的脑波信号的步骤；

参照保存多个语音的数据以及所述多个语音的至少1个组的数据的语音数据库，来决定呈现给所述用户的语音的步骤；

用声音将所决定的所述语音呈现给所述用户的步骤；

用文字将所决定的所述语音呈现给所述用户的步骤；

参照所述语音数据库，按照每个所述语音的组来对所述脑波信号的事件相关电位进行加法运算的步骤；

根据按照每个所述组进行加法运算而得到的所述事件相关电位，按照每个所述组来判定所述用户是否舒适地听到所述语音的舒适性，并输出判定结果的步骤；和

根据所述事件相关电位，按照每个语音判定所述用户是否清晰地听到所述语音的清晰性，并输出判定结果的步骤。

Images