CN109616122A - 一种可视化助听器 - Google Patents

Abstract

一种视觉助听器，旨在通过语音识别和合成技术为听力受损人员提供一种可以看到对话者语音所识别出来的文字及声源的相对位置，了解对话者的意图，播放自己的回复文字的语音来完成与其他人的语音交流的过程。它包含声音采集部件、语音文字显示部件。声音采集部件为一可穿戴式的多麦克风装置，用来采集、提取周围人的语音信息和声源的相对位置信息。语音文字显示部件对采集来的声音信息进行语音识别，并将识别后的文字显示出来，同时对首选对话者的语音的文字突出显示。显示可用的回复文字，然后播放使用者选择或编辑的应答文字的语音，让对话者听到回应语音。从而帮助听力受损人员完成较为自然快速的与对话者进行语音交流沟通的过程。

Description

一种可视化助听器

技术领域

助听器通过处理捕获到的声音，在经过降低噪声、回声消除处理后，为使用者放大声音，以使听觉受损者可以听清楚声音。

背景技术

现有的助听器无法为完全没有听觉的聋哑人提供帮助。

现有的助听器在有嘈杂的环境噪音或多人同时说话的情况下表现不佳，无法完全屏蔽周围环境的噪音，也无法屏蔽周围其他无关人士的语音，无法让使用者通过助听器锚定对话者的语音，也是现有的助听器存在的一个主要问题。

现有的助听器没有提供让使用者通过助听器发出回复语音的功能，这种情况下，现有的助听器只能完成单方向的助听的功能，而无法提供更进一步的帮助发音困难或有发音障碍的人士通过设备发声进行回复的功能。

发明内容

根据本发明构思的一个示例性实施方式，可视化的视觉助听器包括：声音采集部件，其为一个便携式或可穿戴式的多麦克风设备，其将收集到的声音经过降低噪音、消除回声、识别出周围人的语音信号、分离提取为多路独立语音信号、计算各路语音的声源相对于声音采集部件的距离和位置后，将各路语音信号和其声源相对于声音采集部件的位置信息由数据链路传输给语音文字显示部件；语音文字显示部件包含主控电路、扬声器、显示屏幕和处理软件；显示屏幕的显示界面上包含第一显示区域、第二显示区域和第三显示区域。主控电路和处理软件将接收到的多路语音信号识别为文字信息；处理软件将每路语音信号对应的文字信息按其声源相对于声音采集部件的相对位置和距离按比例显示在第一显示区域内。这使得听觉受损人士可以看到周边其他人的声音对应的文字，知晓其他人的说话意图。

本发明被设计用来为听觉严重受损人士的日常生活服务，其声音采集部件为一便携式或可穿戴式设备。在日常使用中，使用者可随身携带或穿戴声音采集部件，声音采集部件的位置就是携带者或穿戴者的身***置，声音采集部件的正面朝向就是携带者或穿戴者的正面方向。

声音采集部件可作为便携式或可穿戴式设备通过数据链路向语音文字显示部件发送语音信号和语音信号的声源相对于声音采集部件的位置信息，也可作为配件附着于语音文字显示部件。

当语音文字显示部件仅接收到一路语音信号时，处理软件将该路语音信号作为首选语音，将该首选语音识别出来的文字按每次接收该语音信号的时间顺序突出地显示在第二显示区域。

当语音文字显示部件接收到多于一路的语音信号时，处理软件会选择声源距声音采集部件的携带者或穿戴者正面最近、声源距声音采集部件的携带者或穿戴者的正前方区域距离最近、声音强度最高的语音作为首选语音，并将该首选语音识别出的文字按每次接收该语音信号的时间顺序依次突出地显示在第二显示区域内。

当声音采集部件的携带者或穿戴者的位置发生变化或周围人的语音的声源位置、声音强度发生变化后，所述的处理软件会根据上述选择首选语音的条件重新评估并选择最符合条件的语音作为首选语音，并将该首选语音识别出来的文字按每次接收该语音信号的时间顺序依次突出地显示在第二显示区域。

使用者可以选择第一显示区域内任意一处显示的文字信息，处理软件会将使用者选择的文字信息对应的语音作为首选语音，将该首选语音被识别出来的文字按每次接收该语音信号的时间顺序依次突出地显示在第二显示区域。在可以收集到该语音的声音信号情况下，即使声音采集部件本身的位置发生了改变，或有其它语音处于更优先被选择为首选语音的条件时，处理软件保持将上述使用者选择的语音作为首选语音，直到使用者重新选择了其他的语音。这让使用者可以方便的与对话者交流，在使用者身体的动作变化引起携带或穿戴的声音采集部件的位置变化时，在周边环境有多人同时说话时，在对话者本身位置发生变动时，这可让使用者锚定与其对话者的语音，在对话双方位置变化或其他人的语音的变化时，在第二显示区域保持仅显示与其对话者的语音被识别出来的文字。

处理软件根据当前对话过程中的对话双方最大单轮交互对话过程所用时间设置并动态调整最大单轮对话周期时长数据，声音采集部件若在当前最大单轮对话周期时长内未能采集到当前首选语音的语音信号，处理软件则认为当前首选语音已经彻底消失，会按上述选择首选语音的条件重新选择新的首选语音，并将重新选择的首选语音识别出的文字突出显示在显示屏幕的第二显示区域内。

处理软件在重新选择首选语音或使用者选择了首选语音后，会先清空第二显示区域内的原有文字。

处理软件在分析第二显示区域中最新增加显示的文字内容后，给出一到多条可选的最优匹配的回应文字信息显示在第三显示区域内，所给出的回应文字信息是针对对话者文字信息及其上文信息的最常用的语音回应的文字信息；首选语音的本次文字和其上文内容若与此前对话过程中的文字和其上文内容相同或语义近似，处理软件会将使用者此前选择、编辑或输入过的对应的回应信息置于最优先选择的位置；使用者可直接选择相应条目的回应文字信息，或选择编辑修改相应条目的回应文字信息，或直接输入回应文字信息，处理软件将选择、编辑修改或直接输入的回应文字信息合成为语音通过扬声器播放。播放完毕后主控电路会发出短暂轻微的震动或灯光闪烁向使用者表明语音回复已经播放完毕。这个过程可让其他人听到使用者的语音回复，让发音困难或有发音障碍的人士也能使用语音向其他人表达自己的意思，提高了双方交流对话的速度，而且过程自然方便。

有益效果

根据本发明构思，视觉助听器可以使听觉受损人士在第一显示区域看到其周围的说话者的语音的文字信息，当听觉受损人士周围有人要和其进行对话时，这可以让听觉受损人士有机会知道周围有人需要和其进行对话交流。

根据本发明构思，视觉助听器可以使听觉受损人士看到与其对话者所说的语音的文字信息，这可以让听觉受损人士和与其对话者之间的对话交流过程变的更加快速、容易而且自然。

根据本发明构思，在语音文字显示部件仅接收到一路语音信号时，会自动将该路语音信号被识别出来的文字显示在第二显示区域。在较安静的环境下，当使用者周围仅有一个人说话时，这可让使用者在不做任何选择和设置的情况下，立即了解对话者所说语音的文字信息和意图。

根据本发明构思，在语音文字显示部件接收到多于一路语音信号时，处理软件会选择距声音采集部件的携带者或穿戴者正面最近、距声音采集部件的携带者或穿戴者正前方区域距离最近、声音强度最高的语音作为首选语音，并持续将所述的首选语音识别出的文字显示在第二显示区域内。在有多人说话的环境下，对话者自然地相对于使用者的位置和对话者的自然地声音强度会使对话者的语音最大概率的处于上述选择首选语音的最优先选择的条件中；这让使用者在有多人同时说话的环境下，在不做任何选择和设置的情况下，仅通过使用者的身***置和朝向的调整就可立即选中或重新选择希望的对话者。这种选择方式非常的自然直观，在多人说话的环境下将让使用者非常自然、方便、高效的进行对话交流。

根据本发明构思，在使用者选择了第一显示区域中所显示的文字对应的声源位置的语音作为首选语音后，即便在声音采集部件的位置发生变化的情况下，或周围人员的位置或语音强度发生变化的情况下，处理软件仍将使用者选择的语音作为首选语音来显示。这让使用者在使用时，不会因为肢体动作引起声音采集部件位置的变化而重新选择语音或无法选择语音，这就不会影响使用者在对话的过程中进行正常的肢体动作；不会因为对话者在对话空间内的移动而重新选择首选语音；不会因为周围无关的人士大声说话或说话中靠近使用者而重新选择首选语音。这为使用者提供了一种锚定对话者及其语音的功能，这为使用者在嘈杂且有竞争性语音存在的环境下提供了方便的选择对话者的手段。

根据本发明构思，处理软件会将首选语音的文字信息持续不断地依次突出显示在第二显示区域内，这可让使用者随时看到对话者前面所讲的语音的文字信息，从而让使用者更加方便快捷的了解对话者的整体意图。

根据本发明构思，处理软件根据当前对话过程中的对话双方最大单轮交互对话过程所用时间设置并动态调整最大单轮对话周期时长数据，当声音采集部件在该最大单轮对话等待时长内未能采集到所述首选语音的语音信号后，处理软件将重新选择首选语音；这可让使用者在与当前对话者对话结束后，自然重新选择其他人的语音作为首选语音而不用做任何其他设置或选择动作。

根据本发明构思，在每次将首选语音的最新文字信息显示在第二显示区域后，处理软件会分析该文字信息及其上文信息，在第三显示区域上显示最常用的一条或多条可选的回应文字，所显示的回应文字是针对对话者文字信息及其上文信息的最常用的回应信息；首选语音的本次文字和其上文内容若与之前的文字和其上文内容相同或语义近似，处理软件会将使用者此前选择、编辑或输入过的对应的回复信息处于最优先选择的位置；这可让使用者更快速的选择或编辑回应信息，减少编辑回应文字占用的时间；用户选择、编辑修改或直接输入的回应文字由主控电路合成为语音通过扬声器播放；播放完毕后，语音文字显示部件会发出短暂轻微的震动或灯光闪烁以表示语音回答已播放完成。这可让无法发音或发音困难的人士在对话交流过程中发出声音，达到类似开口说话的功能。让无法发音或发音困难的人士在对话过程中可以不再依赖于手语、文字书写等低效交流手段，实现人与人之间的语音对话交流。

附图说明

附图1是根据本发明构思的一个示例性实施方式的可视化的视觉助听器的各工作部件之间的连接及工作位置图。

附图标记:声音采集部件10，语音文字显示部件20，扬声器21，显示屏幕22，第一显示区域30，第二显示区域31，第三显示区域32，数据链路40。

具体实施方式

下文将参考附图更充分的描述各种示例性实施方式，其中示出了一些示例性实施方式。然而，本发明构思可以有许多不同的形式来体现，并且不应该被解释为局限于这里阐述的示例性实施方式。

本发明的示例性实施方式详细说明本发明构思的理想化示例性实施方式。因此，可以进行示图的各种变化。示例性实施方式不限制于附图并且包括部件的外形和部件之间连接关系的变化。

下文中，根据本发明构思的示例性实施方式，将参考图1描述可视化的视觉助听器。

如附图1所示，可视化视觉助听器包括声音采集部件10，其为一便携式或可穿戴式多麦克风设备，用于采集声音，对采集的声音进行降低噪音、消除回声、识别不同的声源，识别分离出所采集到的声音中包含的所有不同人的各路独立语音信号，计算出各路语音的声源相对于声音采集部件10的位置，将识别出的各路语音信号及其声源相对于声音采集部件10的位置信息通过数据链路40传输给语音文字显示部件20。

语音文字显示部件20是一个便携式电子设备，其包括扬声器21，显示屏幕22和处理软件。显示屏幕22的显示界面上包含有：第一显示区域30,第二显示区域31和第三显示区域 32。

主控电路位于语音文字显示部件的内部，其通过数据链路40接收到声音采集部件10发送的一路或多路独立语音信号及其声源相对于声音采集部件10的位置信息，处理软件识别出每路语音中所表达的文字。处理软件将识别后的文字按文字对应的语音的声源相对于声音采集部件10的相对位置和距离按比例显示在第一显示区域30的相应位置。当有多路独立语音同时显示时，为了在第一显示区域30中尽可能多的显示每路语音的文字，较长的文字信息将仅显示一部分或进行滚动显示，以缩小显示每路语音所需要占用的屏幕面积。

主控电路仅接收到一路语音信息时，处理软件将该语音作为首选语音；主控电路每次接收完该语音信号后，处理软件识别出该语音信号的文字并按主控电路接收到该语音的时间顺序依次将识别出的文字突出地显示在第二显示区域31内。

主控电路接收到多于一路语音信号时，处理软件会选择距声音采集部件的携带者或穿戴者正面最近、距声音采集部件的携带者或穿戴者正前方区域距离最近、声音强度最高的语音作为首选语音；在主控电路每次接收该首选语音信号后，处理软件识别出该首选语音的文字并将该文字按主控电路接收到该语音的时间顺序依次突出地显示在第二显示区域31内。

当声音采集部件10的携带者或穿戴者的身***置发生变化、对话者的位置或声音强度发生变化、周围其他说话的人的位置或声音强度发生变化，处理软件会重新选择最优先满足上述选择条件的语音作为首选语音，并在每次接收完该首选语音信号后，将该首选语音识别出的文字按主控电路每次接收到该首选语音的时间顺序依次突出地显示在第二显示区域31内。

使用者选择第一显示区域30内显示的任意一路语音的文字，使该语音成为首选语音；主控电路在每次接收该首选语音后，处理软件识别出该首选语音的文字并按主控电路接收到该语音的时间顺序依次突出地显示在第二显示区域31中。

使用者选择了首选语音后，在使用者重新选择其它语音作为首选语音之前，该语音将一直作为首选语音。

使用者选择了首选语音后，在该首选语音彻底消失之前，该语音将一直作为首选语音。

处理软件根据当前对话过程中的对话双方最大单轮交互对话过程所用时间设置最大单轮对话周期时长数据，并动态调整该数据，声音采集部件10在***设置的最大单轮对话周期时长内未能采集到首选语音的语音信号后，则认为当前语音对话过程已经结束，处理软件会按上述选择首选语音的条件重新选择新的首选语音，并将重新选择的首选语音识别出的文字依次突出显示在显示屏幕的第二显示区域内。

处理软件在第二显示区域31中每次添加显示新的文字时，会查找该文字及其相关上文最可能匹配的回应文字，并将查找到的回应文字信息按条显示在第三显示区域32中；首选语音的本次文字和其上文内容若与此前对话过程中的文字和其上文内容相同或语义近似，处理软件会将使用者此前选择、编辑或输入过的对应的回复信息处于最优先选择的位置；使用者可以点击选择或编辑修改回应内容条目，也可直接输入与现有回应文字无关的新的回应文字；处理软件将上述选择、编辑修改或输入的回应内容的文字合成为语音由主控电路通过扬声器 21播放；播放完毕后，主控电路会发出短暂轻微的震动或短暂的灯光闪烁以表明回应文字已播放完毕。

Claims (6)

1.一种视觉助听器，包含声音采集部件、语音文字显示部件和数据链路，所述的语音文字显示部件包括主控电路、扬声器、显示屏幕和处理软件；所述的显示屏幕的显示界面上包含第一显示区域、第二显示区域和第三显示区域；其特征在于，所述的声音采集部件为一个便携式或可穿戴式的多麦克风设备，所述的声音采集部件由采集到的声音中识别出周围人的语音信号，将每个人的语音信号分离提取为独立语音信号，计算每路所述独立语音信号的声源相对于所述声音采集部件的位置，将提取出的每路所述独立语音信号及其声源相对于所述声音采集部件的位置信息由所述的数据链路传输给所述的语音文字显示部件；所述的主控电路接收每路所述语音信号及其声源相对于所述声音采集部件的位置信息，所述处理软件识别每路所述的语音信号的文字信息，将识别出来的所述的文字信息按其声源相对于所述声音采集部件的位置及距离按比例显示在所述的第一显示区域上；所述处理软件由所述的语音信号中选择其中一路语音信号被识别出来的文字突出地显示在所述的第二显示区域内；所述处理软件根据第二显示区域内的最新文字及其相关上文内容提供一条或多条可选可编辑的最优匹配的回应内容显示在所述的第三显示区域内，用户选择、编辑或直接输入回应内容后，所述处理软件将回应内容合成为语音由所述扬声器播放。

2.根据权利要求1所述的一种视觉助听器，其特征在于，所述的语音文字显示部件在仅接收到一路语音信号及其位置信息时，所述的处理软件将所述的语音信号作为首选语音，所述的处理软件将所述的首选语音被识别出的文字按所述主控电路每次接收所述的首选语音信号的时间顺序依次突出地添加显示在所述的第二显示区域。

3.根据权利要求1所述的一种视觉助听器，其特征在于，所述的语音文字显示部件在接收到多于一路语音信号及其位置信息的情况下，所述的处理软件选取所述语音的声源位置位于所述的声音采集部件的携带者或穿戴者的正面距离最近、所述语音的声源位置距所述的声音采集部件的携带者或穿戴者正前方区域距离最近、所述语音的声音强度最高的语音作为首选语音，所述的处理软件将所述的首选语音被识别出的文字按所述的主控电路每次接收所述的首选语音信号的时间顺序突出地显示在所述的第二显示区域。

4.根据权利要求1所述的一种视觉助听器，其特征在于，在使用者选择所述的第一显示区域中显示的任何一处文字信息后，所述的处理软件选取所述使用者选择的文字对应的语音作为首选语音，所述的处理软件将所述的首选语音识别出的文字按所述的主控电路每次接收所述的首选语音信号的时间顺序依次突出显示在所述的第二显示区域；进一步地，所述处理软件会一直将所述的语音作为首选语音直到使用者重新选择了其他语音作为新的首选语音。

5.根据权利要求1-4所述的一种视觉助听器，其特征在于，所述处理软件根据当前对话过程中的对话双方最大单轮交互对话过程所用时间设置最大单轮对话周期时长数据，并随对话过程动态调整所述最大单轮对话周期时长数据，所述的声音采集部件在所述的最大单轮对话周期时长内未能采集到所述首选语音的语音信号后，所述的处理软件将重新选择首选语音。

6.根据权利要求1-5所述的一种视觉助听器，其特征在于，所述的处理软件根据所述的第二显示区域中的每条最新文字内容及其相关上文的内容，提供并显示一条到多条最优匹配的回应内容，使用者在选择、或编辑修改、或直接输入回应内容后，所述的处理软件会将所述使用者最终决定的回应内容的文字合成为语音并通过所述的扬声器播放；所述的主控电路在播放完所述的回应内容的文字的语音后进行短暂轻微的震动或灯光闪烁表明所述回应内容的文字的语音已经播放完毕。