CN113759314A - 一种声源可视化方法、装置、***和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种声源可视化方法、装置、***和计算机可读存储介质，该方法包括：通过麦克风阵列采集的当前环境中的声音，得到待处理声音信息；对待处理声音信息进行定位处理，得到当前环境中声源的位置信息；将控制指令发送至激光模块，以使得激光模块发光且指向声源所在的位置。通过上述方式，本申请能够实现声源的位置可视化。

Description

一种声源可视化方法、装置、***和计算机可读存储介质

技术领域

本申请涉及声源定位技术领域，具体涉及一种声源可视化方法、装置、***和计算机可读存储介质。

背景技术

在气体泄漏的检测中，可以通过超声波来定位气体泄漏的位置，但是声学成像技术仅实时展示视频画面与声像图/热像图叠加的效果，当管道体型较大或者管道大量铺设时，由于周围环境没有参照物，需要反复对比视频画面中泄漏点的位置和现实的位置，不容易在现实中找到真正的泄漏点，甚至需要增加参考物才能在现实中找到气体泄漏点。

发明内容

本申请提供一种声源可视化方法、装置、***和计算机可读存储介质，能够实现声源的位置可视化。

为解决上述技术问题，本申请采用的技术方案是：提供一种声源可视化方法，该方法包括：通过麦克风阵列采集的当前环境中的声音，得到待处理声音信息；对待处理声音信息进行定位处理，得到当前环境中声源的位置信息；将控制指令发送至激光模块，以使得激光模块发光且指向声源所在的位置。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种声学成像装置，该声学成像装置包括麦克风阵列、处理模块以及激光模块，麦克风阵列用于采集当前环境中的声音，得到待处理声音信息；处理模块与麦克风阵列连接，用于对待处理声音信息进行定位处理，得到声源的位置信息；激光模块与处理模块连接，用于基于声源的位置信息，发光且指向声源所在的位置。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种声学成像***，该声学成像***包括互相连接的声学成像装置与激光设备，声学成像装置用于对激光设备进行控制，声学成像装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的声源可视化方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的声源可视化方法。

通过上述方案，本申请的有益效果是：先利用麦克风阵列采集当前环境中的所有声音，得到待处理声音信息；然后采用声源定位方法对待处理声音信息进行声源定位处理，得到当前环境中声源的位置信息；然后生成一控制指令，并将该控制指令发送至激光模块，激光模块在接收到该控制指令后发射激光，且激光指向声源所在的位置；通过将麦克风阵列与激光模块结合，使得激光模块发出的激光能够直接射向当前环境中声源所在的位置，使得声源的位置可视化，方便用户查看。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的声源可视化方法一实施例的流程示意图；

图2是本申请提供的声源可视化方法另一实施例的流程示意图；

图3是本申请提供的声学成像装置一实施例的结构示意图；

图4是本申请提供的声学成像***一实施例的结构示意图；

图5是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

对于气体泄露的检测来说，相关技术中有些方案通过分析气体管道外部是否存在被测气体的成分，来确定该气体是否泄漏；有些方案通过红外热成像技术来定位气体泄漏的位置，因为气体泄漏通常伴随着温度的变化；还有一些方案通过超声波来定位气体泄漏的位置。在这些方案中，分析气体成分的方式无法确定气体泄漏的位置，红外热成像与声学成像可以在视频画面中显示气体泄漏位置，但是声学成像技术仅实时展示视频画面与声像图/热像图叠加的效果，存在以下缺点：虽然两者都可以在视频画面中看到泄漏点，但是当管道体型较大或者管道大量铺设时，只结合视频画面不容易在现实中对应找到真正的泄漏点。

基于上述问题，本申请提供了一种利用激光的指向性在现实中明确声源位置的方案，本申请所提供的方案涉及声学成像领域以及激光领域，声学成像技术利用麦克风阵列技术确定声源位置，将麦克风阵列技术与摄像头结合，通过图像的方式展示声源的分布状态，图像中以颜色和亮度表示声音的强弱，能够帮助人们快速定位声源的位置，解决人耳定位声音能力有限的问题；激光是使用振荡器将光放大后获得的人工光源，激光的指向性、收束性优异，且抗干扰性强。通过将声学成像技术与激光技术结合，能够使得声源的位置更加明确，方便用户查看声源所处的位置，以便进行后续的维修以及管理等操作，下面对本申请所采用的技术方案进行详细描述。

请参阅图1，图1是本申请提供的声源可视化方法一实施例的流程示意图，该方法包括：

步骤11：通过麦克风阵列采集的当前环境中的声音，得到待处理声音信息。

可接收音频采集设备发送的待处理声音信息，该音频采集设备可以为麦克风阵列，或者从存储当前环境的声音的存储设备中读取待处理声音信息，该待处理声音信息为对当前所处的环境中的声音进行采集得到的信息。例如，以管道检测为例，待处理声音信息可以包括气体泄露的声音；或者，以会话场景为例，待处理声音信息可以包括参加会话的人员说话的声音。

步骤12：对待处理声音信息进行定位处理，得到当前环境中声源的位置信息。

在获取到待处理声音信息之后，可采用声源定位方法对待处理声音信息进行声源定位处理，以找到当前场景中发出声音的声源所在的位置，该声源定位方法为现有的方法，本实施例不作阐述。

步骤13：将控制指令发送至激光模块，以使得激光模块发光且指向声源所在的位置。

在检测出当前环境中声源的位置之后，可生成一个控制指令，并将该控制指令发送至激光模块；具体地，该控制指令包括激光模块需要发光且转动到设定位置的信息，设定位置为激光模块发出的激光能够照射到声源的位置，激光模块包括底座与设置于底座上的激光器，激光模块在接收到控制指令后，底座旋转至与声源相应的位置，激光器发出激光，射向声源所在的位置，实现在当前应用场景中将声源的位置通过激光照射显示出来，方便用户直观地找到声源的位置，比如：检测人员能够通过激光落在管道上的光斑快速找到漏气的位置，从而进行管道的维修，提升管道的安全性。

请参阅图2，图2是本申请提供的声源可视化方法另一实施例的流程示意图，该方法包括：

步骤21：通过麦克风阵列采集的当前环境中的声音，得到待处理声音信息。

待处理声音信息包括多帧音频数据，利用麦克风阵列对当前环境中的声音进行采集，能够得到音频数据。

步骤22：对待处理声音信息进行定位处理，得到当前环境中声源的位置信息。

通过声源定位方法对当前输入的音频数据(即一帧音频)进行声源定位处理，得到当前音频数据中声源所在的位置，并记录声源的位置信息，该位置信息包括声源相对于麦克风阵列的俯仰角与方位角。

步骤23：判断在连续预设数量帧音频数据中声源是否均处于预设范围。

判断当前帧音频数据中声源的位置信息与上一帧音频数据中声源的位置信息之间的差值是否落在预设差值范围内；若当前帧音频数据中声源的位置信息与上一帧音频数据中声源的位置信息之间的差值落在预设差值范围内，则确定当前帧音频数据中的声源与上一帧音频数据中的声源为同一声源。连续执行上述的判断操作预设数量次，如果连续预设数量次当前帧音频数据中的声源与上一帧音频数据中的声源均为同一声源，则表明在连续预设数量帧音频数据中声源均处于预设范围。可以理解地，预设数量与预设范围可以由用户根据应用需求进行配置。

进一步地，预设差值范围包括第一差值范围与第二差值范围，判断当前帧音频数据中声源的俯仰角与上一帧音频数据中声源的俯仰角之间的差值是否落在第一差值范围内，并判断当前帧音频数据中声源的方位角与上一帧音频数据中声源的方位角之间的差值是否落在第二差值范围内；若当前帧音频数据中声源的俯仰角与上一帧音频数据中声源的俯仰角之间的差值落在第一差值范围内，且当前帧音频数据中声源的方位角与上一帧音频数据中声源的方位角之间的差值落在第二差值范围内，则表明这两帧音频数据中的声源为同一个声源。

步骤24：若在连续预设数量帧音频数据中声源均处于预设范围，则生成控制指令，并将控制指令发送至激光模块，以使得激光模块发光且指向声源所在的位置。

如果连续预设数量帧音频数据中声源的位置都相同，则表明预设范围内存在一个声源，此时可生成控制指令，并将该控制指令发送至激光模块，使得激光模块发出的激光指向该声源所在的位置，以进行现实中的定位。

步骤25：在连续预设数量帧音频数据中的声源未均处于预设范围时，判断是否接收到选择指令。

如果在连续预设数量帧音频数据中声源未均处于预设范围，即至少一帧音频数据中的声源未处于预设范围，则表明声源存在于至少两个位置，可以确定当前环境中存在至少两个声源，此时可由用户来指定激光模块发出的激光射向哪个声源，即判断是否接收到用户下发的选择指令，该选择指令包括激光模块所指向的声源的信息。例如，可以在显示界面上提供选择选项供用户选择，当用户点击显示界面上与声源匹配的选项后，生成选择指令。

可以理解地，还可以采用其他手段来确定激光模块发出的激光所指向的声源，比如：按照声源的分贝数来选择，选择声源的分贝数最大的作为激光模块发出的激光所指向的声源。

步骤26：若接收到选择指令，则控制激光模块指向与选择指令匹配的声源所在的位置。

在接收到用户下发的选择指令后，可生成一控制指令，并将该控制指令发送至激光模块，使得激光模块发出的激光指向用户所选择的声源。

步骤27：判断是否满足预设定位结束条件。

在激光模块发出的激光指向某个声源所在的位置之后，可继续进行检测，判断是否满足预设定位结束条件；若判断出满足预设定位结束条件，则结束定位；若判断出不满足预设定位结束条件，则执行通过麦克风阵列采集的当前环境中的声音，得到待处理声音信息，即返回执行步骤21，直至满足预设定位结束条件。

进一步地，可判断是否接收到用户下发的结束指令，该结束指令用以表示结束对声源的定位，如果接收到该结束指令，则表明用户想要结束定位，确定满足预设定位结束条件。可以理解地，还可采用其他手段来判定是否满足预设定位结束条件，比如，设置一预设定位时长，判断是否达到预设定位时长，如果定位开始的时刻与当前时刻之间的时间差已经达到该预设定位时长，则表明当前满足预设定位结束条件，结束定位。

本实施例提供了一种基于激光的指向性来对声源位置进行显示的方法，利用麦克风阵列进行声源定位，在定位完成后使用激光模块发射的激光指向声源的实际位置，实现在现实中利用激光的指向性明确声源位置，方便用户找到声源所在的位置。

请参阅图3，图3是本申请提供的声学成像装置一实施例的结构示意图，声学成像装置30包括麦克风阵列31、处理模块32与激光模块33。

麦克风阵列31用于采集当前环境中的声音，得到待处理声音信息；处理模块32用于对待处理声音信息进行定位处理，得到当前环境中声源的位置信息，声源的位置信息可以是声源相对于声学成像装置30的方位和/或距离。声源的绝对位置不变，而声学成像装置30获取到的声源的位置信息可能因为声学成像装置30本身的移动而发生改变。

进一步地，如图3所示，声学成像装置30还包括摄像模块34与显示模块35，摄像模块34与处理模块32连接，其用于对当前场景进行拍摄，得到视频数据，并将视频数据传输至处理模块32，以使得处理模块32对视频数据与声源的位置信息进行叠加，得到待显示数据，该待显示数据包括视频数据中的显示画面与声源的位置信息。显示模块35与处理模块连接，其用于显示处理模块32发送的待显示数据，以实时显示声源的位置与当前场景的画面。

激光模块33用于基于声源的位置信息，发光且指向声源所在的位置，具体地，在完成声源定位后，处理模块32生成一控制指令并发送至激光模块33，控制激光模块33根据定位到的方向发射激光，使得声源的位置能够被用户直观看到。

在一些实施例中，当用户手持声学成像装置30，在激光的引导下向声源移动时，声源可能会持续发声，定位可以持续进行并更新声源的位置信息，激光模块33可以实时根据声源的位置信息改变方位，保证一直朝向声源的方位。在另一些实施例中，声源可能会停止发声，在声源停止发声后，为了实现对声源的定位，可设置一加速度传感器33，即声学成像装置30还包括加速度传感器33，加速度传感器33与处理模块32连接，加速度传感器33用于获取声学成像装置30的位移信息，加速度传感器33可以为陀螺仪或其他能够实现定位的设备。处理模块32基于声学成像装置30的位移信息与上次获取到的声源的位置信息，计算更新后的声源的位置信息(即声源相对于移动后的声学成像装置30的方位信息)，声学成像装置30可以为声学成像仪。

例如，假设在第T1秒声源发出声音，处理模块32计算出声源的位置信息，记作G1；但在第(T1+5)秒声源停止发声，即当前环境中的声音消失，此时处理模块32可向加速度传感器33发送触发信号，以使得加速度传感器33工作，得到当前声学成像装置30的位置信息，记作G2；处理模块32利用位置信息G1与位置信息G2重新计算声源相对于声学成像装置30的俯仰角与方位角，得到当前声源的位置信息，记作G3；此时处理模块32可以根据位置信息G3控制激光模块33的发射角度，使得激光模块33出射的激光射向声源所在的位置，实现在当前环境中的声音消失后也能直观看到声源的位置。

请参阅图4，图4是本申请提供的声学成像***一实施例的结构示意图，声学成像***40包括互相连接的声学成像装置41与激光设备42，声学成像装置41用于对激光设备42进行控制，声学成像装置41包括互相连接的存储器411和处理器412，存储器411用于存储计算机程序，计算机程序在被处理器412执行时，用于实现上述实施例中的声源可视化方法，激光设备42为上述实施例中的激光模块。

请参阅图5，图5是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质50用于存储计算机程序51，计算机程序51在被处理器执行时，用于实现上述实施例中的声源可视化方法。

计算机可读存储介质50可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种声源可视化方法，其特征在于，包括：

通过麦克风阵列采集当前环境中的声音，得到待处理声音信息；

对所述待处理声音信息进行定位处理，得到所述当前环境中声源的位置信息；

将控制指令发送至激光模块，以使得所述激光模块发光且指向所述声源所在的位置。

2.根据权利要求1所述的声源可视化方法，其特征在于，所述待处理声音信息包括多帧音频数据，所述将控制指令发送至激光模块的步骤之前，包括：

判断在连续预设数量帧所述音频数据中声源是否均处于预设范围；

若是，则生成所述控制指令。

3.根据权利要求2所述的声源可视化方法，其特征在于，所述判断在连续预设数量帧所述音频数据中声源是否均处于预设范围的步骤，包括：

判断当前帧音频数据中声源的位置信息与上一帧音频数据中声源的位置信息之间的差值是否落在预设差值范围内；

若是，则确定所述当前帧音频数据中的声源与所述上一帧音频数据中的声源为同一声源。

4.根据权利要求3所述的声源可视化方法，其特征在于，所述位置信息包括所述声源相对于所述麦克风阵列的俯仰角与方位角，所述预设差值范围包括第一差值范围与第二差值范围，所述判断当前帧音频数据中声源的位置信息与上一帧音频数据中声源的位置信息之间的差值是否落在预设差值范围内的步骤，包括：

判断所述当前帧音频数据中声源的俯仰角与所述上一帧音频数据中声源的俯仰角之间的差值是否落在所述第一差值范围内，且所述当前帧音频数据中声源的方位角与所述上一帧音频数据中声源的方位角之间的差值是否落在所述第二差值范围内。

5.根据权利要求2所述的声源可视化方法，其特征在于，所述方法还包括：

在连续预设数量帧所述音频数据中的声源未均处于所述预设范围时，确定所述当前环境中存在至少两个声源；

判断是否接收到选择指令，所述选择指令包括所述激光模块所指向的声源的信息；

若是，则控制所述激光模块指向与所述选择指令匹配的声源所在的位置。

6.根据权利要求1所述的声源可视化方法，其特征在于，所述方法还包括：

判断是否满足预设定位结束条件；

若否，则返回所述通过麦克风阵列采集的当前环境中的声音，得到待处理声音信息的步骤。

7.根据权利要求6所述的声源可视化方法，其特征在于，所述判断是否满足预设定位结束条件的步骤，包括：

判断是否接收到结束指令或是否达到预设定位时长。

8.一种声学成像装置，其特征在于，包括麦克风阵列、处理模块以及激光模块，所述麦克风阵列用于采集当前环境中的声音，得到待处理声音信息；所述处理模块与所述麦克风阵列连接，用于对所述待处理声音信息进行定位处理，得到声源的位置信息；所述激光模块与所述处理模块连接，用于基于所述声源的位置信息，发光且指向所述声源所在的位置。

9.根据权利要求8所述的声学成像装置，其特征在于，

所述声学成像装置还包括加速度传感器，所述加速度传感器用于获取所述声学成像装置的位移信息；所述处理模块在所述声源停止发声后，基于所述声学成像装置的位移信息与所述声源的位置信息，确定更新后的所述声源的位置信息。

10.一种声学成像***，其特征在于，包括互相连接的声学成像装置与激光设备，所述声学成像装置用于对所述激光设备进行控制，所述声学成像装置包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-7中任一项所述的声源可视化方法。

11.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-7中任一项所述的声源可视化方法。

Images