CN111614822A - 一种拾音处理方法、终端设备 - Google Patents

Abstract

本发明实施例公开了一种拾音处理方法，应用于终端设备，所述终端设备至少包括第一声音采集器和第二声音采集器，所述方法包括：检测所述终端设备的拾音关联参数；根据所述拾音关联参数从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器；调用所述目标声音采集器采集声音。本申请实施例可在至少两个声音采集器中智能选择目标声音采集器采集声音，实现了准确的声音采集过程。

Description

一种拾音处理方法、终端设备

技术领域

本发明涉及电子信息领域，尤其涉及一种拾音处理方法、终端设备。

背景技术

随着电子技术的智能化发展，移动终端在人们日常生活也越来越重要。用户在接听电话、语音、视频等过程中都需要进行声音采集，同时用户对通话中、语音或视频过程中所采集的声音信号的要求也越来越高，从而，如何在终端设备中设计更好的拾音方案成为研究的热点问题。

发明内容

本发明实施例提供一种拾音处理方法、终端设备，可在终端设备中更好地采集声音。

一方面，本发明实施例提供了一种拾音处理方法，该方法应用于终端设备，所述终端设备至少包括第一声音采集器和第二声音采集器，包括：

检测所述终端设备的拾音关联参数；

根据所述拾音关联参数从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器；

调用所述目标声音采集器采集声音。

另一方面，本发明实施例提供了一种终端设备，包括屏幕，所述屏幕的屏体结构至少包括第一屏幕层、第二屏幕层，所述终端设备还包括：声音采集器；

所述声音采集器包括振膜、声音信号处理组件；

所述振膜设置于所述第一屏幕层和第二屏幕层之间，所述振膜是根据所述第一屏幕层传递的声音振动而产生形变，所述声音采集器是基于所述振膜产生的形变检测得到声音信号。

又一方面，本发明实施例提供了一种数据处理装置，包括：

检测模块，用于检测所述终端设备的拾音关联参数；

选择模块，用于根据所述拾音关联参数从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器；

声音采集模块，用于调用所述目标声音采集器采集声音。

又一方面，本发明实施例提供了另一种终端设备，包括第一声音采集器、第二声音采集器、处理器、存储器和用户接口，所述处理器、所述存储器和所述用户接口相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述所述拾音处理方法。

再一方面，本发明实施例提供了一种计算机存储介质，包括：所述计算机存储介质中存储有程序指令，所述程序指令被处理器执行时，实现上述所述拾音处理方法。

本发明实施例中，通过检测所述终端设备的拾音关联参数，该终端设备至少包括第一声音采集器和第二声音采集器，然后对拾音关联参数进行分析，根据分析结果从第一声音采集器和第二声音采集器中一个声音采集器作为目标声音采集器，并调用该目标声音采集器采集声音。通过上述过程可在至少两个声音采集器中智能的选择目标声音采集器采集声音，实现了准确的声音采集过程。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1是本申请实施例提供的一种拾音处理方法的流程图；

图2a是本申请实施例提供的另一种拾音处理方法的流程图；

图2b是本申请实施例提供的一种终端设备声音采集器分布示意图；

图2c是本申请实施例提供的另一种终端设备声音采集器分布示意图；

图3是本申请实施例提供的又一种拾音处理方法的流程图；

图4是本申请实施例提供的一种在终端设备中实现声音采集的结构示意图；

图5a是本申请实施例提供的一种声音采集时处于收声状态的结构示意图；

图5b是本申请实施例提供的一种终端设备收音的流程示意图；

图6是本申请实施例提供的一种终端设备的屏幕分解图；

图7是本申请实施例提供的一种集成电路模块示意图；

图8是本申请实施例提供的一种终端设备的部分结构的示意图；

图9是本申请实施例提供的另一种终端设备的部分结构的示意图；

图10是本申请实施例提供的又一种在终端设备中实现声音采集的结构示意图；

图11是本申请实施例提供的一种拾音处理装置的结构示意图；

图12是本发明实施例的一种终端设备的结构示意图。

具体实现方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参见图1，图1为本发明实施例提供的一种拾音处理方法的流程图，本发明实施例的所述方法可以由一个终端设备来执行，该终端设备具体可以是至少包括有第一声音采集器和第二声音采集器的智能手机、平板电脑、智能可穿戴设备等具有收音功能的设备。本发明实施例的所述方法包括如下步骤：

S101、检测所述终端设备的拾音关联参数。

当终端设备发生声音采集事件或者正在进行声音采集时，终端设备需要对其拾音关联参数进行检测，根据该参数确定需要进行声音采集的声音采集器。具体的，拾音关联参数可以包括所述终端设备所处的环境场景的环境参数、所述声音采集器的信号参数的一个或两个。其中，终端设备所处的环境场景可以是用户使用终端时处于嘈杂环境或者安静环境，也可以是空旷环境或狭窄场景，还可以是室内场景还是室外场景；对应的，与该环境场景对应的环境参数可以是所检测的终端外部的噪音强度，也可以是拍摄得到的终端周围所处的照片资料或者视频资料，还可以是采用测距仪测到终端周围的障碍物密集程度，还可以是通过手机定位当前位置并识别到当前的位置处于何种环境等，也即是说，通过这些环境参数能够有效、准确的判断出终端所处的环境场景。其中，声音采集器的信号参数可以是声音采集器所采集到的声音信号的强度、响度、音调等参数，也可以是由声音采集器自身硬件参数等引起的所采集到的声音信的误差参数等，该信号参数主要是指与声音采集器所采集的声音信号密切相关的参数。

S102、根据所述拾音关联参数从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器。

本申请实施例所提供的终端包括由第一声音采集器和第二声音采集器至少两个声音采集器组成的声音采集装置，这两个声音采集器可以是同种类、同构造的声音采集器，也可以是不同构造的声音采集器。其中，不同构造的声音采集器可以是第一声音采集器为通过手机屏幕接收声音振动，从而对该声音振动信号进行处理得到音频信号的无孔化的声音采集器，第二声音采集器可以是在终端设备外壳上设置通孔，通过通孔对声音信号进行采集的声音采集器，需要说明的是，本申请实施例所提供的两个声音采集器包括但不限于上述例子。

当检测到终端设备的拾音关联参数时，需要根据该参数从终端设备所提供的两个声音采集器选择出一个作为目标声音采集器，以使能够更准确、效率更高的采集声音信号。在一种实现方式中，当拾音关联参数为环境参数时，可以根据该环境参数确定终端所处的环境场景，根据环境场景选择目标扬声器；当拾音关联参数为信号参数时，可以根据该信号参数确定声音采集器所采集声音信号的强弱来选择目标扬声器。例如，若本申请实施例所提供的第一声音采集器相较于第二声音采集器的音量小，根据环境参数确定终端所处环境场景为嘈杂环境场景或者第一声音采集器所采集的声音信号的响度特征太小，则确定第二声音采集器为目标声音采集器。

S103、调用所述目标声音采集器采集声音。

根据拾音关联参数在两个声音采集器中确定目标声音采集器后，调用所选中的声音采集器进行声音采集，可以关闭未被选中的声音采集器，以避免同时进行声音采集造成干扰，或者避免输出重音等异常状况。

在一个实施例中，终端设备在通常情况下，可以持续使用第一声音采集器，并关闭第二声音采集器；当根据所检测到拾音关联参数确定需要使用第二声音采集器时，才触发调用第二声音采集器的操作，关闭第一声音采集器。

本发明实施例通过检测所述终端设备所处的环境场景的环境参数、所述声音采集器的信号参数中的一个或多个拾音关联参数，然后对拾音关联参数进行分析，根据分析结果从第一声音采集器和第二声音采集器中一个声音采集器作为目标声音采集器，并调用该目标声音采集器采集声音。通过上述过程可根据终端所处的环境场景或者第一声音采集器所采集的声音的信号参数，在至少两个声音采集器中智能的选择目标声音采集器采集声音，实现了符合场景需求的、准确的声音采集过程。

请参见图2，为本发明实施例提供的一种拾音处理方法的流程图，本发明实施例的所述方法可以由一个终端设备来执行，该终端设备具体可以是至少包括有第一声音采集器和第二声音采集器的智能手机、平板电脑、智能可穿戴设备等具有收音功能的设备。本发明实施例的所述方法包括如下步骤：

S201、调用所述第一声音采集器采集终端设备外部的声音。

第一声音采集器可以为用户设置的在通常情况下使用的声音采集器，当发生声音采集事件时，直接通过该声音采集器采集声音信号。在一种实现方式中，该第一声音采集器可以是通过对屏幕接收的声音振动信号进行识别处理的无孔声音采集器。在一个实施例中，所述第一声音采集器包括：声音信号处理组件和设置在所述终端设备屏幕上的第一屏幕层和第二屏幕层之间振膜，所述第一声音采集器的所述振膜接收终端设备屏幕所传递的声音振动而产生形变，并由所述声音信号处理组件基于所述形变检测得到声音信号，简而言之，所述第一声音采集器为无孔设计，通过屏幕层传递声音的振动，达到声音信号检测的目的。

S202、获取所述第一声音采集器所采集声音对应的声音信号参数中的响度特征。

响度是指人耳感受到的声音强弱，它是人对声音大小的一个主观感觉量。响度和声源体发出的声波振动的幅度有关，一般说来，声波振动幅度越大则响度也越大，振幅越小，响度越小。在实践中，嘈杂的环境中会存在大量的声波信号，会削减我们想要获取的声波信号的幅度，也即是声音采集器所处的环境的嘈杂程度会影响声音信号的响度，用户所听到的声音为在空气中传播的被削减后的声音信号。

在本申请实施例中，通过分析第一声音采集器所采集的声音信号对应的响度特征，即是通过对响度特征进行获取分析以得到用户人耳所能听到声音，也即是在判断用户所听到的声音的大小。

S203、根据所述响度特征，从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器。

根据该响度特征可以判断得到人耳所听到的声音，判断第一扬声器所采集的声音信号判断当前环境下所采集到的声音信号是否过大或者过小，根据该特征选择合适的声音采集器作为目标声音采集器。

在一个实施例中，若分析得到所述响度特征满足声音响度条件，则选择第一声音采集器作为目标声音采集器；若分析得到响度特征不满足所述声音响度条件，则选择所述第二声音采集器为目标声音采集器。例如，该声音响度条件可以是用户预置的或者基于大数据分析得到的一个符合用户正常接收范围的响度特征值，正常情况下，通过通孔采集声音的第二声音采集器比通过屏幕传递的振动来采集声音的第一声音采集器所采集的声音信号的响度更大。因此，为了保证采集到能够被听到的声音，当所采集的声音信号对应的响度特征大于该声音响度条件所指示的响度阈值时，也即是用户听到的声音比较大，即继续使用该第一声音采集器，若小于声音响度条件所指示的响度阈值时，则使用第二声音采集器。

S204、调用所述目标声音采集器采集声音。

在一个实施例中，具体调用目标声音采集器采集声音信号的步骤与终端设备所提供的第一声音采集器和第二声音采集器的结构有关，对此，本发明实施例提供了一种包括第一声音采集器和第二声音采集器的终端设备，如图2b所述，在终端设备200的外壳上设置有通孔210，通孔处设置有挡板220，该挡板用于封闭通孔，第二声音采集器可以在挡板打开的时候通过通孔采集外界声音信号。同时，终端设备还包括由第一屏幕层和第二屏幕层组成的屏体结构，第一声音采集器为无孔声音采集器，通过屏幕层传递的振动来采集声音，第一声音采集器包括振膜230和声音信号处理组件，振膜可以是设置在第一屏幕层和第二屏幕层之间。第一声音采集器主要是通过屏幕根据外界的声波信号发生振动，以使振膜接收屏幕层传递的振动信号而发生形变，再通过声音信号处理组件基于所述形变检测得到音频信号，从而实现声音采集的过程。

在一个实施例中，终端设备可以是多麦克风型，包括第一声音采集器，和至少两个第二声音采集器，如图2c所示，该终端设备330设置了两个通孔，第一通孔310，第二通孔320，分布在终端设备的上端和下端，第一通孔对应着第一挡板330，第二通孔对应第二挡板340。对应的，在终端设备第一屏幕层的下设置了两张振膜，第一振膜360，第二振膜370，具体靠近第一屏幕层上端和下端，振膜对应着相应的信号处理器，第一振膜360以及信号处理器构成一个第二声音采集器，通过第一通孔310采集声音、第二振膜370以及信号处理器构成一个第二声音采集器，通过第二通孔320采集声音，两个振膜可以分别对应两个信号处理器，也可以同时对应一个信号处理器。通过该结构不仅可以选择不同类型的声音采集器采集声音信号，还可以通过不同位置的声音采集器采集声音信号，以使所采集的声音信号更为准确，进一步提高了声音采集的效率以及趣味性，符合部分用户的使用需求。

在一个实施例中，用户可以设置一个常用的声音采集器，在本发明实施例中，该常用的声音采集器为第一声音采集器，则通常情况下各第二声音采集器处于断电状态，且设置在终端设备上的通孔也处于被挡板遮住的状态。若确认第一声音采集器为目标声音采集器，则继续使用第一采集器按照前述的声音采集过程进行声音信号的采集；若确认第二声音采集器为目标声音采集器，终端设备可以生成控制指令，该控制指令用于移动设置在通孔上的挡板，以打开所述通孔，同时还需要为第二声音采集器通电并关闭所述第一声音采集器的电源，以便于所述第二声音采集器通过所述通孔采集声音，避免开启第一声音采集器干扰第二声音采集器工作。当然，需要说明的是，上述例子并不能代表本申请所有的实施例，具体调用过程需要根据终端设备所拥有的声音采集器的结构具体进行操作。

本发明实施例通过检测第一声音采集器采集的声音的信号参数，通过识别该信号参数的响度特征，从第一声音采集器和第二声音采集器中一个声音采集器作为目标声音采集器，并调用该目标声音采集器采集声音。通过检测终端外界声音信号的响度特征来有效的检测用户所听到的声音信号的大小，并根据声音大小与和用户相匹配的声音响度条件进行对比，从两个声音采集器中智能的选择满足声音响度条件的目标声音采集器采集声音，一方面可以保证能够正常采集到声音，另一方面挡板的设计也可以在一定程度上避免终端设备的麦克风所对应通孔进水或者其他进入其他物质，导致麦克风短路甚至损坏。

请参见图3，图3为本发明实施例提供的一种拾音处理方法的流程图，本发明实施例的所述方法可以由一个终端设备来执行，该终端设备具体可以是至少包括有两个声音采集器的智能手机、平板电脑、智能可穿戴设备等具有收音功能的设备。本发明实施例的所述方法包括如下步骤：

S301、检测所述终端设备所处的环境场景的环境信息，并根据所述环境信息估计环境状态；

该环境场景可以是用户使用终端设备时所处的场景，该环境场景可以是包括用户的居住场所、办公室、公路、娱乐场所等。其环境信息可以是指在终端处于上述场景时周围的人的数量、车辆数量等信息。根据环境场景所处的环境信息可以确定当前终端设备所处的环境状态，该环境状态可以是第一状态或者第二状态，第一状态可以是指安静状态，第二状态可以是指嘈杂状态，或者第一状态也可以是空旷状态、第二状态也可以是指狭窄状态，或者第一状态还可以是室内状态、第二状态还可以是室外状态；对应的，获取该环境信息可以是直接检测终端外部的噪音强度，也可以是拍摄得到的终端周围所处的照片资料或者视频资料，还可以是采用测距仪测到终端周围的障碍物密集程度等，终端设备还可以根据定位信息查询到当前的地理位置信息，以便于根据地理位置信息来确定环境状态，比如在郊区、在某个山顶上等。也即是说，通过这些环境信息能够有效、准确的判断出终端所处的环境场景。

在一个实施例中，终端设备可以在发生声音采集事件时，触发检测所述终端设备所处的环境场景的环境信息，并根据所述环境信息估计环境状态的步骤，以便于提前为用户选择好目标声音采集器，从而更加方便、准确、贴合实际场景需求的声音采集过程。其中，声音采集事件可以是来电呼叫事件、视频通话事件、录音事件事等，终端设备只要检测到即将发生该事件。

在一个实施例中，步骤S301还可以具体包括以下步骤：调用摄像头拍摄所述终端设备所处环境场景的环境图像；将所述环境图像作为环境信息。

终端设备可以在用户移动终端设备的过程中，实时地或者周期性地调用摄像头拍摄该终端设备在移动过程中的终端所处的环境图像，终端设备也可以提醒用户拍摄所处的环境图像。然后从所拍摄的环境图像提取环境图像中的环境信息，该环境信息可以包括基于图片识别技术识别到的一些图像特征，根据该图像特征可以确定得到该环境图像上存在的对象，例如车辆、行人、动物、家居设备、办公设备、树木等等。从而还可以具体得到上述对象对应的数量，根据所述对象类型和对应的数量来确定所述终端所处的环境状态。

在一个实施例中，还可以是基于人工智能技术，通过预训练与本申请实施例相符的智能环境状态识别模型，以基于大量图像数据下，通过将所采集到的环境图像输入到该环境状态识别模型，由该模型自动提取场景图像的特征并智能学习分析，可得到环境状态。

S302、若估计的环境状态为第一状态，则选择所述第一声音采集器作为目标声音采集器。和/或，

S303、估计的环境状态为第二状态，则选择所述第二声音采集器作为目标声音采集器。

具体的，在一个实施例中，本申请实施例可以提供一种第一声音采集器和一种第二声音采集器，其中，第一声音采集器可以包括：声音信号处理组件和设置在所述终端设备屏幕上的第一屏幕层和第二屏幕层之间振膜，所述第一声音采集器通过所述振膜接收终端设备屏幕所传递的声音振动而产生形变，并由所述声音信号处理组件基于所述形变检测得到声音信号。所述第二声音采集器为通过在所述终端设备中设置通孔获取终端设备外部声音的声音采集器。可以理解的是，第一声音采集器所采集的声音大小相对于第二声音采集器所采集的声音大小较小，但第一声音采集器可以不用在终端设备的外壳开通，可以实现收音无孔化。基于上述两种声音采集器可以更好的理解下述目标声音采集器的选择过程。

在一个实施例中，若根据所拍摄得到的场景图像进行综合分析，得到终端设备所处的场景信息为公路、车辆、行人，可以确定当前的场景状态为室外状态，则选择第二声音采集器作为目标声音采集器进行声音采集；若场景信息为电视、沙发、家居设备等可以确定当前的场景状态为室内状态，则选择第一声音采集器作为目标声音采集器进行声音采集。

在一个实施例中，若根据所拍摄得到的场景图像进行综合分析，得到终端设备所处的场景信息为公路、车辆、行人，且所识别到的车辆的数量大于预设数量阈值或者行人的数量大于预设阈值，则可以确定当前的场景状态为嘈杂状态，则选择第二声音采集器作为目标声音采集器进行声音采集；若场景信息中未识别到行人、车辆，或者所识别到的车辆的数量大于预设数量阈值或者行人的数量小于预设阈值，则可以确定当前的场景状态为安静状态，则选择第一声音采集器作为目标声音采集器进行声音采集。

在一个实施例中，若根据终端设备的定位信息识别到终端所处的环境场景为郊区，则可以理解为终端设备处于较为安静的环境场景，选择第一声音采集器作为目标声音采集器进行声音采集。若根据定位信息识别到终端所处的环境场景为街道、市集，则可以理解为终端设备处于较为嘈杂的环境场景，则选择第二声音采集器作为目标声音采集器进行声音采集。

需要说明的是，根据环境场景分析得到的环境信息可能会包括多个对象，例如车辆、行人、数目等；在实际应用中，基于包含多个对象的环境信息也可能会确定不同的环境状态，若所确定的环境状态对应的声音采集器相同即选用该声音采集器作为目标声音采集器，若不同，则计算该环境信息与该两个环境状态之间的匹配度，将匹配度高的环境状态对应的声音采集器作为目标声音采集器。可以理解的是，环境场景信息与环境状态之间的对应关系还可以是根据实际使用的情况进行制定的，也可以是用户根据喜好自定义的，从而使当前的声音采集器更符合终端所处的场景状态。

S304、调用所述目标声音采集器采集声音。

在一个实施例中，具体调用目标声音采集器采集声音信号的步骤与终端设备所提供的第一声音采集器和第二声音采集器的结构有关，对此，本发明实施例提供了一种包括第一声音采集器和第二声音采集器的终端设备，该终端设备的具体结构、实现原理以及声音采集器的调用过程可以详细参见步骤S204，此处不再详述。

本发明实施例通过摄像头拍摄终端所处的环境场景的环境图像，以智能的分析得到终端所处场景的环境信息，并根据环境信息来估计当前场景环境下可能会产生的噪声大小，确定当前的环境场景是安静场景还是嘈杂场景，从而根据所识别到的环境状态从两个声音采集器中选择一个作为目标声音采集器采集声音。通过上述过程终端设备可智能判断其所处环境是否嘈杂或安静等，来智能选取符合当前环境场景需求的目标声音采集器，实现了准确的、智能化的声音采集过程。

请参见图4，为本发明提供的一种在终端设备中实现声音采集的结构示意图，终端设备可以是手机、电脑、平板电脑、车载终端、智能可穿戴设备等带有屏幕而且需要收音功能的终端设备。

通常来说，声音是由物体的振动产生的，把正在发声的物体叫声源，其次，声音需要靠介质传播，而且声音在空气中传播过程中会导致空气压强的变化，形成声压。在本申请实施例中，当靠近终端设备的声源发出声音，会改变终端设备周围的空气压强，从而形成声压，在此基础上，在终端设备上设置特殊声音信号的检测方式，通过终端设备的屏幕、盖板等随声压变化而振动来传递声音信号，从而获取到用户的声音，也即本申请实施例通过由人声导致的终端设备屏幕、盖板等的振动来检测声音信号。

本发明实施例所提供的终端设备包括屏幕，所述屏幕的屏体结构包括第一屏幕层11、第二屏幕层(图中未示出)、声音采集器，其中，声音采集器可以包括振膜12、声音信号处理组件。

屏体结构中的第二屏幕层可以是终端设备的内屏，也称显示屏，用于显示图像及色彩。第一屏幕层11可以是设置在终端设备外部的屏幕，可以包括终端设备的盖板，或者说触摸屏。第一屏幕层11也可以是设置在终端设备上，会根据外界声音或者说用户的发生的声音而发生振动的其他结构。当外界声源产生声音后，该第一屏幕层11根据声压变化进行振动，再通过空气传递振动。

当第一屏幕层11接收到声音信号并根据其声压变化产生振动后，由声音采集器采集该声音信号，该声音采集器包括了振膜12、声音信号处理组件。其中，振膜12与第一屏幕层11相对设置，振膜12仅周边被固定在终端的内表面上且中心部分应当处于悬空状态，与第一屏幕层11形成第一音腔。当第一屏幕层11产生振动引起第一音腔内的气压发生变化时，振膜12能够根据气压变化发生形变。具体的，当第一屏幕层11受到外界声压变化持续振动时，振膜12会持续发生形变，其持续形变过程中的形变量与第一屏幕的振动频率以及幅度有关，也即是与声音信号的频率和幅度有关。当声音信号的频率越强，第一屏幕层11振动频率越快，振膜12形变的频率越快；当声音信号的幅度越大，第一屏幕层11振动幅度越大，振膜12每次发生的形变量也会越大。

进一步的，当振膜12发生形变时，由声音信号处理组件对振膜12所接收的声音信号进行处理，该声音信号处理组件还可以包括背极板13和信号处理模块14。其中，同时该振膜12和背极板13设置于所述第一屏幕层11和所述第二屏幕层之间，该振膜12与背极板13导电层相对并且相隔预定距离，使得可振动的振膜12与背极板13之间形成电场；从而背极板13作为电容的一个电极，振膜12作为电容的另外一个电极，二者形成电容结构。其中，振膜12可以或者金属膜等，其中，金属可以为铝、铝铜合金、铂以及金等导电性能好的金属；背极板13的导电层也可以采用多晶硅或者硅锗化合物时，可以掺杂或者离子注入，使得背极板13也具有较好的导电性能。

在一个实施例中，根据终端设备屏体结构的设置不同，声音采集器的设置位置不同。如图6所示，终端设备的屏幕结构可以包括：触摸屏TP(TouchPad)层和显示层，TP层包括盖板玻璃和触控功能层Film，而显示层包括显示屏和背光板。在一个实施例中，第一屏幕层11可以是指TP层，第二屏幕层可以是指显示层，也就说是本申请实施例的振膜12和背极板13设置在如图4中触控功能层3与显示屏之间的空间中，这样一来，并不会调整触控层也就是TP层的层结构。

在一个实施例中，所述声音采集器的振膜12和背极板13可以设置在盖板玻璃和显示屏之间的任一区域内。

在一个实施例中，触控功能层包括图4所示的触控功能层1、触控功能层2以及触控功能层3，当然，触控功能层也可以仅仅为一层，也可以仅为两层。在本发明实施例中，所述第一屏幕层11可以为盖板玻璃，所述第二屏幕层则为触控功能层1。在一个实施例中，声音采集器的振膜12和背极板13还可以设置在触控功能层之间，如第一屏幕层11为触控功能层1，对应的第二屏幕层为触控功能层2，以此类推。在一个实施例中，声音采集器的振膜12和背极板13还可以设置在触控功能层与显示屏之间，例如第一屏幕层11为触控功能层3，第二屏幕层则为显示屏。需要说明的是，声音采集器的结构设置包括但不限于上述例子，但振膜12与背极板13的设置位置越靠近声源，声音采集的效率越高。

终端设备在收音过程中，若第一屏幕层11未检测到声音信号，如图4所示，振膜12不会发生形变，可以是平行于背极板13，也可以是成振膜12原本的形状，二者构成的电容两端也无电压变化。当如图5a和图5b所示，振膜12和背极板13设置在终端屏幕的第一屏幕层和第二屏幕层之间，不需要在终端上开孔，在S501中当第一屏幕层11接收到声音信号并产生振动，使第一音腔内的气压发生变化，在S502中，振膜12向靠近所述背极板13一侧发生形变，在S503中背极板13与振膜12之间的距离发生变化，两者之间的距离越来越小，从而使得在S504中振膜12与背极板13之间电容量发生变化，最终在S504中信号处理模块检测电容电压变化，并将声音信号转换为电学信号。也即是说，当振膜12发生形变引起与背极板13之间的距离发生变化时，两极板之间的电压值发生变化。从而，在接收一个持续的声音信号时，振膜12会根据声音信号持续发生形变且形变量不同，引起电容两端的电压值持续变化。进而通过该电容结构，可以将声音信号有效的转换成模拟信号。

进一步的，如图4所示，背极板13还与信号处理模块14相连，该信号处理模块14，用于测量由所述背极板13与所述振膜12构成的电容的电压值，并根据电压值生成对应的电信号。在一个实施例中，该信号处理模块14可以是一信号处理器，该信号处理器可以是一集成电路，该集成电路可以通过导线与背极板13相连。

在声音信号处理过程中，当振膜12以及背极板13形成的电容结构将声音信号转化为模拟信号后，将该模拟信号输入至信号处理模块14，由信号处理模块14把来自电容的微弱电压信号变成标准的电压信号。但是，一般而言，电容输出的信号非常微弱，内阻非常高，不能直接转换为数字信号，在进行模拟信号到数字信号的转换之前，需要对模拟信号进行放大、滤波和线性化处理等，使其适合于A/D转换器的输入。通过ADC对模拟信号进行数字化，然后把数字信号送到微型控制器或其他数字器件，进行***的数据处理。

具体的，放大处理就是指通过放大电路对电容结构的输出微弱的电信号进行线性放大，放大电路输出的信号中包含的信息与输入的信号完全相同，不减少任何原有信息，只改变原来信号幅度或者功率的大小。

滤波处理是指通过滤波电路对所采集的声音信号的一些杂音进行过滤处理，其中，滤波电路是一种能使有用频率信号通过而同时抑制无用频率信号的电子装置，所以滤波器实质上是一种选频电路，它允许指定频段的信号通过，而将其余频段上的信号加以抑制或使其急剧衰减。也就是说，在本申请实施例中通过滤波电路过滤掉所采集的声音信号中的一些杂音，保留用户或者其他声源发出的有效的声音信号，提高声音采集的准确率。

在一个实施例中，还可以是通过专用集成电路对声音信号进行处理。如图7所示，该信号处理器还可以是专用集成电路ASIC40，通过该ASIC能够检测电容的电压变化并将其转化为相应的数字信号。其中，专用集成电路ASIC是指应特定用户要求和特定电子***的需要而设计、制造的集成电路，其在批量生产时与通用集成电路相比具有体积更小、功耗更低、可靠性提高、性能提高、保密性增强、成本降低等优点，故本申请实施例中的信号处理器优先选用专用ASIC集成电路。

在一个实施例中，专用集成电路ASIC可以包括是MIC-ASIC，如图7所示，具体可以包括：输入缓冲器41、放大电路42、电荷泵44、模数转换电路43。

具体的，在信号处理过程中，当将声音信号传输至该专用集成电路芯片时，通过输入缓冲器41，将所输入的信号暂时存放，保证数据或时钟的同步传输。再通过放大电路，用于把高阻的电压信号转换并放大成低阻的电信号。其中，音频放大电路42可以由音频放大器来实现，所述音频放大器可以包括电子管(真空管)、双极型晶体管、场效应管，本申请中音频放大器优选为场效应管音频放大器，其导通电阻小，处理效率高。当信号经过放大器输入低阻的电信号后，对所述电信号进行模数转换，将所述低阻电信号输入到模数转换电路43中，所述模数转换电路也即是A/D转换电路。通过上述步骤将模拟信号转化为数字信号中，将该数字信号输出，送到微型控制器或其他数字器件，进行***的数据处理。

在本发明实施例中，上述声音采集器在采集外界声音信号的过程中，当第一屏幕层11采集到声音信号发生振动，由振膜12、背极板13、声音处理模块组成的声音采集器对该声音信号进行采集，并转化处理得到数字信号，从而实现了收音的无孔化设计。可以避免终端设备外壳设置的进音孔堵塞或者进音孔进水引起移动终端内部电路短路的风险。同时采用专用ASIC集成电路对声音模拟信号进行处理，提高了信号处理过程的处理效率，同时降低了成本。

此外，所述终端还可以包括第一扬声器55和第二扬声器54。如图8所示，声音采集器53中的背极板13与振膜12之间构成的电容设置在终端设备的第一端51，在第一端51设置第二扬声器54，在位于所述终端设备上与第一端51相对的第二端52上设置第一扬声器55。可以理解的是，在上述结构的基础上，在终端设备第一端51设置声音采集器53采集外界声音，使终端设备实现更高效的、更精准收音的过程。

例如，当终端设备为手机时，第一端51可以是用户通话时，离声源较近的一端，第二端52可以是离声源较远的一端。具体的，在收音过程中，第一屏幕层11在第一端51的部分感受到的声压相较于第二端52更强，也即是说，将声音采集器53优选设置在手机的第一端51。对应的，用户说话的一端与通话时接收音频信号的一端不同，也即是听筒设置在于第一端51对应的第二端52，喇叭设置在第一端51。通过上述结构能够有效的、精准的采集用户的声音，同时，喇叭和听筒的相互结合，使用户在使用过程中更加方便、快捷。

在一个实施例中，如图9所示，现有的终端设备一般采用在终端设备设置通孔，而本申请实施例提供的终端设备还可以是在第一屏幕层11下直接设置振膜12，用于接收整个第一屏幕层11传动的声音振动信号，而无需在终端设备周围设置收音孔，从而实现了终端设备无孔化收音，同时配合充电无孔化等技术，可以实现整个终端的无孔化设置。

此外，在一个实施例中，所述终端设备还包括第三屏幕层70，该第三屏幕层70设置在第一屏幕层11与振膜12之间，第三屏幕层70与所述第一屏幕层11形成第二音腔71，第三屏幕层70与所述振膜12形成第三音腔72，所述第三音腔的体积小于第二音腔。

具体的，如图10所示，第一屏幕层11可以为终端设备的盖板玻璃，第三屏幕层70与第一屏幕层11相对设置，且该第三屏幕层70面积小于第一屏幕层11的面积，与第一屏幕层11形成梯形的第二音腔71。振膜12相对于三屏幕层70设置在终端的内壳上，与第三屏幕层形成第三音腔72，其中，振膜12的面积可以是小于或者等于第三屏幕层15的面积，且第三音腔72的体积小于第二音腔71；同时，振膜12与背极板13相对设置形成电容。

基于上述结构，终端设备在收音过程中，第一屏幕层11接收到声音信号并产生振动，使第二音腔71内的气压发生变化，声音信号沿着梯形的第二音腔71进行传播时引起的气压更强，从而使第三屏幕层70振动相较于第一屏幕层11更加剧烈，其中，所述振动剧烈可以是指屏幕振动的幅度或者频率更大。第三屏幕层70更加剧烈振动后，使第三音腔72内的气压变化更大，从而使得振膜12向所述背极板13一侧发生形变量越大。也就是说，通过设置第三屏幕层70以形成梯形的第二音腔71，加强了第一屏幕层11感受到的振动，使振膜12相对于声音信号更加敏感和灵活，从而发生形变改变电容两端的电压值，通过信号处理模块14检测电容电压变化，以便于最终将模拟信号转换为电信号。通过上述过程，能够使终端设备可以有效捕捉外界的声音，提高了终端设备的灵敏度，同时有效降低了声音的损失，提高了音质和音效。

请参见图11，图11是本发明实施例提供了一种拾音处理装置的结构示意图。如图11所示，所述拾音处理装置包括如下模块：

检测模块801，用于检测所述终端设备的拾音关联参数；

选择模块802，用于根据所述拾音关联参数从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器；

声音采集模块803，用于调用所述目标声音采集器采集声音。

在一个实施例中，检测模块801具体用于调用所述第一声音采集器采集终端设备外部的声音；获取所述第一声音采集器所采集声音对应的声音信号参数中的响度特征；选择模块802具体用于根据所述响度特征，从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器。

在一个实施例中，选择模块802具体用于若分析得到所述响度特征满足声音响度条件，则选择所述第一声音采集器作为目标声音采集器；若分析得到响度特征不满足所述声音响度条件，则选择所述第二声音采集器为目标声音采集器。

在一个实施例中，检测模块801具体用于检测所述终端设备所处的环境场景的环境信息，并根据所述环境信息估计环境状态；选择模块802具体用于若估计的环境状态为第一状态，则选择所述第一声音采集器作为目标声音采集器；和/或，若估计的环境状态为第二状态，则选择所述第二声音采集器作为目标声音采集器。

在一个实施例中，检测模块801具体用于调用摄像头拍摄所述终端设备所处环境场景的环境图像，将所述环境图像作为环境信息；基于对所述环境图像的图像分析结果估计环境状态。

在一个实施例中，所述第二声音采集器为通过在所述终端设备中设置通孔获取终端设备外部声音的声音采集器；所述第一声音采集器包括：声音信号处理组件和设置在所述终端设备屏幕上的第一屏幕层和第二屏幕层之间振膜，所述第一声音采集器通过所述振膜接收终端设备屏幕所传递的声音振动而产生形变，并由所述声音信号处理组件基于所述形变检测得到声音信号。

在一个实施例中，声音采集模块803具体用于生成控制指令，所述控制指令用于移动所述挡板，以打开所述通孔；为所述第二声音采集器通电、并关闭所述第一声音采集器的电源，以便于所述第二声音采集器通过所述通孔采集声音。

可以理解的是，本发明实施例中各个功能模块的具体实现可参考前述方法项实施例的相关描述，在此不赘述。

本发明实施例中，通过检测所述终端设备的拾音关联参数，该终端设备至少包括第一声音采集器和第二声音采集器，然后对拾音关联参数进行分析，根据分析结果从第一声音采集器和第二声音采集器中一个声音采集器作为目标声音采集器，并调用该目标声音采集器采集声音。通过上述过程可在至少两个声音采集器中智能的选择目标声音采集器采集声音，实现了准确的声音采集过程。

请参见图12，图12是本发明实施例提供了一种终端设备的示意性框图，本发明实施例所提供的终端设备具体可以是至少包括有两个声音采集器的智能手机、平板电脑、智能可穿戴设备等具有收音功能的设备。该终端90至少包括第一声音采集器904，第二声音采集器905，处理器901、存储装置902和用户接口903，处理器901、存储装置902和用户接口903相互连接，其中，存储装置902用于存储计算机程序，计算机程序包括程序指令，处理器901用于执行程序指令。用户接口903可以是指能够接收到用户输入操作的触摸显示屏，能够接收到用户输入操作的按键及键盘等能够接收用户输入信号的接口，第一声音采集器904可以是通过在终端上设置的通孔采集声音信号的声音采集器，第二声音采集器905可以是在终端设备设置振膜和信号处理器，由振膜接收终端设备屏幕所传递的声音振动而产生形变，并由声音信号处理组件基于该形变检测得到声音信号的无孔声音采集器。

存储装置902可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储装置还可以包括上述种类的存储器的组合。

处理器901可以是中央处理器(central processing unit，CPU)。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。上述PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。

在一个实施例中，存储装置902还用于存储程序指令。处理器901可以调用以下程序指令：检测所述终端设备的拾音关联参数；根据所述拾音关联参数从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器；调用所述目标声音采集器采集声音。

在一个实施例中，处理器901具体调用所述第一声音采集器采集终端设备外部的声音；获取所述第一声音采集器所采集声音对应的声音信号参数中的响度特征；根据所述响度特征，从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器。

在一个实施例中，处理器901具体用于若分析得到所述响度特征满足声音响度条件，则选择所述第一声音采集器作为目标声音采集器；若分析得到响度特征不满足所述声音响度条件，则选择所述第二声音采集器为目标声音采集器。

在一个实施例中，处理器901具体用于检测所述终端设备所处的环境场景的环境信息，并根据所述环境信息估计环境状态；若估计的环境状态为第一状态，则选择所述第一声音采集器作为目标声音采集器；和/或，若估计的环境状态为第二状态，则选择所述第二声音采集器作为目标声音采集器。

在一个实施例中，处理器901具体用于调用摄像头拍摄所述终端设备所处环境场景的环境图像，将所述环境图像作为环境信息；基于对所述环境图像的图像分析结果估计环境状态。

在一个实施例中，所述第二声音采集器为通过在所述终端设备中设置通孔获取终端设备外部声音的声音采集器；所述第一声音采集器包括：声音信号处理组件和设置在所述终端设备屏幕上的第一屏幕层和第二屏幕层之间振膜，所述第一声音采集器通过所述振膜接收终端设备屏幕所传递的声音振动而产生形变，并由所述声音信号处理组件基于所述形变检测得到声音信号。

在一个实施例中，处理器901具体用于生成控制指令，所述控制指令用于移动所述挡板，以打开所述通孔；为所述第二声音采集器通电、并关闭所述第一声音采集器的电源，以便于所述第二声音采集器通过所述通孔采集声音。

可以理解的是，本发明实施例中处理器901具体实现可参考前述方法项实施例的相关描述，在此不赘述。

本发明实施例中，通过检测所述终端设备的拾音关联参数，该终端设备至少包括第一声音采集器和第二声音采集器，然后对拾音关联参数进行分析，根据分析结果从第一声音采集器和第二声音采集器中一个声音采集器作为目标声音采集器，并调用该目标声音采集器采集声音。通过上述过程可在至少两个声音采集器中智能的选择目标声音采集器采集声音，实现了准确的声音采集过程。

此外，本发明还提供了一种计算机存储介质，所述计算机存储介质中存储有程序指令，所述程序指令被执行时，用于实现图1、图2a、图3所述的拾音处理方法。

以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (13)

1.一种拾音处理方法，其特征在于，应用于终端设备，所述终端设备至少包括第一声音采集器和第二声音采集器，所述方法包括：

检测所述终端设备的拾音关联参数；

根据所述拾音关联参数从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器；

调用所述目标声音采集器采集声音。

2.据权利要求1所述的方法，其特征在于，所述拾音关联参数包括所述终端设备所处的环境场景的环境信息、和/或所述声音采集器所采集到的声音的信号参数。

3.根据权利要求1所述的方法，其特征在于，所述拾音关联参数包括所述声音采集器所采集到的声音的信号参数，所述根据所述拾音关联参数从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器，包括：

调用所述第一声音采集器采集终端设备外部的声音；

获取所述第一声音采集器所采集声音对应的声音信号参数中的响度特征；

根据所述响度特征，从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器。

4.根据权利要求3所述的方法，其特征在于，所述根据所述响度特征，从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器包括：

若分析得到所述响度特征满足声音响度条件，则选择所述第一声音采集器作为目标声音采集器；

若分析得到响度特征不满足所述声音响度条件，则选择所述第二声音采集器为目标声音采集器。

5.根据权利要求1所述的方法，其特征在于，所述拾音关联参数包括环境信息，所述根据所述拾音关联参数从所述第一声音采集器和所述第二声音采集器中选择目标声音采集器包括：

检测所述终端设备所处的环境场景的环境信息，并根据所述环境信息估计环境状态；

若估计的环境状态为第一状态，则选择所述第一声音采集器作为目标声音采集器；和/或，

若估计的环境状态为第二状态，则选择所述第二声音采集器作为目标声音采集器。

6.根据权利要求5所示的方法，其特征在于，所述检测所述终端设备所处的环境场景的环境信息，并根据所述环境信息估计环境状态，包括：

调用摄像头拍摄所述终端设备所处环境场景的环境图像，将所述环境图像作为环境信息；

基于对所述环境图像的图像分析结果估计环境状态。

7.根据权利要求1-6所述的方法，其特征在于，

所述第二声音采集器为通过在所述终端设备中设置通孔获取终端设备外部声音的声音采集器；

所述第一声音采集器包括：声音信号处理组件和设置在所述终端设备屏幕上的第一屏幕层和第二屏幕层之间振膜，所述第一声音采集器的所述振膜接收终端设备屏幕所传递的声音振动而产生形变，并由所述声音信号处理组件基于所述形变检测得到声音信号。

8.根据权利要求7所述的方法，其特征在于，所述终端设备在所述通孔处设置有挡板，所述挡板用于封闭所述通孔，当所述第二声音采集器被确定为目标声音采集器时，所述调用所述目标声音采集器采集声音，包括：

生成控制指令，所述控制指令用于移动所述挡板，以打开所述通孔；

为所述第二声音采集装置通电、并关闭所述第一声音采集装置的电源，以便于所述第二声音采集器通过所述通孔采集声音。

9.一种终端设备，包括屏幕，所述屏幕的屏体结构至少包括第一屏幕层、第二屏幕层，其特征在于，所述终端设备还包括：声音采集器；

所述声音采集器包括振膜、声音信号处理组件；

所述振膜设置于所述第一屏幕层和第二屏幕层之间，所述振膜是根据所述第一屏幕层传递的声音振动而产生形变，所述声音采集器是基于所述振膜产生的形变检测得到声音信号。

10.根据权利要求9所述的终端设备，其特征在于，所述声音信号处理组件包括背极板和信号处理模块；

所述背极板设置于所述第一屏幕层和所述第二屏幕层之间；

所述背极板与所述振膜之间构成电容，所述背极板与所述信号处理模块相连；所述信号处理模块，用于测量由所述背极板与所述振膜构成的电容的电压值，并根据电压值生成对应的电信号。

11.如权利要求10所述的终端设备，其特征在于，

当所述第一屏幕层接收到声音信号时，所述振膜向靠近所述背极板一侧发生形变。

12.如权利要求10所述的终端设备，其特征在于，所述信号处理模块为一集成电路，所述集成电路用于测量对所述背极板与所述振膜之间构成的电容所对应的电压值得到电压信号，并用于对得到的电压信号进行信号滤波。

13.如权利要求10或12所述的终端设备，其特征在于，所述信号处理模块为一集成电路，所述集成电路用于测量对所述背极板与所述振膜之间构成的电容所对应的电压值得到电压信号，并用于对得到的电压信号进行信号放大处理。

Images