CN112055072A - 云端音频输入方法、装置、云***、电子设备与存储介质 - Google Patents

Abstract

本发明实施例涉及一种云端音频输入方法、装置、云***、电子设备与存储介质，所述方法应用于云***，所述云***包括云设备、用户终端，所述方法包括：所述云设备在检测到对语音功能的触发事件时，生成音频采集请求，并向所述用户终端发送所述音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；所述用户终端响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；所述用户终端向所述云设备发送所述音频数据。由此，可以实现云端音频输入，满足用户使用云应用时的语音需求。

Description

云端音频输入方法、装置、云***、电子设备与存储介质

技术领域

本发明实施例涉及云通信领域，尤其涉及一种云端音频输入方法、装置、云***、电子设备与存储介质。

背景技术

云应用是一种通过互联网或局域网连接并操控远程服务器(或服务器集群，也即云服务器)，完成业务逻辑或运算任务的新型应用。云应用可以运行在云设备上，云设备一般可以是云服务器上构建的虚拟设备。

在实际应用中，用户在使用云应用时很可能需要语音服务，比如用户在进行云端游戏时需要与其他用户进行语音沟通，再比如用户需要通过语音控制云端应用实现某种操作等等。

然而，由于云应用运行在虚拟的云设备上，而虚拟的云设备上并不具备实际的音频输入设备，比如麦克风，因此云设备无法采集音频数据，这就无法满足用户使用云端应用时的语音需求。

发明内容

鉴于此，本发明实施例提供一种云端音频输入方法、装置、云***、电子设备与存储介质。应用该方法，可以实现云端音频输入，满足用户使用云应用时的语音需求。

第一方面，本发明实施例提供一种云端音频输入方法，应用于云***，所述云***包括云设备、用户终端，所述方法包括：

所述云设备在检测到对语音功能的触发事件时，生成音频采集请求，并向所述用户终端发送所述音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

所述用户终端响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

所述用户终端向所述云设备发送所述音频数据。

第二方面，本发明提供一种云端音频输入方法，应用于云***中的云设备，所述云***还包括用户终端；所述方法包括：

在检测到对语音功能的触发事件时，生成音频采集请求，并向所述用户终端发送所述音频采集请求，以使所述用户终端响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；所述音频采集请求用于请求所述用户终端进行音频采集；

接收来自所述用户终端的所述音频数据。

第三方面，本发明提供一种云端音频输入方法，应用于云***中的用户终端，所述云***还包括云设备；所述方法包括：

接收来自所述云设备的音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

向所述云设备发送所述音频数据。

第四方面，本发明提供一种云***，所述云***包括云设备、用户终端，所述云设备与所述用户终端通信连接；

所述云设备，用于执行上述第二方面中任一项所述的云端音频输入方法；

所述用户终端，用于执行上述第三方面中任一项所述的云端音频输入方法。

第五方面，本发明提供一种云端音频输入装置，所述装置包括：

处理单元，用于在检测到对语音功能的触发事件时，生成音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

发送单元，用于向所述用户终端发送所述音频采集请求，以使所述用户终端响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

接收单元，用于接收所述用户终端发送的所述音频数据。

第六方面，本发明提供一种云端音频输入装置，所述装置包括：

接收单元，用于接收来自所述云设备的音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

调用单元，用于响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

发送单元，用于将所述音频数据发送给所述云设备。

第七方面，本发明提供一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的云端音频输入程序，以实现上述第二方面或第三方面中任一项所述的云端音频输入方法。

第八方面，本发明提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第二方面或第三方面中任一项所述的云端音频输入方法。

本发明实施例提供的技术方案，通过云设备在检测到对语音功能的触发事件时，生成音频采集请求，并向用户终端发送该音频采集请求，用户终端则响应于该音频采集请求，调用音频模块进行音频采集，得到音频数据，并向云设备发送音频数据，如此，在云应用运行过程中，云设备可以利用用户终端对应的音频模块实现音频采集，从而，即便云设备不具备音频采集功能，也能够通过与用户终端的交互，采集到音频数据，实现了云端音频输入，满足了用户使用云应用时的语音需求。

附图说明

图1为本发明实施例示出的一种云***的***架构示意图；

图2为本发明一示例性实施例示出的一种云端音频输入方法的实施例流程图；

图3为用户终端展示云应用的应用界面的一个示意图；

图4为云手机***架构的一个示意图；

图5为云设备向用户终端发送音频采集请求的过程示意图；

图6为用户终端***架构的一个示意图；

图7为用户终端读取音频模块采集到的音频数据的过程示意图；

图8为本发明一示例性实施例示出的另一种云端音频输入方法的实施例流程图；

图9为用户终端启动音频模块进行音频采集的过程示意图；

图10为云设备接收来自于云端通信模块的音频数据的过程示意图；

图11为本发明一示例性实施例示出的一种云端音频输入装置的实施例框图；

图12为本发明一示例性实施例示出的一种云端音频输入装置的实施例框图；

图13为本发明实施例提供的一种的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本发明实施例的理解，先对本发明涉及的***架构进行举例描述：

参见图1，为本发明实施例示出的一种云***的***架构示意图。

如图1所示，云***100可包括云设备101、用户终端102。云设备101与用户终端102通信连接。

其中，云设备101可以是虚拟设备，也可以是实体设备。示例性的，云设备101可以是通过虚拟技术在云服务器上虚拟出的逻辑设备。具体而言，任意一台云服务器上可以虚拟出多台逻辑设备。当云设备101是实体设备时，其包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、服务器等。

在实践中，云设备101可以通过安装云应用(也可称为云应用程序，云APP，云端应用等)来提供相应的网络服务，比如云设备101通过安装云游戏应用来提供云游戏服务，也即云应用运行在云设备上。具体而言，任意一个云设备上可以运行一个或多个云应用；其中，当安装有多个云应用时，不同云应用的应用标识一般不同。在一种可能的场景中，一个云设备中可以安装有应用标识相同的多个云应用。

用户终端102为实体设备，其可以是支持具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机等。

在实践中，用户终端102可以通过安装客户应端用来提供相应的网络服务，比如用户终端102通过安装视频播放器来提供视频或图像播放服务。

作为一个实施例，云设备与用户终端通过云端通信模块建立通信连接。可选的，云端通信模块可内置于云设备或者独立于云设备，可用于实现云设备上的一个或多个云应用与其对应的用户终端之间的通信连接，和/或用于实现一个或多个云设备与其对应的用户终端之间的通信连接。上述所说的模块是广义的，可以是类、函数、线程、进程等，示例性的，云端通信模块为云应用服务程序。

在图1所示例的云***100中，一方面，云设备101用于运行云应用，并向用户终端102发送运行云应用时的数据流，用户终端102则用于展示接收到的数据流。另一方面，用户终端102用于采集用户的操作数据，并向云设备101发送操作数据(采集到的操作数据或处理后的操作数据)，云设备101则基于接收到的操作数据对用户操作进行响应，并继续向用户终端102发送响应数据流，用户终端102则继续展示接收到的响应数据流。如此，云设备101与用户终端102形成闭环，用户可以通过用户终端102来使用云设备101上安装的云应用。由于云应用实际并不运行在用户终端102中，因此有利于降低用户终端102的运行资源。

以云游戏应用为例，云设备101向用户终端102发送云游戏应用的视频流，用户终端102则可通过客户端应用，比如视频播放器展示接收到的视频流。进一步，用户终端102每采集到一次用户的操作数据，则向云设备101发送操作数据，云设备101则基于接收到的操作数据进行响应并刷新视频流，以及向用户终端102发送刷新后的视频流，如此则可实现用户通过用户终端102来使用云设备101上安装的云游戏应用。

可以理解的是，图1中的网络和设备的数目仅是示意。根据实际需要，云***100可以包括任意数目的网络和设备，本发明对此不做限制。

基于图1所示例的云***100，在实际应用中，用户在使用云应用时很可能需要语音服务，比如在云游戏场景下，不同用户需要进行语音沟通或文字沟通，其中，在不同用户需要进行文字沟通时，用户可向云应用发送语音，云应用则将接收到的语音转成文字；再比如在智能家居控制场景下，用户可向云应用发送语音命令，云应用则执行接收到的语音命令所对应的操作。

然而，当云设备是虚拟设备，虚拟设备上并不具备实际的音频输入设备，比如麦克风，因此云设备无法采集音频数据；当云设备是实体设备时，实体设备上也并非一定具备实际的音频输入设备，因此云设备也可能无法采集音频数据；进一步，即使云设备上具备实际的音频输入设备，但是用户面向的是用户终端，并非云设备，这就导致云设备上的音频输入设备并无法采集到用户侧的音频数据，从而无法满足用户使用云应用时的语音需求，也极大限制了云应用的发展。

基于此，本发明提供一种云端音频输入方法，以实现云设备(也即云端)音频输入，满足用户使用云应用时的语音需求。需要说明的是，这里所说的音频输入是广义的，既可包括单独的音频输入，也可以包括音频和其他多媒体数据的组合输入。上述音频包括但不限于语音、音乐、歌曲中的一种或多种的组合。上述其他多媒体数据包括但不限于文字、图形、图像、动画中的一种或多种的组合。举例来说，在云游戏场景下，不同用户进行视频通话，这就涉及向云端输入音频和图像的组合。

下面结合附图，以具体实施例对本发明提供的云端音频输入方法进行说明：

参见图2，为本发明一示例性实施例示出的一种云端音频输入方法的实施例流程图。如图2所示，该流程可以包括以下步骤：

步骤201、云设备在检测到对语音功能的触发事件时，生成音频采集请求。

在实践中，云设备向用户终端发送云应用的应用界面，用户终端则展示接收到的应用界面。如图3所示，为用户终端展示云应用的应用界面的一个示意图。用户终端可监听用户在所展示的应用界面上的触发事件，比如点击事件、双击事件、滑动事件等。用户终端在监听到任一上述触发事件时，则向云设备发送该触发事件的描述信息。如此云设备则可以检测到对云应用的触发事件。

在本发明实施例中，涉及的是对云应用语音功能的触发事件。基于此，云设备在接收到来自于用户终端的触发事件的描述信息之后，可基于该描述信息确定该触发事件是否为对云应用语音功能的触发事件。

作为一个可选的实现方式，上述触发事件的描述信息包括触发事件在应用界面上对应的位置坐标。基于此，云应用则可根据描述信息中的位置坐标来确定触发事件是否为对云应用语音功能的触发事件。举例来说，用户可点击应用界面300上的麦克风图标301，用户终端则将用户在应用界面300上点击的位置坐标携带在触发事件的描述信息中向云设备发送，云设备则基于接收到的位置坐标来确定用户是否点击了应用界面300中的麦克风图标301，如此则可实现确定触发事件是否为对云应用语音功能的触发事件。

在本发明实施例中，云设备在检测到对语音功能的触发事件时，生成用于请求用户终端进行音频采集的音频采集请求。

作为一个实施例，音频采集请求携带上述云应用支持的音频参数(为了描述方便，以下称目标音频参数)。在实践中，不同的云应用所支持的目标音频参数可以不同。至于音频采集请求携带目标音频参数的作用，在下文步骤203中会有描述，这里先不详述。

步骤202、云设备向用户终端发送音频采集请求。

在一个例子中，以云设备为基于安卓***实现的云手机为例，如图4所示，云手机包括但不限于：云应用(也即，云应用程序)、音频服务层、硬件抽象层。

其中，音频服务层可以是Audio Flinger(以下简称AF)。AF是一种Native层的***服务，同时也是安卓***的音频中枢，启到承上(为上层服务提供访问接口)启下(通过硬件抽象层来管理音频设备)的作用。

硬件抽象层可以是Audio HAL(Hardware Abstraction Layer，硬件抽象层)。Audio HAL则是安卓***框架层运行的基石，安卓***上层所需要的有关硬件的操作，一般都需要Audio HAL调用相关的API(Application Program Interface，应用程序接口)来实现。

然而，当云手机为虚拟设备时，由于虚拟设备上并不具备实际的音频输入设备，或者，当云手机为不具备音频输入设备的实体设备时，上述Audio HAL都无法调用相关的API以驱动云手机的音频输入设备。基于此，在本发明实施例中，云设备在检测到对语音功能的触发事件时，上述Audio HAL并不调用相关的API以驱动云手机的音频输入设备，而是向用户终端发送音频采集请求，以请求用户终端驱动用户终端上的音频输入设备进行音频采集。如图5所示，云设备向用户终端发送音频采集请求的过程包括以下步骤：

步骤501、云设备上的任一云应用在检测到对语音功能的触发事件时，任一云应用生成音频模块启动请求，并向音频服务层发送音频模块启动请求。

上述音频模块启动请求用于请求启动音频采集设备。

步骤502、音频服务层向硬件抽象层转发音频模块启动请求。

步骤503、硬件抽象层响应于音频模块启动请求，向云端通信模块发送音频采集请求。

作为一个实施例，硬件抽象层可通过跨进程通信机制，比如通过IPC(Inter-Process Communication，进程间通信)向云端通信模块发送音频采集请求。

步骤504、云端通信模块向用户终端转发音频采集请求。

作为一个实施例，云端通信模块可通过云端通信模块与用户终端之间的数据通道，比如WebRTC(Web Real-Time Communication，网页实时通信)长连接，向用户终端发送接收到的音频采集请求。

通过图5所示流程，实现了基于安卓***实现的云设备向用户终端发送音频采集请求。

步骤203、用户终端响应于音频采集请求，调用音频模块进行音频采集。

在实践中，用户终端响应于音频采集请求，调用音频模块进行音频采集，得到音频数据。可选的，上述音频模块可内置于用户终端；或者上述音频模块是可与用户终端通信连接的外接音频输入装置，包括但不限于耳机(包括蓝牙耳机)、麦克风等。外接音频输入装置与用户终端的连接方式包括但不限于：有线连接、蓝牙连接、Wi-Fi连接等。由此可见，用户终端调用音频模块进行音频采集包括：调用用户终端内置的音频模块进行音频采集，或者调用与用户终端通信连接的音频模块进行音频采集。

作为一个实施例，用户终端在调用音频模块进行音频采集之前，首先检查用于展示云应用数据流的客户端应用是否具有音频模块的调用权限。调用权限可以是提前申请得到的。如果检查结果表示上述客户端应用具有音频模块的调用权限，则用户终端可直接调用音频模块进行音频采集；而如果检查结果表示上述客户端应用不具有音频模块的调用权限，则用户终端可先生成并输出一个用于指示开通上述客户端应用对音频模块调用权限的通知消息，以使用户基于该通知消息开通上述客户端应用对音频模块的调用权限。

作为一个可选的实现方式，用户终端可通过读取本地设置信息来检查上述客户端应用是否具有音频模块的调用权限。上述本地设置信息至少记录有用户终端上的多个客户端应用对音频模块的调用权限，比如下述表1，为本地设置信息的一种示例：

表1

客户端应用	是否具有音频模块的调用权限
		A应用	是
B应用	否
		…	…

基于此，用户终端则可在上述表1所示例的本地设置信息中，查找到上述客户端应用对应的对音频模块的调用权限。

作为一个实施例，如上所述，音频采集请求可携带目标音频参数，基于此，在该实施例中，用户终端响应于音频采集请求，首先基于音频采集请求携带的目标音频参数设置音频模块的音频采集参数，然后再调用音频模块进行音频采集，得到音频数据。

在实践中，对于某一类型的音频参数而言，音频模块可支持一种或多种音频参数，比如，音频模块既支持单声道，又支持双声道，同时，音频模块支持的音频参数并非一定包含目标音频参数。基于此，用户终端基于音频采集请求携带的目标音频参数设置音频模块的音频采集参数包括：

当用户终端确定音频模块支持目标音频参数时，则将音频模块的音频采集参数设置为目标音频参数；

当用户终端确定音频模块不支持目标音频参数，且音频模块仅支持一种音频参数时，则用户终端将音频模块的音频采集参数设置为其仅支持的一种音频参数；

当用户终端确定音频模块不支持目标音频参数且音频模块支持多种音频参数时，则用户终端从音频模块支持的多种音频参数中选择一种音频参数，将音频模块的音频采集参数设置为所选择的音频参数。

作为一个可选的实现方式，用户终端从音频模块支持的多种音频参数中随机选择一种音频参数。

作为另一个可选的实现方式，用户终端从音频模块支持的多种音频参数中选择与目标音频参数最接近的音频参数。举例来说，假设目标音频采样率为50Hz，音频模块支持的音频采样率包括40Hz、200Hz，则用户终端可将40Hz确定为上述相匹配的音频参数。其中，当存在多个与目标音频参数最接近的音频参数时，比如，音频模块支持的音频采样率包括40Hz、60Hz、200Hz，则可从该多个与目标音频参数最接近的音频参数种随机选择一种音频参数，或者选择较大的音频参数，再或者选择较小的音频参数等，本发明对此不做限制。

在本实施例通过基于音频采集请求携带的目标音频参数设置音频模块的音频采集参数，能够尽可能地避免出现云设备上的云应用无法解析来自于用户终端的音频数据的问题。

步骤204、用户终端向云设备发送音频数据。

本发明实施例中，调用权限也可以包括(或视作)音频读取权限。也即，当具备前述调用权限时，用户终端也具备读取音频数据的权限。或者，调用权限也可以与音频读取权限各自独立，这种情况下，用户终端读取音频数据之前，还需要验证是否具备音频读取权限。与调用权限类似，音频读取权限也可以提前申请。在此基础上，若用户终端具备音频读取权限，则可以直接读取音频数据；若用户终端不具备音频读取权限，则与调用权限类似，可以向用户请求音频读取权限，不再展开说明。

作为一个实施例，用户终端可主动读取音频模块采集到的音频数据，并向云设备发送读取到的音频数据，也即，用户终端可主动向云设备发送音频模块采集到的音频数据。

作为另一个实施例，用户终端在接收到来自于云设备的音频获取请求后，读取音频模块采集到的音频数据，并向云设备发送读取到的音频数据，也即，用户终端可被动地向云设备发送音频模块采集到的音频数据。至于该实施例的具体实现，在下文图8所示流程中会有描述，这里先不详述。

作为一个可选的实现方式，用户终端可循环读取音频模块采集到的音频数据，且每次读取一定字节的音频数据，则向云设备发送读取到的音频数据。

在一个例子中，以用户终端为基于安卓***实现的智能手机为例，如图6所示，用户终端包括但不限于：客户端、音频服务层、硬件抽象层、音频模块、音频缓冲区。其中，音频服务层可以是AF。硬件抽象层可以是Audio HAL。至于AF和Audio HAL的介绍可参见上述描述，这里不再赘述。

在图6所示用户终端的基础上，如图7所示，用户终端读取音频模块采集到的音频数据的过程包括以下步骤：

步骤701、客户端向音频服务层发送音频数据读取请求。

上述音频数据读取请求用于请求读取音频数据。

步骤702、音频服务层向硬件抽象层转发音频数据读取请求。

步骤703、硬件抽象层响应于音频数据读取请求，从音频模块的音频缓冲区中读取音频数据，并向音频服务层发送读取到的音频数据。

硬件抽象层响应于音频数据读取请求，可调用相关的API从音频模块的音频缓冲区中读取音频数据。其中，音频缓冲区用于存储音频模块采集到的音频数据。

步骤704、音频服务层向客户端转发接收到的音频数据。

至此，完成图7所示流程的描述。

步骤205、云设备接收来自用户终端的音频数据。

在本发明实施例中，云设备接收到来自用户终端的音频数据后，则可以基于接收到的音频数据进行操作，以实现对应的服务。示例性的，云设备在接收到来自用户终端的音频数据后，可将接收到的音频数据转发给其他设备，比如其他用户终端、音频播放设备等。在一示例性应用场景中，云设备可将接收到的来自用户终端的语音转发给其他用户终端，如此则可实现不同用户在使用云应用时进行语音交互。

至此，完成图2所示流程的描述。

图2所示流程通过云设备在检测到对语音功能的触发事件时，生成音频采集请求，并向用户终端发送该音频采集请求，用户终端则响应于该音频采集请求，调用音频模块进行音频采集，得到音频数据，并向云设备发送音频数据，如此，在云应用运行过程中，云设备可以利用用户终端对应的音频模块实现音频采集，从而，即便云设备不具备音频采集功能，也能够通过与用户终端的交互，采集到音频数据，实现了云端音频输入，满足了用户使用云应用时的语音需求。

在上述图2所示流程的基础上，请参见图8，为本发明一示例性实施例示出的另一种云端音频输入方法的实施例流程图。如图8所示，该流程可以包括以下步骤：

步骤801、云设备在检测到对语音功能的触发事件时，生成音频采集请求。

本步骤801的详细描述可参见上述步骤201中的描述，这里不再赘述。

步骤802、云设备通过云端通信模块向用户终端发送音频采集请求。

当云设备与用户终端通过云端通信模块通信连接时，云设备向用户终端发送音频采集请求包括：云设备向云端通信模块发送音频采集请求，云端通信模块向用户终端转发来自于云设备的音频采集请求。

步骤803、用户终端响应于音频采集请求，调用音频模块进行音频采集得到音频数据，并通过云端通信模块向云设备发送第一指示消息。

其中，第一指示消息用于指示音频模块已开启。

在应用中，作为一个实施例，用户终端上的音频模块可处于开启状态。基于此，用户终端响应于音频采集请求，确定音频模块已开启，则可调用音频模块进行音频采集得到音频数据，并通过云端通信模块向云设备发送第一指示消息。

作为另一个实施例，用户终端上的音频模块可处于关闭状态。基于此，用户终端响应于音频采集请求，确定音频模块已关闭，则可先启动音频模块，然后再调用音频模块进行音频采集得到音频数据，并通过云端通信模块向云设备发送第一指示消息。

在一个例子中，在图6所示用户终端的基础上，如图9所示，用户终端启动音频模块进行音频采集的过程包括以下步骤：

步骤901、客户端向音频服务层发送音频模块启动请求。

上述音频模块启动请求用于请求启动音频模块。

步骤902、音频服务层向硬件抽象层转发音频模块启动请求。

步骤903、硬件抽象层响应于音频模块启动请求启动音频模块。

硬件抽象层响应于音频模块启动请求，可调用相关的API启动音频模块。

通过图9所示流程，实现了基于安卓***的用户终端启动音频模块。

步骤804、云设备响应于第一指示消息，通过云端通信模块向用户终端发送音频获取请求。

作为一个实施例，云设备接收到上述第一指示消息，则可确定用户终端开始进行音频采集，基于此，云设备可向用户终端发送音频获取请求，以请求获取音频数据。

当云设备与用户终端通过云端通信模块通信连接时，云设备向用户终端发送音频获取请求包括：云设备向云端通信模块发送音频获取请求，云端通信模块向用户终端转发来自于云设备的音频获取请求。

步骤805、用户终端响应于音频获取请求，通过云端通信模块向云设备发送音频数据。

作为一个实施例，用户终端可在接收到来自于云设备的音频获取请求后，再向云设备发送音频数据。也即用户终端被动地向云设备发送音频数据。

当云设备与用户终端通过云端通信模块通信连接时，云设备向用户终端发送音频数据包括：用户终端向云端通信模块发送音频数据，云端通信模块向云设备转发来自于用户终端的音频数据。

作为一个实施例，云端通信模块在接收到来自于用户终端的音频数据后，将接收到的音频数据存入云端存储区域，并向云设备发送用于指示音频数据已被存入云端存储区域的第二指示消息，云设备则响应于该第二指示消息，从云端存储区域中读取音频数据。

可选的，每个云设备可对应一个或多个云端存储区域，进一步，一个云端存储区域可对应多个云设备，也即不同的云设备可对应同一云端存储区域，也可对应不同的云端存储区域。当一个云端存储区域对应多个云设备时，该多个云设备可以是同一云服务器下所有的云设备，或者是多个云服务器。

可选的，一个云端存储区域可对应一个云设备，具体而言，云端存储区域为云设备的内置存储区域。

作为一个实施例，当音频模块采集的音频数据的音频格式与云设备所支持的音频格式(为了描述方便，以下称目标音频格式)不一致时，上述云端存储区域中存储的是已被格式转换的音频数据，且该已被格式转换的音频数据属于目标音频格式。这能够避免出现云设备无法识别接收到的音频数据的问题。

作为一个可选的实现方式，当音频模块采集的音频数据的音频格式与目标音频格式不一致时，可由用户终端对音频模块采集的音频数据进行格式转换，并向云端通信模块发送格式转换后音频数据。这则能实现云端存储区域中存储的是已被格式转换的音频数据。

作为另一个可选的实现方式，当音频模块采集的音频数据的音频格式与目标音频格式不一致时，可由云端通信模块对接收到的，也即音频模块采集的音频数据进行格式转换，并将格式转换后的音频数据存入云端存储区域。这也能实现云端存储区域中存储的是已被格式转换的音频数据。

其中，在一个例子中，上述目标音频格式可包含在上述目标音频参数中。如此用户终端或云端通信模块可根据目标音频参数中包括目标音频格式对音频模块采集的音频数据进行格式转换。

在另一个例子中，用户终端或云端通信模块上可预先记录有各云应用所支持的目标音频格式。基于此，用户终端或云端通信模块可在本地查找到目标云应用(这里所说的目标云应用是指上述步骤201中检测到对语音功能的触发事件的云应用)所支持的目标音频格式，以对音频模块采集的音频数据进行格式转换。

需要说明的是，在实践中，不同的云应用可以对应不同的目标音频格式，进一步，任一云应用可对应一种或多种目标音频格式。在云应用对应多种音频格式的情况下，作为一个可选的实现方式，用户终端或云端通信模块可选择(比如随机选择)一种目标音频格式对音频模块采集的音频数据进行格式转换。作为另一个可选的实现方式，用户终端或云端通信模块可针对每一目标音频格式，均对音频模块采集的音频数据进行格式转换。

步骤806、云设备接收来自于云端通信模块的音频数据。

在一个例子中，继续以云设备为基于安卓***实现的云手机为例，如图10所示，云设备接收来自于云端通信模块的音频数据的过程包括以下步骤：

步骤1001、硬件抽象层接收到来自于云端通信模块的第二指示消息。

步骤1002、硬件抽象层响应于第二指示消息，从云端存储区域中读取音频数据。

硬件抽象层响应于第二指示消息，可调用相关的API从云端存储区域中读取音频数据。

步骤1003、硬件抽象层向音频服务层发送读取到的音频数据。

步骤1004、音频服务层向云应用转发接收到的音频数据。

通过图10所示流程，实现了云设备接收来自于云端通信模块的音频数据。

图8所示流程通过云设备在检测到对语音功能的触发事件时，生成音频采集请求，并向用户终端发送该音频采集请求，用户终端则响应于该音频采集请求，调用音频模块进行音频采集，得到音频数据，并向云设备发送用于指示音频模块已开启的第一指示消息，云设备则响应于第一指示消息，向用户终端发送音频获取请求，进而用户终端响应于音频获取请求，向云设备发送音频数据。如此，在云应用运行过程中，云设备可以利用用户终端对应的音频模块实现音频采集，从而，即便云设备不具备音频采集功能，也能够通过与用户终端的交互，采集到音频数据，实现了云端音频输入，满足了用户使用云应用时的语音需求。

下面结合附图，以具体实施例对本发明提供的云端音频输入装置进行说明：

首先，从云设备侧对发明提供的云端音频输入装置进行说明：

参见图11，为本发明一示例性实施例示出的一种云端音频输入装置的实施例框图。

如图11所示，该装置包括：处理单元1101、发送单元1102，以及接收单元1103。

其中，处理单元1101，用于在检测到对语音功能的触发事件时，生成音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

发送单元1102，用于向所述用户终端发送所述音频采集请求，以使所述用户终端响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

接收单元1103，用于接收所述用户终端发送的所述音频数据。

在一可能的实施方式中，所述云设备与所述用户终端通过云端通信模块建立通信连接；

所述云端通信模块用于实现多个所述云设备与其对应的用户终端之间的通信连接；和/或，

所述云端通信模块用于实现所述云设备上的多个云应用与其对应的用户终端之间的通信连接。

在一可能的实施方式中，所述装置还包括(图11未示出)：

第一消息接收单元，用于接收来自所述用户终端的第一指示消息，所述第一指示消息用于指示所述音频模块已开启；

所述接收单元1103进一步用于：

响应于所述第一指示消息，向所述用户终端发送音频获取请求，所述音频获取请求用于请求获取音频数据，以使所述用户终端响应于所述音频获取请求，读取所述音频模块采集到的音频数据，并向所述云设备发送读取到的所述音频数据；

接收来自所述用户终端的所述音频数据。

在一可能的实施方式中，所述装置还包括(图11未示出)：

第二消息接收单元，用于接收来自所述云端通信模块的第二指示消息，所述第二指示消息用于指示所述音频数据已被存入云端存储区域；

读取单元，用于从所述云端存储区域中读取所述音频数据。

在一可能的实施方式中，当所述音频模块采集的所述音频数据的音频格式与所述云设备所支持的目标音频格式不一致时，所述云端存储区域中存储已被格式转换的音频数据，所述已被格式转换的音频数据属于所述目标音频格式。

其次，从用户终端侧对发明提供的云端音频输入装置进行说明：

参见图12，为本发明一示例性实施例示出的一种云端音频输入装置的实施例框图。

如图12所示，该装置包括：接收单元1201、调用单元1202、发送单元1203。

其中，接收单元1201，用于接收来自所述云设备的音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

调用单元1202，用于响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

发送单元1203，用于将所述音频数据发送给所述云设备。

在一可能的实施方式中，所述装置还包括(图12未示出)：

第一消息发送单元，用于向所述云设备发送第一指示消息，所述第一指示消息用于指示所述音频模块已开启，以使所述云设备响应于所述第一指示消息向所述用户终端发送音频获取请求，所述音频获取请求用于请求获取音频数据；

所述发送单元1203进一步用于：

响应于所述音频获取请求，读取所述音频模块采集到的音频数据，并向所述云设备发送读取到的所述音频数据。

在一可能的实施方式中，所述调用单元1202进一步用于：

调用所述用户终端内置的音频模块进行音频采集；或者，

调用与所述用户终端通信连接的音频模块进行音频采集。

图13为本发明实施例提供的一种的电子设备的结构示意图，图13所示的电子设备1300包括：至少一个处理器1301、存储器1302、至少一个网络接口1304和其他用户接口1303。电子设备1300中的各个组件通过总线***1305耦合在一起。可理解，总线***1305用于实现这些组件之间的连接通信。总线***1305除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图13中将各种总线都标为总线***1305。

其中，用户接口1303可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

可以理解，本发明实施例中的存储器1302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本文描述的存储器1302旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器1302存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作***13021和应用程序13022。

其中，操作***13021，包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序13022，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序13022中。

在本发明实施例中，通过调用存储器1302存储的程序或指令，具体的，可以是应用程序13022中存储的程序或指令，处理器1301用于执行各方法实施例所提供的方法步骤，例如包括：

在检测到对语音功能的触发事件时，生成音频采集请求，并向所述用户终端发送所述音频采集请求，以使所述用户终端响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；所述音频采集请求用于请求所述用户终端进行音频采集；

接收来自所述用户终端的所述音频数据。

或者，

接收来自所述云设备的音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

向所述云设备发送所述音频数据。

上述本发明实施例揭示的方法可以应用于处理器1301中，或者由处理器1301实现。处理器1301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1301可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1302，处理器1301读取存储器1302中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器(DigitalSignalProcessing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本实施例提供的电子设备可以是如图13中所示的电子设备，可执行本发明实施例提供的云端音频输入方法的所有步骤，进而实现本发明实施例所示的云端音频输入方法的技术效果，具体请参照上述相关描述，为简洁描述，在此不作赘述。

本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。

当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在电子设备侧执行的云端音频输入方法。

所述处理器用于执行存储器中存储的云端音频输入程序，以实现以下在电子设备侧执行的云端音频输入方法的步骤：

在检测到对语音功能的触发事件时，生成音频采集请求，并向所述用户终端发送所述音频采集请求，以使所述用户终端响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；所述音频采集请求用于请求所述用户终端进行音频采集；

接收来自所述用户终端的所述音频数据。

或者，

接收来自所述云设备的音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

向所述云设备发送所述音频数据。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种云端音频输入方法，其特征在于，应用于云***，所述云***包括云设备、用户终端，所述方法包括：

所述云设备在检测到对语音功能的触发事件时，生成音频采集请求，并向所述用户终端发送所述音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

所述用户终端响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

所述用户终端向所述云设备发送所述音频数据。

2.根据权利要求1所述的方法，其特征在于，所述云设备与所述用户终端通过云端通信模块建立通信连接；

所述云端通信模块用于实现多个所述云设备与其对应的用户终端之间的通信连接；和/或，

所述云端通信模块用于实现所述云设备上的多个云应用与其对应的用户终端之间的通信连接。

3.根据权利要求2所述的方法，其特征在于，所述云设备还包括：音频服务层、硬件抽象层；所述云设备在检测到对语音功能的触发事件时，生成音频采集请求，并向所述用户终端发送所述音频采集请求，包括：

所述云设备上的任一云应用在检测到对语音功能的触发事件时，所述任一云应用生成音频模块启动请求，并向所述音频服务层发送所述音频模块启动请求，所述音频模块启动请求用于请求启动音频采集设备；

所述音频服务层向所述硬件抽象层转发所述音频模块启动请求；

响应于所述音频模块启动请求，所述硬件抽象层向所述云端通信模块发送所述音频采集请求；

所述云端通信模块向所述用户终端转发所述音频采集请求。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述用户终端向所述云设备发送第一指示消息，所述第一指示消息用于指示所述音频模块已开启；

所述云设备响应于所述第一指示消息，向所述用户终端发送音频获取请求，所述音频获取请求用于请求获取音频数据；

所述用户终端向所述云设备发送所述音频数据，包括：

所述用户终端响应于所述音频获取请求，读取所述音频模块采集到的音频数据，并向所述云设备发送读取到的所述音频数据。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

所述云设备接收来自所述云端通信模块的第二指示消息，所述第二指示消息用于指示所述音频数据已被存入云端存储区域；

所述云设备从所述云端存储区域中读取所述音频数据。

6.根据权利要求4所述的方法，其特征在于，当所述音频模块采集的所述音频数据的音频格式与所述云设备所支持的目标音频格式不一致时，所述云端存储区域中存储已被格式转换的音频数据，所述已被格式转换的音频数据属于所述目标音频格式。

7.根据权利要求1所述的方法，其特征在于，所述音频采集请求携带目标音频参数；

所述方法还包括：

当所述用户终端确定所述音频模块支持所述目标音频参数时，基于所述目标音频参数设置所述音频模块的音频采集参数；或者，

当所述用户终端确定所述音频模块不支持所述目标音频参数，且所述音频模块仅支持一种音频参数时，基于所述音频模块支持的音频参数设置所述音频模块的音频采集参数；或者，

当所述用户终端确定所述音频模块不支持所述目标音频参数，且所述音频模块支持多种音频参数时，从所述音频模块支持的多种音频参数中选择一种音频参数，基于所选择的音频参数设置所述音频模块的音频采集参数。

8.一种云端音频输入方法，其特征在于，应用于云***中的云设备，所述云***还包括用户终端；所述方法包括：

在检测到对语音功能的触发事件时，生成音频采集请求，并向所述用户终端发送所述音频采集请求，以使所述用户终端响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；所述音频采集请求用于请求所述用户终端进行音频采集；

接收来自所述用户终端的所述音频数据。

9.根据权利要求8所述的方法，其特征在于，所述云设备与所述用户终端通过云端通信模块建立通信连接；

所述云端通信模块用于实现多个所述云设备与其对应的用户终端之间的通信连接；和/或，

所述云端通信模块用于实现所述云设备上的多个云应用与其对应的用户终端之间的通信连接。

10.根据权利要求9所述的方法，其特征在于，所述云设备还包括：音频服务层、硬件抽象层；所述在检测到对语音功能的触发事件时，生成音频采集请求，并向所述用户终端发送所述音频采集请求，包括：

所述云设备上的任一云应用在检测到对语音功能的触发事件时，所述任一云应用生成音频模块启动请求，并向所述音频服务层发送所述音频模块启动请求，所述音频模块启动请求用于请求启动音频采集设备；

所述音频服务层向所述硬件抽象层转发所述音频模块启动请求；

响应于所述音频模块启动请求，所述硬件抽象层向所述云端通信模块发送所述音频采集请求，以使所述云端通信模块向所述用户终端转发所述音频采集请求。

11.根据权利要求8所述的方法，其特征在于，所述方法还包括：

接收来自所述用户终端的第一指示消息，所述第一指示消息用于指示所述音频模块已开启；

所述接收来自所述用户终端的所述音频数据，包括：

响应于所述第一指示消息，向所述用户终端发送音频获取请求，所述音频获取请求用于请求获取音频数据，以使所述用户终端响应于所述音频获取请求，读取所述音频模块采集到的音频数据，并向所述云设备发送读取到的所述音频数据；

接收来自所述用户终端的所述音频数据。

12.一种云端音频输入方法，其特征在于，应用于云***中的用户终端，所述云***还包括云设备；所述方法包括：

接收来自所述云设备的音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

向所述云设备发送所述音频数据。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

向所述云设备发送第一指示消息，所述第一指示消息用于指示所述音频模块已开启，以使所述云设备响应于所述第一指示消息向所述用户终端发送音频获取请求，所述音频获取请求用于请求获取音频数据；

所述向云设备发送所述音频数据，包括：

响应于所述音频获取请求，读取所述音频模块采集到的音频数据，并向所述云设备发送读取到的所述音频数据。

14.根据权利要求12所述的方法，其特征在于，所述调用音频模块进行音频采集，包括：

调用所述用户终端内置的音频模块进行音频采集；或者，

调用与所述用户终端通信连接的音频模块进行音频采集。

15.一种云***，其特征在于，所述云***包括云设备、用户终端，所述云设备与所述用户终端通信连接；

所述云设备，用于执行权利要求8～11中任一项所述的云端音频输入方法；

所述用户终端，用于执行权利要求12～14中任一项所述的云端音频输入方法。

16.一种云端音频输入装置，其特征在于，所述装置包括：

处理单元，用于在检测到对语音功能的触发事件时，生成音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

发送单元，用于向所述用户终端发送所述音频采集请求，以使所述用户终端响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

接收单元，用于接收所述用户终端发送的所述音频数据。

17.一种云端音频输入装置，其特征在于，所述装置包括：

接收单元，用于接收来自所述云设备的音频采集请求，所述音频采集请求用于请求所述用户终端进行音频采集；

调用单元，用于响应于所述音频采集请求，调用音频模块进行音频采集，得到音频数据；

发送单元，用于将所述音频数据发送给所述云设备。

18.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的云端音频输入程序，以实现权利要求8～11或12～14中任一项所述的云端音频输入方法。

19.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求8～11或12～14中任一项所述的云端音频输入方法。

Images