CN107659831B - 媒体数据处理方法、客户端、及存储介质 - Google Patents

Abstract

本申请公开了媒体数据处理方法，包括：当从应用服务器接收主媒体内容的数据流并展示主媒体内容时，向推广内容投放平台发送推广内容推送请求，以使其进行选单处理并确定选中的订单；其中，应用服务器获取主媒体内容的音频数据流并从中分析出至少一段语音数据并提供给推广内容投放平台；从推广内容投放平台接收选中的订单的信息；根据选中的订单的信息中的推广内容素材的信息获取推广内容素材；当收到来自推广内容投放平台的匹配成功通知时，根据推广内容素材展示推广内容。

Description

媒体数据处理方法、客户端、及存储介质

技术领域

本申请涉及互联网领域，尤其涉及媒体数据处理方法、应用客户端、及存储介质。

背景技术

随着互联网技术的发展，越来越多的数据(包括：文本、图片、音频、视频等)会通过互联网推送给各种用户。比如：用户在使用手机、PC等终端设备浏览网页时，会接收到网络侧推送的各种数据，比如：图片或视频格式的广告、公益宣传信息、新闻等。这样，用户可以及时获知时讯、感兴趣的内容等。这类数据可被称为推广内容、推送信息或推送媒体内容等。

发明内容

本申请实例提供一种媒体数据处理方法，应用于应用客户端，该方法包括：当从应用服务器接收主媒体内容的数据流并展示所述主媒体内容时，向推广内容投放平台发送推广内容推送请求，以使其进行选单处理并确定选中的订单；其中，所述应用服务器获取所述主媒体内容的音频数据流并从中分析出至少一段语音数据并提供给所述推广内容投放平台；从所述推广内容投放平台接收所述选中的订单的信息；根据所述选中的订单的信息中的推广内容素材的信息获取所述推广内容素材；当收到来自所述推广内容投放平台的匹配成功通知时，根据所述推广内容素材展示推广内容；其中，所述推广内容投放平台用所述至少一段语音数据与所述选中的订单对应的所述推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，发出所述匹配成功通知。

本申请实例提供一种媒体数据处理方法，应用于第一应用客户端，该方法包括：当向应用服务器上传视频直播节目的直播数据流时，录制音频数据并向所述应用服务器上传实时的直播音频数据流，以使所述应用服务器从所述直播音频数据流中识别出至少一段语音数据并提供给推广内容投放平台，使得所述推广内容投放平台用所述至少一段语音数据与为第二应用客户端选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，向所述第二应用客户端发送匹配成功的通知，以使所述第二应用客户端根据所述选中的订单的信息中的所述推广内容素材的信息展示所述推广内容。

本申请实例提供一种媒体数据处理方法，应用于应用服务器，该方法包括：当向应用客户端提供主媒体内容的数据流时，获取所述主媒体内容的实时音频数据流；从所述音频数据流中分析出至少一段语音数据；发送所述至少一段语音数据至推广内容投放平台，以使其用所述至少一段语音数据与为所述应用客户端选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，向所述应用客户端发出匹配成功通知，使得所述应用客户端响应于所述匹配成功通知展示所述推广内容。

本申请实例提供一种应用客户端，包括：播放器，从应用服务器接收主媒体内容的数据流并展示所述主媒体内容；推广内容插件，当所述播放器展示所述主媒体内容时，向所述推广内容投放平台发送推广内容推送请求以使其进行选单处理并确定选中的订单，从所述推广内容投放平台接收所述选中的订单的信息，根据所述选中的订单的信息中的推广内容素材的信息获取所述推广内容素材；其中，所述应用服务器获取所述主媒体内容的音频数据流并从中分析出至少一段语音数据并提供给所述推广内容投放平台；所述播放器，当收到来自所述推广内容投放平台的匹配成功通知时，调用所述推广内容插件，以使所述推广内容插件将所述推广内容素材传递给所述播放器，再根据所述推广内容素材展示推广内容；其中，所述推广内容投放平台用所述至少一段语音数据与所述选中的订单对应的所述推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，发出所述匹配成功通知。

本申请实例提供了一种应用客户端，包括：播放器，当向应用服务器上传视频直播节目的直播数据流时，录制音频数据并向所述应用服务器上传实时的直播音频数据流，以使所述应用服务器从所述直播音频数据流中识别出至少一段语音数据并提供给推广内容投放平台，使得所述推广内容投放平台用所述至少一段语音数据与为第二应用客户端选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，向所述第二应用客户端发送匹配成功的通知，以使所述第二应用客户端根据所述选中的订单的信息中的所述推广内容素材的信息展示所述推广内容。

本申请实例提供了一种存储介质，存储有数据处理程序，该数据处理程序用于使计算机执行如上所述的方法。

采用本申请提出的上述技术方案，能够改善推广内容的推送效果。

附图说明

为了更清楚地说明本申请实例中的技术方案，下面将对实例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请涉及的一种***构架示意图；

图2是本申请一实例的方法流程图；

图3是本申请一实例的方法流程图；

图4是本申请一实例的方法流程图；

图5是本申请一实例的客户端结构图；

图6是本申请一实例的服务器结构图；

图7是本申请一实例的平台结构图；

图8是本申请一实例的消息交互图；及

图9是本申请一实例的设备结构图。

具体实施方式

下面将结合本申请实例中的附图，对本申请实例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅是本申请一部分实例，而不是全部的实例。基于本申请中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本申请保护的范围。

本申请提出了媒体数据处理方法，该方法可应用于图1所示的***构架中。如图1所示，该***构架包括：应用客户端101、提供在线媒体内容服务的应用服务器102(也可称为媒体内容服务器)、推广内容投放平台103，这些实体通过互联网104进行通信。

用户使用应用客户端101访问应用服务器102，比如观看在线视频或收听广播。应用服务器102可以是提供各种互联网音频和/或视频内容服务的网站服务器，比如：门户网站服务器、提供在线视频/音频播放服务的服务器、社交平台的服务器等等，具体的，可以是诸如蜻蜓FM、酷我音乐等提供在线音频播放服务的服务器，也可以是爱奇艺、优酷等提供在线视频播放服务的服务器，还可以是各种直播平台的服务器等。相应的，应用客户端101可以是诸如蜻蜓FM、酷我音乐等在线音频播放应用(APP)客户端，也可以是爱奇艺、优酷等在线视频播放APP客户端，还可以是各种直播APP客户端等。

当一用户正使用应用客户端101访问应用服务器102提供的媒体内容(观看视频或者收听音频)时，应用客户端101中用于实现推广内容推送的推广内容插件，如广告软件开发包(SDK)，向推广内容投放***103发送推广内容推送请求(如广告曝光请求)，推广内容投放***103根据该推广内容推送请求中携带的用户信息以及展示位信息(如广告位信息)可以进行选单处理，从而选择出定向与此用户信息及展示位信息相匹配的订单，将该订单的信息发送给应用客户端101。该订单的信息可包括该订单对应的推广内容的素材链接地址(如URL)和/或推广内容中的文本/图片素材等等。应用客户端101根据该订单的信息可以展示对应的推广内容，比如：根据素材的链接地址拉取到推广内容的素材(如图片、动画或视频文件等)和/或从该订单的信息中提取文本/图片素材，并根据这些素材展示推广内容。这里，相对于推广内容，上述媒体内容可以被视为是主媒体内容，通过上述方案可在展示主媒体内容的过程中推送推广内容。其中，订单的信息可能包含推广内容的素材链接地址和推广内容中的文本/图片素材，则可将文本素材与图片、视频等素材文件叠加展示，比如：根据URL可拉取到视频广告的视频素材文件，还可从订单的信息中提取到文本形式的广告语，则可在播放视频素材文件的同时在视频画面中叠加广告语，这样就完成了一次广告播放。

当上述推广内容为广告时，图1所示的***构架为推送互联网广告的***构架，其中，推广内容投放***103可以为广告投放***或者叫广告投放平台。

在一实例中，本申请提出的方法可在展示主媒体内容时展示推广内容，该方法可应用于应用客户端101。如图2所示，该方法可包括如下步骤：

步骤201：当从应用服务器102接收主媒体内容的数据流并展示所述主媒体内容时，应用客户端101向推广内容投放平台103发送推广内容推送请求，以使其进行选单处理并确定选中的订单。

其中，应用服务器102获取主媒体内容的音频数据流并从中分析出至少一段语音数据并提供给推广内容投放平台103。这里的语音数据指的是主媒体内容中角色的台词对应的音频数据或文本。比如：在视频节目中，人物角色说出的台词部分的音频数据或文本。

步骤202：应用客户端101从推广内容投放平台103接收上述选中的订单的信息。

步骤203：应用客户端101根据此选中的订单的信息中的推广内容素材的信息获取推广内容素材。

在一些实例中，推广内容素材的信息可以包括：素材的链接地址(URL)、素材的标识等，通过这些信息可以获取到推广内容素材(可包括：文字、图片、动画和/或视频素材文件)。

步骤204：当收到来自推广内容投放平台103的匹配成功通知时，应用客户端101根据所获取的推广内容素材展示推广内容。

其中，推广内容投放平台103用应用服务器102提供的至少一段语音数据与上述选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与此描述文本匹配时，发出所述匹配成功通知。这里，该匹配成功通知可能从推广内容投放平台103经由应用服务器102发送给应用客户端101，也可能直接发给应用客户端101。

这里，推广内容投放平台103可为推广方欲投放的推广内容创建订单，其可接收推广方上传的推广内容素材、定向设置参数等，并在订单中描述推广内容素材的信息(如URL)、定向、展示位等信息。推广内容投放平台103在收到推广内容推送请求后，可根据该请求中携带的用户信息、展示位信息和/或设备信息等进行选单处理，以选择出定向和/或展示位与该请求携带的用户信息、展示位信息和/或设备信息相匹配的订单，再将所选中的订单的相关信息返回给应用客户端101。此选中的订单的相关信息可包括上述推广内容素材的信息，也可包括展示位信息，这样，应用客户端101可根据订单的这些相关信息在页面的某一展示位上展示推广内容。在上述实例中，在创建的订单时，可进一步在其中包含可用于与语音数据进行匹配的推广内容的描述文本，如在广告订单中包含广告语，上述订单对应的推广内容的描述文本可从订单中提取。可选的，推广内容投放平台也可将这种描述文本与订单关联保存，比如，一个订单可以关联一个.txt文件，该.txt文件中包含了这种描述文本(如广告语)。总之，推广内容投放平台可以获取到某一订单对应的推广内容的描述文本。

其中，上述推广内容推送请求中，用户信息可以包括互联网用户在各种APP、网站上注册使用的各种账号，如：QQ等即时通讯号码、e-mail地址、微信账号、微博账号、淘宝账号等。展示位置信息用来描述应用客户端的页面中提供的用来展示媒体内容的位置，比如描述某个页面中可用来展示广告的位置。设备信息用来描述用户设备本身的属性，可包括：诸如移动终端、PC、智能电视等设备类型，诸如安卓、IOS等操作***类型，品牌/机型信息等等。

在一些实例中，应用客户端101可包括播放器和推广内容插件，当播放器展示主媒体内容时，推广内容插件可执行步骤201～204。在步骤204中，推广内容插件可将获取的推广内容素材传递给播放器，并在播放器当前展示的页面上拉起一个浮层，由播放器在此浮层上利用推广内容素材完成推广内容的展示。这里，可以通过调用WebView组件来自当前页面上拉起一个WebView浮层。

采用上述实例，当从当前展示的主媒体内容中出现一段与推广内容的描述文本相匹配的语音数据时，可以展示此推广内容，因此，提供了一种新的推广内容投放机制，改善了推广内容的展示效果。具体的，对于广告展示，在当前播放的视频中的主持人或者某个角色说出一段与预设的广告文案相匹配的台词时，就可以展示该广告。比如：对于耐克广告而言，预设的广告文案可以是“Justdo it”，当播放的直播节目或者各种视频节目中有人说出台词“Just do it”时，就可以马上展示耐克广告。这样，既可以丰富用户的观看体验，又可以提升推广内容的推广效果，同时也为推广内容投放平台103提供了一种新的推广内容投放模式，对于广告投放平台而言，为广告投放平台与提供应用服务器的媒体方和广告主三方提供了一种新的合作模式，具有较高的商业价值。对于提供直播节目的直播平台(一种媒体方)而言，采用上述实例能够实现一种直播互动广告，为直播平台和直播节目主持人带来新的广告收益。

在一些实例中，当收到所述匹配成功通知时，应用客户端101可根据所述推广内容素材的信息获取所述推广内容素材，并根据所述推广内容素材展示所述推广内容。也就是说，当收到选中的订单的信息时，应用客户端101并不马上获取推广内容素材，而是当根据匹配成功通知确认主媒体内容中有一段语音数据与推广内容的描述文本相匹配时，再获取推广内容素材并展示。这样，可以节省用户设备的存储资源，当到达展示时机时(即收到匹配成功通知时)再获取推广内容素材。

在一些实例中，当接收到所述选中的订单的信息时，应用客户端101获取所述推广内容素材，并进一步将所述推广内容素材缓存在本地。其中，当收到所述匹配成功通知时，应用客户端101从本地读取所述推广内容素材，并根据所述推广内容素材展示所述推广内容。也就是说，当收到选中的订单的信息时，应用客户端101马上获取推广内容素材并将其缓存在本地，当根据匹配成功通知确认主媒体内容中有一段语音数据与推广内容的描述文本相匹配时，再读取本地缓存的推广内容素材并展示。这样，当到达展示时机时(即收到匹配成功通知时)，能够更快的展示推广内容。

在一些实例中，所述选中的订单包括一个或多个订单；所述方法进一步包括：当所述匹配成功通知时，应用客户端101确定所述匹配成功通知携带的一个选中的订单的信息对应的所述推广内容素材。其中，根据所确定的一个选中的订单的信息对应的所述推广内容素材展示所述一个选中的订单对应的所述推广内容。这样，应用客户端101可能获得多个选中的订单的信息(即可能多个待展示的推广内容)，当收到一个匹配成功通知时，确定其对应的一个订单，然后展示该订单对应的推广内容。具体的，某一直播节目可能对应多个广告，当主持人说出与某一广告文案相匹配的台词时，即展示该广告，那么主持人说不通的台词时可能触发展示不同的广告。

在上述实例中，应用服务器102可从当前提供的主媒体内容的数据流中提取音频数据流，也可从应用客户端101接收其录制的实时音频数据流。比如：在直播节目中，主持人的应用客户端101可通过麦克风录制主持人的实时音频数据流并发送给应用服务器102。

在一些实例中，本申请提供的媒体数据处理方法，可应用于第一应用客户端(如直播节目中主持人的应用客户端)。该方法可包括如下步骤：

当向应用服务器上传主媒体内容的数据流时，第一应用客户端录制音频数据并向应用服务器上传实时的音频数据流，以使应用服务器从此音频数据流中分析出至少一段语音数据并提供给推广内容投放平台，使得推广内容投放平台用至少一段语音数据与为第二应用客户端选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，向第二应用客户端发送匹配成功的通知，以使第二应用客户端根据所述选中的订单的信息中的所述推广内容素材的信息展示所述推广内容。在直播场景中，上述主媒体内容可以为视频直播节目，上述主媒体内容的数据流可以为视频直播节目的直播数据流(如直播视频媒体流)，第一应用客户端具备提供直播节目的功能，其上传的实时的音频数据流为其录制的实时的直播音频数据流。

具体的，在直播场景中，主持人的应用客户端(第一应用客户端)可通过麦克风录制主持人的实时直播音频数据流并发送给应用服务器102，应用服务器102可从此直播音频数据流中分析出至少一段语音数据并提供给推广内容投放平台。并行的，第二应用客户端在访问直播节目(如视频直播节目)的页面时，向推广内容投放平台发出了推广内容推送请求，推广内容投放平台可根据该请求进行选单，并将选中的订单的信息返回给第二应用客户端。当推广内容投放平台确定某段语音数据与为第二应用客户端选中的订单对应的推广内容的描述文本相匹配时，会向第二应用客户端发出匹配成功通知，使得第二客户端可展示相应的推广内容。这里，第二客户端可能有多个，包括各个访问主媒体内容的应用客户端，其中可以包括第一客户端，也就是说，在直播场景中，主持人的应用客户端也可以通过上述方式展示推广内容。

在一些实例中，上述应用于第一应用客户端的方法步骤和图2所示的各个步骤可由同一应用客户端来实现。也就是说，当此应用客户端的用户作为观看主媒体内容的用户时，执行图2所示的各个步骤，当此应用客户端的用户作为提供主媒体内容的一方时，可以执行上述应用于第一应用客户端的方法步骤。

在一些实例中，本申请提出了一种媒体数据处理方法，其可应用于应用服务器102。如图3所示，该方法可包括如下步骤：

步骤301：当向应用客户端101提供主媒体内容的数据流时，应用服务器102获取所述主媒体内容的实时音频数据流。

步骤302：应用服务器102从所述音频数据流中分析出至少一段语音数据。

步骤303：应用服务器102发送所述至少一段语音数据至推广内容投放平台103，以使其用所述至少一段语音数据与为应用客户端101选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，向应用客户端101发出匹配成功通知，使得应用客户端101响应于所述匹配成功通知展示所述推广内容。

在一些实例中，所述获取所述主媒体内容的实时音频数据流，包括：从所述主媒体内容的数据流中提取实时音频数据流。比如：对于一些诸如复播的视频节目或者影视剧集的主媒体内容，应用服务器102可从主媒体内容的实时视频数据流中提取音频数据流。

在一些实例中，所述获取所述主媒体内容的实时音频数据流，包括：从应用客户端101接收其通过录制当前展示的所述主媒体内容的音频数据而上传的实时的音频数据流。比如：对于直播平台上的直播节目，可从主持人的应用客户端101接收其现场录制的在视频直播节目中主持人的实时的直播音频数据流。

在一些实例中，所述从所述音频数据流中分析出至少一段语音数据，包括：从所述音频数据流中分析出所有语音数据。也就是说，可分析出所有角色的语音。比如：对于直播节目，可以分析出所有主持人的语音。对于影视剧集，可以分析出所有剧情角色的语音。

在一些实例中，所述从所述音频数据流中分析至少一段语音数据，包括：根据预存的至少一种语音的音频样本数据，从所述音频数据流中分析出所述至少一种语音的语音数据。具体的，可从音频数据流中提取各段语音的音频数据，通过将提取出的各段音频数据和预存的音频样本数据进行转码并比对码率，可以确定从各段音频数据中选出所述至少一种语音的音频数据，进而能分析出所述至少一种的语音数据。比如：在一个视频节目中，可能有多个人物的语音，而采用本方案可分析出指定人物的语音，比如主持人或者主角的语音。在具体实现时，可以预存指定人物的音频样本数据，如事先录制主持人的语音音频数据或者事先从影视剧集的视频中提取指定角色的语音音频数据并将其作为音频样本数据。这样，在播放主媒体内容时，只有指定人物的语音才能触发推广内容的展示，进一步优化了推广内容的展示效果。

在一些实例中，所述从所述音频数据流中分析出至少一段语音数据，包括：从所述音频数据流中提取至少一段语音的音频数据；对所述至少一段语音的音频数据进行语音识别处理，得到所述至少一段语音的文本。其中，应用服务器102发送至推广内容投放平台103的所述至少一段语音数据为所述至少一段语音的文本。推广内容投放平台102可直接用接收到的至少一段语音的文本与上述描述文本进行匹配。

在一些实例中，所述从所述音频数据流中分析出至少一段语音数据，包括：从所述音频数据流中提取至少一段语音的音频数据。其中，应用服务器102发送至推广内容投放平台103的所述至少一段语音数据为所述至少一段语音的音频数据。此种情况下，需要推广内容投放平台102对接收到的音频数据进行语音识别处理得到至少一段语音的文本，再将其与上述描述文本进行匹配。

在一些实例中，本申请提出了一种媒体数据处理方法，可应用于推广内容投放平台103。如图4所示，该方法可包括如下步骤：

步骤401：响应于来自应用客户端101的推广内容推送请求，推广内容投放平台103根据所述推广内容推送请求携带的用户信息进行选单处理，将选中的订单的信息返回给应用客户端101；所述订单的信息包含推广内容素材的信息。

步骤402：推广内容投放平台103接收来自应用服务器102的至少一段语音数据，所述至少一段语音数据是应用服务器102从当前为应用客户端101提供的主媒体内容的实时音频数据流中分析出的。

步骤403：推广内容投放平台103用所述至少一段语音数据分别与所述选中的订单对应的推广内容的描述文本进行匹配。

步骤404：当其中一段语音数据与所述描述文本相匹配时，推广内容投放平台103向应用客户端101发送匹配成功的通知，以使应用客户端101根据所述选中的订单的信息中的所述推广内容素材的信息展示所述推广内容。

在一些实例中，从应用服务器102接收的所述至少一段语音数据为至少一段音频数据；所述用所述至少一段语音数据分别与所述选中的订单对应的推广内容的描述文本进行匹配，包括：对所述至少一段音频数据进行语音识别处理，得到所述至少一段语音的文本；用所述至少一段语音的文本分别与所述描述文本进行匹配。

在一些实例中，从应用服务器102接收的所述至少一段语音数据为至少一段语音的文本；其中，用所述至少一段语音的文本分别与所述描述文本进行匹配。

在一些实例中，本申请提出了一种应用客户端。如图5所示，该应用客户端500可包括播放器501和推广内容插件502，它们的工作原理如下：

播放器501，从应用服务器102接收主媒体内容的数据流并展示所述主媒体内容。

推广内容插件502，当播放器501展示所述主媒体内容时，向推广内容投放平台103发送推广内容推送请求以使其进行选单处理并确定选中的订单，从推广内容投放平台103接收所述选中的订单的信息，根据所述选中的订单的信息中的推广内容素材的信息获取所述推广内容素材；其中，应用服务器102获取所述主媒体内容的音频数据流并从中提取至少一段语音数据并提供给推广内容投放平台103。

播放器501，当收到来自推广内容投放平台103的匹配成功通知时，调用推广内容插件502，以使推广内容插件502将所述推广内容素材传递给播放器501，播放器501再根据所述推广内容素材展示推广内容。其中，推广内容投放平台103用所述至少一段语音数据与所述选中的订单对应的所述推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，发出所述匹配成功通知。

在一些实例中，推广内容插件502当被播放器501调用时，根据所述推广内容素材的信息获取所述推广内容素材，并将所述推广内容素材传递给播放器501。

在一些实例中，推广内容插件502当接收到所述选中的订单的信息时，获取所述推广内容素材，并进一步将所述推广内容素材缓存在本地；当被播放器501调用时，从本地读取所述推广内容素材，并将所述推广内容素材传递给播放器501。

在一些实例中，所述选中的订单包括一个或多个订单。推广内容插件502当被播放器501调用时，进一步确定所述匹配成功通知携带的一个选中的订单的信息对应的所述推广内容素材，并将所述确定的推广内容素材传递给播放器501。

上述实例中，播放器501可以是各种音频/视频媒体播放器，推广内容插件502可以是嵌入应用客户端101中的用于推送推广内容的模块，如广告SDK等。

在一些实例中，本申请还提出了一种应用客户端，其可作为直播场景中主持人的应用客户端。该应用客户端至少包括：播放器，当向应用服务器102上传主媒体内容的数据流(如视频直播节目的直播数据流)时，录制音频数据并向应用服务器102上传实时的音频数据流(即直播音频数据流)，以使应用服务器102从所述音频数据流中识别出至少一段语音数据并提供给推广内容投放平台103，使得推广内容投放平台103用所述至少一段语音数据与为第二应用客户端选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，向所述第二应用客户端发送匹配成功的通知，以使所述第二应用客户端根据所述选中的订单的信息中的所述推广内容素材的信息展示所述推广内容。当此应用客户端还可作为观看主媒体内容的用户的应用客户端时，该播放器可进一步具备前述播放器501的功能，该应用客户端可进一步包括前述推广内容插件502。

在一些实例中，本申请提出了一种应用服务器，如图6所示，该应用服务器600可包括获取模块601、分析模块602和发送模块603，它们的工作原理如下：

获取模块601，当向应用客户端101提供主媒体内容的数据流时，获取所述主媒体内容的实时音频数据流。

分析模块602，从所述音频数据流中分析出至少一段语音数据。

发送模块603，发送所述至少一段语音数据至推广内容投放平台103，以使其用所述至少一段语音数据与为应用客户端101选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，向应用客户端101发出匹配成功通知，使得应用客户端101响应于所述匹配成功通知展示所述推广内容。

在一些实例中，本申请提出了一种推广内容投放平台，如图7所示，该推广内容投放平台700可包括选单模块701、匹配模块702、通知模块703，它们的工作原理如下：

选单模块701，响应于来自应用客户端101的推广内容推送请求，根据所述推广内容推送请求携带的用户信息进行选单处理，将选中的订单的信息返回给应用客户端101；所述订单的信息包含推广内容素材的信息。

匹配模块702，接收来自应用服务器102的至少一段语音数据，所述至少一段语音数据是应用服务器102从当前为应用客户端101提供的主媒体内容的实时音频数据流中分析出的；用所述至少一段语音数据分别与所述选中的订单对应的推广内容的描述文本进行匹配.

通知模块703，当其中一段语音数据与所述描述文本相匹配时，向应用客户端101发送匹配成功的通知，以使应用客户端101根据所述选中的订单的信息中的所述推广内容素材的信息展示所述推广内容。

上述各模块功能的具体实现原理在前文已有描述，这里不再赘述。

在一些实例中，本申请提出了一种媒体数据处理***，如图1所示，包括应用客户端101、应用服务器102和推广内容投放平台103。应用客户端101当从应用服务器102接收主媒体内容的数据流并展示所述主媒体内容时，向推广内容投放平台103发送推广内容推送请求。应用服务器102，在向应用客户端101提供所述主媒体内容的数据流时，获取所述主媒体内容的音频数据流并从中分析出至少一段语音数据并提供给推广内容投放平台103。推广内容投放平台103，响应于所述推广内容推送请求，根据所述推广内容推送请求携带的用户信息进行选单处理，将选中的订单的信息返回给所述应用客户端；所述订单的信息包含推广内容素材的信息；接收来自应用服务器102的所述至少一段语音数据，用所述至少一段语音数据分别与所述选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本相匹配时，向应用客户端101发送匹配成功的通知。应用客户端101，进一步接收所述选中的订单的信息，根据所述选中的订单的信息中的推广内容素材的信息获取所述推广内容素材；当收到所述匹配成功通知时，根据所述推广内容素材展示推广内容。

图8示出了本申请实例中的消息交互图。此实例中，应用客户端包括视频客户端1和视频客户端2，应用服务器为可提供直播平台的视频服务器，其中，视频客户端1为直播节目(如视频直播节目)中主持人的应用客户端，其至少包括播放器；视频客户端2为观看直播节目的用户的应用客户端，其至少包括播放器和推广内容插件，在此实例中，推广内容为广告，推广内容插件为广告SDK，推广内容投放平台为广告投放平台。如图8所示，包括如下步骤：

步骤800：广告主将广告素材上传至广告投放平台，广告投放平台生成广告素材的URL，并为其创建广告订单，广告素材的URL可作为广告订单的相关信息保存在广告投放平台中，广告素材可存放在广告投放平台的素材服务器或者外部的用于提供内容数据的服务器(如内容分发网络服务器)中。

步骤801：视频客户端1中的视频播放器录制直播节目的视频数据并上传直播视频流至视频服务器，视频服务器再向各个观看用户的视频客户端2的视频播放器传输直播视频流。视频客户端1中的视频播放器同时通过麦克风录制主持人语音的音频数据并向视频服务器上传实时的音频数据流。视频服务器对接收到音频数据流进行分析并从中识别出主持人各段语音的文本。

步骤802：视频客户端2中的视频播放器根据接收到的直播视频流播放直播节目的视频时，调用视频客户端2中的广告SDK。

步骤803：广告SDK在被调用之后向广告投放平台发送广告请求。

步骤804：广告投放平台根据广告请求中携带的用户信息、广告位信息等进行选单处理，以选择出与该广告请求相匹配的广告订单并将其作为待投放订单。

步骤805：广告投放平台将待投放订单的相关信息返回给视频客户端2中的广告SDK。这里，待投放订单的相关信息可包括该广告素材的URL、广告位、订单标识等信息。

步骤806：视频服务器将识别出的各段语音的文本发送至广告投放平台。

步骤807～808：广告投放平台将各段语音的文本分别与待投放订单中的广告文案进行匹配，当有一段语音的文本与该广告文案相匹配时，向视频客户端2中的广告SDK发送匹配成功的通知。

步骤809～810：广告SDK在收到此匹配成功的通知时根据广告素材的URL拉取广告素材，并将广告素材传递给视频客户端2中的视频播放器，还在该视频播放器的当前页面上拉起一个WebView浮层。

步骤811：视频客户端2中的视频播放器在该WebView浮层上播放该广告素材，进而完成广告的播放。

在此实例中，实现了直播节目中的互动广告，即广告播放可以通过主持人的语音而触发，具有很强的实用价值，提高了广告播放资源的利用率，并且技术实现简单，并不必占用过多处理资源，本方案可以有效的改善广告投放***的性能，提供了一种全新的广告投放机制。在实际的直播场景中，主持人若想暂时离开(如上厕所)，则可以说出广告语，进而能触发广告的展示，这样就能更有效利用有限的直播时间来播放广告和直播节目，也给观看用户带来很好的视频观看体验。

另外，在本申请各个实例中的应用客户端、应用服务器、推广内容投放平台以及其中的各组成部分可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上实体(应用客户端、服务器及平台)或组成部分集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

在一实例中，上述的实体可运行在各种计算设备中，并加载在该计算设备的存储器中。

图9示出了上述实体所在的计算设备的组成结构图。如图9所示，该计算设备包括一个或者多个处理器(CPU)902、通信模块904、存储器906、用户接口910，以及用于互联这些组件的通信总线908。

处理器902可通过通信模块904接收和发送数据以实现网络通信和/或本地通信。

用户接口910包括一个或多个输出设备912，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口910也包括一个或多个输入设备914，其包括诸如，键盘，鼠标，声音命令输入单元或扩音器，触屏显示器，触敏输入板，姿势捕获摄像机或其他输入按钮或控件等。

存储器906可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。

存储器906存储处理器902可执行的指令集，包括：

操作***916，包括用于处理各种基本***服务和用于执行硬件相关任务的程序；

应用918，包括用于实现上述媒体数据处理方法的各种程序，这种程序能够实现上述各实例中的处理流程，比如可以包括图5所示的应用客户端500、图6所示的应用服务器600和/或图7所示的推广内容投放平台700。

在一些实例中，应用客户端500可包括图5所示的各部分501～502，各部分501～502可以存储有机器可执行指令。处理器902通过执行存储器906中各部分501～502中的机器可执行指令，进而能够实现上述各部分501～502的功能。

在一些实例中，应用服务器600可包括图6所示的各模块601～603中的至少一个，各模块601～603可以存储有机器可执行指令。处理器902通过执行存储器906中各模块601～603中的机器可执行指令，进而能够实现上述各模块601～603的功能。

在一些实例中，推广内容投放平台700可包括图7所示的各模块701～703中的至少一个，各模块701～703可以存储有机器可执行指令。处理器902通过执行存储器906中各模块701～703中的机器可执行指令，进而能够实现上述各模块701～703的功能。

另外，本申请的每一个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此本申请还公开了一种非易失性存储介质，其中存储有数据处理程序，该数据处理程序用于执行本申请上述方法的任何一种实例。

另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。

以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (14)

1.一种媒体数据处理方法，其特征在于，应用于应用客户端，该方法包括：

当从应用服务器接收主媒体内容的数据流并展示所述主媒体内容时，向推广内容投放平台发送推广内容推送请求，以使其进行选单处理并确定选中的订单；其中，所述应用服务器获取所述主媒体内容的音频数据流并从中分析出至少一段语音数据并提供给所述推广内容投放平台，其中，所述主媒体内容的数据流为视频直播节目的直播数据流，所述获取所述主媒体内容的音频数据流，包括：从提供所述视频直播节目的应用客户端接收其通过录制所述视频直播节目的音频数据并上传的实时的直播音频数据流；

从所述推广内容投放平台接收所述选中的订单的信息；

根据所述选中的订单的信息中的推广内容素材的信息获取所述推广内容素材；

当收到来自所述推广内容投放平台的匹配成功通知时，根据所述推广内容素材展示推广内容；其中，所述推广内容投放平台用所述至少一段语音数据与所述选中的订单对应的所述推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，发出所述匹配成功通知。

2.根据权利要求1所述的方法，其中，当收到所述匹配成功通知时，根据所述推广内容素材的信息获取所述推广内容素材，并根据所述推广内容素材展示所述推广内容。

3.根据权利要求1所述的方法，其中，当接收到所述选中的订单的信息时，获取所述推广内容素材；

所述方法进一步包括：将所述推广内容素材缓存在本地；

其中，当收到所述匹配成功通知时，从本地读取所述推广内容素材，并根据所述推广内容素材展示所述推广内容。

4.根据权利要求1所述的方法，其中，所述选中的订单包括一个或多个订单；

所述方法进一步包括：当所述匹配成功通知时，确定所述匹配成功通知携带的一个选中的订单的信息对应的所述推广内容素材；

其中，根据所确定的一个选中的订单的信息对应的所述推广内容素材展示所述一个选中的订单对应的所述推广内容。

5.一种媒体数据处理方法，其特征在于，应用于第一应用客户端，该方法包括：

当向应用服务器上传视频直播节目的直播数据流时，录制音频数据并向所述应用服务器上传实时的直播音频数据流，以使所述应用服务器从所述直播音频数据流中识别出至少一段语音数据并提供给推广内容投放平台，使得所述推广内容投放平台用所述至少一段语音数据与为第二应用客户端选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，向所述第二应用客户端发送匹配成功的通知，以使所述第二应用客户端根据所述选中的订单的信息中的所述推广内容素材的信息展示所述推广内容。

6.一种媒体数据处理方法，其特征在于，应用于应用服务器，该方法包括：

当向应用客户端提供主媒体内容的数据流时，获取所述主媒体内容的实时音频数据流，其中，所述主媒体内容的数据流为视频直播节目的直播数据流；所述获取所述主媒体内容的实时音频数据流，包括：从提供所述视频直播节目的应用客户端接收其通过录制所述视频直播节目的音频数据并上传的实时的直播音频数据流；

从所述音频数据流中分析出至少一段语音数据；

发送所述至少一段语音数据至推广内容投放平台，以使其用所述至少一段语音数据与为所述应用客户端选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，向所述应用客户端发出匹配成功通知，使得所述应用客户端响应于所述匹配成功通知展示所述推广内容。

7.根据权利要求6所述的方法，其中，所述获取所述主媒体内容的实时音频数据流，包括：从所述主媒体内容的数据流中提取实时音频数据流。

8.根据权利要求6所述的方法，其中，所述从所述音频数据流中分析出至少一段语音数据，包括：从所述音频数据流中分析出所有语音数据。

9.根据权利要求6所述的方法，其中，所述从所述音频数据流中分析出至少一段语音数据，包括：根据预存的至少一种语音的音频样本数据，从所述音频数据流中分析出所述至少一种语音的语音数据。

10.一种应用客户端，其特征在于，包括：

播放器，从应用服务器接收主媒体内容的数据流并展示所述主媒体内容；

推广内容插件，当所述播放器展示所述主媒体内容时，向所述推广内容投放平台发送推广内容推送请求以使其进行选单处理并确定选中的订单，从所述推广内容投放平台接收所述选中的订单的信息，根据所述选中的订单的信息中的推广内容素材的信息获取所述推广内容素材；其中，所述应用服务器获取所述主媒体内容的音频数据流并从中分析出至少一段语音数据并提供给所述推广内容投放平台，其中，所述主媒体内容的数据流为视频直播节目的直播数据流，所述获取所述主媒体内容的音频数据流，包括：从提供所述视频直播节目的应用客户端接收其通过录制所述视频直播节目的音频数据并上传的实时的直播音频数据流；

所述播放器，当收到来自所述推广内容投放平台的匹配成功通知时，调用所述推广内容插件，以使所述推广内容插件将所述推广内容素材传递给所述播放器，再根据所述推广内容素材展示推广内容；其中，所述推广内容投放平台用所述至少一段语音数据与所述选中的订单对应的所述推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，发出所述匹配成功通知。

11.根据权利要求10所述的应用客户端，其中，所述推广内容插件当被所述播放器调用时，根据所述推广内容素材的信息获取所述推广内容素材，并将所述推广内容素材传递给所述播放器。

12.根据权利要求10所述的应用客户端，其中，所述推广内容插件当接收到所述选中的订单的信息时，获取所述推广内容素材，并进一步将所述推广内容素材缓存在本地；当被所述播放器调用时，从本地读取所述推广内容素材，并将所述推广内容素材传递给所述播放器。

13.一种应用客户端，其特征在于，包括：

播放器，当向应用服务器上传视频直播节目的直播数据流时，录制音频数据并向所述应用服务器上传实时的直播音频数据流，以使所述应用服务器从所述直播音频数据流中识别出至少一段语音数据并提供给推广内容投放平台，使得所述推广内容投放平台用所述至少一段语音数据与为第二应用客户端选中的订单对应的推广内容的描述文本进行匹配，当其中一段语音数据与所述描述文本匹配时，向所述第二应用客户端发送匹配成功的通知，以使所述第二应用客户端根据所述选中的订单的信息中的所述推广内容素材的信息展示所述推广内容。

14.一种存储介质，其特征在于，存储有数据处理程序，该数据处理程序用于使计算机执行如权利要求1至9任一项所述的方法。