CN108040038A - 网络互动直播的方法、网络主播端和用户端 - Google Patents
网络互动直播的方法、网络主播端和用户端 Download PDFInfo
- Publication number
- CN108040038A CN108040038A CN201711216011.3A CN201711216011A CN108040038A CN 108040038 A CN108040038 A CN 108040038A CN 201711216011 A CN201711216011 A CN 201711216011A CN 108040038 A CN108040038 A CN 108040038A
- Authority
- CN
- China
- Prior art keywords
- main broadcaster
- interactive
- network main
- broadcaster end
- user terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供了一种网络互动直播的方法、网络主播端和用户端。其中，该方法应用于网络主播端，网络主播端与多个用户端通信连接；该方法包括：从多个用户端中选取至少一个用户端，作为互动方；运行互动应用程序，并将运行互动应用程序的过程以第一流媒体的形式存储在本地；如果在预定时间内接收到互动方针对网络主播端运行互动应用程序而发送的第二流媒体，则将第一流媒体与第二流媒体进行混流；其中，第二流媒体对应于互动方运行互动应用程序的过程；对混流后的结果进行推流。本发明实施例通过采取该技术方案，解决了网络直播中网络主播与用户不能互动的技术问题，优化了网络直播，改善了观众对网络直播的体验。
Description
技术领域
本发明涉及网络多媒体技术领域，特别是涉及一种网络互动直播的方法、网络主播端和用户端。
背景技术
目前，随着网络多媒体技术的发展，网络视频直播越来越流行。随着网络视频直播技术的发展，网络视频直播越来越被期望赋予更多的娱乐、社交等属性。
随着观众对网络视频直播的娱乐性和社交性等属性的要求不断增加，越来越多的观众希望参与到直播节目中来。但是，现有的网络视频直播只是单向直播，观众只能观看直播节目，而不能参与到直播内容中来。
因此，现有的网络视频直播存在网络主播与观众之间缺乏互动性的缺陷。
发明内容
本发明实施例的目的在于提供一种网络互动直播的方法、网络主播端和用户端，以实现网络主播与观众之间的互动性。
为了实现上述目的，第一方面，提供了以下技术方案：
一种网络互动直播的方法，应用于网络主播端，所述网络主播端与多个用户端通信连接；所述方法包括：
从所述多个用户端中选取至少一个用户端，作为互动方；
运行所述互动应用程序，并将运行所述互动应用程序的过程以第一流媒体的形式存储在本地；
如果在预定时间内接收到所述互动方针对所述网络主播端运行所述互动应用程序而发送的第二流媒体，则将所述第一流媒体与所述第二流媒体进行混流；其中，所述第二流媒体对应于所述互动方运行所述互动应用程序的过程；
对混流后的结果进行推流。
可选的，所述从所述多个用户端中选取至少一个用户端，作为互动方的步骤，包括：
向所述多个用户端发送互动请求信息；
如果在预定时间内接收到至少一个用户端发送来的互动响应信息，则将所述至少一个用户端确定为互动方，或从所述至少一个用户端中选择任一用户端，作为互动方。
可选的，所述向所述多个用户端发送互动请求信息之后，所述方法还包括：
如果在预定时间内未接收到任一用户端发送来的互动响应信息，则停止向所述多个用户端发送互动请求信息。
可选的，所述运行所述互动应用程序，并将运行所述互动应用程序的过程以第一流媒体的形式存储在本地的步骤，包括：
运行所述互动应用程序；
通过所述互动应用程序获取所述网络主播端屏幕显示的视频数据；
将所述视频数据编码为编码数据；
将所述编码数据封装为第一流媒体；
将所述第一流媒体存储在本地。
为了实现上述目的，第二方面，还提供了以下技术方案：
一种网络互动直播的方法，应用于用户端，所述用户端与网络主播端通信连接；所述方法包括：
如果接收到所述网络主播端发送的互动请求信息，则向所述网络主播端反馈互动响应信息；
如果接收到所述网络主播端发送的互动确认信息，则获取互动应用程序；
响应于所述网络主播端对所述互动应用程序的运行步骤，运行所述互动应用程序，并将运行所述互动应用程序的过程以第二流媒体的形式存储在本地；
将所述第二流媒体发送至所述网络主播端，以使所述网络主播端将所述第二流媒体与第一流媒体进行混流，并对混流后的结果进行推流，其中，所述第一流媒体对应于所述网络主播端运行所述互动应用程序的过程。
为了实现上述目的，第三方面，还提供了以下技术方案：
一种网络主播端，所述网络主播端与多个用户端通信连接；所述网络主播端包括：
选取模块，用于从所述多个用户端中选取至少一个用户端，作为互动方；
处理模块，用于运行所述互动应用程序，并将运行所述互动应用程序的过程以第一流媒体的形式存储在本地；
混流模块，用于在预定时间内接收到所述互动方针对所述网络主播端运行所述互动应用程序而发送的第二流媒体时，将所述第一流媒体与所述第二流媒体进行混流；其中，所述第二流媒体对应于所述互动方运行所述互动应用程序的过程；
推流模块，用于对混流后的结果进行推流。
可选的，所述选取模块包括：
发送单元，用于向所述多个用户端发送互动请求信息；
选择单元，用于在预定时间内接收到至少一个用户端发送来的互动响应信息时，将所述至少一个用户端确定为互动方，或从所述至少一个用户端中选择任一用户端，作为互动方。
可选的，所述网络主播端还包括：
停止模块，用于在预定时间内未接收到任一用户端发送来的互动响应信息时，停止向所述多个用户端发送互动请求信息。
可选的，所述处理模块包括：
运行单元，用于运行所述互动应用程序；
获取单元，用于通过所述互动应用程序获取所述网络主播端屏幕显示的视频数据；
编码单元，用于将所述视频数据编码为编码数据；
封装单元，用于将所述编码数据封装为第一流媒体；
存储单元，用于将所述第一流媒体存储在本地。
为了实现上述目的，第四方面，还提供了以下技术方案：
一种用户端，所述用户端与网络主播端通信连接；所述用户端包括：
反馈模块，用于当接收到所述网络主播端发送的互动请求信息时，向所述网络主播端反馈互动响应信息；
获取模块，用于当接收到所述网络主播端发送的互动确认信息时，获取互动应用程序；
处理模块，用于响应于所述网络主播端对所述互动应用程序的运行步骤，运行所述互动应用程序，并将运行所述互动应用程序的过程以第二流媒体的形式存储在本地；
发送模块，用于将第二流媒体发送至所述网络主播端，以使所述网络主播端将所述第二流媒体与第一流媒体进行混流，并对混流后的结果进行推流，其中，所述第一流媒体对应于所述网络主播端运行所述互动应用程序的过程。
为了实现上述目的，第五方面，还提供了以下技术方案：
一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的方法步骤。
为了实现上述目的，第六方面，还提供了以下技术方案：
一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第二方面所述的方法步骤。
为了实现上述目的，第七方面，还提供了以下技术方案：
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法步骤。
为了实现上述目的，第八方面，还提供了以下技术方案：
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第二方面所述的方法步骤。
本发明实施例提供一种网络互动直播的方法、网络主播端和用户端。其中，该网络互动直播的方法应用于网络主播端，网络主播端与多个用户端通信连接；该方法包括：从多个用户端中选取至少一个用户端，作为互动方；运行互动应用程序，并将运行互动应用程序的过程以第一流媒体的形式存储在本地；如果在预定时间内接收到互动方针对网络主播端运行互动应用程序而发送的第二流媒体，则将第一流媒体与第二流媒体进行混流；其中，第二流媒体对应于互动方运行互动应用程序的过程；对混流后的结果进行推流。本发明实施例通过采取该技术方案，将网络主播端和用户端分别运行互动应用程序的互动过程所对应的流媒体进行混流，然后再进行推流。由此，当观众通过用户端进行拉流、解码、渲染之后就可以看到网络主播与互动方双方针对该互动应用程序的互动过程，从而实现了网络主播与观众的互动，优化了网络直播，改善了观众对网络直播的体验。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而得以体现。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的实现环境示意图；
图2为根据本发明实施例的网络互动直播的方法的流程示意图；
图3为根据本发明另一实施例的网络互动直播的方法的流程示意图；
图4为根据本发明实施例的网络主播端的结构示意图；
图5为根据本发明实施例的用户端的结构示意图；
图6为根据本发明实施例的电子设备的结构示意图；
图7为根据本发明另一实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中，网络直播互动是指至少两人以上(通常是网络主播与一位或多位观众)通过实时通信***相互传递文字消息、文件、语音、视频等。网络直播互动包括但不限于游戏互动(猜拳游戏、猜硬币正反面、掷骰子的点数大小等)、与观众连麦聊天互动、视频互动等。
下面结合图1通过具体实施例示例性地对本发明的实现环境进行详细说明。
如图1所示，该实现环境包括网络主播端11、通信链路12、云端13和用户端14。其中，网络主播端11利用RTMP(Real Time Messaging Protocol，实时消息传输协议)，通过通信链路12与云端13相连；用户端14从云端拉流，获得网络视频。
网络主播端11包括图像采集设备和RTMP编码器。该网络主播端11可以包括但不限于手机、平板电脑、台式计算机等。图像采集设备包括但不限于摄像机、照相机等。网络主播端11用于将通过图像采集设备获得的视频推流至云端13，以将所直播的内容推送至云端。
云端13包括流媒体服务器、信令调度服务器和混流服务器等。云端13根据分辨率和码率设置网络视频直播时所需的带宽。例如，如果分辨率是1280╳720、码率是1000kbps，则带宽至少需要1.2Mbps。
用户端(也可以称为客户端、观看端等)14通过拉流的方式从云端获取直播的网络视频。该用户端14可以为手机、平板电脑、智能电视、台式计算机、可穿戴设备等，但绝不限于此。
示例性地，在网络直播中，网络主播端11进行音视频的采集，然后进行编码、封装，最后经通信链路12将视频流推流至云端13；用户端14从该云端13拉流，然后进行解码、播放。其中，网络主播端可以采取星形连接等方式与多个用户端相连。
现有的网络视频直播存在网络主播与观众之间缺乏互动性的缺陷。对此，为了实现网络主播与观众之间的互动性，本发明实施例提供一种网络互动直播的方法。该网络互动直播的方法应用于网络主播端，该网络主播端与多个用户端通信连接；如图2所示，该网络互动直播的方法包括如下步骤S200至步骤S230。
S200：从多个用户端中选取至少一个用户端，作为互动方。
本步骤中，网络主播端从众多的用户端中选择至少一个用户端作为互动方，进行网络直播互动。
在一些实施例中，本步骤具体包括：
步骤a1：向多个用户端发送互动请求信息；
本步骤中，当网络主播端希望进行网络直播互动的时候，可以向多个用户端发送互动请求信息。
步骤a2：如果在预定时间内接收到至少一个用户端发送来的互动响应信息，则将至少一个用户端确定为互动方，或从至少一个用户端中选择任一用户端，作为互动方。
其中，预定时间可以设置为60秒、90秒、120秒等。
当网络主播端在预定时间内接收到了至少一个用户端发来的互动响应信息，则将该至少一个用户端作为互动方，以进行网络直播互动。
当网络主播端在预定时间内接收到了任意一个用户端发来的互动响应信息，则将该用户端作为互动方，以进行网络直播互动。
如果网络主播端在预定时间内接收到了多个用户端发来的互动响应信息，则网络主播端针对多个互动响应信息建立互动请求列表；然后，根据该互动请求列表，按照预定规则或者随机选择一个用户端作为互动方，以进行网络直播互动。
S210：运行互动应用程序，并将运行互动应用程序的过程以第一流媒体的形式存储在本地。
其中，其中，互动应用程序例如可以为猜拳游戏程序、掷硬币游戏程序、掷骰子游戏程序、纸牌游戏程序、教学程序、在线视频会议程序等，但不限于此。
以互动应用程序为猜拳游戏程序为例，网络主播端运行该猜拳游戏程序时，点击该猜拳游戏程序，进行猜拳；然后，将这一过程以流媒体(也可称多流媒体)的形式存储在本地。
在实施过程中，本发明实施例可以通过录屏的方式将将运行互动应用程序的过程以第一流媒体的形式存储在本地。
在一些实施例中，本步骤包括：
步骤b1：运行互动应用程序；
其中，以猜拳游戏程序为例，网络主播端点击猜拳软件，以出拳，从而来运行该猜拳游戏程序。
步骤b2：通过互动应用程序获取网络主播端屏幕显示的视频数据；
其中，可以通过录屏的方式获取屏幕显示的视频数据，作为直播源。具体地，可以通过网络主播端中的操作***(例如，安卓操作***、IOS(iPhone Operating System，手机操作***)的录屏模块获取屏幕显示的视频数据。这里，该视频数据可以包括但不限于音频数据(例如，猜拳游戏程序中的出拳声音、掷硬币游戏程序中的投掷声音、摇骰子的声音等)。
在具体实施过程中，在录屏之前还可以设置标清、高清和超清模式。其中每一个模式分别对应不同的分辨、帧率和码率。例如，帧率可以为20fps，码率为1200kbps，分辨率为1920×768。
步骤b3：将视频数据编码为编码数据；
其中，可以采用硬件编码模式或软件编码模式对视频数据进行编码。
具体地，可以采用H.264或H.265等编码算法对视频数据进行编码。如果该视频数据包括音频数据，则还需要采用AAC(AdvancedAudioCoding，高级音频编码)或MP3(MovingPicture Experts Group Audio Layer III，一种音频编码方式)等音频编码算法单独对该音频数据进行编码。
另外，本发明实施例还可以通过第三方网络推流编码器(例如，RTMP编码器)实现编码。在实际应用中，图像采集设备将采集到视频输出至RTMP编码器，然后，RTMP编码器对所采集到的视频进行编码。
以采用H.264编码算法对视频数据进行编码为例，在实际应用中，在进行编码时，还可以对诸如直播画面的宽高、帧率、码率等参数进行初始化。
步骤b4：将编码数据封装为第一流媒体；
其中，封装是指将编码数据打包成一个规范的文件。本步骤可以采用诸如FLV(flash video，一种视频封装格式)、TS(Transport Stream，一种高清摄像机拍摄的视频封装格式)等封装形式对编码数据进行封装。对于停播提示视频配以音频的情况，还可以采用AVI(Audio Video Interleaved，音频视频交错格式)对音频编码数据进行封装。通常，封装采用容器将编码数据打包在一起。其中，容器是指将编码数据组合在一起的标准。通过容器可以实现视频、音频、字幕、章节信息的同步以及它们的索引。
步骤b5：将第一流媒体存储在本地。
S220：如果在预定时间内接收到互动方针对网络主播端运行互动应用程序而发送的第二流媒体，则将第一流媒体与第二流媒体进行混流；其中，第二流媒体对应于互动方运行互动应用程序的过程。
本步骤中，第二流媒体为：互动方为响应于网络主播端运行互动应用程序，而运行互动应用程序的过程的流媒体形式。
沿用上述猜拳游戏程序的例子，当网络主播端点击出拳；作为对网络主播端点击出拳的响应，互动方点击出拳，然后，该猜拳游戏程序输出双方出拳的结果；接着，该猜拳游戏程序将网络主播端的出拳结果与互动方的出拳结果进行比较，最后，该猜拳游戏程序基于比较结果，确定双方中的胜者或败者。由此，本发明实施例实现了网络主播与用户互动玩游戏的网络直播。
S230：对混流后的结果进行推流。
其中，混流是指将多路流媒体合成为单路流媒体。
具体地，本步骤可以将第一流媒体与第二流媒体进行解码、合成和编码，以实现混流。在一些优选的实施例中，在上述解码步骤之后，还可以对解码后的数据进行缓冲，进行音、视频的同步。
推流是指将流媒体从网络主播端推送或传输至云端的过程。
网络主播端基于流媒体传输协议将混流后的结果推流至云端，然后，再由云端向互动方进行分发。其中，流媒体传输协议包括但不限于RTMP(Real Time MessagingProtocol，实时消息传输协议)、HLS(一种基于HTTP的流媒体实时传输协议)、WebRTC(WebReal-Time Communication，源自网页即时通信)。其中，RTMP是基于TCP(传输控制协议)的协议族，用作实时数据通信的网络协议。WebRTC是一个支持浏览器进行实时语音、视频对话的开源协议。当然，本发明实施例还可以利用第三方推流工具将封装后的数据发送至云端，例如，此刻TV推流工具、OBS推流工具、Xsplit推流工具、Livestudio推流工具等。在具体实施过程中，将所推送的云端地址(即推流地址)输入第三方推流工具，然后，第三方推流工具将视频和/或音频推送至云端。这些明显变型获等同替换的方式在此以引用的方式结合于此。其中，云端的推流地址可以通过动态域名解析方法获得。
本发明实施例通过采取上步骤S200至步骤S230，将网络主播端和用户端分别运行互动应用程序的互动过程所对应的流媒体进行混流，然后再进行推流。由此，当观众通过用户端进行拉流、解码、渲染之后就可以看到网络主播与互动方双方针对该互动应用程序的互动过程，从而实现了网络主播与观众的互动，改善了观众对网络直播的体验。
在一些实施例中，向多个用户端发送互动请求信息之后，上述网络互动直播的方法还包括：
如果在预定时间内未接收到任一个用户端发送来的互动响应信息，则停止向多个用户端发送互动请求信息。
本实施例中，在预定时间(例如，30秒、60秒等)内，如果没有用户端向网络主播端发送互动响应信息，则网络主播端停止向用户端发送互动请求信息，即结束互动，以减少一个频道的多媒体流，以减少流量的消耗。
基于与上述网络互动直播的方法实施例相同的技术构思，本发明实施例还提供一种网络互动直播的方法。该网络互动直播的方法应用于用户端，该用户端与网络主播端通信连接。如图3所示，该网络互动直播的方法包括如下步骤S300至步骤S330。其中：
S300：如果接收到网络主播端发送的互动请求信息，则向网络主播端反馈互动响应信息。
本步骤中，当用户端接收到网络主播端发来的互动请求信息时，如果用户希望跟网络主播互动，则可以通过用户端向网络主播端反馈互动响应信息(例如，表示同意互动的信息或表示不同意互动的信息)。
S310：如果接收到网络主播端发送的互动确认信息，则获取互动应用程序。
本步骤中，当用户端接收到网络主播端返回的互动确认信息(例如，作为互动方的信息)时，表示网络主播希望跟应用该用户端的用户进行互动。此时，用户端获取互动应用程序，以与网络主播端进行互动。
S320：响应于网络主播端对互动应用程序的运行步骤，运行互动应用程序，并将运行互动应用程序的过程以第二流媒体的形式存储在本地。
本步骤中，当网络主播端运行互动应用程序后，用户端也以运行同一款互动应用程序而对此作出响应，并将这一响应过程以流媒体的形式存储在用户端本地。
沿用上述猜拳游戏程序的例子，当网络主播端点击出拳后，用户端对此作出响应，也点击出拳；随后，该猜拳游戏程序给出双方出拳的结果，并对其进行比较；最后，该猜拳游戏程序基于比较结果，确定双方中的胜者或败者。由此，本发明实施例实现了网络主播与用户互动玩游戏的网络直播。
S330：将第二流媒体发送至网络主播端，以使网络主播端将第二流媒体与第一流媒体进行混流，并对混流后的结果进行推流，其中，第一流媒体对应于网络主播端运行互动应用程序的过程。
本发明实施例通过采取步骤S300至步骤S330，实现了在网络直播过程中，网络主播可以与用户进行互动的技术效果，例如，网络主播在直播过程中与用户进行游戏互动等，从而优化了网络直播，进而提高了用户体验。
下面以具体实施例对本发明进行详细说明。本实施例以猜拳游戏为例进行说明。
步骤1：网络主播端向用户端发送互动请求信息；
步骤2：如果用户端接收到网络主播端发送的互动请求信息，则向网络主播端反馈互动响应信息；
步骤3：网络主播端根据互动请求列表，从多个用户端中选取任一用户端，作为互动方；
步骤4：如果互动方接收到网络主播端发送的互动确认信息，则获取猜拳游戏程序；
步骤5：网络主播端获取猜拳游戏程序；
步骤6：网络主播端运行猜拳游戏程序，并将运行猜拳游戏程序的过程以第一流媒体的形式存储在本地；
步骤7：网络主播端将第一流媒体推流至云端；
步骤8：云端将第一流媒体分发至互动方；
步骤9：互动方响应于网络主播端对猜拳游戏程序的运行步骤，运行猜拳游戏程序，并将运行猜拳游戏程序的过程以第二流媒体的形式存储在本地；
步骤10：互动方将所存储的第二流媒体发送至网络主播端；
步骤11：如果网络主播端在预定时间内接收到互动方针对网络主播端运行猜拳游戏程序而发送的第二流媒体，则将第一流媒体与第二流媒体进行混流；
步骤12：网络主播端对混流后的结果进行推流。
本发明实施例通过采取该技术方案，将网络主播端和用户端分别运行互动应用程序的互动过程所对应的流媒体进行混流，然后再进行推流。由此，当观众通过用户端进行拉流、解码、渲染之后就可以看到网络主播与互动方双方针对该互动应用程序的互动过程，从而实现了网络主播与观众的互动，改善了观众对网络直播的体验。
基于与上述图2所示网络互动直播的方法实施例相同的技术构思，本发明实施例还提供一种网络主播端，网络主播端与多个用户端通信连接；如图4所示，该网络主播端包括：
选取模块41，用于从多个用户端中选取至少一个用户端，作为互动方；
处理模块42，用于运行互动应用程序，并将运行互动应用程序的过程以第一流媒体的形式存储在本地；
混流模块43，用于在预定时间内接收到互动方针对网络主播端运行互动应用程序而发送的第二流媒体时，将第一流媒体与第二流媒体进行混流；其中，第二流媒体对应于互动方运行互动应用程序的过程；
推流模块44，用于对混流后的结果进行推流。
本发明实施例先通过选取模块41选取互动方；然后，处理模块42运行获取的互动应用程序，并将运行互动应用程序的过程以第一流媒体的形式存储在本地；接着，混流模块43将第一流媒体与用户端响应于第一流媒体的第二流媒体进行混流；最后，推流模块44对混流后的结果进行推流。由此，将网络主播端和用户端分别运行互动应用程序的互动过程所对应的流媒体进行混流，然后再进行推流。由此，当观众通过用户端进行拉流、解码、渲染之后就可以看到网络主播与互动方双方针对该互动应用程序的互动过程，从而实现了网络主播与观众的互动，改善了观众对网络直播的体验。
在一些实施例中，上述选取模块41包括：
发送单元，用于向多个用户端发送互动请求信息；
选择单元，用于在预定时间内接收到至少一个用户端发送来的互动响应信息时，将至少一个用户端确定为互动方，或从至少一个用户端中选择至少一个用户端，作为互动方。
在一些实施例中，上述网络主播端还包括：
停止模块，用于在预定时间内未接收到任一个用户端发送来的互动响应信息时，停止向多个用户端发送互动请求信息。
在一些实施例中，上述处理模块42包括：
运行单元，用于运行互动应用程序；
获取单元，用于通过互动应用程序获取网络主播端屏幕显示的视频数据；
编码单元，用于将视频数据编码为编码数据；
封装单元，用于将编码数据封装为第一流媒体；
存储单元，用于将第一流媒体存储在本地。
基于与图3所示网络互动直播的方法实施例相同的技术构思，本发明实施例还提供一种用户端，该用户端与网络主播端通信连接；如图5所示，该用户端包括：
反馈模块51，用于当接收到网络主播端发送的互动请求信息时，向网络主播端反馈互动响应信息；
获取模块52，用于当接收到网络主播端发送的互动确认信息时，获取互动应用程序；
处理模块53，用于响应于网络主播端对互动应用程序的运行步骤，运行互动应用程序，并将运行互动应用程序的过程以第二流媒体的形式存储在本地；
发送模块54，用于将所存储的第二流媒体发送至网络主播端，以使网络主播端将第二流媒体与第一流媒体进行混流，并对混流后的结果进行推流，其中，第一流媒体对应于网络主播端运行互动应用程序的过程。
本发明实施例通过反馈模块51向网络主播端反馈互动响应信息，以与网络主播端建立互动连接关系；然后，通过处理模块53运行由获取模块52获取到的互动应用程序；最后，再通过发送模块54将运行互动应用程序的过程以第二流媒体的形式发送至网络主播端，从而实现了与网络主播端的互动，进而优化了网络直播，提高了用户体验。
基于与方法实施例相同的技术构思，本发明实施例还提供了一种电子设备，如图6所示，包括处理器61、通信接口62、存储器63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信，
存储器63，用于存放计算机程序；
处理器61，用于执行存储器63上所存放的程序时，实现上述应用于网络主播端的网络互动直播的方法实施例中的方法步骤。
本发明实施例通过采取该技术方案，当处理器61执行存储器63上所存放的程序时，将网络主播端和用户端分别运行互动应用程序的互动过程所对应的流媒体进行混流，然后再进行推流。由此，当观众通过用户端进行拉流、解码、渲染之后就可以看到网络主播与互动方双方针对该互动应用程序的互动过程，从而实现了网络主播与观众的互动，改善了观众对网络直播的体验。
另外，本发明实施例还提供一种电子设备，如图7所示，包括处理器71、通信接口72、存储器73和通信总线74，其中，处理器71，通信接口72，存储器73通过通信总线74完成相互间的通信，
存储器73，用于存放计算机程序；
处理器71，用于执行存储器上所存放的程序时，实现上述应用于用户端的网络互动直播的方法实施例中的方法步骤。
本实施例中，当处理器71执行存储器上所存放的程序时，在观众通过用户端进行拉流、解码、渲染之后就可以看到网络主播与互动方双方针对该互动应用程序的互动过程，从而实现了网络主播与观众的互动，优化了网络直播，改善了观众对网络直播的体验。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
上述通信接口(62，72)用于上述电子设备与其他设备之间的通信。
上述存储器(63，73)可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(non-volatile memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器(61，71)可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Ne twork Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Applica tion Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述电子设备包括但不限于智能手机、智能电视、计算机、个人数字助理等。
本实施例中，通过处理器(61，71)执行存储器(63，73)上所存放的程序时，当观众通过用户端进行拉流、解码、渲染之后就可以看到网络主播与互动方双方针对该互动应用程序的互动过程，从而实现了网络主播与观众的互动，优化了网络直播，改善了观众对网络直播的体验。
基于与方法实施例相同的技术构思，本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述应用于网络主播端的网络互动直播的方法实施例中的方法步骤。
本发明实施例通过采取该技术方案，将网络主播端和用户端分别运行互动应用程序的互动过程所对应的流媒体进行混流，然后再进行推流。由此，当观众通过用户端进行拉流、解码、渲染之后就可以看到网络主播与互动方双方针对该互动应用程序的互动过程，从而实现了网络主播与观众的互动，改善了观众对网络直播的体验。
另外，本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述应用于用户端的网络互动直播的方法实施例中的方法步骤。
本实施例中，计算机程序被处理器执行时，当观众通过用户端进行拉流、解码、渲染之后就可以看到网络主播与互动方双方针对该互动应用程序的互动过程，从而实现了网络主播与观众的互动，优化了网络直播，改善了观众对网络直播的体验。
上述计算机可读存储介质可以包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦写可编程只读存储器(EPROM)、电可擦写可编程只读存储器(EEPROM)、闪存(例如，NOR型闪存或NAND型闪存)、内容可寻址存储器(CAM)、聚合物存储器(例如，铁电聚合物存储器)、相变存储器、双向开关半导体存储器、硅-氧化物-氮化硅-氧化硅-硅(Silicon-Oxide-Nitride-Oxide-Silicon，SONOS)存储器、磁卡或者光卡，亦或是其他任意适当类型的计算机可读存储介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种网络互动直播的方法，应用于网络主播端，所述网络主播端与多个用户端通信连接；其特征在于，所述方法包括：
从所述多个用户端中选取至少一个用户端，作为互动方；
运行所述互动应用程序，并将运行所述互动应用程序的过程以第一流媒体的形式存储在本地；
如果在预定时间内接收到所述互动方针对所述网络主播端运行所述互动应用程序而发送的第二流媒体，则将所述第一流媒体与所述第二流媒体进行混流；其中，所述第二流媒体对应于所述互动方运行所述互动应用程序的过程；
对混流后的结果进行推流。
2.根据权利要求1所述的方法，其特征在于，所述从所述多个用户端中选取至少一个用户端，作为互动方的步骤，包括：
向所述多个用户端发送互动请求信息；
如果在预定时间内接收到至少一个用户端发送来的互动响应信息，则将所述至少一个用户端确定为互动方，或从所述至少一个用户端中选择任一用户端，作为互动方。
3.根据权利要求2所述的方法，其特征在于，所述向所述多个用户端发送互动请求信息之后，所述方法还包括：
如果在预定时间内未接收到任一用户端发送来的互动响应信息，则停止向所述多个用户端发送互动请求信息。
4.根据权利要求1所述的方法，其特征在于，所述运行所述互动应用程序，并将运行所述互动应用程序的过程以第一流媒体的形式存储在本地的步骤，包括：
运行所述互动应用程序；
通过所述互动应用程序获取所述网络主播端屏幕显示的视频数据；
将所述视频数据编码为编码数据；
将所述编码数据封装为第一流媒体；
将所述第一流媒体存储在本地。
5.一种网络互动直播的方法，应用于用户端，所述用户端与网络主播端通信连接；其特征在于，所述方法包括：
如果接收到所述网络主播端发送的互动请求信息，则向所述网络主播端反馈互动响应信息；
如果接收到所述网络主播端发送的互动确认信息，则获取互动应用程序；
响应于所述网络主播端对所述互动应用程序的运行步骤，运行所述互动应用程序，并将运行所述互动应用程序的过程以第二流媒体的形式存储在本地；
将所述第二流媒体发送至所述网络主播端，以使所述网络主播端将所述第二流媒体与第一流媒体进行混流，并对混流后的结果进行推流，其中，所述第一流媒体对应于所述网络主播端运行所述互动应用程序的过程。
6.一种网络主播端，所述网络主播端与多个用户端通信连接；其特征在于，所述网络主播端包括：
选取模块，用于从所述多个用户端中选取至少一个用户端，作为互动方；
处理模块，用于运行所述互动应用程序，并将运行所述互动应用程序的过程以第一流媒体的形式存储在本地；
混流模块，用于在预定时间内接收到所述互动方针对所述网络主播端运行所述互动应用程序而发送的第二流媒体时，将所述第一流媒体与所述第二流媒体进行混流；其中，所述第二流媒体对应于所述互动方运行所述互动应用程序的过程；
推流模块，用于对混流后的结果进行推流。
7.根据权利要求6所述的网络主播端，其特征在于，所述选取模块包括：
发送单元，用于向所述多个用户端发送互动请求信息；
选择单元，用于在预定时间内接收到至少一个用户端发送来的互动响应信息时，将所述至少一个用户端确定为互动方，或从所述至少一个用户端中选择任一用户端，作为互动方。
8.根据权利要求7所述的网络主播端，其特征在于，所述网络主播端还包括：
停止模块，用于在预定时间内未接收到任一用户端发送来的互动响应信息时，停止向所述多个用户端发送互动请求信息。
9.根据权利要求6所述的网络主播端，其特征在于，所述处理模块包括：
运行单元，用于运行所述互动应用程序；
获取单元，用于通过所述互动应用程序获取所述网络主播端屏幕显示的视频数据；
编码单元，用于将所述视频数据编码为编码数据；
封装单元，用于将所述编码数据封装为第一流媒体；
存储单元，用于将所述第一流媒体存储在本地。
10.一种用户端，所述用户端与网络主播端通信连接；其特征在于，所述用户端包括：
反馈模块，用于当接收到所述网络主播端发送的互动请求信息时，向所述网络主播端反馈互动响应信息；
获取模块，用于当接收到所述网络主播端发送的互动确认信息时，获取互动应用程序；
处理模块，用于响应于所述网络主播端对所述互动应用程序的运行步骤，运行所述互动应用程序，并将运行所述互动应用程序的过程以第二流媒体的形式存储在本地；
发送模块，用于将所述第二流媒体发送至所述网络主播端，以使所述网络主播端将所述第二流媒体与第一流媒体进行混流，并对混流后的结果进行推流，其中，所述第一流媒体对应于所述网络主播端运行所述互动应用程序的过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711216011.3A CN108040038A (zh) | 2017-11-28 | 2017-11-28 | 网络互动直播的方法、网络主播端和用户端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711216011.3A CN108040038A (zh) | 2017-11-28 | 2017-11-28 | 网络互动直播的方法、网络主播端和用户端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108040038A true CN108040038A (zh) | 2018-05-15 |
Family
ID=62092542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711216011.3A Pending CN108040038A (zh) | 2017-11-28 | 2017-11-28 | 网络互动直播的方法、网络主播端和用户端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108040038A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108777818A (zh) * | 2018-06-15 | 2018-11-09 | 成都睿想腾飞科技有限公司 | 一种直播软件支持同时多路推流的方法 |
| CN108831214A (zh) * | 2018-08-01 | 2018-11-16 | 北京心更远科技发展有限公司 | 一种多端实时同步互动的在线教学方法 |
| WO2021012054A1 (en) * | 2019-07-23 | 2021-01-28 | Lazar Entertainment Inc. | Interactive live media systems and methods |
| CN113542781A (zh) * | 2021-06-17 | 2021-10-22 | 广州虎牙科技有限公司 | 直播间游戏互动方法及相关装置 |
| CN116723343A (zh) * | 2023-08-08 | 2023-09-08 | 北京赛博日新科技有限公司 | 基于区块链的网络直播大数据智能监测和存储方法及*** |
| US11985361B2 (en) | 2017-10-19 | 2024-05-14 | Lazar Entertainment Inc. | Systems and methods for broadcasting live media streams |
| US12010355B2 (en) | 2019-07-23 | 2024-06-11 | Lazar Entertainment Inc. | Live media content delivery systems and methods |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104168271A (zh) * | 2014-08-01 | 2014-11-26 | 广州华多网络科技有限公司 | 交互***、服务器、客户端和交互方法 |
| CN105306468A (zh) * | 2015-10-30 | 2016-02-03 | 广州华多网络科技有限公司 | 一种合成视频数据实时共享的方法及其主播客户端 |
| CN105763832A (zh) * | 2014-12-16 | 2016-07-13 | ***通信集团公司 | 一种视频互动、控制方法及装置 |
| CN106254899A (zh) * | 2016-08-16 | 2016-12-21 | 网宿科技股份有限公司 | 一种直播连麦的控制方法和*** |
| CN107071584A (zh) * | 2017-03-14 | 2017-08-18 | 北京潘达互娱科技有限公司 | 直播连麦方法及装置 |
| CN107295354A (zh) * | 2017-05-15 | 2017-10-24 | 武汉斗鱼网络科技有限公司 | 一种网络直播中连麦直播建立方法及装置 |
| CN108076349A (zh) * | 2016-11-11 | 2018-05-25 | 铂渊信息技术（上海）有限公司 | 网络互动直播方法、***及电子设备 |
-
2017
- 2017-11-28 CN CN201711216011.3A patent/CN108040038A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104168271A (zh) * | 2014-08-01 | 2014-11-26 | 广州华多网络科技有限公司 | 交互***、服务器、客户端和交互方法 |
| CN105763832A (zh) * | 2014-12-16 | 2016-07-13 | ***通信集团公司 | 一种视频互动、控制方法及装置 |
| CN105306468A (zh) * | 2015-10-30 | 2016-02-03 | 广州华多网络科技有限公司 | 一种合成视频数据实时共享的方法及其主播客户端 |
| CN106254899A (zh) * | 2016-08-16 | 2016-12-21 | 网宿科技股份有限公司 | 一种直播连麦的控制方法和*** |
| CN108076349A (zh) * | 2016-11-11 | 2018-05-25 | 铂渊信息技术（上海）有限公司 | 网络互动直播方法、***及电子设备 |
| CN107071584A (zh) * | 2017-03-14 | 2017-08-18 | 北京潘达互娱科技有限公司 | 直播连麦方法及装置 |
| CN107295354A (zh) * | 2017-05-15 | 2017-10-24 | 武汉斗鱼网络科技有限公司 | 一种网络直播中连麦直播建立方法及装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11985361B2 (en) | 2017-10-19 | 2024-05-14 | Lazar Entertainment Inc. | Systems and methods for broadcasting live media streams |
| CN108777818A (zh) * | 2018-06-15 | 2018-11-09 | 成都睿想腾飞科技有限公司 | 一种直播软件支持同时多路推流的方法 |
| CN108777818B (zh) * | 2018-06-15 | 2020-07-14 | 成都睿想腾飞科技有限公司 | 一种直播软件支持同时多路推流的方法 |
| CN108831214A (zh) * | 2018-08-01 | 2018-11-16 | 北京心更远科技发展有限公司 | 一种多端实时同步互动的在线教学方法 |
| WO2021012054A1 (en) * | 2019-07-23 | 2021-01-28 | Lazar Entertainment Inc. | Interactive live media systems and methods |
| US12010355B2 (en) | 2019-07-23 | 2024-06-11 | Lazar Entertainment Inc. | Live media content delivery systems and methods |
| CN113542781A (zh) * | 2021-06-17 | 2021-10-22 | 广州虎牙科技有限公司 | 直播间游戏互动方法及相关装置 |
| CN113542781B (zh) * | 2021-06-17 | 2024-03-01 | 广州虎牙科技有限公司 | 直播间游戏互动方法及相关装置 |
| CN116723343A (zh) * | 2023-08-08 | 2023-09-08 | 北京赛博日新科技有限公司 | 基于区块链的网络直播大数据智能监测和存储方法及*** |
| CN116723343B (zh) * | 2023-08-08 | 2024-06-07 | 北京赛博日新科技有限公司 | 基于区块链的网络直播大数据智能监测和存储方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108040038A (zh) | 网络互动直播的方法、网络主播端和用户端 | |
| CN105450642B (zh) | 一种基于在线直播的数据处理方法、相关装置及*** | |
| CN106165434B (zh) | 一种用于获取媒体数据的方法及计算机可读介质 | |
| CN107846633A (zh) | 一种直播方法及*** | |
| CN104471914B (zh) | 一种流媒体传输处理的方法和装置 | |
| CN103581698B (zh) | 终端设备以及视频数据发布方法 | |
| CN108462883B (zh) | 一种直播互动方法、装置、终端设备及存储介质 | |
| US8817095B2 (en) | Locally originated IPTV programming | |
| CN108040286A (zh) | 视频预览方法、装置、电子设备和计算机可读存储介质 | |
| CN107683600A (zh) | 用于响应于客户端的视频缓冲器特性来管理abr比特率递送的***和方法 | |
| US10405064B2 (en) | Systems and methods for prompting and incorporating unscripted user content into live broadcast programming | |
| CN106713937A (zh) | 视频播放控制方法、装置及终端设备 | |
| CN106792034A (zh) | 基于移动终端进行直播的方法及移动终端 | |
| CN106576158A (zh) | 沉浸式视频 | |
| CN106453559B (zh) | 一种业务对象的处理方法、服务器、终端和*** | |
| EP2198401A1 (en) | Method and system for customising live media content | |
| CN103607578B (zh) | 基于视频编码的全视角图片浏览*** | |
| CN110381384A (zh) | 一种交互式音视频播放的方法及装置 | |
| CN104468845B (zh) | 一种数据处理方法及*** | |
| CN103702178B (zh) | 一种播放方法及电子设备 | |
| CN106888169A (zh) | 视频播放方法及装置 | |
| CN112423013B (zh) | 在线互动方法、客户端、服务器、计算设备和存储介质 | |
| CN107948683A (zh) | 网络直播多媒体流兼容方法、网络主播端和客户端 | |
| CN107317815A (zh) | 一种视频叠加的方法及装置、存储介质和终端 | |
| CN108055245A (zh) | 网络视频直播方法、装置、电子设备和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180515 |