CN114529853A - 一种实时视频处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种实时视频处理方法、装置、电子设备及存储介质，用于改善直播场景中播放实时视频流的延迟较高的问题。该方法包括：判断是否与终端设备建立点对点连接；若是，则获取实时视频流，并向终端设备发送实时视频流。在上述方案的实现过程中，通过点对点与终端设备已经建立连接的情况下，直接获取实时视频流，并向终端设备发送实时视频流，从而避免了使用服务器进行中转和转码后，再向其他终端发送转码后的实时视频流的情况，通过点对点通道向终端设备直接发送实时视频流，能够有效地减小直播场景中播放实时视频流的延迟。

Description

一种实时视频处理方法、装置、电子设备及存储介质

技术领域

本申请涉及网络通信、图像处理和视频处理的技术领域，具体而言，涉及一种实时视频处理方法、装置、电子设备及存储介质。

背景技术

在实时视频处理的场景(例如直播场景)中，在通过摄像头获取实时视频流之后，需要先将实时视频流发送给服务器，以使服务器对实时视频流进行转码，获得转码后的实时视频流，并为其它终端设备提供实时视频流服务，即在其它终端设备请求直播场景中的实时视频流时，服务器向其它终端设备发送转码后的实时视频流。然而在具体的实践过程中发现，直播场景中播放实时视频流的延迟较高。

发明内容

本申请实施例的目的在于提供一种实时视频处理方法、装置、电子设备及存储介质，用于改善直播场景中播放实时视频流的延迟较高的问题。

第一方面，本申请实施例提供了一种实时视频处理方法，包括：判断是否与终端设备建立点对点连接；若是，则获取实时视频流，并向终端设备发送实时视频流。在上述方案的实现过程中，通过点对点与终端设备已经建立连接的情况下，直接获取实时视频流，并向终端设备发送实时视频流，从而避免了使用服务器进行中转和转码后，再向其他终端发送转码后的实时视频流的情况，通过点对点通道向终端设备直接发送实时视频流，能够有效地减小直播场景中播放实时视频流的延迟。

在第一方面的一种可选实现方式中，在判断是否与终端设备建立点对点连接之后，还包括：若没有与终端设备建立点对点连接，则向服务器发送实时视频流，以使服务器对实时视频流进行转码，获得转码后的视频流，并向终端设备发送转码后的视频流。在上述方案的实现过程中，通过在没有与终端设备建立点对点连接的情况下，就直接向服务器发送实时视频流，以使服务器对实时视频流进行转码，获得转码后的视频流，并向终端设备发送转码后的视频流，从而避免了在无法与终端设备建立的复杂网络情况下终端设备无法播放实时视频流的情况，有效地保证了在无法与终端设备建立的复杂网络情况下，终端设备也能够播放实时视频流。

在第一方面的一种可选实现方式中，判断是否与终端设备建立点对点连接，包括：在向终端设备发送点对点确认连接请求之后，判断是否接收到终端设备发送的确认连接请求对应的确认连接响应；若是，则确定已与终端设备建立点对点连接，否则，确定没有与终端设备建立点对点连接。在上述方案的实现过程中，通过确认连接请求对应的确认连接响应来确认是否与终端设备建立点对点连接，从而避免了难以确认是否与终端设备建立点对点连接的情况，通过点对点通道向终端设备直接发送实时视频流，能够有效地减小直播场景中播放实时视频流的延迟。

在第一方面的一种可选实现方式中，获取实时视频流，包括：接收媒体采集设备发送的视频帧数据；将视频帧数据进行解码处理和编码处理，获得实时视频流。在上述方案的实现过程中，通过接收媒体采集设备发送的视频帧数据，并将视频帧数据进行解码处理和编码处理，从而避免了未经解码处理和编码处理的视频帧数据无法播放的情况，有效地保证了解码处理和编码处理的视频帧数据也能够被实时播放。

在第一方面的一种可选实现方式中，视频帧数据是RTSP格式的帧数据；将视频帧数据进行解码处理和编码处理，包括：将RTSP格式的帧数据解码为图片格式的图片流，获得解码后的图片流；将解码后的图片流编码为预设编码格式的视频流，获得实时视频流。在上述方案的实现过程中，通过将RTSP格式的帧数据解码为图片格式的图片流，获得解码后的图片流，并将解码后的图片流编码为预设编码格式的视频流，从而使得解码后的图片流能够被AI图像处理算法进行处理，提高了解码后的图片流被有效使用的概率。

在第一方面的一种可选实现方式中，在获得解码后的图片流之后，还包括：对解码后的图片流中的图片进行图像识别或目标检测。在上述方案的实现过程中，通过对解码后的图片流中的图片进行图像识别或目标检测，从而使得解码后的图片流能够被图像识别或目标检测等等AI图像处理算法进行处理，提高了解码后的图片流被有效使用的概率。

在第一方面的一种可选实现方式中，向终端设备发送实时视频流，包括：通过网页即时通信WebRTC协议向终端设备发送实时视频流。在上述方案的实现过程中，通过网页即时通信WebRTC协议向终端设备发送实时视频流，从而使得终端设备的浏览器也可以通过WebRTC协议播放实时视频流，有效地提高了实时视频流在直播场景中被实时播放的概率。

第二方面，本申请实施例提供了一种实时视频处理装置，包括：连接建立判断模块，用于判断是否与终端设备建立点对点连接；实时视频发送模块，用于若已经与终端设备建立点对点连接，则获取实时视频流，并向终端设备发送实时视频流。在上述的实现过程中，通过点对点(P2P)与终端设备已经建立连接的情况下，直接获取实时视频流，并向终端设备发送实时视频流，从而避免了使用服务器进行中转和转码后，再向其他终端发送转码后的实时视频流的情况，通过点对点通道向终端设备直接发送实时视频流，能够有效地减小直播场景中播放实时视频流的延迟。

在第二方面的一种可选实现方式中，实时视频处理装置，还包括：实时视频中转模块，用于若没有与终端设备建立点对点连接，则向服务器发送实时视频流，以使服务器对实时视频流进行转码，获得转码后的视频流，并向终端设备发送转码后的视频流。

在第二方面的一种可选实现方式中，连接建立判断模块，包括：响应接收判断模块，用于在向终端设备发送点对点确认连接请求之后，判断是否接收到终端设备发送的确认连接请求对应的确认连接响应；连接建立确认模块，用于若接收到终端设备发送的确认连接请求对应的确认连接响应，则确定已与终端设备建立点对点连接，否则，确定没有与终端设备建立点对点连接。

在第二方面的一种可选实现方式中，实时视频发送模块，包括：视频数据接收模块，用于接收媒体采集设备发送的视频帧数据；视频解码编码模块，用于将视频帧数据进行解码处理和编码处理，获得实时视频流。

在第二方面的一种可选实现方式中，视频帧数据是RTSP格式的帧数据；视频解码编码模块，包括：视频数据解码模块，用于将RTSP格式的帧数据解码为图片格式的图片流，获得解码后的图片流；视频数据编码模块，用于将解码后的图片流编码为预设编码格式的视频流，获得实时视频流。

在第二方面的一种可选实现方式中，视频解码编码模块，还包括：图像识别检测模块，用于对解码后的图片流中的图片进行图像识别或目标检测。

在第二方面的一种可选实现方式中，实时视频发送模块，包括：通过协议发送模块，用于通过网页即时通信WebRTC协议向终端设备发送实时视频流。

第三方面，本申请实施例提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请实施例中的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出的本申请实施例提供的实时视频处理方法的流程示意图；

图2示出的本申请实施例提供的通过服务器转码播放视频流的流程示意图；

图3示出的本申请实施例提供的实时视频处理装置的结构示意图；

图4示出的本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请实施例中的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请实施例的详细描述并非旨在限制要求保护的本申请实施例的范围，而是仅仅表示本申请实施例中的选定实施例。基于本申请实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。

可以理解的是，本申请实施例中的“第一”、“第二”用于区别类似的对象。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

在介绍本申请实施例提供的实时视频处理方法之前，先介绍本申请实施例中所涉及的一些概念：

点对点(Peer To Peer，P2P)，又称对等式网络，是无中心服务器、依靠用户群(peers)交换信息的互联网体系，P2P的作用在于，减低以往网路传输中的节点，以降低资料遗失的风险。与有中心服务器的中央网络***不同，对等网络的每个用户端既是一个节点，也有服务器的功能，任何一个节点无法直接找到其他节点，必须依靠其户群进行信息交流。

网页即时通信(Web Real-Time Communication，WebRTC)接口，是一个支持网页浏览器进行实时语音对话或视频对话的应用编程接口，WebRTC是一项实时通讯技术，WebRTC允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点(P2P)的连接，实现视频流和/或音频流的传输，且WebRTC支持大部分的浏览器。WebRTC包含的这些标准使用户在无需安装任何插件或者第三方的软件的情况下，创建点对点(P2P)的数据分享和电话会议成为可能。

网络地址转换(Network Address Translation，NAT)，是指实现内拓扑结构网的IP地址与公网的地址之间的相互转换的技术，该技术将大量的内网IP地址转换为一个或少量的公网IP地址，减少对公网IP地址的占用。

需要说明的是，本申请实施例提供的实时视频处理方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器，设备终端例如：智能手机、个人电脑、平板电脑、个人数字助理或者移动上网设备等。服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。

下面介绍该实时视频处理方法适用的应用场景，这里的应用场景包括但不限于：工业生产、交通运算和安全防护等等应用场景，具体例如：当媒体采集设备(例如：单反彩色照相机、黑白照相机、监控摄像机或照相机等)与电子设备通过网络能够相互通信时，或者，当媒体采集设备与电子设备已经建立点对点(P2P)的连接时，可以使用该实时视频处理方法为边缘设备提供实时视频流服务，该边缘设备是需要查看媒体采集设备采集的视频流的设备，该边缘设备例如：智能手机、个人电脑、平板电脑、个人数字助理或者移动上网设备等。特别是，当电子设备和边缘设备处于同一局域网的网络中时，使用该实时视频处理方法可以有效地减小媒体采集设备到边缘设备之间的播放实时视频流的延迟。

请参见图1示出的本申请实施例提供的实时视频处理方法的流程示意图；该实时视频流的主要思路是，通过点对点(P2P)与终端设备已经建立连接的情况下，直接获取实时视频流，并向终端设备发送实时视频流，从而避免了使用服务器进行中转和转码后，再向其他终端发送转码后的实时视频流的情况，通过点对点通道向终端设备直接发送实时视频流，能够有效地减小直播场景中播放实时视频流的延迟。上述实时视频处理方法具体可以包括：

步骤S110：判断是否与终端设备建立点对点连接。

步骤S120：若已经与终端设备建立点对点连接，则获取实时视频流，并向终端设备发送实时视频流。

可以理解的是，上述的终端设备可以使用浏览器来播放该实时视频流，此处的浏览器例如：Microsoft Edge浏览器、Google Chrome浏览器、Mozilla Firefox浏览器、Opera浏览器、Safari浏览器和Firefox浏览器等等。当终端设备使用浏览器播放该实时视频流时，终端设备上的浏览器首先通过网页即时通信WebRTC协议尝试与电子设备建立连接，如果电子设备上已经实现了网络流(Network Stream)即可，就可以与终端设备建立点对点(P2P)连接；其中，P2P具体可以采用BitTorrent协议、eDonkey协议、WebTorrent协议等等来传输数据。

在终端设备与电子设备建立点对点(P2P)连接后，可以先通过GStreamer对获取的实时视频流进行解析，然后可以通过点对点(P2P)传输方式来传输实时视频流数据；此处的GStreamer是一个用于构建媒体处理组件图形的库，也是一个开源多媒体框架。由于WebRTC协议被大多数浏览器支持，所以在大多数的浏览器/服务器(Browser/Server，B/S)场景下都可以通过点对点(P2P)直接播放实时视频流，从而极大地节省了视频中转、转码和网络传输等计算资源和网络资源。

在上述的实现过程中，通过点对点(P2P)与终端设备已经建立连接的情况下，直接获取实时视频流，并向终端设备发送实时视频流，从而避免了使用服务器进行中转和转码后，再向其他终端发送转码后的实时视频流的情况，通过点对点通道向终端设备直接发送实时视频流，能够有效地减小直播场景中播放实时视频流的延迟。

作为步骤S110的一种可选实施方式，可以通过是否接收到响应来确定建立点对点连接，该实施方式可以包括：

步骤S111：在向终端设备发送点对点确认连接请求之后，判断是否接收到终端设备发送的确认连接请求对应的确认连接响应。

上述步骤S112的实施方式例如：在向终端设备发送点对点确认连接请求之后，判断是否通过WebRTC实现的RTCPeerConnection接口接收到终端设备发送的确认连接请求对应的确认连接响应。

步骤S112：若已经接收到终端设备发送的确认连接请求对应的确认连接响应，则确定已与终端设备建立点对点连接，否则，确定没有与终端设备建立点对点连接。

上述步骤S112的实施方式例如：若已经接收到终端设备发送的确认连接请求对应的确认连接响应，则确定已与终端设备建立点对点连接。在一些复杂网络环境的情况下，例如在用户的网络使用对称式网络地址转换(NAT)的情况下，若没有接收到终端设备发送的确认连接请求对应的确认连接响应，确定没有与终端设备建立点对点连接。

在上述方案的实现过程中，通过确认连接请求对应的确认连接响应来确认是否与终端设备建立点对点连接，从而避免了难以确认是否与终端设备建立点对点连接的情况，通过点对点通道向终端设备直接发送实时视频流，能够有效地减小直播场景中播放实时视频流的延迟。

在上述步骤S120中获取实时视频流的一些可选实施方式中，可以直接将本地存储的视频文件转换为视频帧数据再转码，当然也可以先接收媒体采集设备发送的视频帧数据再转码。此处以接收媒体采集设备发送的视频帧数据再转码为例进行说明，该实施方式可以包括：

步骤S121：接收媒体采集设备发送的视频帧数据。

步骤S122：将视频帧数据进行解码处理和编码处理，获得实时视频流。

作为步骤S122的一种可选实施方式，可以使用GStreamer对媒体采集设备发送的视频帧数据进行解析，获得RTSP格式的视频帧数据，然后再使用GStreamer将RTSP格式的视频帧数据转码成预设编码格式(例如H.264格式)，该实施方式具体例如：将RTSP格式的帧数据解码为图片格式(例如JPG格式)的图片流，获得解码后的图片流，然后，将解码后的图片流编码为预设编码格式(例如H.264格式)的视频流，获得实时视频流。

可选地，在上面获得解码为图片格式(例如JPG格式)的图片流之后，还可以根据图片流进行图像处理操作，具体例如：使用人工智能(Artificial Intelligence，AI)图像处理算法对解码后的图片流中的图片进行语义分割、字符识别、活体检测、实例分割、图像识别或者目标检测等等操作。由于这些AI图像处理算法只能使用解码后的图片格式的图片流，因此，此处需要先将视频流转换为图片格式的图片流，以便于让AI图像处理算法进行处理，可以将处理后的后的图片流编码为预设编码格式(例如H.264格式)的视频流，从而获得实时视频流。在上述方案的实现过程中，通过将RTSP格式的帧数据解码为图片格式的图片流，获得解码后的图片流，并将解码后的图片流编码为预设编码格式的视频流，从而使得解码后的图片流能够被AI图像处理算法进行处理，提高了解码后的图片流被有效使用的概率。

在上述方案的实现过程中，通过接收媒体采集设备发送的视频帧数据，并将视频帧数据进行解码处理和编码处理，从而避免了未经解码处理和编码处理的视频帧数据无法播放的情况，有效地保证了解码处理和编码处理的视频帧数据也能够被实时播放。

请参见图2示出的本申请实施例提供的通过服务器转码播放视频流的流程示意图；作为上述实时视频处理方法的一种可选实施方式，在判断是否与终端设备建立点对点连接之后，还可以在没有建立点对点连接的情况下，通过服务器转码播放视频流。这种通过服务器转码播放视频流的实时视频流处理方法具体可以包括：

步骤S210：判断是否与终端设备建立点对点连接。

步骤S220：若已经与终端设备建立点对点连接，则获取实时视频流，并向终端设备发送实时视频流。

其中，上述步骤S210至步骤S220的实施原理和实施方式与步骤S110至步骤S120的实施原理和实施方式是类似的，因此，这里不再说明其实施原理和实施方式，如有不清楚的地方，可以参考对步骤S110至步骤S120的描述。

步骤S230：若没有与终端设备建立点对点连接，则向服务器发送实时视频流，以使服务器对实时视频流进行转码，获得转码后的视频流，并向终端设备发送转码后的视频流。

上述步骤S230的实施方式例如：若电子设备没有与终端设备建立点对点连接，则向服务器发送实时视频流，此处的服务器可以是由多个服务器构成的集群，该服务器对应的集群提供视频转码、视频直播和视频中转等服务。服务器在接收到实时视频流之后，通过服务器对应的集群对实时视频流进行转码，获得转码后的视频流，并在终端设备请求该转码后的视频流时，向终端设备发送转码后的视频流。

在上述向服务器发送实时视频流的过程中，还可以使用预设插件程序ffmpeg对视频流数据进行缓存，获得缓存的视频流数据，并在服务器空闲时，将缓存的视频流数据一起发送给服务器，从而增加电子设备向服务器发送视频流数据的效率。

在上述方案的实现过程中，通过在没有与终端设备建立点对点连接的情况下，就直接向服务器发送实时视频流，以使服务器对实时视频流进行转码，获得转码后的视频流，并向终端设备发送转码后的视频流，从而避免了在无法与终端设备建立的复杂网络情况下终端设备无法播放实时视频流的情况，有效地保证了在无法与终端设备建立的复杂网络情况下，终端设备也能够播放实时视频流。

在一些可选实施方式中，上述向终端设备发送实时视频流可以采用网页即时通信WebRTC协议，具体例如：通过网页即时通信WebRTC协议向终端设备发送实时视频流。在一些可选实施方式中，在终端设备的浏览器停止播放实时视频流后，电子设备可以通过判断是否接收到关闭连接通知消息来确定是否释放该终端设备的相关资源，具体例如：若电子设备接收到终端设备发送的关闭连接通知消息，则电子设备释放该终端设备的相关资源；若电子设备没有接收到终端设备发送的关闭连接通知消息，则电子设备确定已经与终端设备建立了点对点连接。

在上述方案的实现过程中，通过网页即时通信WebRTC协议向终端设备发送实时视频流，从而使得终端设备的浏览器也可以通过WebRTC协议播放实时视频流，有效地提高了实时视频流在直播场景中被实时播放的概率。

请参见图3示出的本申请实施例提供的实时视频处理装置的结构示意图；本申请实施例提供了一种实时视频处理装置300，包括：

连接建立判断模块310，用于判断是否与终端设备建立点对点连接。

实时视频发送模块320，用于若已经与终端设备建立点对点连接，则获取实时视频流，并向终端设备发送实时视频流。

可选地，在本申请实施例中，实时视频处理装置，还包括：

实时视频中转模块，用于若没有与终端设备建立点对点连接，则向服务器发送实时视频流，以使服务器对实时视频流进行转码，获得转码后的视频流，并向终端设备发送转码后的视频流。

可选地，在本申请实施例中，连接建立判断模块，包括：

响应接收判断模块，用于在向终端设备发送点对点确认连接请求之后，判断是否接收到终端设备发送的确认连接请求对应的确认连接响应。

连接建立确认模块，用于若接收到终端设备发送的确认连接请求对应的确认连接响应，则确定已与终端设备建立点对点连接，否则，确定没有与终端设备建立点对点连接。

可选地，在本申请实施例中，实时视频发送模块，包括：

视频数据接收模块，用于接收媒体采集设备发送的视频帧数据。

视频解码编码模块，用于将视频帧数据进行解码处理和编码处理，获得实时视频流。

可选地，在本申请实施例中，视频帧数据是RTSP格式的帧数据；视频解码编码模块，包括：

视频数据解码模块，用于将RTSP格式的帧数据解码为图片格式的图片流，获得解码后的图片流。

视频数据编码模块，用于将解码后的图片流编码为预设编码格式的视频流，获得实时视频流。

可选地，在本申请实施例中，视频解码编码模块，还包括：

图像识别检测模块，用于对解码后的图片流中的图片进行图像识别或目标检测。

可选地，在本申请实施例中，实时视频发送模块，包括：

通过协议发送模块，用于通过网页即时通信WebRTC协议向终端设备发送实时视频流。

应理解的是，该装置与上述的实时视频处理方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作***(operating system，OS)中的软件功能模块。

请参见图4示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备400，包括：处理器410和存储器420，存储器420存储有处理器410可执行的机器可读指令，机器可读指令被处理器410执行时执行如上的方法。

本申请实施例还提供了一种计算机可读存储介质430，该计算机可读存储介质430上存储有计算机程序，该计算机程序被处理器410运行时执行如上的方法。

其中，计算机可读存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Read-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。

另外，在本申请实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (10)

1.一种实时视频处理方法，其特征在于，包括：

判断是否与终端设备建立点对点连接；

若是，则获取实时视频流，并向所述终端设备发送所述实时视频流。

2.根据权利要求1所述的方法，其特征在于，在所述判断是否与终端设备建立点对点连接之后，还包括：

若没有与所述终端设备建立点对点连接，则向服务器发送所述实时视频流，以使所述服务器对所述实时视频流进行转码，获得转码后的视频流，并向所述终端设备发送所述转码后的视频流。

3.根据权利要求1所述的方法，其特征在于，所述判断是否与终端设备建立点对点连接，包括：

在向所述终端设备发送点对点确认连接请求之后，判断是否接收到所述终端设备发送的所述确认连接请求对应的确认连接响应；

若是，则确定已与所述终端设备建立点对点连接，否则，确定没有与所述终端设备建立点对点连接。

4.根据权利要求1所述的方法，其特征在于，所述获取实时视频流，包括：

接收媒体采集设备发送的视频帧数据；

将所述视频帧数据进行解码处理和编码处理，获得所述实时视频流。

5.根据权利要求4所述的方法，其特征在于，所述视频帧数据是RTSP格式的帧数据；所述将所述视频帧数据进行解码处理和编码处理，包括：

将所述RTSP格式的帧数据解码为图片格式的图片流，获得解码后的图片流；

将所述解码后的图片流编码为预设编码格式的视频流，获得所述实时视频流。

6.根据权利要求5所述的方法，其特征在于，在所述获得解码后的图片流之后，还包括：

对所述解码后的图片流中的图片进行图像识别或目标检测。

7.根据权利要求1-6任一所述的方法，其特征在于，所述向所述终端设备发送所述实时视频流，包括：

通过网页即时通信WebRTC协议向所述终端设备发送所述实时视频流。

8.一种实时视频处理装置，其特征在于，包括：

连接建立判断模块，用于判断是否与终端设备建立点对点连接；

实时视频发送模块，用于若已经与终端设备建立点对点连接，则获取实时视频流，并向所述终端设备发送所述实时视频流。

9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一项所述的方法。

Images