CN111093077A - 一种视频编码方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及视频编码技术领域，尤其涉及一种视频编码方法、装置及电子设备，其中，视频编码方法包括步骤：获取参考帧中的初始图像数据；通过目标跟踪算法对所述初始图像数据进行跟踪，得到当前帧的目标图像数据；将所述当前帧的目标图像数据进行编码，得到所述当前帧的目标图像数据对应的目标数据包；将所述目标数据包通过预设协议与所述当前帧进行间隔传输。本发明能够降低运算量，减少传输带宽。

Description

一种视频编码方法、装置、电子设备及存储介质

技术领域

本发明涉及视频编码技术领域，尤其涉及一种视频编码方法、装置、电子设备及存储介质。

背景技术

人工智能(AI)摄像头在各领域得到了广泛的使用，尤其在安防领域。在该领域中使用的AI摄像头具有人脸/人体/车辆抓拍识别等功能。目前在AI摄像头中实现这些功能的方式有：1、先使用AI算法对原始图像进行处理，分类检测、抓拍并跟踪物体，并且提取物体特征数据，同时会对原始图像进行视频压缩编码，最后将这些物体特征数据和编码后视频流分别使用不同的协议发送给云端。2、先对原始图像进行视频压缩编码，在由第三方在摄像头内对视频流进行分类检测、抓拍并跟踪物体，并且提取物体特征数据，最后将物体特征数据和编码后视频流分别使用不同的协议发送给云端。上述两种方式均是通过不同的协议分别将图像特征数据以及编码后的视频流上传至云端，使得传输过程中运算负担大，且占用的带宽高。可见，在现有的视频编码方法中，存在运算量大，传输带宽高的问题。

发明内容

本发明实施例提供一种视频编码方法，旨在解决现有的视频编码方法中存在运算量大、传输带宽高的问题。

第一方面，本发明实施例提供一种视频编码方法，所述方法包括以下步骤：

获取参考帧中的初始图像数据；

通过目标跟踪算法对所述初始图像数据进行跟踪，得到当前帧的目标图像数据；

将所述当前帧的目标图像数据进行编码，得到所述当前帧的目标图像数据对应的目标数据包；

将所述目标数据包通过预设协议与所述当前帧进行间隔传输。

第二方面，本发明实施例还提供一种视频编码装置，包括：

获取模块，用于获取参考帧中的初始图像数据；

跟踪模块，用于通过目标跟踪算法对所述初始图像数据进行跟踪，得到当前帧的目标图像数据；

编码模块，用于将所述当前帧的目标图像数据进行编码，得到所述当前帧的目标图像数据对应的目标数据包；

传输模块，用于将所述目标数据包通过预设协议与所述当前帧进行间隔传输。

第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的视频编码方法中的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的视频编码方法中的步骤。

本发明实施例中，在获取到初始图像数据之后，通过目标跟踪算法对初始图像数据进行跟踪，追踪到当前帧的目标图像数据，然后通过对当前帧的目标图像数据进行编码，得到当前帧的目标图像数据对应的目标数据包，将目标数据包通过预设协议与当前帧进行间隔传输，上述将目标数据包通过预设协议与当前帧进行间隔传输，实现了通过一个协议将目标数据包与当前帧进行传输，避免了现有技术中需要分别通过不同的协议分别将目标数据包与当前帧进行传输的问题，简化传输过程的同时，通过一种预设协议进行传输也减少运算量，并且降低了传输的带宽。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种视频编码方法的流程图；

图2是本发明实施例提供的另一种视频编码方法的流程图；

图3是本发明实施例提供的另一种视频编码方法的流程图；

图4是本发明实施例提供的另一种视频编码方法的流程图；

图5是本发明实施例提供的另一种视频编码方法的流程图；

图6是本发明实施例提供的一种视频编码装置的结构示意图；

图7是本发明实施例提供的另一种视频编码装置的结构示意图；

图8是本发明实施例提供的另一种视频编码装置的结构示意图；

图9是本发明实施例提供的另一种视频编码装置的结构示意图；

图10是本发明实施例提供的另一种视频编码装置的结构示意图；

图11是本发明实施例提供的另一种视频编码装置的结构示意图；

图12是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1是本发明实施例提供的一种视频编码方法的流程图，如图1所示，包括以下步骤：

S101、获取参考帧中初始图像数据。

其中，参考帧可以是参考图像帧，也即是选取一个基础的图像帧。上述的初始图像数据可以是参考帧中的全部或者部分图像数据，初始图像数据可以是通过AI摄像头对物体(人脸、人体、车辆、树木等)进行抓拍的方式进行获取。若初始图像数据只是参考帧中的部分图像数据时，表示除了初始图像数据之外，还包括其余干扰图像数据，例如：初始图像数据为摄像头拍摄到的人体，此外，摄像头还抓拍到除人体之外的一些树木、车辆、建筑等干扰图像数据。可以通过预先训练好的矩阵算法对参考帧中的图像数据进行识别，自动识别到上述初始图像数据。上述矩阵算法可以预先通过大量图像数据进行训练，以到达能够从众多的图像数据中自动识别到初始图像数据。识别到上述初始图像数据后，可以对初始图像数据的特征进行采集，特征可以包括初始图像数据的像素点坐标、人脸关键点(眼睛、鼻子等)、人体关键点(手、足、头等)等等。

上述的初始图像数据可以指参考帧中的一个或多个物体，例如：参考帧中存在的某个行人，或者是参考帧中存在的多个行人。初始图像数据还可以包括不同类型的物体，例如：同时获取闯红灯司机的人脸图像以及司机驾驶的车辆对应的车辆信息(车牌号码、车辆标志、车辆颜色、车辆型号等)。

用户可以通过移动终端发出与上述获取参考帧中的初始图像数据相关的请求到用于执行上述视频编码方法的电子设备上，电子设备对请求进行解码以执行上述视频编码方法。上述电子设备可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机等等。

S102、通过目标跟踪算法对初始图像数据进行跟踪，得到当前帧的目标图像数据。

其中，目标跟踪算法用于对初始图像数据对应物体的行径进行跟踪，便于找到初始图像数据对应物体所移动到的区域或者具体的位置等信息。参考帧与当前帧可以是相邻帧，无论相邻帧中存在的是运动物体还是静止物体，相邻帧中的图像通常都会很相似，在当前帧与参考帧中会存在冗余。上述的当前帧以及参考帧都是图像帧，在本发明实施例中，通过参考帧与当前帧的形式进行描述只是用于区分不同的图像帧。上述当前帧的目标图像数据可以是初始图像数据在经过跟踪后移动到当前帧中所得到的数据。

S103、将当前帧的目标图像数据进行编码，得到当前帧的目标图像数据对应的目标数据包。

其中，对目标图像数据进行编码可以是通过熵编码方式对目标图像数据进行压缩编码，实际上是一个压缩的过程。上述的熵编码即把一系列用来表示视频序列的元素符号转变为一个用来传输或是存储的压缩码流。熵编码过程中不会丢失任何的图像信息。

可以把通过AI算法获取到的用元素符号表示的初始图像数据转变为可以进行传输或者存储的压缩码流，也即是上述的目标数据包。输入的元素符号可以包括量化后的变换系数、运动向量、附加信息(即对于正确解码来说重要的标记位信息)等。

S104、将目标数据包通过预设协议与当前帧进行间隔传输。

其中，可以将目标数据包通过预设协议与当前帧进行间隔传输，上述预设协议可以使实时传输协议(RTP协议)，RTP协议传输一帧图像帧后会依次传输与该帧图像帧对应的目标数据包，后续通过相同的方式进行传输，以此通过一个协议将当前帧以及与当前帧对应的目标数据包形成间隔传输，例如：依次形成第一帧图像帧、第一帧图像帧的目标数据包、第二帧图像帧、第二帧图像帧的目标数据包、第三帧图像帧、第三帧图像帧的目标数据包进行传输至云端。在云端可以根据接收到的图像帧及对应的目标数据包获取所需要的图像信息，例如：从对应的目标数据包中提取所需物体的位置信息，通过对该位置信息进行解码，在解码后的码流中便可以抓取到所需物体的物体图像。

本发明在获取到初始图像数据之后，通过目标跟踪算法对初始图像数据进行跟踪，追踪到当前帧的目标图像数据，然后通过对当前帧的目标图像数据进行编码，得到当前帧的目标图像数据对应的目标数据包，将目标数据包通过预设协议与当前帧进行间隔传输，上述将目标数据包通过预设协议与当前帧进行间隔传输，实现了通过一个协议将目标数据包与当前帧进行传输，避免了现有技术中需要分别通过不同的协议分别将目标数据包与当前帧进行传输的问题，简化传输过程的同时，通过一种预设协议进行传输也减少运算量，并且降低了传输的带宽。

如图2所示，图2是本发明实施例提供的另一种视频编码方法的流程图，如图2所示，包括以下步骤：

S201、通过AI分类器检测参考帧中待追踪物体所在的区域。

其中，待追踪物体可以是通过矩阵算法识别到的初始图像数据中的物体，待追踪物体所在的位置可以是待追踪物体在参考帧中所在的位置坐标，参考帧中的待追踪物体所在的位置坐标可以通过图像帧中的像素点坐标表示。在获取待追踪物体时，可以选取待追踪物体所在的区域，该区域可以是一个矩形区域，在该矩形区域中可以只包括有待追踪物体。上述区域可以包括待追踪物体所在的区域的长度和宽度，其长度与宽度可以通过像素点表示，例如：长度为10个像素点，宽度为8个像素点。

S202、对待追踪物体所在的区域进行扩展，得到目标检测区域。

其中，对待追踪物体所在区域进行扩展可以是横向扩展，可以是纵向扩展，也可以是对横向和纵向进行同时扩展。可以将预测单元(Prediction unit，PU)作为待追踪物体所在区域进行扩展的最小基础单元，PU的尺寸根据当前编码使用的编码标准进行确定，例如：在H.264的编码标准中，PU固定为16x16，在H.265的编码标准中，PU从最小的8x8到最大的64x64，能够实现PU的可选择性。

上述的PU是由最小代码单元(minimum code unit，MCU)分割得到，PU中可以包括完整的或者不完整的MCU，且PU的边界与MCU的边界可以重合，也可以不重合。上述目标检测区域的区域大小为PU的整数倍，即在图像帧中，目标检测区域的边界可以是和PU重合的，例如：所使用的编码标准中，PU的大小为4×4，对待追踪物体所在区域进行扩展后得到的区域大小为32×32，扩展为PU的64倍。

作为一种可行的实施例方式，当对待追踪物体所在区域进行扩展后，其区域大小不是预测单元的整数倍时，则需要对扩展后的区域的长度和/或宽度进行取舍，取舍可以是通过四舍五入的方式进行取舍，例如：所使用的编码标准中，PU的大小为4×4，对待追踪物体所在区域进行扩展后得到的区域大小为33×33，则需要对扩展后得到的区域进行调整变为32×32，变为PU的64倍，调整后得到的区域才是目标检测区域。再例如：所使用的编码标准中，PU的大小为8×8，扩展后的区域为39×39，则需要将扩展后的区域调整为40×40，变为PU的25倍，调整后得到的区域才是目标检测区域。

S203、识别目标检测区域的位置信息，以得到参考帧中的初始图像数据。

其中，目标检测区域的位置信息可以是指目标检测区域在图像帧中所处的坐标，该坐标可以是一个二维坐标，也可以是三维坐标。提取目标检测区域的区域大小便于作为当前帧的参考区域，获取目标检测区域的位置信息便于对参考帧中用户选定的区域中的初始图像数据进行跟踪。

S204、通过目标跟踪算法对初始图像数据进行跟踪，得到当前帧的目标图像数据。

检测到上述待追踪物体的所在的区域后，可以通过目标跟踪算法对待追踪物体所在的区域进行动态跟踪，直到参考帧转移当当前帧后，在当前帧得到的图像数据即为目标图像数据。

S205、将当前帧的目标图像数据进行编码，得到当前帧的目标图像数据对应的目标数据包。

S206、将目标数据包通过预设协议与当前帧进行间隔传输。

在本实施例中，通过检测参考帧中待追踪物体所在的区域进行检测，并对待追踪物体所在区域进行扩展形成目标检测区域，然后对目标检测区域的位置信息进行提取并用于目标跟踪算法进行跟踪，直到确认待追踪物体移动到当前帧中后，获取到对应的目标图像数据，这样，可以在云端的目标数据包中提取到待追踪物体转移到当前帧中的位置信息，从解码后的码流中抓取待追踪物体转移转移后的物体图像，得到目标图像数据后对目标图像数据进行编码，并将编码后的目标数据包通过RTP协议与当前帧进行间隔传输，上述将目标数据包通过预设协议与当前帧进行间隔传输，实现了通过一个协议将目标数据包与当前帧进行传输，避免了现有技术中需要分别通过不同的协议分别将目标数据包与当前帧进行传输的问题，简化传输过程的同时，通过一种预设协议进行传输也减少运算量，并且降低了传输的带宽。

如图3所示，图3是本发明实施例提供的另一种视频编码方法的流程图，如图3所示，包括以下步骤：

S301、获取参考帧中的初始图像数据。

S302、通过目标跟踪算法对待追踪物体进行跟踪，得到待追踪物体在移动过程中产生的运动数据。

上述运动数据可以包括待追踪物体从参考帧转移到当前帧的位置变化的数据，还可以包括待追踪物体所在区域变化的数据。获取运动数据可以用于对待追踪物体从参考帧移动到当前帧进行运动估计和运动补偿计算。运动估计是将图像序列的当前帧分成许多互不重叠的宏块，并认为宏块内所有像素的位移量都相同。运动补偿可以是通过参考帧的局部图像来预测、补偿当前帧的局部图像，可以减少当前帧与参考帧之间存在的冗余。其中，运动补偿可以包括有全局运动补偿和分块运动补偿。上述当前帧与参考帧可以是相邻帧，相邻帧在播放顺序上相邻，在编码关系上不一定相邻。

在本实施例中，上述的运动估计可以表示从待追踪物体到目标物体的空间位置的相对偏移量运动过程。运动数据中还可以包括物体残差，物体残差表示从当前帧中减去参考帧，得到含有较少信息的残差，这样能够通过较低的码率进行编码，并且在解码时，只需要通过简单的加法便可以恢复参考帧。预测残差越小，物体的压缩比就会越小。当然，运动数据中还可以包括物体的属性信息等。计算得到运动数据之后，还可以通过当前使用的编码标准编码运动数据，并且当前使用的编码标准可以不同于对上述的背景区域及物体残差进行编码的编码标准，例如：该编码标准中的PU可以是8×8。

S303、获取待追踪物体的位置信息以及运动数据，计算目标物体的位置信息，以得到目标图像数据，待追踪物体与目标物体相关联。

其中，可以将待追踪物体的位置信息作为一个参考点，结合待追踪物体从参考帧转移到当前帧的运动数据进行计算，该计算可以是进行求和计算，这样，便可以得到当前帧中目标物体的位置信息。待追踪物体与目标物体相关联可以表示目标物体为待追踪物体在位置信息变化后的同一个物体。

S304、将当前帧的目标图像数据进行编码，得到当前帧的目标图像数据对应的目标数据包。

S305、将目标数据包通过预设协议与当前帧进行间隔传输。

可选的，上述步骤S102还可以包括：

通过目标跟踪算法对待追踪物体进行跟踪，得到待追踪物体在移动过程中产生的运动数据，运动数据包括偏移距离及偏移方向。

上述的偏移距离指待追踪物体转换为目标物体的过程中产生的空间距离，可以通过多个维度去计算空间距离。上述的偏移方向即待追踪物体指向目标物体的直线方向，偏移方向可以指向任何角度，具体根据待追踪物体转移到目标物体的方向而定。待追踪物体在图像帧中移动可以表示待追踪物体所包括的任何部位在转移的过程中没有发生变化，只是整体移动，这样，对应待追踪物体的每个部位所指向目标物体的偏移方向则为平行方向。当然，待追踪物体在图像帧中移动还可以表示待追踪物体所包括的部分部位在转移的过程中发生了变化，这样，对应待追踪物体变化的部分部位所指向目标物体的偏移方向与未发生变化的部分部位所形成的偏移方向则不是平行方向。

根据待追踪物体的位置信息以及偏移距离及偏移方向，计算目标物体的位置信息，以得到目标图像数据。

结合上述的待追踪物体对应的位置信息、偏移距离及偏移方向，同样能计算出当前帧中目标物体具体的位置信息。通过上述方式结合待追踪物体的多个参数便于对待追踪物体进行精准追踪，提高获取目标物体的位置信息的准确率，便于锁定目标物体。

可选的，在根据待追踪物体的位置信息以及偏移距离及偏移方向，计算目标物体的位置信息之后，方法还包括：

基于目标物体的位置信息获取目标物体所在的区域。

当确定了当前帧中目标物体的位置信息之后，需要对目标物体的所在的区域进行获取，获取到的目标物体所在的区域可以是一个矩形区域，矩形区域的长度与宽度根据目标物体的形状、大小进行确定。

将目标物体所在的区域扩展到与目标检测区域大小一致。

具体的，上述在得到当前帧中目标物体所在的位置信息后，可以对目标物体所在的区域进行扩展，将目标物体所在的区域扩展到与目标检测区域一致，保持一致不会让目标物体产生变形，便于对运动数据进行计算，减小运算误差。上述将目标物体所在的区域扩展到与目标检测区域大小一致，只要待追踪物体在移动后没有离开所追踪的图像界面，则在目标检测区域能基于目标追踪算法追踪到待追踪物体移动到当前帧中的位置。

在目标物体扩展后的区域中，除了目标物体之外，还可以包括背景区域，例如：背景区域中的人、车、植物等。背景区域可以是与目标检测区域中背景区域不同的区域，也即是表示目标跟踪过程中，只会对对用户感兴趣的待追踪物体的位置信息、属性信息等进行跟踪，而不会对其他的干扰信息进行追踪。

在本实施例中，获取参考帧中的待追踪物体的图像数据，并通过目标跟踪算法对待追踪物体的图像数据进行跟踪，在跟踪的过程中获取待追踪物体的偏移距离及偏移方向，根据待追踪物体的位置信息以及偏移距离及偏移方向确定当前帧中对应于目标物体的目标图像数据(包括位置信息)，并将编码后的目标数据包通过RTP协议与当前帧进行间隔传输，上述将目标数据包通过预设协议与当前帧进行间隔传输，实现了通过一个协议将目标数据包与当前帧进行传输，避免了现有技术中需要分别通过不同的协议分别将目标数据包与当前帧进行传输的问题，简化传输过程的同时，通过一种预设协议进行传输也减少运算量，并且降低了传输的带宽。

如图4所示，图4是本发明实施例提供的另一种视频编码方法的流程图，如图4所示，包括以下步骤：

S401、获取参考帧中的初始图像数据，初始图像数据包括待追踪物体。

S402、判断对待追踪物体进行跟踪的时间是否到达预设的时间阈值。

S403、若待追踪物体进行跟踪的时间达到预设的时间阈值，则重新对参考帧中的待追踪物体进行检测。

作为一种可能的实施例方式，可能存在运动的待追踪物体离开图像，导致对待追踪物体跟踪时丢失目标的情况，因此，可以在目标跟踪算法中预设时间阈值，对参考帧中的待追踪物体进行多次检测，避免在对待追踪物体进行跟踪时丢失。上述的时间阈值可以根据具体需要进行设置，也可以实现动态调整，若经常对物体进行长时间的追踪，则可以将时间阈值增大，若通常是检测速度快的物体，则可以将时间阈值减小。

当对参考帧进行跟踪的时间到达预设的时间阈值时，可以再次对参考帧中的待追踪物体进行检测，例如：时间阈值为10ms，对参考帧中的待追踪物体进行跟踪的时间达到10ms，则再次对参考帧中的待追踪物体所在的区域进行检测。其中，可以通过AI分类器对待追踪物体所在的区域进行检测。

S404、若待追踪物体进行跟踪的时间未达到预设的时间阈值，则继续对初始图像数据进行跟踪，得到当前帧的目标图像数据。

当对参考帧中的待追踪物体进行跟踪的时间未到达预设的时间阈值时，可以根据目标跟踪算法获取参考帧中待追踪物体的偏移位置以及偏移方向，例如：时间阈值为10ms，对参考帧中的待追踪物体进行跟踪的时间达到10ms，则再次对参考帧中的待追踪物体所在的区域进行检测。基于获取到的待追踪物体的位置信息以及上述的偏移位置以及偏移方向，便可以得到当前帧中目标物体对应的目标图像数据。

S405、将当前帧的目标图像数据进行编码，得到当前帧的目标图像数据对应的目标数据包。

S406、将目标数据包通过预设协议与当前帧进行间隔传输。

在本实施例中，通过设置时间阈值，判断对参考帧中待追踪物体进行跟踪的时间与时间阈值的大小，并根据判断的结果执行对应的动作。这样，当待追踪物体为运动物体时，能够避免运动物体离开图像，导致对待追踪物体跟踪丢失的情况。

如图5所示，图5是本发明实施例提供的另一种视频编码方法的流程图，如图5所示，设置方法还包括以下步骤：

S501、获取参考帧中的初始图像数据。

S502、通过目标跟踪算法对初始图像数据进行跟踪，得到当前帧的目标图像数据。

S503、将当前帧的目标图像数据进行编码，得到当前帧的目标图像数据对应的目标数据包。

S504、提取当前帧以及目标数据包，目标数据包与当前帧对应。

其中，目标数据包与当前帧对应，表示目标数据包中包括有当前帧中目标物体的位置信息及属性信息。当得到目标数据包之后，通过对目标数据包以及对应于该目标数据包的当前帧进行数据提取用于后续上传。

S505、通过预设协议将目标数据包与当前帧进行间隔传输，得到当前帧的数据传输块。

其中，提取当前帧以及目标数据包之后，通过RTP协议将目标数据包与当前帧进行间隔传输，让当前帧以及与当前帧对应的目标数据包处于相邻位置，通过对目标数据包进行解析。便可以得到当前帧中对应的图像数据。将一个当前帧以及与当前帧对应的目标数据包作为一个数据传输块，上述的数据传输块是基于RTP协议进行传输。若是多帧图像帧以及多帧图像帧对应的目标数据包都需要上传，则会形成一个目标数据链，在目标数据链上形成间隔传输，例如：第一帧图像帧，第一帧图像帧的目标数据包，第二帧图像帧，第二帧图像帧的目标数据包，第三帧图像帧，第三帧图像帧的目标数据包等等。

下图为本实施例用于对多个目标数据包及对应的多帧图像帧进行传输的具体示意图，以H264/H265为例，其传输时序如下所示：

其中，SEI(附加增强信息)可以是用于传输目标数据包，位于SEI前的NALU(网络抽象层单元类型)表示对应SEI的前一图像帧；位于SEI后的NALU表示SEI的后一图像帧。将多帧图像帧与目标数据包进行交叉穿插形成图像数据链，可以通过同一种RTP协议进行传输，无需将图像帧和目标数据包形成多条图像数据链并通过不同的协议传输。这样，可以减少传输的带宽。

S507、通过网络传输单元对当前帧的数据传输块进行上传。

具体的，因为不同的编码方式的编码标准都规定了如何通过网络传输数据，通常而言会有几种不同的数据类型，其中，有一种是用户可以自定义的数据类型。所以，上述的网络传输单元是指可以提供给用户自动使用的传输单元，可以基于对应的编码标准，将数据放进去进行网络传输。

上述通过网络传输可以是通过提供的网络链路将图像数据链上传到云端。云端可以根据接收到的图像帧以及目标数据包，获取所需信息，例如：从目标数据包中提取出物体的位置信息，将信息输入解码器进行解码之后，便可以在解码后的码流中抓取物体图像。

上述的网络链路可以包括各种连接方式，例如有线、无线连接方式或者光纤电缆连接方式等等。需要指出的是，无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMAX(Worldwide Interoperability forMicrowave Access)连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

在本实施例中，通过获取参考帧的初始图像数据，并对参考帧中的待追踪物体进行跟踪得到目标图像数据，并对目标图像数据进行压缩编码形成目标数据包，通过一个RTP协议将目标数据包与当前帧进行间隔传输，得到当前帧的数据传输块，并通过网络传输单元将当前帧的数据传输块上传至云端。实现了通过一个协议将目标数据包与当前帧进行传输，避免了现有技术中需要分别通过不同的协议分别将目标数据包与当前帧进行传输的问题，简化传输过程的同时，通过一种预设协议进行传输也减少运算量，并且降低了传输的带宽。

如图6所示，图6是本发明实施例提供的一种人脸质量阈值获取装置的模块结构图，如图6所示，装置包括：

获取模块601，用于获取参考帧中的初始图像数据；

跟踪模块602，用于通过目标跟踪算法对初始图像数据进行跟踪，得到当前帧的目标图像数据；

编码模块603，用于将当前帧的目标图像数据进行编码，得到当前帧的目标图像数据对应的目标数据包；

传输模块604，用于将目标数据包通过预设协议与当前帧进行间隔传输。

可选的，初始图像数据包括待追踪物体以及目标检测区域的位置信息，如图7所示，获取模块601包括：

第一检测单元6011，用于通过AI分类器检测参考帧中待追踪物体所在的区域；

第一扩展单元6012，用于对待追踪物体所在的区域进行扩展，得到目标检测区域；

提取单元6013，用于识别目标检测区域的位置信息，以得到参考帧中的初始图像数据。

可选的，初始图像数据包括待追踪物体及待追踪物体的位置信息，当前帧的目标图像数据包括目标物体及目标物体的位置信息，如图8所示，跟踪模块602包括：

第一跟踪单元6021，用于通过目标跟踪算法对待追踪物体进行跟踪，得到待追踪物体在移动过程中产生的运动数据；

计算单元6022，用于获取待追踪物体的位置信息以及运动数据，计算目标物体的位置信息，以得到目标图像数据，待追踪物体与目标物体相关联。

第一跟踪单元6021还用于通过目标跟踪算法对待追踪物体进行跟踪，得到待追踪物体在移动过程中产生的运动数据，运动数据包括偏移距离及偏移方向。

计算单元6022还用于根据待追踪物体的位置信息以及偏移距离及偏移方向，计算目标物体的位置信息，以得到目标图像数据。

可选的，初始图像数据包括待追踪物体，目标跟踪算法包括预设的时间阈值，如图9所示，跟踪模块602还包括：

判断单元6023，用于判断对待追踪物体进行跟踪的时间是否到达预设的时间阈值；

第二检测单元6024，用于若待追踪物体进行跟踪的时间达到预设的时间阈值，则重新对参考帧中的待追踪物体进行检测；

第一获取单元6025，用于若待追踪物体进行跟踪的时间未达到预设的时间阈值，则继续对初始图像数据进行跟踪，得到当前帧的目标图像数据。

可选的，如图10所示，跟踪模块602还包括：

第二获取单元6026，用于基于目标物体的位置信息获取目标物体所在的区域；

第二扩展单元6027，用于将目标物体所在的区域扩展到与目标检测区域大小一致。

可选的，如图11所示，传输模块604包括：

提取单元6041用于提取当前帧以及目标数据包，目标数据包与当前帧对应；

绑定单元6042，用于通过预设协议将目标数据包与当前帧进行间隔传输，得到当前帧的数据传输块；

上传单元6043，用于通过网络传输单元对当前帧的数据传输块进行上传。

本发明实施例提供的视频编码装置能够实现上述的视频编码方法各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

如图12所示，图12为本发明实施例提供的一种电子设备的结构图。如图12所示，包括：存储器1202、处理器1201及存储在存储器1202上并可在处理器1201上运行的计算机程序，其中：

处理器1201用于调用存储器1202存储的计算机程序，执行如下步骤：

获取参考帧中的初始图像数据；

通过目标跟踪算法对初始图像数据进行跟踪，得到当前帧的目标图像数据；

将当前帧的目标图像数据进行编码，得到当前帧的目标图像数据对应的目标数据包；

将目标数据包通过预设协议与当前帧进行间隔传输。

可选的，初始图像数据包括待追踪物体以及目标检测区域的位置信息，处理器1201执行的获取参考帧中的初始图像数据的步骤包括：

通过AI分类器检测参考帧中待追踪物体所在的区域；

对待追踪物体所在的区域进行扩展，得到目标检测区域；

识别目标检测区域的位置信息，以得到参考帧中的初始图像数据。

可选的，初始图像数据包括待追踪物体及待追踪物体的位置信息，当前帧的目标图像数据包括目标物体及目标物体的位置信息处理器1201执行的通过目标跟踪算法对初始图像数据进行跟踪，得到当前帧的目标图像数据的步骤包括：

通过目标跟踪算法对待追踪物体进行跟踪，得到待追踪物体在移动过程中产生的运动数据；

获取待追踪物体的位置信息以及运动数据，计算目标物体的位置信息，以得到目标图像数据，待追踪物体与目标物体相关联。

可选的，初始图像数据包括待追踪物体及待追踪物体的位置信息，当前帧的目标图像数据包括目标物体及目标物体的位置信息，处理器1201执行的通过目标跟踪算法对初始图像数据进行跟踪，得到当前帧的目标图像数据的步骤包括：

通过目标跟踪算法对待追踪物体进行跟踪，得到待追踪物体在移动过程中产生的运动数据，运动数据包括偏移距离及偏移方向；

根据待追踪物体的位置信息以及偏移距离及偏移方向，计算目标物体的位置信息，以得到目标图像数据。

可选的，初始图像数据包括待追踪物体，目标跟踪算法包括预设的时间阈值，处理器1201执行的通过目标跟踪算法对初始图像数据进行跟踪，得到当前帧的目标图像数据的步骤包括：

判断对待追踪物体进行跟踪的时间是否到达预设的时间阈值；

若待追踪物体进行跟踪的时间达到预设的时间阈值，则重新对参考帧中的待追踪物体进行检测；

若待追踪物体进行跟踪的时间未达到预设的时间阈值，则继续对初始图像数据进行跟踪，得到当前帧的目标图像数据。

可选的，在根据待追踪物体的位置信息以及偏移距离及偏移方向，计算目标物体的位置信息之后，处理器1201还用于执行：

基于目标物体的位置信息获取目标物体所在的区域；

将目标物体所在的区域扩展到与目标检测区域大小一致。

可选的，处理器1201执行的将目标数据包通过预设协议与当前帧进行间隔传输的步骤包括：

提取当前帧以及目标数据包，目标数据包与当前帧对应；

通过预设协议将目标数据包与当前帧进行间隔传输，得到当前帧的数据传输块；

通过网络传输单元对当前帧的数据传输块进行上传。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的视频编码方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random Access Memory，简称RAM)等。

本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种视频编码方法，其特征在于，所述方法包括以下步骤：

获取参考帧中的初始图像数据；

通过目标跟踪算法对所述初始图像数据进行跟踪，得到当前帧的目标图像数据；

将所述当前帧的目标图像数据进行编码，得到所述当前帧的目标图像数据对应的目标数据包；

将所述目标数据包通过预设协议与所述当前帧进行间隔传输。

2.如权利要求1所述的方法，其特征在于，所述初始图像数据包括待追踪物体以及目标检测区域的位置信息，所述获取参考帧中的初始图像数据的步骤包括：

通过AI分类器检测所述参考帧中所述待追踪物体所在的区域；

对所述待追踪物体所在的区域进行扩展，得到目标检测区域；

识别所述目标检测区域的位置信息，以得到所述参考帧中的初始图像数据。

3.如权利要求1所述的方法，其特征在于，所述初始图像数据包括待追踪物体及所述待追踪物体的位置信息，所述当前帧的目标图像数据包括目标物体及所述目标物体的位置信息，所述通过目标跟踪算法对所述初始图像数据进行跟踪，得到当前帧的目标图像数据的步骤包括：

通过目标跟踪算法对所述待追踪物体进行跟踪，得到所述待追踪物体在移动过程中产生的运动数据；

获取所述待追踪物体的位置信息以及所述运动数据，计算所述目标物体的位置信息，以得到所述目标图像数据，所述待追踪物体与所述目标物体相关联。

4.如权利要求1所述的方法，其特征在于，所述初始图像数据包括待追踪物体及所述待追踪物体的位置信息，所述当前帧的目标图像数据包括目标物体及所述目标物体的位置信息，所述通过目标跟踪算法对所述初始图像数据进行跟踪，得到当前帧的目标图像数据的步骤包括：

通过所述目标跟踪算法对所述待追踪物体进行跟踪，得到所述待追踪物体在移动过程中产生的运动数据，所述运动数据包括偏移距离及偏移方向；

根据所述待追踪物体的位置信息以及所述偏移距离及所述偏移方向，计算所述目标物体的位置信息，以得到所述目标图像数据。

5.如权利要求1所述的方法，其特征在于，所述初始图像数据包括待追踪物体，所述目标跟踪算法包括预设的时间阈值，所述通过目标跟踪算法对所述初始图像数据进行跟踪，得到当前帧的目标图像数据的步骤包括：

判断对所述待追踪物体进行跟踪的时间是否到达预设的时间阈值；

若所述待追踪物体进行跟踪的时间达到所述预设的时间阈值，则重新对所述参考帧中的待追踪物体进行检测；

若所述待追踪物体进行跟踪的时间未达到所述预设的时间阈值，则继续对所述初始图像数据进行跟踪，得到所述当前帧的目标图像数据。

6.如权利要求4所述的方法，其特征在于，在所述根据所述待追踪物体的位置信息以及所述偏移距离及所述偏移方向，计算所述目标物体的位置信息之后，所述方法还包括：

基于所述目标物体的位置信息获取所述目标物体所在的区域；

将所述目标物体所在的区域扩展到与所述目标检测区域大小一致。

7.如权利要求1所述的方法，其特征在于，所述将所述目标数据包通过预设协议与所述当前帧进行间隔传输的步骤包括：

提取所述当前帧以及所述目标数据包，所述目标数据包与所述当前帧对应；

通过所述预设协议将所述目标数据包与所述当前帧进行间隔传输，得到所述当前帧的数据传输块；

通过网络传输单元对所述当前帧的数据传输块进行上传。

8.一种视频编码装置，其特征在于，包括：

获取模块，用于获取参考帧中的初始图像数据；

跟踪模块，用于通过目标跟踪算法对所述初始图像数据进行跟踪，得到当前帧的目标图像数据；

编码模块，用于将所述当前帧的目标图像数据进行编码，得到所述当前帧的目标图像数据对应的目标数据包；

传输模块，用于将所述目标数据包通过预设协议与所述当前帧进行间隔传输。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的一种视频编码方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的一种视频编码方法中的步骤。

Images