CN114339367B - 一种视频帧处理方法、装置及设备 - Google Patents

Abstract

本申请实施例公开了一种视频帧处理方法、装置及设备。本申请可以在确定待显示视频帧中存在符合高空抛物条件的目标对象时，从待显示视频帧中确定目标对象的第一位置，然后根据该第一位置和目标对象的尺寸、以及该目标对象在已采集的待显示视频帧之前的各个视频帧中的第二位置，在待显示视频帧中确定目标对象的高空抛物轨迹区域，以对待显示视频帧中除高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示。本申请中待显示视频帧可以是正在获取的一段视频中当前获取到的一个视频帧或者已经获取到的一段视频中的一个视频帧，通过该方法，无论是实时显示当前采集到的视频帧，还是回放之前采集到的视频帧，都可以避免暴露居民隐私。

Description

一种视频帧处理方法、装置及设备

技术领域

本申请涉及电子设备领域，特别涉及一种视频帧处理方法、装置及设备。

背景技术

高空抛物的行为容易对行人、财物等造成损害，为了针对高空抛物进行自动检测，以在检测到高空抛物时进行自动报警，尽量避免高空抛物带来的损害，很多地方在建筑物周围设置了摄像机，通过摄像机对建筑物周围出现的高空抛物进行检测。

不过由于高空抛物多出现在居民楼，使用摄像机对高空抛物进行检测时，所拍摄到的包含高空抛物的原始视频画面容易暴露居民隐私。

发明内容

本申请公开了一种视频帧处理方法、装置及设备，以避免在查看包含高空抛物的视频画面时，暴露居民隐私。

根据本申请实施例的第一方面，提供一种视频帧处理方法，该方法应用于电子设备，包括：

获得已采集的待显示视频帧；

在确定所述待显示视频帧中存在符合高空抛物条件的目标对象的情况下，从所述待显示视频帧中确定所述目标对象的第一位置；

根据该第一位置、所述目标对象的尺寸，以及已确定的所述目标对象在已采集的所述待显示视频帧之前的各个视频帧中的第二位置，在所述待显示视频帧中确定所述目标对象对应的高空抛物轨迹区域；所述高空抛物轨迹区域至少包括：所述第一位置在所述待显示视频帧中对应的区域、所述第二位置在所述待显示视频帧中对应的区域；

在显示所述待显示视频帧时，对所述待显示视频帧中除所述高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示。

可选的，所述确定所述待显示视频帧中存在符合高空抛物条件的目标对象包括：

检查所述待显示视频帧中是否存在已记录的符合高空抛物条件的目标对象，如果存在，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象；

如果不存在，则检查所述待显示视频帧中已记录的高空抛物的疑似对象是否符合所述高空抛物条件，如果符合所述高空抛物条件，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象并记录。

可选的，在当前还不能确定所述待显示视频帧中是否存在符合高空抛物条件的目标对象的情况下，该方法进一步包括：

在显示所述待显示视频帧时，对所述待显示视频帧中符合隐私条件的隐私区域进行指定模糊处理并显示。

可选的，所述检查所述待显示视频帧中已记录的高空抛物的疑似对象是否符合所述高空抛物条件包括：

依据所述疑似对象在待显示视频帧中的位置、以及同一疑似对象在获得所述待显示视频帧之前已获得的至少一个视频帧中的位置，确定所述疑似对象是否为符合高空抛物条件的目标对象，如果确定所述疑似对象是目标对象，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象。

可选的，所述高空抛物条件至少包括：特征过滤条件、对象过滤条件；

所述特征过滤条件用于过滤在高空中存在但不符合高空抛物特征的对象；

所述对象过滤条件用于过滤在高空中存在并符合高空抛物特征，但属于非高空抛物的对象。

可选的，所述指定模糊处理至少包括：马赛克处理，或者，图层遮挡处理。

可选的，若所述指定模糊处理为图层遮挡处理，该方法进一步包括：

将所述图层遮挡处理过程中使用的遮挡图层和所述待显示视频帧、以及所述第一位置保存在同一码流中，所述遮挡图层和所述待显示视频帧具有同一时间戳；所述遮挡图层至少包括遮蔽子图像，所述遮蔽子图像在所述遮挡图层中的位置与所述符合隐私条件的隐私区域在所述待显示视频帧中的位置相同；

在所述待显示视频帧显示时，所述遮挡图层位于所述待显示视频帧上方。

根据本申请实施例的第二方面，提供一种视频帧处理装置，该装置应用于电子设备，包括：

视频帧获得单元，用于获得已采集的待显示视频帧；

位置确定单元，用于在确定所述待显示视频帧中存在符合高空抛物条件的目标对象的情况下，从所述待显示视频帧中确定所述目标对象的第一位置；

高空抛物轨迹区域确定单元，用于根据该第一位置、所述目标对象的尺寸，以及已确定的所述目标对象在已采集的所述待显示视频帧之前的各个视频帧中的第二位置，在所述待显示视频帧中确定所述目标对象对应的高空抛物轨迹区域；所述高空抛物轨迹区域至少包括：所述第一位置在所述待显示视频帧中对应的区域、所述第二位置在所述待显示视频帧中对应的区域；

视频帧处理单元，用于在显示所述待显示视频帧时，对所述待显示视频帧中除所述高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示。

可选的，所述位置确定单元确定所述待显示视频帧中存在符合高空抛物条件的目标对象包括：

检查所述待显示视频帧中是否存在已记录的符合高空抛物条件的目标对象，如果存在，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象；

如果不存在，则检查所述待显示视频帧中已记录的高空抛物的疑似对象是否符合所述高空抛物条件，如果符合所述高空抛物条件，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象并记录。

根据本申请实施例的第三方面，提供一种电子设备，该电子设备包括：处理器和存储器；

所述存储器，用于存储机器可执行指令；

所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如上所述的视频帧处理方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

由以上技术方案可知，本申请提供的方案可以在确定待显示视频帧中存在符合高空抛物条件的目标对象时，从待显示视频帧中确定目标对象的第一位置，然后根据该第一位置和目标对象的尺寸、以及该目标对象在已采集的待显示视频帧之前的各个视频帧中的第二位置，在待显示视频帧中确定目标对象的高空抛物轨迹区域，以对待显示视频帧中除高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示。本申请中待显示视频帧可以是正在获取的一段视频中当前获取到的一个视频帧或者已经获取到的一段视频中的一个视频帧，通过该方法，无论是实时显示当前采集到的视频帧，还是回放之前采集到的视频帧，都可以避免暴露居民隐私。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本申请实施例提供的一种视频帧处理方法的流程图；

图2是本申请实施例提供的视频采集设备的拍摄的指定区域的范围示意图；

图3是本申请实施例提供的两种隐私区域的示意图；

图4是本申请实施例提供的一种待显示视频帧显示时的示意图；

图5是本申请实施例提供的一段视频中各视频帧的原始画面的示意图；

图6是本申请实施例提供的一段视频中各视频帧的一种显示过程的示意图；

图7是本申请实施例提供的一段视频中各视频帧的另一种显示过程的示意图；

图8是本申请实施例提供的一种视频帧处理装置的示意图；

图9是本申请实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

参见图1，图1为本申请实施例提供的一种视频帧处理方法的流程图。作为一个实施例，图1所示的流程可以应用于电子设备，如摄像机、NVR(Network Video Recorder，网络视频录像机)等电子设备。可选的，当本电子设备为摄像机时，本实施例中的待显示视频帧可以是本摄像机实时采集到的视频数据，或者待显示视频帧可以是由其他摄像机拍摄然后发送给本摄像机的视频数据。而当本设备为NVR时，待显示视频帧则可以是本NVR所连接的摄像机拍摄并传输过来的视频数据，或者从网络上传输过来的远程视频数据等。

如图1所示，该流程可以包括以下步骤：

步骤101，获得已采集的待显示视频帧。

作为一个实施例，待显示视频帧可以是需要实时预览的视频录像中的视频帧，或者需要回放的视频录像中的视频帧。若该待显示视频帧为要实时预览的视频录像中的视频帧，则该待显示视频帧是视频采集设备(比如摄像机)在当前时刻采集到的指定区域的图像；若该待显示视频帧为需要回放的视频录像中的视频帧，则该待显示视频帧是视频采集设备(比如摄像机)在当前时刻之前已采集到的指定区域的图像。比如，指定区域可以指居民楼暴露在外面的涉及居民隐私的区域(如图2所示，指定区域的图像由居民楼附近设置的监控摄像头进行采集)。

步骤102，在确定待显示视频帧中存在符合高空抛物条件的目标对象的情况下，从待显示视频帧中确定目标对象的第一位置。

作为一个实施例，若步骤102中的待显示视频帧为视频采集设备实时获取到的视频帧，确定待显示视频帧中存在符合高空抛物条件的目标对象的情况至少包括以下两种情况：

第一种情况，待显示视频帧存在高空抛物的疑似对象，并且待显示视频帧为能确定该疑似对象是否为符合高空抛物条件的目标对象的首个视频帧，在该待显示视频帧之前的任一视频帧，不能确定该视频帧中同一疑似对象是否为符合高空抛物条件的目标对象。

在本实施例中，由于确定疑似对象是否为高空抛物，至少需要该疑似对象在高空中至少两个时间点对应的位置，才能确定该疑似对象在高空中移动的方向、加速度等是否符合高空抛物条件。因此本实施例需要依据该疑似对象在待显示视频帧中的位置、以及同一疑似对象在获得该待显示视频帧之前已获得的至少一个视频帧中的位置，确定该疑似对象是否为符合高空抛物条件的目标对象，如果确定该疑似对象是目标对象，则确定该待显示视频帧中存在符合高空抛物条件的目标对象，如果检查到待显示视频帧中已记录的高空抛物的疑似对象符合高空抛物条件，则可以确定待显示视频帧中存在符合高空抛物条件的目标对象并记录。

在确定待显示视频帧中疑似对象为目标对象之后，可以将检测出的疑似对象在待显示视频帧中位置确定为目标对象的第一位置，将同一疑似对象在待显示视频帧之前已采集的各视频帧中的位置确定为目标对象的第二位置。

第二种情况，待显示视频帧为确定出符合高空抛物条件的目标对象的首个视频帧之后的视频帧，即在待显示视频帧被获得之前，本实施例已经通过之前的视频帧确定并记录了符合高空抛物条件的目标对象，因此，确定该待显示视频帧中是否存在符合高空抛物条件的目标对象，可以通过检查该待显示视频帧中是否存在上述目标对象实现，若存在，则确定待显示视频帧中存在符合高空抛物条件的目标对象。

作为另一个实施例，若步骤102中的待显示视频帧为已经获取到的一段回放视频中的一个视频帧，若在获得该回放视频的同时获得了该回访视频中与高空抛物相关的信息，该信息记录了该回放视频的视频帧中是否存在的符合高空抛物的目标对象，以及在存在目标对象时，记录了目标对象在各视频帧中的位置，因此本实施例确定待显示视频帧中是否存在符合高空抛物条件的目标对象的情况时，可以通过获得的高空抛物相关的信息，检查该待显示视频帧中是否存在已记录的符合高空抛物的目标对象，若存在，则确定待显示视频帧中存在符合高空抛物条件的目标对象，而若不存在，则确定待显示视频帧中不存在符合高空抛物条件的目标对象。

可选的，针对上述任一实施例，上述高空抛物条件至少包括：特征过滤条件、对象过滤条件。其中，特征过滤条件用于过滤在高空中存在但不符合高空抛物特征的对象，比如过滤掉被风卷到高空中的树叶，树叶的移动轨迹、移动方向等都与高空抛物对象不同；对象过滤条件用于过滤在高空中存在并符合高空抛物特征，但属于非高空抛物的对象，比如过滤掉俯冲下来的符合高空抛物特征的飞鸟。

在本申请实施例中，在确定疑似对象是否符合高空抛物条件时，可以先使用特征过滤条件判断该疑似对象是否符合高空抛物特征，在符合高空抛物特征的情况下，再判断该疑似对象是否属于非高空抛物的对象。在本实施例中，上述高空抛物特征可以包括属于高空抛物的对象的移动轨迹和移动速度等，比如高空抛物特征可以包括：移动轨迹为从上到下，移动速度处于自由落体的对象的速度要求范围内。

步骤103，根据该第一位置、目标对象的尺寸，以及已确定的目标对象在已采集的待显示视频帧之前的各个视频帧中的第二位置，在该待显示视频帧中确定目标对象对应的高空抛物轨迹区域。

在本申请实施例中，待显示视频帧中目标对象对应的高空抛物轨迹区域至少包括：上述第一位置在待显示视频帧中对应的区域、上述第二位置在该待显示视频帧中对应的区域。本实施例中待显示视频帧中的高空抛物轨迹区域，指示了目标对象从首次在高空中出现的时刻到该待显示视频帧的采集时刻之间的时间段内目标对象在高空中的移动轨迹。

作为一个实施例，本实施例中在该待显示视频帧中确定目标对象对应的高空抛物轨迹区域时，为了使高空抛物轨迹区域可以包括目标对象在待显示视频帧中对应的区域，本实施例通过获知目标对象的尺寸，以在确定目标对象对应的高空抛物轨迹区域时，使高空抛物轨迹区域的宽度大于或者等于目标对象的尺寸，这样在待显示视频帧中显示目标对象对应的高空抛物轨迹区域时，可以将待显示视频帧中的目标对象也完整显示出来。

步骤104，在显示待显示视频帧时，对待显示视频帧中除高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示。

在本申请实施例中，指定模糊处理用于指示步骤104中的隐私区域有遮蔽显示，该指定模糊处理可以为马赛克处理或者图层遮挡处理。对待显示视频帧中隐私区域进行指定模糊处理之后，该待显示视频帧中隐私区域将有遮蔽显示，而除隐私区域之外的区域将无遮蔽显示，该待显示视频帧显示时将不会暴露隐私区域中的隐私信息。本实施例中为了避免待显示视频帧暴露隐私信息，可以将待显示视频帧中包含的所有区域都设置为隐私区域，或者可以根据具有隐私信息的区域在视频采集设备采集到的待显示视频帧中的位置，将该位置在待显示视频帧中对应的区域设置为隐私区域。

以图3所示举例，图3中填充了阴影线的区域为隐私区域，灰色区域为非隐私区域，图3中图a所示的待显示视频帧中将其包含的所有区域都设置为隐私区域，图3中图b所示的待显示视频帧中将虚线框内的区域设置为隐私区域，虚线框外的区域设置为非隐私区域。

作为一个实施例，在当前可以确定待显示视频帧中是否存在符合高空抛物条件的目标对象的情况下，可以对待显示视频帧中除高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理。而在当前还不能确定待显示视频帧中是否存在符合高空抛物条件的目标对象，和确定待显示视频帧中不存在符合高空抛物条件的目标对象的情况下，将对待显示视频帧中的隐私区域进行指定模糊处理，使隐私区域被遮蔽显示(即待显示视频帧中隐私区域中被遮蔽图像填充，该区域所显示的画面与该隐私区域的真实画面不同，且隐私区域所显示的画面不会暴露隐私区域中的隐私信息)，而待显示视频帧中的非隐私区域则可以无遮蔽显示，显示待显示视频帧在非隐私区域中的原始图像。这里隐私区域的具体设置过程，可以参照相关技术中隐私区域的设置过程，本申请不再赘述。

示例性的，若设置隐私区域为如图3中图b所示待显示视频帧中部分区域，则在当前还不能确定待显示视频帧中是否存在符合高空抛物条件的目标对象，和确定待显示视频帧中不存在符合高空抛物条件的目标对象的情况下，本实施例中的待显示视频帧最终将按照如图4中的图c显示，其中填充阴影线的区域为进行指定模糊处理的隐私区域，灰色区域为正常显示的非隐私区域。

在确定待显示视频帧中存在符合高空抛物条件的目标对象的情况下，本实施例中的待显示视频帧最终将按照如图4中的图d显示，其中存在阴影线的区域为进行指定模糊处理的隐私区域，阴影线中白色区域(包含目标对象的图像)为高空抛物轨迹区域，灰色区域为正常显示的非隐私区域，以使图4中待显示视频帧在高空抛物轨迹区域与隐私区域的重叠时，但需要显示高空抛物轨迹区域的情况下，尽量减少对隐私区域中隐私的暴露。需要说明的是，本实施例中高空抛物轨迹区域和非隐私区域的显示方式一致，这里将高空抛物轨迹区域和非隐私区域按照不同颜色划分只是为了便于区分两个区域。

至此，完成图1所示流程。

通过图1所示的流程可以看出，本申请实施例可以在确定待显示视频帧中存在符合高空抛物条件的目标对象时，从待显示视频帧中确定目标对象的第一位置，然后根据该第一位置和目标对象的尺寸、以及该目标对象在已采集的待显示视频帧之前的各个视频帧中的第二位置，在待显示视频帧中确定目标对象的高空抛物轨迹区域，以对待显示视频帧中除高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示。本申请中待显示视频帧可以正在获取的一段视频中当前获取到的一个视频帧或者已经获取到的一段视频中的一个视频帧，通过该方法，无论是实时显示当前采集到的视频帧，还是回放之前采集到的视频帧，都可以避免暴露居民隐私。

下面对本实施例中的对待显示视频帧中除该目标对象的高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示的过程进行描述：

若本实施例指定模糊处理是马赛克处理，则可以在显示待显示视频帧时，先依据高空抛物轨迹区域的位置和预先设定的整个隐私区域的位置，确定高空抛物轨迹区域与预先设定的整个隐私区域的重叠区域，对整个隐私区域中除去重叠区域的隐私区域进行马赛克编码，然后显示待显示视频帧。

或者，可以先对预先设定的整个隐私区域进行马赛克编码，然后依据高空抛物轨迹区域的位置和预先设定的整个隐私区域的位置，确定高空抛物轨迹区域与预先设定的整个隐私区域的重叠区域，对该重叠区域进行马赛克解码，然后显示待显示视频帧。

若本实施例指定模糊处理是图层遮挡处理，则可以在显示待显示视频帧时，先将遮挡图层设置在待显示视频帧的图层上(该遮挡图层中至少包括遮蔽子图像，该遮蔽子图像在遮挡图层中的位置与符合隐私条件的隐私区域在待显示视频帧中的位置相同，该遮蔽子图像可以为纯色图像，除隐私区域之外的区域可以为透明图像，通过遮蔽子图像将无法看到隐私区域，而透过透明图像则可以看到透明图像之下待显示视频帧中与透明图像在遮蔽图层中的位置相同的原始图像)，然后依据高空抛物轨迹区域的位置和预先设定的整个隐私区域的位置，确定高空抛物轨迹区域与预先设定的整个隐私区域的重叠区域，对重叠区域在遮挡子图像中的区域进行透明化处理(透明化处理后该遮蔽图层中该重叠区域将变为透明图像)，然后显示待显示视频帧。

需要说明的是，当本实施例中的指定模糊处理为马赛克处理时，对待显示视频帧中除所述高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理，是指对该隐私区域进行马赛克编码以将该隐私区域填充为遮蔽图像。

在该实施例中，可以将目标对象在待显示视频帧中的第一位置记录下来，并将该第一位置的位置数据打包成数据帧，将待显示视频帧与数据帧保存至同一码流中，以在对该码流进行解码并回放到待显示视频帧时，依据从待显示视频帧对应的数据帧中解析出的位置数据、以及从待显示视频帧之前的已播放的至少一个视频帧对应的数据帧中解析出的位置数据，确定待显示视频帧中高空抛物轨迹区域，以在播放待显示视频帧时，对待显示视频帧中除所述高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行马赛克编码并显示。

而当本实施例中的指定模糊处理为图层遮挡处理时，对待显示视频帧中除所述高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理，是指在该隐私区域的上方添加遮挡图层，通过遮挡图层中的遮蔽子图像将待显示视频帧中的隐私区域填充为遮蔽图像。

在该实施例中，可以将图层遮挡处理过程中使用的遮挡图层和待显示视频帧分别打包成视频帧，并在遮挡图层对应的视频帧和待显示视频帧对应的视频帧中添加同一时间戳、将上述第一位置的位置数据打包成数据帧，将这两个视频帧和数据帧保存在同一码流中，以在对该码流进行解码并回放到待显示视频帧时，将遮挡图层显示在待显示视频帧上方(该遮挡图层中至少包括遮蔽子图像，该遮蔽子图像在遮挡图层中的位置与符合隐私条件的隐私区域在待显示视频帧中的位置相同)，依据从数据帧中解析出的位置数据，将高空抛物轨迹区域在遮挡图层中对应的区域进行透明化处理，以使待显示视频帧显示时，高空抛物轨迹区域上方的遮蔽图层是透明的，实现该高空抛物轨迹区域无遮蔽显示，而隐私区域中除高空抛物轨迹区域之外的隐私区域上方的遮蔽图层是遮蔽子图像(如纯色图像)，实现该隐私区域有遮蔽显示。

以上处理方式仅为本申请中的一些实施例，本申请对如何对待显示视频帧中除高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示并不限制。

下面以一段视频中各视频帧的处理过程为例，对本实施例提供的方案进行阐述：

为了便于描述，假设下面要播放的视频一共包含5帧视频帧，如图5所示(图5中视频帧所显示的画面为该视频帧被采集时的原始画面，其中白色区域为目标对象对应的高空抛物轨迹区域，在原始画面中，该高空抛物轨迹区域与其他区域并不会被区别显示，这里只是为了便于区分)，按照采集时刻的从早到晚分别记为第一视频帧、第二视频帧、第三视频帧、第四视频帧和第五视频帧，其中第一视频帧中不存在高空抛物，第二视频帧、第三视频帧、第四视频帧和第五视频帧中存在高空抛物。

作为一个实施例，若该段视频为实时预览的一段视频，即在获得已采集的第一视频帧时，上述的第二视频帧、第三视频帧、第四视频帧和第五视频帧可能还未被全部采集到或者还未被全部获取到，则在获得采集到的该段视频的首个视频帧(即第一视频帧)时，通过深度学习目标检测算法对第一视频帧中包含的各对象(比如楼栋、天空、树木等)进行检测并记录，然后对第一视频帧中符合隐私条件的隐私区域进行指定模糊处理并显示。

然后在获得采集到的第二视频帧时(第二视频帧中开始出现高空抛物)，通过深度学习目标检测算法对第二视频帧中包含的各对象(包含高空抛物)进行检测，将检测结果与记录的第一视频帧中包含的各对象对比，可以检测出第二视频帧中出现了第一视频帧中不存在的对象，将该对象记为高空抛物的疑似对象，并通过目标跟踪算法为该疑似对象生成对应的id(身份标识)，通过该id记录该疑似对象在第二视频帧中的位置，然后对第二视频帧中符合隐私条件的隐私区域进行指定模糊处理并显示。

在确定第二视频帧中出现了高空抛物的疑似对象之后，若设置需要依据疑似对象的在高空中的3个位置才能确定该疑似对象是否为符合高空抛物条件的目标对象，则在获得采集到的第三视频帧时，通过深度学习目标检测算法对第三视频帧中包含的各对象进行检测，将检测结果与记录的第二视频帧中包含的各对象对比，可以检测出第三视频帧中也存在第二视频帧中的同一疑似对象，通过该疑似对象的id记录该疑似对象在第三视频帧中的位置，然后检测已记录的该疑似对象的位置数量是否可以判断疑似对象是否为符合高空抛物条件的目标对象，由于此时已记录的该疑似对象的位置数量为2，小于判断疑似对象是否为目标对象的位置的数量要求3，则等待获取下一视频帧(即第四视频帧)，然后对第三视频帧中符合隐私条件的隐私区域进行指定模糊处理并显示。

在获得采集到的第四视频帧时，通过深度学习目标检测算法对第四视频帧中包含的各对象进行检测，将检测结果与记录的第三视频帧中包含的各对象对比，可以检测出第四视频帧中也存在第三视频帧中的同一疑似对象，通过该疑似对象的id记录该疑似对象在第三视频帧中的位置，然后检测已记录的该疑似对象的位置数量是否可以判断疑似对象是否为符合高空抛物条件的目标对象，由于此时已记录的该疑似对象的位置数量为3，等于上述判断疑似对象是否为目标对象的位置的数量要求3，则可以依据这3个位置确定疑似对象的轨迹、移动速度等，以判断该疑似对象是否为符合高空抛物条件的目标对象。

假设本实施例中在第四视频帧中判断出该疑似对象为符合高空抛物条件的目标对象，则将上述id对应的疑似对象记录为目标对象，以及通过该id获取上述已记录的3个位置和目标对象的尺寸确定第四视频帧中该目标对象对应的高空抛物轨迹区域(该高空抛物轨迹区域的宽度可以设置为所述目标对象的宽度的N倍，N大于等于1)，对第四视频帧中除该目标对象的高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示。

在获得采集到的第五视频帧时，通过深度学习目标检测算法对第五视频帧中包含的各对象进行检测，将检测结果与记录的第四视频帧中包含的各对象对比，可以检测出第五视频帧中也存在第四视频帧中的同一目标对象，通过该目标对象的id记录该目标对象在第五视频帧中的位置，通过该目标对象的id获取上述已记录的4个位置确定第五视频帧中该目标对象的高空抛物轨迹区域，对第五视频帧中除该目标对象的高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示。示例性的，最终该段视频的显示过程如图6所示。

作为一个实施例，若该段视频为已经获取到的一段回放视频，即该回放视频中第一视频帧、第二视频帧、第三视频帧、第四视频帧和第五视频帧都已经获取到了，并且获得该回放视频时也获得与高空抛物相关的信息(该高空抛物相关的信息可以至少包括上述实施例中待显示视频的视频帧和该待显示视频帧对应的数据帧)，该与高空抛物相关的信息指示了该回放视频中包含高空抛物，以及该回放视频中第二到五视频帧中包含的高空抛物的位置信息，则在显示上述第一视频帧时，对第一视频帧中符合隐私条件的隐私区域进行指定模糊处理并显示。

在显示上述第二视频帧时，可以检测到第二视频帧包含高空抛物，依据第二视频帧中高空抛物的位置，确定第二视频帧中该目标对象的高空抛物轨迹区域，对第二视频帧中除该目标对象的高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示。

在显示上述第三视频帧时，可以检测到第三视频帧包含高空抛物，依据第三视频帧中高空抛物的位置、和第三视频帧之前的包含同一高空抛物的第二视频帧中高空抛物的位置，确定第三视频帧中该目标对象的高空抛物轨迹区域，对第三视频帧中除该目标对象的高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示。后续的第四视频帧和第五视频帧的显示可以参照第三视频帧的显示方法，该回放视频的显示过程最终如图7所示。

以上举例只是为了便于理解，本申请实施例并不具体限定。

以上对本申请实施例提供的方法进行了描述。下面对本申请实施例提供的装置进行描述：

参见图8，图8为本申请实施例提供的一种视频帧处理装置的结构示意图，该装置实施例应用于电子设备，如摄像机、NVR等电子设备。该装置包括：

视频帧获得单元801，用于获得已采集的待显示视频帧；

位置确定单元802，用于在确定所述待显示视频帧中存在符合高空抛物条件的目标对象的情况下，从所述待显示视频帧中确定所述目标对象的第一位置；

高空抛物轨迹区域确定单元803，用于根据该第一位置、所述目标对象的尺寸，以及已确定的所述目标对象在已采集的所述待显示视频帧之前的各个视频帧中的第二位置，在所述待显示视频帧中确定所述目标对象对应的高空抛物轨迹区域；所述高空抛物轨迹区域至少包括：所述第一位置在所述待显示视频帧中对应的区域、所述第二位置在所述待显示视频帧中对应的区域；

视频帧处理单元804，用于在显示所述待显示视频帧时，对所述待显示视频帧中除所述高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示。

可选的，所述位置确定单元802确定所述待显示视频帧中存在符合高空抛物条件的目标对象包括：

检查所述待显示视频帧中是否存在已记录的符合高空抛物条件的目标对象，如果存在，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象；

如果不存在，则检查所述待显示视频帧中已记录的高空抛物的疑似对象是否符合所述高空抛物条件，如果符合所述高空抛物条件，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象并记录。

可选的，在当前还不能确定所述待显示视频帧中是否存在符合高空抛物条件的目标对象的情况下，所述视频帧处理单元804进一步用于：

在显示所述待显示视频帧时，对所述待显示视频帧中符合隐私条件的隐私区域进行指定模糊处理并显示。

可选的，所述位置确定单元802检查所述待显示视频帧中已记录的高空抛物的疑似对象是否符合所述高空抛物条件包括：

依据所述疑似对象在待显示视频帧中的位置、以及同一疑似对象在获得所述待显示视频帧之前已获得的至少一个视频帧中的位置，确定所述疑似对象是否为符合高空抛物条件的目标对象，如果确定所述疑似对象是目标对象，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象。

可选的，所述高空抛物条件至少包括：特征过滤条件、对象过滤条件；

所述特征过滤条件用于过滤在高空中存在但不符合高空抛物特征的对象；

所述对象过滤条件用于过滤在高空中存在并符合高空抛物特征，但属于非高空抛物的对象。

可选的，所述指定模糊处理至少包括：马赛克处理，或者，图层遮挡处理。

可选的，若所述指定模糊处理为图层遮挡处理，该装置进一步包括视频帧保存单元，用于将所述图层遮挡处理过程中使用的遮挡图层和所述待显示视频帧、以及所述第一位置保存在同一码流中，所述遮挡图层和所述待显示视频帧具有同一时间戳；所述遮挡图层至少包括遮蔽子图像，所述遮蔽子图像在所述遮挡图层中的位置与所述符合隐私条件的隐私区域在所述待显示视频帧中的位置相同；在所述待显示视频帧显示时，所述遮挡图层位于所述待显示视频帧上方。

至此，完成图8所示装置实施例的结构图。

对应地，本申请实施例还提供了一种电子设备的硬件结构图，具体如图9所示，该电子设备可以为上述实施视频帧处理方法的设备。如图9所示，该硬件结构包括：处理器和存储器。

其中，所述存储器，用于存储机器可执行指令；

所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如上所示的所对应的视频帧处理方法的方法实施例。

作为一个实施例，存储器可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，存储器可以是RAM(Radom Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

至此，完成图9所示电子设备的描述。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种视频帧处理方法，其特征在于，该方法应用于电子设备，包括：

获得已采集的待显示视频帧；

在确定所述待显示视频帧中存在符合高空抛物条件的目标对象的情况下，从所述待显示视频帧中确定所述目标对象的第一位置；

根据该第一位置、所述目标对象的尺寸，以及已确定的所述目标对象在已采集的所述待显示视频帧之前的各个视频帧中的第二位置，在所述待显示视频帧中确定所述目标对象对应的高空抛物轨迹区域；所述高空抛物轨迹区域至少包括：所述第一位置在所述待显示视频帧中对应的区域、所述第二位置在所述待显示视频帧中对应的区域；

在显示所述待显示视频帧时，对所述待显示视频帧中除所述高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示；

若所述指定模糊处理为图层遮挡处理，则将所述图层遮挡处理过程中使用的遮挡图层和所述待显示视频帧、以及所述第一位置保存在同一码流中，所述遮挡图层和所述待显示视频帧具有同一时间戳；所述遮挡图层至少包括遮蔽子图像，所述遮蔽子图像在所述遮挡图层中的位置与所述符合隐私条件的隐私区域在所述待显示视频帧中的位置相同；

依据所述高空抛物轨迹区域的位置和预先设定的整个隐私区域的位置，确定所述高空抛物轨迹区域与所述预先设定的整个隐私区域的重叠区域，对所述重叠区域在所述遮蔽子图像中的区域进行透明化处理；

在所述待显示视频帧显示时，所述遮挡图层位于所述待显示视频帧上方。

2.根据权利要求1所述的方法，其特征在于，所述确定所述待显示视频帧中存在符合高空抛物条件的目标对象包括：

检查所述待显示视频帧中是否存在已记录的符合高空抛物条件的目标对象，如果存在，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象；

如果不存在，则检查所述待显示视频帧中已记录的高空抛物的疑似对象是否符合所述高空抛物条件，如果符合所述高空抛物条件，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象并记录。

3.根据权利要求1所述的方法，其特征在于，在当前还不能确定所述待显示视频帧中是否存在符合高空抛物条件的目标对象的情况下，该方法进一步包括：

在显示所述待显示视频帧时，对所述待显示视频帧中符合隐私条件的隐私区域进行指定模糊处理并显示。

4.根据权利要求2所述的方法，其特征在于，所述检查所述待显示视频帧中已记录的高空抛物的疑似对象是否符合所述高空抛物条件包括：

依据所述疑似对象在待显示视频帧中的位置、以及同一疑似对象在获得所述待显示视频帧之前已获得的至少一个视频帧中的位置，确定所述疑似对象是否为符合高空抛物条件的目标对象，如果确定所述疑似对象是目标对象，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述高空抛物条件至少包括：特征过滤条件、对象过滤条件；

所述特征过滤条件用于过滤在高空中存在但不符合高空抛物特征的对象；

所述对象过滤条件用于过滤在高空中存在并符合高空抛物特征，但属于非高空抛物的对象。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述指定模糊处理至少包括：马赛克处理，或者，图层遮挡处理。

7.一种视频帧处理装置，其特征在于，该装置应用于电子设备，包括：

视频帧获得单元，用于获得已采集的待显示视频帧；

位置确定单元，用于在确定所述待显示视频帧中存在符合高空抛物条件的目标对象的情况下，从所述待显示视频帧中确定所述目标对象的第一位置；

高空抛物轨迹区域确定单元，用于根据该第一位置、所述目标对象的尺寸，以及已确定的所述目标对象在已采集的所述待显示视频帧之前的各个视频帧中的第二位置，在所述待显示视频帧中确定所述目标对象对应的高空抛物轨迹区域；所述高空抛物轨迹区域至少包括：所述第一位置在所述待显示视频帧中对应的区域、所述第二位置在所述待显示视频帧中对应的区域；

视频帧处理单元，用于在显示所述待显示视频帧时，对所述待显示视频帧中除所述高空抛物轨迹区域之外的且符合隐私条件的隐私区域进行指定模糊处理并显示；

若所述指定模糊处理为图层遮挡处理，则将所述图层遮挡处理过程中使用的遮挡图层和所述待显示视频帧、以及所述第一位置保存在同一码流中，所述遮挡图层和所述待显示视频帧具有同一时间戳；所述遮挡图层至少包括遮蔽子图像，所述遮蔽子图像在所述遮挡图层中的位置与所述符合隐私条件的隐私区域在所述待显示视频帧中的位置相同；

依据所述高空抛物轨迹区域的位置和预先设定的整个隐私区域的位置，确定所述高空抛物轨迹区域与所述预先设定的整个隐私区域的重叠区域，对所述重叠区域在所述遮蔽子图像中的区域进行透明化处理；

在所述待显示视频帧显示时，所述遮挡图层位于所述待显示视频帧上方。

8.根据权利要求7所述的装置，其特征在于，所述位置确定单元确定所述待显示视频帧中存在符合高空抛物条件的目标对象包括：

检查所述待显示视频帧中是否存在已记录的符合高空抛物条件的目标对象，如果存在，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象；

如果不存在，则检查所述待显示视频帧中已记录的高空抛物的疑似对象是否符合所述高空抛物条件，如果符合所述高空抛物条件，则确定所述待显示视频帧中存在符合高空抛物条件的目标对象并记录。

9.一种电子设备，其特征在于，该电子设备包括：处理器和存储器；

所述存储器，用于存储机器可执行指令；

所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如权利要求1到6任一项所述的方法。

Images