CN110430395A - 视频数据ai处理***及处理方法 - Google Patents

Abstract

本发明揭示了一种视频数据AI处理***及相应的处理方法，***包括如下部分：视频数据采集单元，由多台网络摄像机组成；AI网络设备单元，集成有AI分析模块，用于接收来自所述视频数据采集单元的数据流，对数据流进行预处理，再将原始的数据流与预处理结果进行转发；AI计算服务器单元，用于接收来自所述AI网络设备单元转发的原始的数据流与预处理结果，完成视频数据的处理和分析并输出最终的分析结果。本发明兼具了现有技术中后端集中式处理模式和前端分布式处理模式各自的优点，将大量的视频预处理工作放置在网络设备内完成，使得AI计算资源可以被接入的多台网络摄像机所共享，充分地实现了对AI计算资源的合理利用。

Description

视频数据AI处理***及处理方法

技术领域

本发明涉及一种AI处理***及相对应的处理方法，具体而言，涉及一种适用于网络视频监控的视频数据AI处理***及处理方法，属于网络视频监控技术领域。

背景技术

网络设备是网络视频监控***中的基本组成单元，通常可以由网络交换机和/或网络路由器组成。一般而言，网络设备既是网络摄像机的接入设备，也是视频数据流的转发设备。随着如今视频监控摄像机的大量部署和AI（Artificial Intelligence）技术的快速发展，通过AI技术实现海量视频数据的自动分析与处理变得可行，在这样的大背景下，人们对海量视频数据的AI处理需求越来越迫切、相应的技术方案也大量涌现。

针对海量视频数据的AI处理***需要强大的AI计算能力，而强大的AI计算能力则需要大量的AI计算资源作为技术支撑。为了技术实现的效果，目前业内所广泛采用的技术方案主要包括两种，具体如下。

其一，采用的是后端集中式集成式的处理模式，即由后端的AI计算服务器提供统一的AI计算资源，前端采用普通网络摄像机。网络摄像机本身不具备AI功能，网络摄像机完成视频信号的采集和编码、将视频信号编码成网络数据，通过网络交换机接入到后端AI计算服务器，通过在服务器上增加大量的AI芯片或者AI计算卡的方式完成海量视频信息的AI处理并输出AI分析结果，例如视频结构化（一种通过机器视觉AI算法完成视频特征提取的技术）等。这种方案的整体应用结构如图1所示。

在这一方案中，网络设备仅仅完成网络摄像机的数据接入和转发，即把前端网络摄像机的视频数据通过网络链路转发到后端的AI计算服务器中。

由于网络摄像机在运行时需要7*24小时不间断地采集数据，且所采集的视频数据为非结构化数据，对其进行处理和分析需要占用大量的计算资源。以单个摄像机的视频数据发送速率为4Mbps为例，单个网络摄像机每天产生的数据量高达24*3600*4/8/1024 =42GB，1000路网络摄像机每天产生的视频数据量高达42000GB。以目前市面上典型的AI计算卡能力来进行推算，42000GB的视频数据需要几十块AI计算卡7*24小时不间断地运行才能全部处理完成。显而易见的，这样的处理方式需要消耗大量的AI计算资源，从而导致后端AI计算服务器的成本居高不下。

而且，在这一方案中，后端服务器的AI计算资源需要完成视频码流数据的解码，从视频码流中截取需要分析的图像，再从图像中分析出使用者所需要的数据（如人、车、物等信息），AI计算服务器需要消耗大量的计算资源用于完成视频数据的预处理（即从视频数据流中获取需要分析的图像），真正用于图像AI分析的计算资源并不多，因此也浪费了大量宝贵的计算资源。

其二，采用的是前端分布式的处理模式，即将一部分原来通过AI计算服务器完成预处理功能前置到网络摄像机内，由网络摄像机内置的AI模块完成视频数据的预处理、例如从视频数据中检测出需要分析的图像，再把对应的预处理结果（如图像数据等）发送到后端的AI计算服务器中，由AI计算服务器完成图像数据的处理和分析。在这种处理方式下，大量的视频预处理工作由前端的网络摄像机完成，后端的AI计算服务器的使用效率大幅提高，甚至在某些场景中，后端服务器可以不用参与视频数据的AI分析处理过程，最大限度上节约了AI计算资源，可以成倍的提高AI后端服务器***的使用效率。这种方案的整体应用结构如图2所示。

但是在这种处理模式下，要求网络摄像机内置AI处理模块，普通的网络摄像机并不能够实现相应的功能，而网络摄像机中内置的AI处理模块又只能处理该摄像机所产生的视频数据，这样一来，不仅大幅提高了网络摄像机的成本和能耗、增加网络摄像机的安装和使用成本，又无法物尽其用、大量浪费了摄像机内部的AI计算资源。

综上所述，如何在现有技术的基础上提出一种全新的适用于网络视频监控的视频数据AI处理***及处理方法，克服现有技术中所存在的诸多问题，也就成为了本领域内技术人员亟待解决的问题。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种适用于网络视频监控的视频数据AI处理***及处理方法，具体如下。

一种视频数据AI处理***，包括如下部分：

视频数据采集单元，由多台网络摄像机组成，用于不间断地采集视频数据、形成数据流并将所形成的数据流进行上传，

AI网络设备单元，集成有AI分析模块，用于接收来自所述视频数据采集单元的数据流，对数据流进行预处理，再将原始的数据流与预处理结果进行转发，

AI计算服务器单元，用于接收来自所述AI网络设备单元转发的原始的数据流与预处理结果，完成视频数据的处理和分析并输出最终的分析结果；

所述AI网络设备单元包括如下部分：

数据接收模块，与所述视频数据采集单元信号连接，用于完成网络数据的接收、获取来自所述视频数据采集单元的数据流并转发，

AI分析模块，与所述数据接收模块信号连接，用于对所述数据接收模块所转发的数据流进行预处理、得到预处理结果，

数据发送模块，与所述AI计算服务器单元信号连接，用于将原始的数据流与预处理结果发送至所述AI计算服务器单元中。

优选地，所述数据接收模块内设置有多个连接端口，每个所述连接端口均与所述视频数据采集单元内一台或多台网络摄像机相对应，所述数据接收模块借助所述连接端口接收来自所述视频数据采集单元内网络摄像机的视频数据；

所述连接端口为以太网接口。

优选地，所述AI计算服务器单元内设置有AI计算模块，所述AI计算模块与所述数据发送模块信号连接、接收来自所述数据发送模块的原始的数据流与预处理结果、完成视频数据的处理和分析并输出最终的分析结果；

所述AI计算模块为GPU卡。

优选地，所述AI网络设备单元还包括如下部分：

协议控制与配置模块，用于完成对所述AI网络设备单元的整体配置、数据转发协议的控制以及对所述AI分析模块的配置；

数据转发模块，分别与所述数据接收模块、所述AI分析模块以及所述数据发送模块三者信号连接，用于依据所述AI网络设备单元的整体配置以及数据转发协议、对原始的数据流与预处理结果进行转发。

一种视频数据AI处理方法，使用如上所述的视频数据AI处理***，包括如下步骤：

S1、通过协议控制与配置模块对网络转发协议和AI分析模块的处理策略进行配置；

S2、通过视频数据采集单元内的网络摄像机采集视频数据、形成数据流并将所形成的数据流上传至AI网络设备单元中；

S3、所述AI网络设备单元内的数据接收模块接收到数据流后，判断AI分析模块的状态并依据所述AI分析模块的状态执行相应的操作，

若所述AI分析模块未启动，则数据接收模块接收到数据流后，按照网络转发协议通过数据转发模块直接对数据流进行转发，

若所述AI分析模块启动，则数据接收模块接收到数据流后，在将数据流发送给所述数据转发模块的同时一并将数据流发送给所述AI分析模块，由所述AI分析模块执行数据AI预处理流程；

S4、数据发送模块接收来自所述数据转发模块的数据流以及来自AI分析模块的预处理结果，并将所接收的数据流与预处理结果发送至AI计算服务器单元中；

S5、所述AI计算服务器单元接收数据流与预处理结果，完成视频数据的处理和分析并输出最终的分析结果。

优选地，S1中所述网络转发协议的转发方式为原始数据包转发、AI分析数据存储转发以及AI分析数据直接转发中的任一一种或多种的组合。

优选地，S1中所述AI分析模块的处理策略至少包括是否针对特定的网络摄像机进行AI处理、网络摄像机编号、AI分析模型的种类、数据存储类型、数据存储时间以及数据发送地址；

所述AI分析模型的种类至少包括人脸检测分析模型、人体检测分析模型以及车辆检测分析模型；

所述数据存储类型至少包括本地存储及云端存储；

所述数据存储时间至少包括一天、一周以及一月。

优选地，S3中所述数据AI预处理流程包括如下步骤：

S31、分析所接收到的数据流，从数据流中提取指定网络摄像机的视频流数据并组合成所需网络摄像机的视频压缩数据流；

S32、对所述视频压缩数据流进行视频数据解码、得到解码后的视频数据；

S33、从解码后的视频数据中提取关键图像帧；

S34、针对所提取的关键图像帧进行AI分析、得到预处理结果，所述AI分析的方式为基于深度学习的AI分析、基于计算机图形学的AI分析以及基于神经网络的AI分析中的任一一种或多种的组合。

优选地，S3中所述数据AI预处理流程还包括如下步骤：

S35、依据所配置的所述AI分析模块的处理策略，对所述预处理结果进行储存及发送。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明所提出的视频数据AI处理***及处理方法，兼具了现有技术中后端集中式处理模式和前端分布式处理模式各自的优点，将大量的视频预处理工作放置在网络设备中的AI分析模块内完成，使得AI计算资源可以被接入到网络设备中的多台网络摄像机所共享，充分地实现了对AI计算资源的合理利用。

借助这样的硬件设置方式，也降低了对前端设备的硬件配置要求、使用普通的网络摄像机即可满足使用需要，避免了对前端设备的大规模更换和升级，有效地降低了***整体的部署成本。同时，本发明的方案也大幅度提高了***后端AI计算服务器的使用效率，使得***的整体性能得到了大幅度的提高。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他与数据流处理的其他技术方案中，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1是现有技术中采用后端集中式处理模式视频数据AI处理***的结构示意图；

图2是现有技术中采用前端分布式处理模式视频数据AI处理***的结构示意图；

图3是本发明的***结构示意图；

图4是本发明中数据AI预处理流程示意图；

图5是本发明中网络摄像机视频流提取示意图。

具体实施方式

如图3所示，本发明揭示了一种适用于网络视频监控的视频数据AI处理***及处理方法，具体如下。

一种视频数据AI处理***，包括如下部分：

视频数据采集单元，由多台网络摄像机组成，用于不间断地采集视频数据、形成数据流并将所形成的数据流进行上传。

AI网络设备单元，集成有AI分析模块，用于接收来自所述视频数据采集单元的数据流，对数据流进行预处理，再将原始的数据流与预处理结果进行转发。

所述网络设备可以是网络交换机或者网络路由器，在本方案中统称为网络设备。

AI计算服务器单元，用于接收来自所述AI网络设备单元转发的原始的数据流与预处理结果，完成视频数据的处理和分析并输出最终的分析结果。

所述AI计算服务器单元内设置有AI计算模块，所述AI计算模块与所述数据发送模块信号连接、接收来自所述数据发送模块的原始的数据流与预处理结果、完成视频数据的处理和分析并输出最终的分析结果；在本实施例中，所述AI计算模块为GPU卡或其他AI计算卡。

所述AI网络设备单元包括如下部分：

数据接收模块，与所述视频数据采集单元信号连接，用于完成网络数据的接收、获取来自所述视频数据采集单元的数据流并转发，此处需要说明的是，所述数据流包括但不限于视频数据。所述数据接收模块内设置有多个连接端口，每个所述连接端口均与所述视频数据采集单元内一台或多台网络摄像机相对应，所述数据接收模块借助所述连接端口接收来自所述视频数据采集单元内网络摄像机的视频数据；本实施例中所述连接端口为以太网接口。

AI分析模块，与所述数据接收模块信号连接，用于对所述数据接收模块所转发的数据流进行预处理、得到预处理结果。

数据发送模块，与所述AI计算服务器单元信号连接，用于将原始的数据流与预处理结果发送至所述AI计算服务器单元中。

协议控制与配置模块，用于完成对所述AI网络设备单元的整体配置、数据转发协议的控制以及对所述AI分析模块的配置。

数据转发模块，分别与所述数据接收模块、所述AI分析模块以及所述数据发送模块三者信号连接，用于依据所述AI网络设备单元的整体配置以及数据转发协议、对原始的数据流与预处理结果进行转发。

与上述***方案相对应的，一种视频数据AI处理方法，使用如上所述的视频数据AI处理***，包括如下步骤：

S1、通过协议控制与配置模块对网络转发协议和AI分析模块的处理策略进行配置。

所述网络转发协议的配置可以与传统的网络设备配置保持一致，此处所述网络转发协议的转发方式为原始数据包转发、AI分析数据存储转发以及AI分析数据直接转发中的任一一种或多种的组合。

所述原始数据包转发是指对原始数据包不做处理，直接通过网络转发协议转发，与传统网络设备工作模式一致。所述AI分析数据存储转发是指对原始数据报文做预分析处理，分析处理结果本地存储后通过网络转发协议转发。所述AI分析数据直接转发则是指对原始数据报文做预分析处理，分析处理结果直接通过网络转发协议转发。

在实际的应用过程中，最佳方案是原始数据包转发和AI分析数据存储转发组合模式，原始数据包可以按照传统的网络数据转发模式工作，AI分析数据在本地转存后经过网络转发模块发送到相应的地址，上述两种数据流的目的地址可以是同一个也可以不同，两个模块之间互相独立工作。

对于网络转发的具体数据转发协议可以采用目前网络转发中最常用的二层（数据链路层）协议转发或三层（网络层）协议转发，大多数情况下，推荐采用二层+三层的组合模式，这也是目前网络设备的主流转发模式。

所述AI分析模块的处理策略至少包括是否针对特定的网络摄像机进行AI处理、网络摄像机编号、AI分析模型的种类、数据存储类型、数据存储时间以及数据发送地址；

所述AI分析模型的种类可以包括但不仅限于人脸检测分析模型、人体检测分析模型以及车辆检测分析模型等；

所述数据存储类型包括本地存储及云端存储等；

所述数据存储时间包括一天、一周、一月及其他存储周期。

为了更好的说明上述方案，此处提供一个所述AI分析模块的处理策略配置的参考示例表，如下所示。

摄像机编号	AI分析模型	存储策略	数据发送策略
				摄像机1	人脸检测	本地存储1天	发送到地址A
摄像机2	车辆检测	本地存储1周	发送到地址B
				摄像机3	人体检测	本地存储1月	发送到地址C

S2、通过视频数据采集单元内的网络摄像机采集视频数据、形成数据流并将所形成的数据流上传至AI网络设备单元中。

S3、所述AI网络设备单元内的数据接收模块接收到数据流后，判断AI分析模块的状态并依据所述AI分析模块的状态执行相应的操作，

若所述AI分析模块未启动，则数据接收模块接收到数据流后，按照网络转发协议通过数据转发模块直接对数据流进行转发，

若所述AI分析模块启动，则数据接收模块接收到数据流后，在将数据流发送给所述数据转发模块的同时一并将数据流发送给所述AI分析模块，由所述AI分析模块执行数据AI预处理流程。

如图4所示，此处所述数据AI预处理流程包括如下步骤：

S31、分析所接收到的数据流，从数据流中提取指定网络摄像机的视频流数据并组合成所需网络摄像机的视频压缩数据流。

具体而言，即所述AI分析模块根据网络摄像机的ID号从数据流中提取对应网络摄像机的视频流数据，组合成所需的视频压缩数据流。如图5所示，以接入三个网络摄像机为例，数据流中包含了三个网络摄像机的视频数据包，每个数据包中有摄像机的ID编号（此为现有的网络摄像机均具备的功能）。所述AI分析模块接收到三个网络摄像机的视频数据后可以根据网络摄像机的ID号提取相应网络摄像机的视频数据流，并组合成摄像机1的视频压缩数据流。

S32、对所述视频压缩数据流进行视频数据解码、得到解码后的视频数据。

S33、从解码后的视频数据中提取关键图像帧。

S34、针对所提取的关键图像帧进行AI分析、得到预处理结果，所述AI分析的方式为基于深度学习的AI分析、基于计算机图形学的AI分析以及基于神经网络的AI分析的任一一种或多种的组合。目前，所述AI分析的方式以结合深度学习和图形学的AI分析方法为主。

S35、依据所配置的所述AI分析模块的处理策略，对所述预处理结果进行储存及发送。

在进行预处理结果的储存时，按照所述协议控制与配置模块中的存储策略进行，可将结果保存至本地或云端，存储时间及周期可调，此外，还可以按照发送策略将与处理结果发送至指定IP地址，指定的IP地址可以是后端的某个AI计算服务器单元或其他设备，后端的AI计算服务器单元可以根据实际需求确定是否需要进一步AI处理。

S4、数据发送模块接收来自所述数据转发模块的数据流以及来自AI分析模块的预处理结果，并将所接收的数据流与预处理结果发送至AI计算服务器单元中。

S5、所述AI计算服务器单元接收数据流与预处理结果，完成视频数据的处理和分析并输出最终的分析结果。

由上述方案描述可以得知，本发明的核心是集成AI功能的网络设备，它不仅能实现AI分析和预处理的分布式部署和前端化处理，还可以与后端的AI计算服务器组成强大的AI计算***完成前后端协同计算，大幅提高AI计算的整体效率。通过将AI计算功能分解、分摊到前端网络设备中的方式，使得网络设备不仅完成传统的数据接收和转发功能、同时完成视频数据流的AI分析和处理功能，最大化地发挥了网络设备的计算价值。

综上所述，本发明所提出的视频数据AI处理***及处理方法，兼具了现有技术中后端集中式处理模式和前端分布式处理模式各自的优点，将大量的视频预处理工作放置在网络设备中的AI分析模块内完成，使得AI计算资源可以被接入到网络设备中的多台网络摄像机所共享，充分地实现了对AI计算资源的合理利用。

借助这样的硬件设置方式，也降低了对前端设备的硬件配置要求、使用普通的网络摄像机即可满足使用需要，避免了对前端设备的大规模更换和升级，有效地降低了***整体的部署成本。同时，本发明的方案也大幅度提高了***后端AI计算服务器的使用效率，使得***的整体性能得到了大幅度的提高。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他与数据流处理的其他技术方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种视频数据AI处理***，其特征在于，包括如下部分：

视频数据采集单元，由多台网络摄像机组成，用于不间断地采集视频数据、形成数据流并将所形成的数据流进行上传，

AI网络设备单元，集成有AI分析模块，用于接收来自所述视频数据采集单元的数据流，对数据流进行预处理，再将原始的数据流与预处理结果进行转发，

AI计算服务器单元，用于接收来自所述AI网络设备单元转发的原始的数据流与预处理结果，完成视频数据的处理和分析并输出最终的分析结果；

所述AI网络设备单元包括如下部分：

数据接收模块，与所述视频数据采集单元信号连接，用于完成网络数据的接收、获取来自所述视频数据采集单元的数据流并转发，

AI分析模块，与所述数据接收模块信号连接，用于对所述数据接收模块所转发的数据流进行预处理、得到预处理结果，

数据发送模块，与所述AI计算服务器单元信号连接，用于将原始的数据流与预处理结果发送至所述AI计算服务器单元中。

2.根据权利要求1所述的视频数据AI处理***，其特征在于：所述数据接收模块内设置有多个连接端口，每个所述连接端口均与所述视频数据采集单元内一台或多台网络摄像机相对应，所述数据接收模块借助所述连接端口接收来自所述视频数据采集单元内网络摄像机的视频数据；

所述连接端口为以太网接口。

3.根据权利要求1所述的视频数据AI处理***，其特征在于：所述AI计算服务器单元内设置有AI计算模块，所述AI计算模块与所述数据发送模块信号连接、接收来自所述数据发送模块的原始的数据流与预处理结果、完成视频数据的处理和分析并输出最终的分析结果；

所述AI计算模块为GPU卡。

4.根据权利要求1所述的视频数据AI处理***，其特征在于，所述AI网络设备单元还包括如下部分：

协议控制与配置模块，用于完成对所述AI网络设备单元的整体配置、数据转发协议的控制以及对所述AI分析模块的配置；

数据转发模块，分别与所述数据接收模块、所述AI分析模块以及所述数据发送模块三者信号连接，用于依据所述AI网络设备单元的整体配置以及数据转发协议、对原始的数据流与预处理结果进行转发。

5.一种视频数据AI处理方法，使用如权利要求1~4任一所述的视频数据AI处理***，其特征在于，包括如下步骤：

S1、通过协议控制与配置模块对网络转发协议和AI分析模块的处理策略进行配置；

S2、通过视频数据采集单元内的网络摄像机采集视频数据、形成数据流并将所形成的数据流上传至AI网络设备单元中；

S3、所述AI网络设备单元内的数据接收模块接收到数据流后，判断AI分析模块的状态并依据所述AI分析模块的状态执行相应的操作，

若所述AI分析模块未启动，则数据接收模块接收到数据流后，按照网络转发协议通过数据转发模块直接对数据流进行转发，

若所述AI分析模块启动，则数据接收模块接收到数据流后，在将数据流发送给所述数据转发模块的同时一并将数据流发送给所述AI分析模块，由所述AI分析模块执行数据AI预处理流程；

S4、数据发送模块接收来自所述数据转发模块的数据流以及来自AI分析模块的预处理结果，并将所接收的数据流与预处理结果发送至AI计算服务器单元中；

S5、所述AI计算服务器单元接收数据流与预处理结果，完成视频数据的处理和分析并输出最终的分析结果。

6.根据权利要求5所述的视频数据AI处理方法，其特征在于：S1中所述网络转发协议的转发方式为原始数据包转发、AI分析数据存储转发以及AI分析数据直接转发中的任一一种或多种的组合。

7.根据权利要求5所述的视频数据AI处理方法，其特征在于：S1中所述AI分析模块的处理策略至少包括是否针对特定的网络摄像机进行AI处理、网络摄像机编号、AI分析模型的种类、数据存储类型、数据存储时间以及数据发送地址；

所述AI分析模型的种类至少包括人脸检测分析模型、人体检测分析模型以及车辆检测分析模型；

所述数据存储类型至少包括本地存储及云端存储；

所述数据存储时间至少包括一天、一周以及一月。

8.根据权利要求5所述的视频数据AI处理方法，其特征在于，S3中所述数据AI预处理流程包括如下步骤：

S31、分析所接收到的数据流，从数据流中提取指定网络摄像机的视频流数据并组合成所需网络摄像机的视频压缩数据流；

S32、对所述视频压缩数据流进行视频数据解码、得到解码后的视频数据；

S33、从解码后的视频数据中提取关键图像帧；

S34、针对所提取的关键图像帧进行AI分析、得到预处理结果，所述AI分析的方式为基于深度学习的AI分析、基于计算机图形学的AI分析以及基于神经网络的AI分析中的任一一种或多种的组合。

9.根据权利要求8所述的视频数据AI处理方法，其特征在于，S3中所述数据AI预处理流程还包括如下步骤：

S35、依据所配置的所述AI分析模块的处理策略，对所述预处理结果进行储存及发送。