CN111225280B - 基于嵌入式平台的轻量级视频分析*** - Google Patents
基于嵌入式平台的轻量级视频分析*** Download PDFInfo
- Publication number
- CN111225280B CN111225280B CN202010074352.7A CN202010074352A CN111225280B CN 111225280 B CN111225280 B CN 111225280B CN 202010074352 A CN202010074352 A CN 202010074352A CN 111225280 B CN111225280 B CN 111225280B
- Authority
- CN
- China
- Prior art keywords
- module
- data
- video analysis
- video
- streaming media
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 158
- 230000002688 persistence Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 11
- 238000010191 image analysis Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000013479 data entry Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000002085 persistent effect Effects 0.000 description 5
- 238000012856 packing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2541—Rights Management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供一种基于嵌入式平台的轻量级视频分析***，用于对流媒体数据进行轻量化处理从而获得视频分析结果并输出，其特征在于，包括：流媒体模块，用于获取流媒体数据并对该流媒体数据进行预处理得到预处理数据，流媒体数据至少包括视频流式数据；视频分析模块，用于持续接收预处理数据并根据预设的视频分析流程进行分析得到视频分析结果；数据持久化模块，用于对视频分析结果进行持久化处理并作为动态数据进行存储，其中，流媒体模块、视频分析模块以及数据持久化模块通过容器虚拟化技术部署在边缘节点上，使得流媒体模块、视频分析模块以及数据持久化模块利用边缘节点的计算资源完成视频分析处理。
Description
技术领域
本发明属于计算机视觉领域，涉及一种视频分析***，具体涉及一种基于嵌入式平台的轻量级视频分析***。
背景技术
在移动互联网时代，搭载Android、IOS和Windows phone等操作***的移动端设备急剧增长，并塑造了移动互联网生态。借助移动互联网，人们的交流方式发生了极大的变化。在移动互联网兴起之初，持有移动端设备的用户只能传递文字信息和图片信息，而在移动互联网持续演进的背景下，移动端用户已经可以实时传递视频信息，由此丰富了人们的网络交流形式。进入5G时代，基于互联网而兴起的一些新兴技术，如：AR(AugmentedReality)、VR(VirtualReality)、IoT(InternetofThings)以及大数据技术等相继得到了应用，并持续受到社会的关注。在如此趋势下，预计未来视频流将会出现爆发式的增长。根据思科发布的最新《视觉网络指数》(VNI)报告预测，2022年当年所产生的IP流量将是巨大的，预计会是互联网诞生以来至2016年期间所产生的所有流量的总和。同时到2022年全球网民的总和将达到全球总人口的60\％，届时将有超过280亿太设备接入互联网，这些设备所产生的流量将占据所有IP流量的82％。
然而，接入移动互联网的设备不断增加，视频信息流将占据IP流量的主导地位，这一发展趋势已经不可逆转。视频流在带给外界丰富的信息的同时，其也会产生一定的负面作用，如：通信网络拥堵、视频流的传输存在时延，针对视频进行的分析难以实现无缝对接。这些问题都是因为视频流本身的规模导致的，每个视频信息流的数据规模都相对较大，因此在具有对视频流进行分析处理的需求时，若是依旧采用传统的视频处理方式分析视频流，其分析速率无疑会受到视频流的影响，并进一步延缓视频流的传输效率。
发明内容
为解决上述问题，提供一种能够在移动边缘端不同的资源环境下，实现轻量级视频分析流程的部署，从而削弱视频流的数据规模对视频分析流程的影响的视频分析***，本发明采用了如下技术方案：
本发明提供了一种基于嵌入式平台的轻量级视频分析***，用于对流媒体数据进行轻量化处理从而获得视频分析结果并输出，其特征在于，包括：流媒体模块，用于获取流媒体数据并对该流媒体数据进行预处理得到预处理数据，流媒体数据至少包括视频流式数据；视频分析模块，用于持续接收预处理数据并根据预设的视频分析流程进行分析得到视频分析结果；数据持久化模块，用于对视频分析结果进行持久化处理并作为动态数据进行存储，其中，流媒体模块、视频分析模块以及数据持久化模块通过容器虚拟化技术部署在边缘节点上，使得流媒体模块、视频分析模块以及数据持久化模块利用边缘节点的计算资源完成视频分析处理。
本发明提供的基于嵌入式平台的轻量级视频分析***，还可以具有这样的技术特征，还包括：API接入模块，用于监听用户的外部请求，该API接入模块对外提供统一的API接口；以及路由模块，其中，一旦API接入模块监听到外部请求，就将该外部请求解析为内部消息并对该外部请求的合法性进行鉴别，若外部请求为合法请求，API接入模块就将相应的内部消息发送给路由模块并让该路由模块根据内部消息的消息头进行分配；若外部请求为非法请求，API接入模块根据预设程序对该外部请求进行响应。
本发明提供的基于嵌入式平台的轻量级视频分析***，还可以具有这样的技术特征，其中，外部请求为对视频流进行处理的创建视频流请求，路由模块将对应创建视频流请求的内部消息分配给流媒体模块，流媒体模块就根据接收到的内部消息时创建一个对应的工作线程，工作线程用于进行流媒体模块的拉流、取流以及解码预处理并将得到的预处理数据打包为对应图像分析的内部消息。
本发明提供的基于嵌入式平台的轻量级视频分析***，还可以具有这样的技术特征，其中，路由模块将对应图像分析的内部消息分配给视频分析模块，一旦视频分析模块完成分析并得到视频分析结果时，API接入模块根据创建视频流请求将视频分析结果进行输出。
本发明提供的基于嵌入式平台的轻量级视频分析***，还可以具有这样的技术特征，其中，外部请求为用户输入静态数据的数据输入请求，路由模块将对应数据输入请求的内部消息分配给数据持久化模块，数据持久化模块根据接收到的内部消息中的静态数据进行持久化处理并作为静态数据进行存储。
本发明提供的基于嵌入式平台的轻量级视频分析***，还可以具有这样的技术特征，其中，静态数据包括用户信息、设备信息以及底库信息。
本发明提供的基于嵌入式平台的轻量级视频分析***，还可以具有这样的技术特征，还包括：结果显示部，用于将视频分析结果通过显示页面进行展示。
本发明提供的基于嵌入式平台的轻量级视频分析***，还可以具有这样的技术特征，其中，视频分析流程为人脸识别流程、行为检测流程或是车辆检测流程。
发明作用与效果
根据本发明的基于嵌入式平台的轻量级视频分析***，由于具有流媒体模块、视频分析模块以及数据持久化模块，从而能够对媒体流数据进行获取、分析以及持久化存储，从而完成针对视频的分析。另外，由于通过容器虚拟技术将流媒体模块、视频分析模块以及数据持久化模块部署在边缘节点上，因此本***针对视频的分析流程都能够利用边缘节点的计算资源完成处理，达到了轻量级视频分析以及计算本地化的效果，从而减少了与云端的数据传输，进一步减少了网络的带宽压力，提高了数据的安全性。通过本实施例的轻量级视频分析***，可以应用在无感通行、行为检测、人脸检测、视频加速等视频分析领域中，从而使得这些领域中的视频分析流程实现轻量化。
附图说明
图1是本发明实施例中视频分析***的结构框图。
具体实施方式
2014年，在5G技术即将进入商用的前期，European TelecommunicationsStandards Institute将移动边缘计算(Mobile Edge Computing，MEC)技术正式标准化，该技术是随着5G技术的出现而问世，主要是为了解决以往通信中存在的高延时、低吞吐量、网络伸缩性差的问题，由此来实现通信基站和互联网业务的高度融合。MEC技术可以将外部应用放入网络边缘，实现内容和服务的无缝对接，在提高服务体验的同时，还可以有效提高移动网络速率、降低时延。MEC技术从提出至今，已经在不同领域中得到了应用，典型的如多接入边缘应用编排等。借助MEC技术，技术人员可以对无线通信中的信息进行高效采集，并对移动业务进行自动优化。
本发明就是在基于嵌入式平台(例如Jetson TX2)的移动终端平台下，利用移动边缘计算在网络传输和虚拟技术的优势，通过容器设计出一套轻量级视频分析***，实现对视频数据的高效处理，并实现智能化的监测。该视频分析***可以实现分析流程的自动化，解放传统视频分析中人工分析的劳动力，可以对外界的关键信息进行实时捕捉，并通过构建***的分析模型，来对视频流信息进行大数据分析，最终的分析结果可以为智能化监控提供依据。
对于软件开发行业的技术人员来说，本发明还可以为他们提供了新的软件开发的思路，并将最新的通信技术应用到实际的场景之中。
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于嵌入式平台的轻量级视频分析***作具体阐述。
<实施例>
本实施例中的***运行在Linux平台上实现，该平台至少具有一张图形处理单元GPU卡的支持。
图1是本发明实施例中视频分析***的***架构图。
如图1所示，视频分析***100包括API接入模块1、路由模块2、流媒体模块3、视频分析模块4、数据持久化模块5以及结果显示模块6。
本实施例中，视频分析***100基于边缘计算框架实现，该边缘计算框架为视频分析***100提供了容器技术和服务管理的功能，容器间通信已经虚拟化了网络传输技术，通过容器即可实现网络资源虚拟化，达到***中的模块在多个不同边缘节点之间通信的效果。
具体地，通过容器虚拟化技术将边缘节点虚拟，从而使得API接入模块1、路由模块2、流媒体模块3、视频分析模块4、数据持久化模块5在每个虚拟节点中运行，对外则通过API接入模块1对外的统一接口，从而为不同模块在不同边缘节点中的部署提供更强的灵活性。
API接入模块1提供有统一的API接口，用于让用户通过该API接口访问视频分析***100。该用户可以为使用者或是其他***。
本实施例中，API接入模块1在监听到视频分析***100接收到的外部请求后，会对该外部请求进行解析并生成相应的内部消息，在解析的同时还会对该外部请求的合法性进行鉴别，如果外部请求为非法请求，则直接对该非法请求进行响应(例如，拒绝、报警或是反制等常规的响应措施)；反之，将相应的内部消息发送至路由模块2。内部消息包括消息头以及消息体。
本实施例中，用户与视频分析***100的主要交互方式就是通过API模块发送请求。例如，用户通过其持有的用户终端，基于RESTful API、ZeroMQ协议发送一个创建视频流请求给视频分析***100，一旦API接入模块1监听到该创建视频流请求，就会将作为外部请求的该创建视频流请求解析为对应的内部消息(即消息头对应为创建视频流请求)，并同时进行合法性的鉴别。
路由模块2用于对接收到的内部消息进行识别，从而根据内部消息的消息头进行下一跳模块选择。
本实施例中，路由模块2在接收到API接入模块1发送的内部消息时，由于该内部消息的消息头表示为创建视频流请求，因此路由模块2将该内部消息分配给流媒体模块3。
流媒体模块3用于创建工作线程从而获取流媒体并进行预处理。该流媒体模块3主要功能是实现对多种流媒体传输协议的支持，完成多种视频流的视频采集；实现对多种流媒体编解码的支持，完成对多种编解码格式的数据预处理。本实施例中，为了支持多路媒体流的并行处理，流媒体模块3采用了master和workers的编程模型。
本实施例中，流媒体(streaming media)是多媒体中的一部分，其中包括视频和音频的流式数据，由于视频分析***100为针对视频进行处理的轻量化***，因此本实施例中流媒体模块3仅获取视频流式数据并对其进行处理。
本实施例中，流媒体模块3在接收到对应创建视频流请求的内部消息时，会创建工作线程从而完成对视频流的拉流、取流以及编解码预处理。具体地，流媒体模块3包括流程确定单元31、工作线程创建单元32、解码预处理单元33以及媒体消息打包单元34。
流程确定单元31用于根据内部消息中表示的视频源类型和传输协议从而确定视频流获取流程。
工作线程创建单元32用于根据视频流获取流程创建对应的工作线程从而进行视频流数据的拉取。本实施例中，工作线程使用gstreamer库实现对不同流媒体传输协议的流进行拉流。
解码预处理单元33用于对工作线程持续获取的视频流数据进行解码预处理得到图像数据。
媒体消息打包单元34用于将解码预处理单元33处理得到的图像数据进行打包，组装成一个消息头对应图像分析的内部消息并发送给路由模块2。本实施例中，路由模块2在接收到消息头对应图像分析的内部消息时，将该内部消息发送给视频分析模块4。
视频分析模块4用于对图像数据进行信息提取以及进一步分析。
本实施例中，由于流媒体模块3处理后的图像数据是可以直接使用的，因此视频分析模块4会直接对该图像数据进行分析处理。
本实施例中，视频分析模块采用master和workers的编程模型。视频分析的流程众多且复杂，***将对其进行抽象。将高层分析任务定义为一个流程pipeline，例如人脸识别、行为检测、车辆检测等；将一个流程中使用到的组件定义为一个任务task。
本实施例中，视频分析模块4包括分析事件解析单元41、分析流程分配单元42以及分析消息打包单元43，在视频分析模块4接收流媒体模块3持续推送的图像数据(即内部消息)时，就通过这些单元完成对每一个图像数据的处理。
分析事件解析单元41用于在获取到流媒体模块3的内部消息时，解析该内部消息中的事件ID。
分析流程分配单元42根据分析事件解析单元41获取的事件ID，将相应内部消息的消息体中的数据分发到与事件相对应的视频分析流程，从而得到视频分析结果。
例如，本实施例中可以实现人脸识别分析流程、车辆检测分析流程、行为检测流程等视频分析流程，视频分析模块4在收到视频流发送的经过预处理的图像消息时，视频分析模块4会根据该消息的唯一标识符来确定该将消息分发到***中的对应流程。每一个分析流程是一个完整的算法过程，流程结束会得到一个算法结果，即视频分析结果。
分析消息打包单元43用于将分析流程分配单元42得到的视频分析结果打包成内部消息，发送给路由模块2。
本实施例中，路由模块2在接收到对应视频分析结果的内部消息时，会同时将该内部消息分别发送给API接入模块1与数据持久化模块5进行响应，例如、发送到数据持久化模块5进行分析结果的持久化存储和API接入模块1进行分析结果的实时推送。
数据持久化模块5用于将视频分析结果持久化并存储至存储模块中。
本实施例中，数据持久化模块5包括数据事件分析单元51、持久化流程分配单元52以及存储消息打包单元53。
数据事件解析单元51用于在获取到视频分析模块4的内部消息时，解析该内部消息中的事件ID。
持久化流程分配单元52根据数据事件解析单元51获取的事件ID，将相应内部消息分配给对应的持久化过程。
本实施例中，在不同的持久化过程将获取不同的存储后端，如NAS、本地文件***、关系型数据库、时序数据库等，从而将内部消息中的分析结果存储至对应的存储后端中。另外，若分析结果有比较强的时序性，可以使用时序数据库Cassandra进行持久化。通过利用不同存储后端的不同特性，满足实施例不同类型数据的存储。例如，对于本实施例的一些用户***的数据，视频分析的底库数据可以使用MySQL关系数据库存储；视频分析流程模型等数据可以使用NAS文件***进行存储；在运行中产生的分析数据可以使用Cassandra时序数据库进行存储。
存储消息打包单元53用于根据持久化过程中写入的结果，生成对应的结果消息体，发送到对应的存储后端，如MySQL关系数据库、Cassandra时序数据库、NAS文件***等，进行持久化存储。
另外，本实施例中，用户也可以通过向API接入模块1发送数据输入请求从而向视频分析***100写入元数据和静态数据，数据持久化模块5在接收到API接入模块1发送的内部消息时，通过关系型数据库MySQL对这部分元数据和静态数据进行持久化。其中，静态数据则为用户信息、设备信息、底库信息等。
结果显示模块6用于显示视频分析模块4分析出的视频分析结果。
本实施例中，结果显示模块6为视频分析***100的显示模块(例如显示器等设备)，在API接入模块1接收到对应视频分析结果的内部消息时，就将该内部消息发送给结果显示模块6从而让该结果显示模块6显示视频分析结果让用户查看。
同时，在其他实施例中，也API接入模块1可以直接将对应视频分析结果的内部消息转换为外部请求并发送给其他终端(例如用户终端)或是***，从而进行相应的处理(例如显示查看或是根据该视频分析数据进行进一步的处理)。
以下，对本发明实施例中视频分析***的流程作具体阐述：
本实施例中，视频分析***100的入口为API接入模块1，在API接入模块1监听到用户或其他***发送的外部请求后，该模块就将外部请求解析为内部消息，并同时对该外部请求的合法性进行鉴别，若为非法请求则直接对该非法请求进行响应；若为合法请求则将相应的内部消息发送给路由模块2。路由模块2通过内部消息的消息头进行下一跳模块选择，如果消息头表示为创建视频流请求，则消息会被发送到流媒体模块3。流媒体模块3收到对应创建视频流请求的内部消息后，创建工作线程进行拉流、取流、编解码工作，并将持续获得并进行解码预处理的视频流数据打包成内部消息，发送到路由模块2。路由模块2将消息头表示为图像分析的内部消息发送给视频分析模块4。视频分析模块4获得了数据后，将图像数据进行分发，选择对应的视频分析流程进行分析处理，最后将分析的结果进行打包发送到路由模块2。路由模块2将消息头表示为视频分析结果的内部消息发送给分别发往API接入模块1和数据持久化模块5进行响应和存储。
在实际应用中，第三方应用可以将本实施例的视频分析***100部署在有一定计算资源的边缘节点上，并通过视频分析***100提供的API接口(即API接入模块1)，获取数据存储服务、视频分析服务和视频流管理服务，使得第三方应用便捷、快速地获得视频分析功能。如，第三方的签到***可以通过RESTful API和ZeroMQ接口使用本***100实现的人脸识别视频分析流程，为第三方签到***增加人脸识别功能。
实施例作用与效果
根据本实施例提供的基于嵌入式平台的轻量级视频分析***，由于具有流媒体模块、视频分析模块以及数据持久化模块，从而能够对媒体流数据进行获取、分析以及持久化存储，从而完成针对视频的分析。另外，由于通过容器虚拟技术将流媒体模块、视频分析模块以及数据持久化模块部署在边缘节点上，因此本***针对视频的分析流程都能够利用边缘节点的计算资源完成处理，达到了轻量级视频分析以及计算本地化的效果，从而减少了与云端的数据传输，进一步减少了网络的带宽压力，提高了数据的安全性。通过本实施例的轻量级视频分析***，可以应用在无感通行、行为检测、人脸检测、视频加速等视频分析领域中，从而使得这些领域中的视频分析流程实现轻量化。
另外，实施例中，由于在将流媒体模块、视频分析模块以及数据持久化模块使用容器虚拟技术进行封装，从而实现边缘节点资源的虚拟化的同时，通过API接入模块对外暴露统一接口，从而便于本实施例的***与其他***或是用户的终端间进行接入，减少与其他***结合实现的复杂度。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
Claims (8)
1.一种基于嵌入式平台的轻量级视频分析***，用于对流媒体数据进行轻量化处理从而获得视频分析结果并输出，其特征在于，包括：
流媒体模块，用于获取所述流媒体数据并对该流媒体数据进行预处理得到预处理数据，所述流媒体数据至少包括视频流式数据；
视频分析模块，用于持续接收所述预处理数据并根据预设的视频分析流程进行分析得到视频分析结果；
数据持久化模块，用于对所述视频分析结果进行持久化处理并作为动态数据进行存储；
API接入模块，用于监听用户的外部请求；以及
路由模块，
其中，所述流媒体模块、视频分析模块、所述数据持久化模块、所述API接入模块以及所述路由模块通过容器虚拟化技术部署在多个不同的边缘节点上，各个所述边缘节点被所述容器虚拟化技术虚拟形成虚拟节点，使得所述流媒体模块、视频分析模块以及所述数据持久化模块在每个所述虚拟节点中运行，并由所述API接入模块对外提供统一的API接口以及通过所述路由模块进行消息分配，从而使得所述流媒体模块、所述视频分析模块、所述数据持久化模块、所述API接入模块以及路由模块在多个不同边缘节点之间通信，并利用所述边缘节点的计算资源完成视频分析处理。
2.根据权利要求1所述的基于嵌入式平台的轻量级视频分析***，其特征在于：
其中，一旦所述API接入模块监听到所述外部请求，就将该外部请求解析为内部消息并对该外部请求的合法性进行鉴别，
若所述外部请求为合法请求，所述API接入模块就将相应的所述内部消息发送给所述路由模块并让该路由模块根据所述内部消息的消息头进行分配；
若所述外部请求为非法请求，所述API接入模块根据预设程序对该外部请求进行响应。
3.根据权利要求2所述的基于嵌入式平台的轻量级视频分析***，其特征在于：
其中，所述外部请求为对视频流进行处理的创建视频流请求，
所述路由模块将对应所述创建视频流请求的所述内部消息分配给所述流媒体模块，
所述流媒体模块就根据接收到的所述内部消息时创建一个对应的工作线程，
所述工作线程用于进行流媒体模块的拉流、取流以及解码预处理并将得到的所述预处理数据打包为对应图像分析的内部消息。
4.根据权利要求3所述的基于嵌入式平台的轻量级视频分析***，其特征在于：
其中，所述路由模块将所述对应图像分析的内部消息分配给所述视频分析模块，
一旦所述视频分析模块完成分析并得到所述视频分析结果时，所述API接入模块根据所述创建视频流请求将所述视频分析结果进行输出。
5.根据权利要求2所述的基于嵌入式平台的轻量级视频分析***，其特征在于：
其中，所述外部请求为用户输入静态数据的数据输入请求，
所述路由模块将对应所述数据输入请求的内部消息分配给所述数据持久化模块，
所述数据持久化模块根据接收到的所述内部消息中的所述静态数据进行持久化处理并作为静态数据进行存储。
6.根据权利要求5所述的基于嵌入式平台的轻量级视频分析***，其特征在于：
其中，所述静态数据包括用户信息、设备信息以及底库信息。
7.根据权利要求1所述的基于嵌入式平台的轻量级视频分析***，其特征在于，还包括：
结果显示部，用于将所述视频分析结果通过显示页面进行展示。
8.根据权利要求1所述的基于嵌入式平台的轻量级视频分析***，其特征在于：
其中，所述视频分析流程为人脸识别流程、行为检测流程或是车辆检测流程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010074352.7A CN111225280B (zh) | 2020-01-22 | 2020-01-22 | 基于嵌入式平台的轻量级视频分析*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010074352.7A CN111225280B (zh) | 2020-01-22 | 2020-01-22 | 基于嵌入式平台的轻量级视频分析*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111225280A CN111225280A (zh) | 2020-06-02 |
| CN111225280B true CN111225280B (zh) | 2021-10-01 |
Family
ID=70829642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010074352.7A Active CN111225280B (zh) | 2020-01-22 | 2020-01-22 | 基于嵌入式平台的轻量级视频分析*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111225280B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112309550A (zh) * | 2020-11-11 | 2021-02-02 | 复旦大学 | 一种多维医疗影像数据存储管理*** |
| US20220165304A1 (en) * | 2020-11-24 | 2022-05-26 | Nvidia Corporation | Trigger-responsive clip extraction based on remote analysis |
| CN113515545B (zh) * | 2021-06-30 | 2024-05-14 | 北京百度网讯科技有限公司 | 数据查询方法、装置、***、电子设备以及存储介质 |
| CN114286127B (zh) * | 2022-03-08 | 2022-05-27 | 浙江微能科技有限公司 | 一种分布式人工智能分析方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101494655A (zh) * | 2009-03-12 | 2009-07-29 | 中国电信股份有限公司 | Rtp分布式流媒体服务***及方法 |
| CN107819704A (zh) * | 2017-11-24 | 2018-03-20 | 量子云未来（北京）信息科技有限公司 | 一种无线可扩展媒体应用边缘计算装置、***及方法 |
| CN108600777A (zh) * | 2018-04-09 | 2018-09-28 | 北京大米科技有限公司 | 一种流媒体回放服务器、客户端 |
| CN109002744A (zh) * | 2017-06-06 | 2018-12-14 | 中兴通讯股份有限公司 | 图像识别方法、装置和视频监控设备 |
| CN109815371A (zh) * | 2019-01-30 | 2019-05-28 | 无锡华云数据技术服务有限公司 | 视频监控数据存储访问*** |
| JP6561632B2 (ja) * | 2015-07-06 | 2019-08-21 | 日本電気株式会社 | エッジサーバ及びその方法 |
| CN110175546A (zh) * | 2019-05-15 | 2019-08-27 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10110495B1 (en) * | 2017-11-22 | 2018-10-23 | Intel Corporation | Multi-access edge computing (MEC) service provision based on local cost measurements |
| CN109657588A (zh) * | 2018-12-11 | 2019-04-19 | 上海工业自动化仪表研究院有限公司 | 基于视频识别的智能边缘计算嵌入式终端 |
| CN110290140B (zh) * | 2019-06-28 | 2021-09-24 | 腾讯科技（深圳）有限公司 | 多媒体数据处理方法及装置、存储介质、电子设备 |
-
2020
- 2020-01-22 CN CN202010074352.7A patent/CN111225280B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101494655A (zh) * | 2009-03-12 | 2009-07-29 | 中国电信股份有限公司 | Rtp分布式流媒体服务***及方法 |
| JP6561632B2 (ja) * | 2015-07-06 | 2019-08-21 | 日本電気株式会社 | エッジサーバ及びその方法 |
| CN109002744A (zh) * | 2017-06-06 | 2018-12-14 | 中兴通讯股份有限公司 | 图像识别方法、装置和视频监控设备 |
| CN107819704A (zh) * | 2017-11-24 | 2018-03-20 | 量子云未来（北京）信息科技有限公司 | 一种无线可扩展媒体应用边缘计算装置、***及方法 |
| CN108600777A (zh) * | 2018-04-09 | 2018-09-28 | 北京大米科技有限公司 | 一种流媒体回放服务器、客户端 |
| CN109815371A (zh) * | 2019-01-30 | 2019-05-28 | 无锡华云数据技术服务有限公司 | 视频监控数据存储访问*** |
| CN110175546A (zh) * | 2019-05-15 | 2019-08-27 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于MEC的智能视频管理***研究;李素游;《中国优秀硕士学位论文-信息科技辑》;20181015;12-61 * |
| 饶着译.移动边缘计算及视频分析应用研究.《中国优秀硕士学位论文-信息科技辑》.2018, * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111225280A (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111225280B (zh) | 基于嵌入式平台的轻量级视频分析*** | |
| CN108200190A (zh) | 基于云计算的物联网数据服务***和方法 | |
| CN110719215B (zh) | 虚拟网络的流信息采集方法及装置 | |
| CN102957622B (zh) | 一种数据处理的方法、装置及*** | |
| CN110347694B (zh) | 一种基于物联网的设备监控方法、装置及*** | |
| CN112291724A (zh) | 一种5g信令可视化方法及装置 | |
| CN112560724A (zh) | 车辆监控方法、装置和云控平台 | |
| WO2022062860A1 (zh) | 一种点云媒体的数据处理方法、装置、设备及存储介质 | |
| CN114372084A (zh) | 面向传感流数据的实时处理*** | |
| CN111294235A (zh) | 数据处理方法、装置、网关及可读存储介质 | |
| CN112671697A (zh) | 综合监控***的数据处理方法、装置和*** | |
| CN113687958A (zh) | 数据处理方法、***、计算机设备和存储介质 | |
| CN109873790A (zh) | 网络安全检测方法、装置以及计算机可读存储介质 | |
| CN107493299A (zh) | 一种基于三层架构的用户行为溯源方法 | |
| CN114490280A (zh) | 一种日志处理方法、装置、设备及介质 | |
| CN108134746B (zh) | 轨道交通数据的处理方法及装置 | |
| CN110611937A (zh) | 数据分流方法、装置、边缘数据中心和可读存储介质 | |
| CN115567563B (zh) | 基于端边云的综合交通枢纽监测预警***及其控制方法 | |
| CN113852841A (zh) | 一种可视化场景建立方法、装置、设备、介质和*** | |
| CN112152879A (zh) | 网络质量确定方法、装置、电子设备和可读存储介质 | |
| CN111506769A (zh) | 视频文件的处理方法、装置、存储介质及电子装置 | |
| CN116737351A (zh) | 图像处理***运行管理方法、装置、存储介质及电子设备 | |
| KR20220071544A (ko) | 대용량 데이터 배치 처리를 위한 영상 데이터 처리 시스템 및 방법과 이를 위한 컴퓨터 프로그램 | |
| CN112035316A (zh) | 一种云监控***监控分析数据的方法 | |
| CN112835625A (zh) | 流水线配置方法、装置、可读存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |