CN110795595B - 基于边缘计算的视频结构化存储方法、装置、设备及介质 - Google Patents
基于边缘计算的视频结构化存储方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110795595B CN110795595B CN201910851144.0A CN201910851144A CN110795595B CN 110795595 B CN110795595 B CN 110795595B CN 201910851144 A CN201910851144 A CN 201910851144A CN 110795595 B CN110795595 B CN 110795595B
- Authority
- CN
- China
- Prior art keywords
- target
- video
- expected
- edge
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003860 storage Methods 0.000 title claims abstract description 50
- 238000004364 calculation method Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 15
- 230000006399 behavior Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000013210 evaluation model Methods 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于边缘计算的视频结构化存储方法，利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，包括以下步骤：对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；对有效目标进行跟踪，获取该有效目标的系列图片；识别系列图片中目标特征，并将识别结果进行存储。本发明还提供了一种基于边缘计算的视频结构化存储装置、设备及介质。本发明无需在摄像机中进行视频分析等算法，减少了视频采集终端的成本；同时，结构化处理后的视频数据量也将大大减少，降低了骨干网络的压力。
Description
技术领域
本发明涉及视频监控及存储技术领域，尤其涉及基于边缘计算的视频结构化存储方法、装置、设备及介质。
背景技术
近年来，随着“平安城市”、“天网工程”、“雪亮工程”等大型综合安防***的部署，监控设备的安装和使用数量呈几何式增长。同时，监控设备的分辨率也越来越高，由此产生了海量的视频监控数据。
现有技术中，由于摄像设备的升级，视频流在分辨率方面有了大幅度的提升，同时也让视频文件的容量变得更大，可以对海量的视频监控数据进行处理，但是大容量的视频监控数据对网络的带宽和服务器的处理能力是极大的挑战。
现有技术中的视频数据存储方法存在以下几个问题：（1）视频监控的数据量非常巨大，如果完整的向主服务器或云服务器传输，将会占用大量网络资源，且实时性非常差；（2）很多监控设备在大多数时候的监控画面为变化不大的静态画面，如果全部存储下来，海量的视频监控数据量需要的存储空间将产生巨大的浪费；（3）视频监控数据为非结构性的无序数据，用户在使用时检索非常麻烦，只能依靠人工查阅，费时且费力。因此如何合理的传输、存储及调阅这些视频数据，成为了一个急需解决的难题。
发明内容
针对上述现有技术存在不足，本发明提供基于边缘计算的视频结构化存储方法，利用距离采集设备端更近的边缘节点服务器，对视频数据进行结构化处理，使视频监控更加智能化，有序化，快速化。
本发明采用的技术方案为：
第一方面，本发明提供了一种基于边缘计算的视频结构化存储方法，利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，包括以下步骤：
对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；
对有效目标进行跟踪，获取该有效目标的系列图片；
识别系列图片中目标特征，并将识别结果进行存储。
在第一方面的第一种可能实施方式中，所述对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；具体为：
采用前景检测算法，对服务器内部的视频数据进行提取获得预期目标；
对预期目标中的场景、人员和行为进行识别，确定预期目标是否为有效目标。
在第一方面的第二种可能实施方式中，所述采用前景检测算法，对服务器内部的视频数据进行提取获得预期目标；具体包括：
预先获取背景图像，建立背景参考模型；
将当前视频帧与背景参考模型进行比较，分离前景与背景，提取出预期目标的轮廓；
更新背景模型与样本点集合。
在第一方面的第三种可能实施方式中，所述对预期目标中的场景、人员和行为进行识别，确定预期目标是否为有效目标；具体为：
采集预期目标的样本集；
采用深度学习模型框架对样本集进行迭代更新，训练得到预期目标的模型；
使用训练好的目标模型判断前景分离出的预期目标是否为有效目标。
在第一方面的第四种可能实施方式中，所述对有效目标进行跟踪，获取该有效目标的系列图片；具体包括：
采用目标跟踪、目标合并以及目标评价技术，对有效目标进行持续跟踪，如果在当前帧中检测到有效目标，提取其特征元素及当前像素点位置，并保存下来；
检测跟踪的视频帧，如果有相同特征的目标，则持续记录其位置，形成目标轨迹并将其分类。
在第一方面的第五种可能实施方式中，所述识别系列图片中目标特征，并将识别结果进行存储；具体包括：
确定视频关键帧，记录帧号信息；
提取视频关键帧中的图片颜色、轮廓特征，对场景进行分类，融合，记录场景的首尾时间、帧号及目标特征信息；
通过评价模型对记录的每一帧目标特征进行评价，得到识别结果；
将识别结果存储于主服务器的数据库。
在第一方面的第五种可能实施方式中，所述确定视频关键帧，记录帧号信息；具体包括：
采用直方图比较法确定视频关键帧，提取每一帧的颜色直方图并比较差值，计算出直方图相似度；如果相似度超过设定的阈值，表示两帧相似度较高；反之，说明有场景或者目标的切换；选取后一帧作为关键帧，记录帧号信息。
在第一方面的第六种可能实施方式中，所述提取视频关键帧中的图片颜色、轮廓特征，对场景进行分类，融合，记录场景的首尾时间、帧号及目标特征信息；具体包括：
对视频关键帧上截取目标区域图像并进行归一化；
计算目标区域的颜色、纹理和形状特征矢量；
使用支持向量机对提取的头部特征矢量进行有和无的二分类判断；
对场景进行分类，融合；
记录下场景的首尾时间、帧号及目标特征信息。
第二方面，本发明实施例提供了一种基于边缘计算的视频结构化存储装置，包括：
有效目标识别模块，用于对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；
跟踪模块，用于对有效目标进行跟踪，获取该有效目标的系列图片；
判断存储模块，用于识别系列图片中目标特征，并将识别结果进行存储。
第三方面，本发明实施例提供了一种基于边缘计算的视频结构化存储装置，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于边缘计算的视频结构化存储方法。
第四方面，本发明实施例提供了一种基于边缘计算的视频结构化存储介质，所述基于边缘计算的视频结构化存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述基于边缘计算的视频结构化存储介质所在设备执行所述的基于边缘计算的视频结构化存储方法。
本发明的有益效果为：
本发明利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，无需在摄像机中进行视频分析等算法，减少了视频采集终端的成本；同时，结构化处理后的视频数据量也将大大减少，降低了骨干网络的压力。
附图说明
图1为本发明提出的基于边缘计算的视频结构化存储方法流程图；
图2为本发明提出的一具体实施例结构图；
图3为本发明提出的一具体实施例结构图；
图4为本发明提出的一具体实施例结构图；
图5为本发明提出的基于边缘计算的视频结构化存储装置结构图。
具体实施方式
本发明提供基于边缘计算的视频结构化存储方法，利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，减少了骨干网络的传输压力并实现了视频信息的高效组织，极大的提高设备存储的利用率。
本发明提供的技术方案总体思路如下：
本发明提供基于边缘计算的视频结构化存储方法，包括以下步骤：有效检测、场景跟踪和特征提取；其中，有效检测是先利用前景检测算法，根据预期目标的特征从视频场景中提取出预期目标；然后使用场景识别、人员识别和行为识别技术，识别出预期目标是否为有效目标。场景跟踪采用目标跟踪、目标合并以及目标评价技术，对前期目标进行持续跟踪，同时在整个跟踪过程中抓拍一张或多张高质量图片，最终对多帧中的相同目标进行特征评价。
以上是本申请的核心思想，为了使本技术领域的人员更好地理解本申请方案，下面结合附图对本申请作进一步的详细说明。应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
实施例一
如图1所示，为本发明提出的基于边缘计算的视频结构化存储方法流程图。
参照图1，基于边缘计算的视频结构化存储方法，利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，包括以下步骤：
步骤101，对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；
步骤102，对有效目标进行跟踪，获取该有效目标的系列图片；
步骤103，识别系列图片中目标特征，并将识别结果进行存储。
本发明实施例中，包括如下三个步骤：有效检测、场景跟踪和特征提取。其中，有效检测是先利用前景检测算法，根据预期目标的特征从视频场景中提取出预期目标，然后使用场景识别、人员识别和行为识别技术，识别出预期目标是否为有效目标（如：施工人员、安全帽和刀闸等）。场景跟踪采用目标跟踪、目标合并以及目标评价技术，对前期目标进行持续跟踪，同时在整个跟踪过程中抓拍一张或多张高质量图片，最终对多帧中的相同目标进行特征评价。特征提取是基于人工智能算法对已经获取到的抓拍图片中目标特征的识别，提取出该目标具有的可视化特征属性，例如施工人员的性别、行为、是否佩戴安全帽等，设备的开关、是否着火等。
参见图2，在步骤101中，所述对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；具体为：
步骤111，采用前景检测算法，对服务器内部的视频数据进行提取获得预期目标；
步骤112，对预期目标中的场景、人员和行为进行识别，确定预期目标是否为有效目标。
其中，采用前景检测算法，对服务器内部的视频数据进行提取获得预期目标；具体包括：
预先获取背景图像，建立背景参考模型；
将当前视频帧与背景参考模型进行比较，分离前景与背景，提取出预期目标的轮廓；
更新背景模型与样本点集合。
本发明实施例中，对预期目标中的场景、人员和行为进行识别，确定预期目标是否为有效目标；具体为：
采集预期目标的样本集；
采用深度学习模型框架对样本集进行迭代更新，训练得到预期目标的模型；
使用训练好的目标模型判断前景分离出的预期目标是否为有效目标。
本发明实施例中，首先，前端设备通过流媒体接口AVSSDK，其中AVSSDK为综合AVS（数字音视频编解码技术标准工作组）和SDK（Software Development Kit，软件开发工具包）的内部接口；把原始的视频数据传输给边缘服务器，该流媒体接口屏蔽了不同厂家设备之间的差异，将厂家的私有接口抽象成统一的对外接口，减少了视频数据的冗余度。
在边缘服务器中，使用背景减除法，提取出预期目标；通过当前帧的像素值与背景参考模型的像素值做差，获得像素点的灰度差值，如果该灰度差值超过了阈值，则认定该像素点为前景目标点。这样，就可以从非结构化的原始视频数据分离出预设的前景目标和背景模板。
该背景减除法中最重要的是像素值的比对，这要求背景模板不断更新，为此，本方法采用了ViBe背景建模法。该方法在初始化背景模板时，会为每个背景点初始化一个样本集合。当比较像素值时，待测像素点与该集合中所有点进行比较，然后取所有差值的平均值，判定该检测点是否超过阈值，如果是，则不属于该集合内，为前景点，反之为背景点，同时更新背景模型与样本点集合。
在分离出了前景后，本方法采用场景识别，人员识别，行为识别算法，识别出前景是否为有效目标。以行为识别为例，在检测到的前景区域中提取人体特征（包括LUV颜色特征、梯度直方图HOG特征和深度学习特征）并使用AdaBoost和滑窗法搜索人体并进而定位人体区域。从而判断该人员是否跨越安全区域等。
参见图3，在步骤102中，所述对有效目标进行跟踪，获取该有效目标的系列图片；具体包括：
步骤121，采用目标跟踪、目标合并以及目标评价技术，对有效目标进行持续跟踪，如果在当前帧中检测到有效目标，提取其特征元素及当前像素点位置，并保存下来；
步骤122，检测跟踪的视频帧，如果有相同特征的目标，则持续记录其位置，形成目标轨迹并将其分类。
本发明实施例中，如果在当前帧中检测到有效目标，将提取其将运动速度等变化特征和区域紧凑度的变化作为分类特征元素，并保存下来。同时检测后面的视频帧，如果有相同分类特征的目标，则记录其像素点位置信息及运动轨迹。通过其运动轨迹可区分该前景目标为“人”、“车辆”、“设备”等，生成目标分类。
参见图4，在步骤103中，所述识别系列图片中目标特征，并将识别结果进行存储；具体包括：
步骤131，确定视频关键帧，记录帧号信息；
步骤132，提取视频关键帧中的图片颜色、轮廓特征，对场景进行分类，融合，记录场景的首尾时间、帧号及目标特征信息；
步骤133，通过评价模型对记录的每一帧目标特征进行评价，得到识别结果；
步骤134，将识别结果存储于主服务器的数据库。
其中，所述确定视频关键帧，记录帧号信息；具体包括：
采用直方图比较法确定视频关键帧，提取每一帧的颜色直方图并比较差值，计算出直方图相似度；如果相似度超过设定的阈值，表示两帧相似度较高；反之，说明有场景或者目标的切换；选取后一帧作为关键帧，记录帧号信息。
本发明实施例中，所述提取视频关键帧中的图片颜色、轮廓特征，对场景进行分类，融合，记录场景的首尾时间、帧号及目标特征信息；具体包括：对视频关键帧上截取目标区域图像并进行归一化；计算目标区域的颜色、纹理和形状特征矢量；使用支持向量机（SVM）对提取的头部特征矢量进行有和无的二分类判断；对场景进行分类，融合；记录下场景的首尾时间、帧号及目标特征信息。
本发明实施例中，基于人工智能算法对已经获取到的抓拍图片中目标特征的识别，提取出该目标具有的可视化特征属性。首先需要确定视频关键帧，本方法采用了直方图比较法。该方法读取联系两帧图像，提取每一帧的颜色直方图并比较差值，计算出直方图相似度。如果相似度超过设定的阈值，表示两帧相似度较高。反之，说明有场景或者目标的切换，选取后一帧作为关键帧，记录帧号信息。
记录下关键帧后，需提取该帧中的图片的颜色、轮廓等特征。首先从帧原始图像中截取目标区域图像并进行归一化；其次，计算目标区域的颜色、纹理和形状特征矢量；最后使用支持向量机（SVM）对提取的头部特征矢量进行有和无的二分类判断。然后对场景进行分类，融合。最后，记录下场景的首尾时间、帧号及目标特征等信息。
最后，为了合理的评价该方法的结果，本方法建立了性能评测模型，模型公式如
下： ；
通过评价模型对记录的每一帧目标特征进行评价，得分最高的确定为其最终识别结果，最终将这些信息存储进主服务器的数据库。
本发明利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，无需在摄像机中进行视频分析等算法，减少了视频采集终端的成本；同时，结构化处理后的视频数据量也将大大减少，降低了骨干网络的压力。
实施例二
参见图5，基于与前述实施例中基于边缘计算的视频结构化存储方法同样的发明构思，本发明还提供基于边缘计算的视频结构化存储装置。
一种基于边缘计算的视频结构化存储装置，其特征在于，包括：
有效目标识别模块201，用于对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；
跟踪模块202，用于对有效目标进行跟踪，获取该有效目标的系列图片；
判断存储模块203，用于识别系列图片中目标特征，并将识别结果进行存储。
实施例一中的基于边缘计算的视频结构化存储方法的各种变化方式和具体实例同样适用于本实施例的基于边缘计算的视频结构化存储方法，通过前述对基于边缘计算的视频结构化存储方法的详细描述，本领域技术人员可以清楚的知道本实施例中基于边缘计算的视频结构化存储方法，所以为了说明书的简洁，在此不再详述。
实施例三
一种基于边缘计算的视频结构化存储设备，其特征在于，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时所述的一种基于边缘计算的视频结构化存储方法。其中处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digita l Sig na l Processor，DSP) 、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于边缘计算的视频结构化存储方法的控制中心，利用各种接口和线路连接整个所述基于边缘计算的视频结构化存储方法的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现基于边缘计算的视频结构化存储装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card ,SMC)，安全数字(Secure Digital ,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例三
一种基于边缘计算的视频结构化存储介质，其特征在于，所述基于边缘计算的视频结构化存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述基于边缘计算的视频结构化存储介质所在设备执行所述的基于边缘计算的视频结构化存储方法。
其中，所述基于边缘计算的视频结构化存储方法集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
上述实施例为本发明的经典案例，但本发明的实施方式并不受上述实施例的限制。其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化等，均应为等效的置换方式，都包含在本发明的保护范围之内。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。
Claims (5)
1.基于边缘计算的视频结构化存储方法，其特征在于，利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，包括以下步骤：
对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；
对有效目标进行跟踪，获取该有效目标的系列图片；
识别系列图片中目标特征，并将识别结果进行存储；
所述对有效目标进行跟踪，获取该有效目标的系列图片；具体包括：
采用目标跟踪、目标合并以及目标评价技术，对有效目标进行持续跟踪，如果在当前帧中检测到有效目标，提取其特征元素及当前像素点位置，并保存下来；
检测跟踪的视频帧，如果有相同特征的目标，则持续记录其位置，形成目标轨迹并将其分类；
所述识别系列图片中目标特征，并将识别结果进行存储；具体包括：
确定视频关键帧，记录帧号信息；
提取视频关键帧中的图片颜色、轮廓特征，对场景进行分类，融合，记录场景的首尾时间、帧号及目标特征信息；
通过评价模型对记录的每一帧目标特征进行评价，得到识别结果；
将识别结果存储于主服务器的数据库；
所述对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；具体为：
采用前景检测算法，对服务器内部的视频数据进行提取获得预期目标；
对预期目标中的场景、人员和行为进行识别，确定预期目标是否为有效目标；
所述采用前景检测算法，对服务器内部的视频数据进行提取获得预期目标；具体包括：
预先获取背景图像，建立背景参考模型；
将当前视频帧与背景参考模型进行比较，分离前景与背景，提取出预期目标的轮廓；
更新背景模型与样本点集合；
所述确定视频关键帧，记录帧号信息；具体包括：
采用直方图比较法确定视频关键帧，提取每一帧的颜色直方图并比较差值，计算出直方图相似度；如果相似度超过设定的阈值，表示两帧相似度较高；反之，说明有场景或者目标的切换；选取后一帧作为关键帧，记录帧号信息；
所述提取视频关键帧中的图片颜色、轮廓特征，对场景进行分类，融合，记录场景的首尾时间、帧号及目标特征信息；具体包括：
对视频关键帧上截取目标区域图像并进行归一化；
计算目标区域的颜色、纹理和形状特征矢量；
使用支持向量机对提取的头部特征矢量进行有和无的二分类判断；
对场景进行分类，融合；
记录下场景的首尾时间、帧号及目标特征信息。
2.根据权利要求1所述的方法，其特征在于，所述对预期目标中的场景、人员和行为进行识别，确定预期目标是否为有效目标；具体为：
采集预期目标的样本集；
采用深度学习模型框架对样本集进行迭代更新，训练得到预期目标的模型；
使用训练好的目标模型判断前景分离出的预期目标是否为有效目标。
3.一种基于边缘计算的视频结构化存储装置，其特征在于，采用如权利要求1-2中任一所述的一种基于边缘计算的视频结构化存储方法，包括：
有效目标识别模块，用于对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；
跟踪模块，用于对有效目标进行跟踪，获取该有效目标的系列图片；
判断存储模块，用于识别系列图片中目标特征，并将识别结果进行存储。
4.一种基于边缘计算的视频结构化存储设备，其特征在于，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至2中任意一项所述的一种基于边缘计算的视频结构化存储方法。
5.一种基于边缘计算的视频结构化存储介质，其特征在于，所述基于边缘计算的视频结构化存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述基于边缘计算的视频结构化存储介质所在设备执行如权利要求1至2中任意一项所述的基于边缘计算的视频结构化存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910851144.0A CN110795595B (zh) | 2019-09-10 | 2019-09-10 | 基于边缘计算的视频结构化存储方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910851144.0A CN110795595B (zh) | 2019-09-10 | 2019-09-10 | 基于边缘计算的视频结构化存储方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110795595A CN110795595A (zh) | 2020-02-14 |
| CN110795595B true CN110795595B (zh) | 2024-03-05 |
Family
ID=69427294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910851144.0A Active CN110795595B (zh) | 2019-09-10 | 2019-09-10 | 基于边缘计算的视频结构化存储方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110795595B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111405241B (zh) * | 2020-02-21 | 2021-09-21 | 中国电子技术标准化研究院 | 一种用于视频监控的边缘计算方法和*** |
| CN111462167A (zh) * | 2020-04-21 | 2020-07-28 | 济南浪潮高新科技投资发展有限公司 | 一种结合边缘计算与深度学习的智能终端视频分析算法 |
| CN111563726B (zh) * | 2020-04-30 | 2024-07-05 | 平安国际智慧城市科技股份有限公司 | 企业整改监管方法、装置、设备及计算机可读存储介质 |
| CN111787280A (zh) * | 2020-06-30 | 2020-10-16 | 清华大学 | 基于边缘计算的视频实时目标追踪方法及装置 |
| CN112752116A (zh) * | 2020-12-30 | 2021-05-04 | 广州繁星互娱信息科技有限公司 | 直播视频画面的显示方法、装置、终端及存储介质 |
| CN112732718B (zh) * | 2021-01-06 | 2022-06-14 | 华南理工大学 | 面向云边端的智能结构化数据方法、***和介质 |
| CN112965693A (zh) * | 2021-02-19 | 2021-06-15 | 合肥海赛信息科技有限公司 | 一种基于边缘计算的视频分析软件设计方法 |
| CN113114982B (zh) * | 2021-03-12 | 2022-08-30 | 广西东信易联科技有限公司 | 一种物联网数据传输方法及*** |
| CN113141486A (zh) * | 2021-04-01 | 2021-07-20 | 深圳市安软科技股份有限公司 | 基于边缘计算引擎的数据传输方法、装置及相关设备 |
| CN114170619B (zh) * | 2021-10-18 | 2022-08-19 | 中标慧安信息技术股份有限公司 | 基于边缘计算的数据核查方法和*** |
| CN114926973B (zh) * | 2022-04-06 | 2023-07-14 | 珠海市横琴渤商数字科技有限公司 | 一种视频监控方法、装置、***、服务器及可读存储介质 |
| CN114697761B (zh) * | 2022-04-07 | 2024-02-13 | 脸萌有限公司 | 一种处理方法、装置、终端设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810711A (zh) * | 2014-03-03 | 2014-05-21 | 郑州日兴电子科技有限公司 | 一种用于监控***视频的关键帧提取方法及其*** |
| CN108009473A (zh) * | 2017-10-31 | 2018-05-08 | 深圳大学 | 基于目标行为属性视频结构化处理方法、***及存储装置 |
| CN109194926A (zh) * | 2018-10-19 | 2019-01-11 | 济南浪潮高新科技投资发展有限公司 | 一种基于边缘计算的城市安防***及其检测方法 |
-
2019
- 2019-09-10 CN CN201910851144.0A patent/CN110795595B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810711A (zh) * | 2014-03-03 | 2014-05-21 | 郑州日兴电子科技有限公司 | 一种用于监控***视频的关键帧提取方法及其*** |
| CN108009473A (zh) * | 2017-10-31 | 2018-05-08 | 深圳大学 | 基于目标行为属性视频结构化处理方法、***及存储装置 |
| CN109194926A (zh) * | 2018-10-19 | 2019-01-11 | 济南浪潮高新科技投资发展有限公司 | 一种基于边缘计算的城市安防***及其检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王珍珠 ; 王玉静 ; 康守强 ; 魏兆祥 ; 章璜 ; 徐安彤 ; .基于网络摄像头的实验室运动目标检测***.实验室研究与探索.2018,(06),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110795595A (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110795595B (zh) | 基于边缘计算的视频结构化存储方法、装置、设备及介质 | |
| US10395385B2 (en) | Using object re-identification in video surveillance | |
| EP3493101B1 (en) | Image recognition method, terminal, and nonvolatile storage medium | |
| CN109697416B (zh) | 一种视频数据处理方法和相关装置 | |
| WO2020173022A1 (zh) | 一种识别车辆违章行为的方法、服务器及存储介质 | |
| Singh et al. | Visual big data analytics for traffic monitoring in smart city | |
| Youssef et al. | Fast traffic sign recognition using color segmentation and deep convolutional networks | |
| CN105320705B (zh) | 相似车辆的检索方法及装置 | |
| CN110188829B (zh) | 神经网络的训练方法、目标识别的方法及相关产品 | |
| KR20170026222A (ko) | 이미지의 객체를 분류하기 위한 방법 및 디바이스, 및 대응하는 컴퓨터 프로그램 제품 및 컴퓨터 판독가능한 매체 | |
| Razalli et al. | Emergency vehicle recognition and classification method using HSV color segmentation | |
| Bell et al. | A novel system for nighttime vehicle detection based on foveal classifiers with real-time performance | |
| CN111401308B (zh) | 一种基于光流效应的鱼类行为视频识别方法 | |
| CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
| Zhong et al. | Learning to tell brake lights with convolutional features | |
| CN112507860A (zh) | 一种视频标注方法、装置、设备及存储介质 | |
| CN114898342A (zh) | 行驶中非机动车驾驶员接打电话的检测方法 | |
| CN110472561B (zh) | 足球进球类型识别方法、装置、***及存储介质 | |
| CN113313098B (zh) | 视频处理方法、设备、***及存储介质 | |
| CN112581495A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN110210425B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN115457595A (zh) | 人脸与人体的关联方法、电子设备以及存储介质 | |
| CN112989869B (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
| CN114549867A (zh) | 闸机逃票检测方法、装置、计算机设备及存储介质 | |
| CN109325521B (zh) | 用于虚拟人物的检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |