CN113055705B - 基于大数据分析的云计算平台数据存储方法 - Google Patents
基于大数据分析的云计算平台数据存储方法 Download PDFInfo
- Publication number
- CN113055705B CN113055705B CN202110320876.4A CN202110320876A CN113055705B CN 113055705 B CN113055705 B CN 113055705B CN 202110320876 A CN202110320876 A CN 202110320876A CN 113055705 B CN113055705 B CN 113055705B
- Authority
- CN
- China
- Prior art keywords
- video
- video segment
- action
- similarity
- coordinate point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013500 data storage Methods 0.000 title claims abstract description 8
- 238000007405 data analysis Methods 0.000 title claims abstract description 7
- 238000007906 compression Methods 0.000 claims abstract description 40
- 230000006835 compression Effects 0.000 claims abstract description 39
- 230000007613 environmental effect Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 abstract description 10
- 230000000875 corresponding effect Effects 0.000 description 22
- 230000006399 behavior Effects 0.000 description 15
- 230000006698 induction Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000001939 inductive effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000411 inducer Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
- H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种基于大数据分析的云计算平台数据存储方法，该方法包括：对视频进行分段处理，得到单一动作视频段集合、动作变化视频段集合；基于环境信息将动作变化视频段集合进一步划分为第一视频段子集合和第二视频段子集合；将第一视频段子集合中的每个动作变化视频段划分为若干视频块，基于每个视频块中的环境信息计算每个视频块的第一压缩系数，基于第一压缩系数对第一视频段子集合中的动作变化视频段进行压缩；对单一动作视频段集合中的视频段和第二视频段子集合中的视频段按照预设的第二压缩系数进行压缩；本发明基于行人的动作与环境信息进行视频的压缩，减少对无用数据的存储。
Description
技术领域
本发明涉及视频数据存储领域，具体为一种基于大数据分析的云计算平台数据存储方法。
背景技术
城市道路上安装的相机用于采集道路行人的图像信息，根据采集的图像信息进行道路行人监控、安全分析、行人统计识别、取证调查、大数据分析等；一般采集的图像会上传到云平台进行数据存储，但是由于图像或视频信息过于庞大，因此会占用很大的存储空间。
获取到的图像或视频数据存在大量重复或者不重要的信息，因此需要对图像视频数据进行压缩；同时由于数据具有时效性，因此也需要对过时的数据进行压缩删减。
目前已经有很成熟且通用的对视频进行压缩的视频压缩算法，但利用现有的视频压缩算法对大量的视频进行压缩时，压缩量不大，导致在云端存储压缩后的数据时依旧会占用大量存储空间，而且还有可能丢失重要数据或者不能剔除非重要数据，不适合交通视频数据的大规模压缩。
发明内容
为了解决上述问题，本发明提出一种基于大数据分析的云计算平台数据存储方法，该方法包括：
基于视频中行人的动作对视频进行分段处理，得到动作变化视频段集合；基于时序上行人动作的变化将动作变化视频段集合划分为若干动作变化视频段子集合，对每个动作变化视频段子集合中的动作变化视频段：基于该子集合中任意两个动作变化视频段的环境信息相似度对该子集合中的动作变化视频段进行分类，将满足预设条件的动作变化视频段加入第一视频段子集合；第一视频段子集合中任意两个动作变化视频段的相似度都满足预设条件；
基于划分图像块的方法将第一视频段子集合中的每个动作变化视频段划分为若干视频块，在第一视频段子集合所有动作变化视频段中处于同一位置的视频块的第一压缩系数的计算方法为：基于处于该位置的视频块与视频块间的环境信息的相似度、该位置视频块间环境信息的相似度与其他位置视频块间环境信息的相似度的变化趋势计算处于该位置的视频块的第一压缩系数；基于第一压缩系数对第一视频段子集合中的动作变化视频段进行压缩；
对经过压缩处理的动作变化视频段进行存储。
进一步地，对视频进行分段处理后还得到单一动作视频段集合，所述单一动作视频段集合中每个单一动作视频段对应一个视频段类别，视频段类别包括站立、行走、跑；单一动作视频段的每帧图像中都有超过预设数量阈值的行人的动作类别与该单一动作视频段的视频段类别一致；
所述动作变化视频段集合中的动作变化视频段是单一动作视频段的视频段类别发生变化时两个单一动作视频段之间的视频。
进一步地，两个动作变化视频段的相似度的计算方法为：将两个动作变化视频段依次输入神经网络中，得到两个环境特征向量，根据两个环境特征向量间的距离得到相似度；其中，所述环境信息是指行人以外的信息。
进一步地，对一个动作变化视频段子集合中的动作变化视频段进行分类后还得到第二视频段子集合，若该动作变化视频段子集合中两个动作变化视频段的相似度满足预设条件，则将两个动作变化视频段归于第二视频段子集合。
进一步地，第一压缩系数的计算方法为：
将第一视频段子集合中的每个动作变化视频段都划分为N个视频块，第一视频段子集合中每个动作变化视频段的第n个视频块构成视频块集合xn，n的取值范围为[1,N]，计算集合xn中任意两个视频块的相似度，得到相似度集合yn，根据集合yn中的所有相似度计算相似度均值与相似度方差，相似度均值与相似度方差的比值为an；
设置滑动窗口，分别以视频块集合xn中每个视频块为中心对集合xn进行滑窗，基于滑动窗口中任意两个视频块的相似度得到相似度矩阵，基于每个相似度矩阵的特征值得到bn；an与bn的乘积为βn；
获取坐标点Snm＝(Snij,Smij)，Snij表示第一视频段子集合中第i个动作变化视频段的第n个视频块与第j个动作变化视频段的第n个视频块的相似度，Smij表示第一视频段子集合中第i个动作变化视频段的第m个视频块与第j个动作变化视频段的第m个视频块的相似度，视频块集合xm的获取方法和获取视频块集合xn的方法相同，m的取值范围为[1,N]，且m不等于n；对坐标点进行聚类，得到若干坐标点类别，基于所有坐标点类别中坐标点对应的视频块得到图结构，将图结构划分为子图结构，基于包括第n个视频块的子图结构中的权值计算第n个视频块的协同度γn；
基于an、βn、γn得到每个动作变化视频段中第n个视频块的第一压缩系数。
进一步地，所述聚类具体为：
将二维坐标点(Snij,Smij)转换为四维坐标点(n,m,Snij,Smij)，对四维坐标点进行聚类，得到若干坐标点类别，每个坐标点类别中所有四维坐标点对应的(n,m)相同。
进一步地，所述图结构的获取方法为：
获取所有坐标点类别中坐标点对应的视频块，将每个视频块视为一个节点，将每个坐标点类别对应的节点相连后进行相同节点的融合，相连的两个节点间权值为1；选择两个相连的节点为两个原始点，寻找与原始点相连的邻接点，获取原始点、与原始点相连的邻接点的邻接坐标点类别，获取两个原始点的初始坐标点类别，计算邻接坐标点类别与初始坐标点类别间的类别权值，基于最大类别权值更新两个原始点间的权值。
进一步地，所述类别权值的计算方法为：对于两个坐标点类别，获取每个坐标点类别中所有坐标点对应的动作变化视频段的个数，重复出现的动作变化视频段只统计一次，每个坐标点类别对应的动作变化视频段的个数与第一视频段子集合中的动作变化视频段总个数的比值为该坐标点类别的视频占比；两个坐标点类别的视频占比的均值为δ；根据每个坐标点类别中的所有坐标点获取每个坐标点类别对应的动作变化视频段，计算两个坐标点类别对应的动作变化视频段的交并比ε，δ和ε的乘积为类别权值。
进一步地，所述基于最大类别权值更新两个原始点间的权值为以最大类别权值与初始坐标点类别视频占比的乘积更新两个原始点间的权值。
进一步地，对单一动作视频段集合、第二视频段子集合中的视频段按照预设的第二压缩系数进行压缩。
本发明的有益效果在于：
1.本发明对云平台上存储的旧的视频数据进行压缩，减少所需存储空间，有利于新获得的数据的存储，同时将具有相同信息的数据进行统一存储，方便数据的检索和遍历。
2.本发明根据行人的动作进行数据压缩，减少对无用数据的存储，保证将对行人动作有影响的、有重要信息的数据保留下来。
3.在本发明的基础上，通过现有技术对本发明压缩后的视频再次压缩，最终可以极大的减少存储空间，另外经过本发明的压缩之后，视频数据量变少，能够减少现有技术再次压缩视频时的计算量。
附图说明
图1为本发明实施流程图。
具体实施方式
为了让本领域技术人员更好的理解本发明，下面结合实施例对本发明进行详细描述。
由于旧的、过时的交通数据重要性不大，但是又不能完全删除，因此，本发明的主要目的是实现对云端存储的旧的、过时的数据进行压缩存储。
实施例：
该实施例只对存储在云平台的上一季度的视频数据进行压缩存储，本发明的实施流程如图1所示，其主要思路为：
当采集的视频中行人具有相同的行为和动作时，表示视频中具有相似的信息，此类视频成为单一动作视频，那么这些视频需要进行压缩和统一存储；
当视频中行人的动作发生变化时，如动作由站立变为行走等，此类行人动作行为正在改变的视频成为动作变化视频，对于动作变化视频，需要检测行人所处环境的相似性，如果环境相似性大，说明所处环境对行人的这种行为变化具有决定作用，那么这些视频序列需要统一存储在一起并进行压缩；如果相似性小那么需要将图像或视频分成不同的块进行分析与存储和压缩。
步骤一，基于视频中行人的动作对视频进行分段处理，得到单一动作视频段集合、动作变化视频段集合；具体地：
采用OpenPose网络获取视频中每帧图像中的每个行人的二维骨骼关键点，获取一段视频中每个行人的二维骨骼关键点的变化序列，并输入到TCN网络中，获得每个行人在该段视频序列中的动作类别，本发明将行人的动作分为站立、行走、跑三种动作类别；具体的利用TCN网络获取行人行为动作类别的方法是常规技术，本发明不再赘述具体细节。
通过对视频中行人的动作检测，可以获得不同时刻不同行人的动作类别。对于某个时刻，获取每个动作类别的行人数量的百分比，简称为每个动作类别的动作占比；获取动作占比最大的动作类别，表示处于该动作类别的行人数目最多；本发明将动作占比最大的动作类别作为该时刻的所有行人的动作类别，简称为动作类别。
如果连续时间内，每个时刻动作类别的动作占比均大于0.8，并且动作类别相同，那么这段时间的视频序列为单一动作视频段，相应的动作类别为该单一动作视频段的视频段类别；即一段时间内的视频序列中每个时刻有大于80％的行人的动作类别为行走，则该视频序列为单一动作视频段，该视频序列的视频段类别为行走。
当单一动作视频段的视频段类别发生改变时，获取两个视频段类别不同的单一动作视频段之间的视频序列，该视频序列为动作变化视频段；若视频段类别由行走变为跑，则该动作变化视频段的视频段类别为(行走，跑)。
至此，得到单一动作视频段集合、动作变化视频段集合。
步骤二，基于时序上行人动作的变化即视频段类别将动作变化视频段集合划分为若干动作变化视频段子集合，每个动作变化视频段子集合中的行人具有相同的动作变化，子集合中的视频段也存在相同的信息，需要进行压缩。
对每个动作变化视频段子集合中的动作变化视频段进行以下操作：
a)基于动作变化视频段中的环境信息计算该子集合中任意两个动作变化视频段的相似度，具体地，将经过插帧或删帧处理的长度相同的两个动作变化视频段依次输入神经网络中，得到两个环境特征向量，具有相同环境信息的两个动作变化视频段获得的两个环境特征向量一致，具有不同环境信息的两个动作变化视频段的环境特征向量不一致；计算两个环境特征向量间的距离l，e-l为相似度；其中，所述环境信息是指行人以外的信息，包括道路、车流、信号灯、道路标识、电子告示牌、路障等。
b)基于相似度大小对动作变化视频段进行分类，得到第一视频段子集合和第二视频段子集合；具体地，若两个动作变化视频段的相似度大于相似度阈值，则将这两个动作变化视频段归入第二视频段子集合，在动作变化视频段子集合中除去第二视频段子集合中包括的动作变化视频段，剩余的动作变化视频段构成第一视频段子集合。
c)基于划分图像块的方法将第一视频段子集合中的每个动作变化视频段按照相同的划分规则划分为若干视频块，实施例将每个动作变化视频段划分为16个视频块，即将动作变化视频段中的每张图像划分为16个图像块，划分时不一定要等分，实施者可根据实际情况确定划分规则，视频块中的环境信息会改变行人的动作；第一视频段子集合中任意两个动作变化视频段的相似度虽然不大，但是可能存在环境相似度较大的视频块，对于这样的视频块，其对应着相同的行人行为变化，说明这样的视频块使得行人的行为动作发生改变，即这样的视频块诱发了行人行为动作的切换与改变，对于这样的视频块应该存储在一起并进行压缩。对于那些不是诱发行人行为改变的视频块，说明这些视频块所包含的信息不重要，那么这些视频块应该压缩的程度稍微大一些。基于处于该位置的视频块与视频块间的环境信息的相似度、该位置视频块间环境信息的相似度与其他位置视频块间环境信息的相似度的变化趋势计算处于该位置的视频块的第一压缩系数，基于第一压缩系数对第一视频段子集合中的动作变化视频段进行压缩；其中，在每个动作变化视频段处于同一位置的每个视频块的第一压缩系数的计算方法为：
1)将第一视频段子集合中的每个动作变化视频段都划分为N个视频块，第一视频段子集合中每个动作变化视频段的第n个视频块构成视频块集合xn，n的取值范围为[1,N]，计算集合xn中任意两个视频块的相似度，得到相似度集合yn，根据集合yn中的所有相似度计算相似度均值与相似度方差，相似度均值与相似度方差的比值为an；
当相似度均值较大、相似度方差小时，说明这些动作变化视频段的环境相似度大而且不同动作变化视频段的环境相似度的差别不大，表明该视频块的动作诱发因子大，能够决定行人行为动作的变化；当相似度均值相对较小同时相似度方差也小时，说明这些动作变化视频段的环境相似度小但是不同动作变化视频段的环境相似度的差别也不大，表明该视频块的动作诱发因子小，不能够决定行人行为的变化，但是鉴于环境相似度的差别也不大，因此需要结合环境协同性才能进一步确定该视频块如何决定行人的行为变化；当相似度均值小同时相似度方差大时，说明这些动作变化视频段的环境相似度小而且不同动作变化视频段的环境相似度的差别也比较大，表明该视频块的动作诱发因子小，不能够决定行人行为的变化。
举例来说，一个视频块中有控制行人通行的红绿灯，该红绿灯正常工作，该视频块中的所有动作变化视频段的环境相似度都是较大，即所述的均值大，方差小，说明该视频块独立决定行人的行为变化。若视频块中有停车位、共享单车或者电子广告牌时，该视频块中的所有动作变化视频段的环境相似度有大有小，即所述均值小，方差大，说明该视频块不决定行人的行为动作变化。若视频块中只有部分车流信息或者部分信号灯信息时，单单部分车流或部分信号灯等无法完全决定行人但是由于行人的行为变化存在一些关联，该视频块中的所有动作变化视频段的环境相似度有大有小，但是大小差异波动又不大，即均值相对较小，方差小，只有该视频块的部分车流与其他视频块的车流相结合、相协同时才能计算出该视频块是否决定行人行为动作的改变。
2)设置滑动窗口，实施例中滑动窗口大小为1*11，分别以视频块集合xn中每个视频块为中心对集合xn进行滑窗，基于滑动窗口中任意两个视频块的相似度得到相似度矩阵，具体地，计算任意两个视频块的相似度，当相似度小于一定阈值时相似度置为0，所有相似度构成相似度矩阵，矩阵对角线元素为零；获取每个相似度矩阵的拉普拉斯矩阵的特征值，基于每个相似度矩阵对应的拉普拉斯矩阵的所有特征值计算特征值方差，根据特征值方差与最大特征值之和c计算诱发值e-c，诱发值越大说明滑动窗口内的视频块的相似度变化越均匀；值越小表示相似度有剧烈变化，此时滑动窗口内的视频块对动作诱发因子的计算干扰性越大，对计算动作诱发因子而言其重要性就越小，滑窗滑动一次得到一个诱发值，滑窗结束后，得到多个诱发值，多个诱发值经过归一化处理后Top-D个诱发值的均值为bn；an与bn的乘积为βn，βn为第n个视频块的动作诱发因子，βn需进行归一化处理，D的取值实施者可根据实际情况确定，实施例中D的取值为第一视频段子集合中的动作变化视频段总个数的十分之一。
3)获取坐标点Snm＝(Snij,Smij)，Snij第一视频段子集合中第i个动作变化视频段的第n个视频块与第j个动作变化视频段的第n个视频块的相似度，Smij表示第一视频段子集合中第i个动作变化视频段的第m个视频块与第j个动作变化视频段的第m个视频块的相似度，视频块集合xm的获取方法和获取视频块集合xn的方法相同，m的取值范围为[1,N]，且m不等于n；对坐标点进行聚类，得到若干坐标点类别，聚类具体为，将二维坐标点(Snij,Smij)转换为四维坐标点(n,m,Snij,Smij)，对四维坐标点进行均值漂移聚类，得到若干坐标点类别，每个坐标点类别中所有四维坐标点对应的(n,m)相同；获取每个坐标点类别中所有坐标点对应的动作变化视频段的个数，重复出现的动作变化视频段只统计一次，每个坐标点类别对应的动作变化视频段的个数与第一视频段子集合中的动作变化视频段总个数的比值为该坐标点类别的视频占比；将视频占比小于预设视频占比阈值的坐标点类别删除；
基于所有坐标点类别中坐标点对应的视频块得到图结构：获取所有坐标点类别中坐标点对应的视频块，其中，坐标点类别中坐标点对应的视频块只考虑视频块是第几个视频块，不考虑视频块属于哪个动作变化视频段，每个坐标点类别对应两个视频块即第n个视频块和第m个视频块，将每个视频块视为一个节点，将每个坐标点类别对应的节点相连后进行相同节点的融合，相连的两个节点间权值为1；选择两个相连的节点为两个原始点，寻找与原始点相连的邻接点，获取原始点、与原始点相连的邻接点的邻接坐标点类别，获取两个原始点的初始坐标点类别，计算邻接坐标点类别与初始坐标点类别间的类别权值，以最大类别权值与初始坐标点类别视频占比的乘积更新两个原始点间的权值；其中，类别权值的计算方法为：两个坐标点类别的视频占比的均值为δ；根据每个坐标点类别中的所有坐标点获取每个坐标点类别对应的动作变化视频段，计算两个坐标点类别对应的动作变化视频段的交并比ε；δ越大，说明两个坐标点类别对应的动作变化视频段的数量就越多，两个坐标点类别就更加相似，ε越大说明两个坐标点类别对应的多个动作变化视频段重合度就越大，两个坐标点类别就越相似，因此，δ和ε的乘积为类别权值。
若两个原始点的初始坐标点类别有多个，则计算每个初始坐标点类别与邻接坐标点类别的类别权值，在其中选择最大的类别权值，获取每个初始坐标点类别的视频占比，则以最大类别权值与最大视频占比的乘积更新两个原始点间的权值。
将节点间连接边的权值小于预设权值阈值的连接边断开，即将图结构划分为子图结构，基于包括第n个视频块的子图结构中的权值计算第n个视频块的协同度γn，具体地，包括第n个视频块的子图结构中的与第n个视频块相连的连接边的权值的均值为γn。
引入视频块协同度的有益效果是：某个视频块协同度越大，那么说明该视频块对其他视频块的依赖性强，对于依赖性强的视频块其压缩程度不能太大。若子图结构中只包括一个视频块，则该视频块的协同度为0。
4)基于an、βn、γn计算每个动作变化视频段中第n个视频块即在每个动作变化视频段中处于同一位置的第n个视频块的第一压缩系数：
其中，gn表示第n个视频块的压缩程度，θ为超参，使0≤θan≤1，θan为动作诱发因子参考系数，θan越大，表示越不太注重视频块的协同性，而是更多的注重动作诱发因子；对于动作诱发因子或协同度大的视频块其压缩程度相对于其他视频块要小。第n个视频块的第一压缩系数k1n为：
σ为超参数，实施例中σ取值为0.5。
对第n个视频块进行压缩时需要删除的图像帧数为k1n与第一视频段子集合中图像总帧数的乘积，需要删除的图像帧数的选择方法和下述对单一动作视频段进行压缩时所有方法相同；需要说明，每个动作变化视频段中每个视频块的占比系数都为该动作变化视频段的占比系数，动作变化视频段的占比系数的获取方法为时序上该动作变化视频段前后两个单一动作视频段的占比系数的均值。
d)对单一动作视频段集合、第二视频段子集合中的视频段按照第二压缩系数k2进行压缩，实施例中第二压缩系数k2为0.4，具体地，获取单一动作视频段集合中图像总帧数，在单一动作视频段集合中删除的帧数K的计算方法为第二压缩系数乘以图像总帧数。
在一个实施例中，需要删除的K帧图像的选择方法为：获取单一动作视频段中每个时刻的动作类别的行为占比，所有时刻的动作占比的均值称为占比系数，占比系数越大说明单一动作视频段中处于相同动作类别的行人就越多，获取单一动作视频段集合中每个单一动作视频段的占比系数，根据所有占比系数计算每个单一动作视频段对应的占比系数的采样概率，设单一动作视频段集合中第p个单一动作视频段的占比系数为zp，则该占比系数的采样概率为
P为单一动作视频段集合中单一动作视频段的总个数，则需要在第p个单一动作视频段中随机选择
帧图像进行删除；单一动作视频段集合中每个单一动作视频段都按照上述方法计算需要删除的图像帧数。
在另一个实施例中，需要删除的K帧图像的选择方法为：获取单一动作视频段集合中每个单一动作视频段的占比系数的采样概率，基于所有占比系数的采样概率得到概率分布，基于概率分布的随机采样法随机生成一个整数q，q的取值范围为[1，P]，在第q个单一动作视频段随机删除一帧图像，重复K次随机生成整数的过程，得到K个随机整数q，每得到一次整数q，在第q个单一动作视频段随机删除一帧图像，最终删除K帧图像。其中，基于概率分布的随机采样法随机生成一个整数的方法是公知的，本发明不再赘述。
至此，完成单一动作视频段集合、动作变化视频段集合中视频段的压缩。
对经过压缩处理的单一动作视频段、动作变化视频段进行存储，具体地，实施例给出一种存储方式，压缩后的单一动作视频段存储在一起，因为这些单一动作视频段具有相同的动作类别，存储在一起有利于数据的检索和遍历；压缩后的第二视频段子集合中的视频段存储在一起，第一视频段子集合中的动作变化视频段进行分块存储，即每个动作变化视频段中第n个视频块存储在一起。
本发明只是对于有相同信息和重要信息的视频数据进行压缩和存储，实施者可以在本发明的基础上对视频数据进一步压缩，压缩方法是常规的、通用的压缩方法，例如将视频中静态的物体信息进行压缩，进而更近一步节省存储空间。
以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明，凡是在本发明精神和原则之内做出的修改与变动皆在本发明的保护范围内。
Claims (9)
1.一种基于大数据分析的云计算平台数据存储方法，其特征在于，该方法包括：
基于视频中行人的动作对视频进行分段处理，得到动作变化视频段集合；基于时序上行人动作的变化将动作变化视频段集合划分为若干动作变化视频段子集合，对每个动作变化视频段子集合中的动作变化视频段：基于该子集合中任意两个动作变化视频段的环境信息相似度对该子集合中的动作变化视频段进行分类，得到第一视频段子集合和第二视频段子集合，将满足预设条件的动作变化视频段加入第一视频段子集合；第一视频段子集合中任意两个动作变化视频段的相似度都满足预设条件；
所述预设条件为：
若两个动作变化视频段的相似度大于相似度阈值，则将这两个动作变化视频段归入第二视频段子集合，在动作变化视频段子集合中除去第二视频段子集合中包括的动作变化视频段，剩余的动作变化视频段构成第一视频段子集合；
基于划分图像块的方法将第一视频段子集合中的每个动作变化视频段划分为若干视频块，在第一视频段子集合所有动作变化视频段中处于同一位置的视频块的第一压缩系数的计算方法为：基于处于该位置的视频块与视频块间的环境信息的相似度、该位置视频块间环境信息的相似度与其他位置视频块间环境信息的相似度的变化趋势计算处于该位置的视频块的第一压缩系数；基于第一压缩系数对第一视频段子集合中的动作变化视频段进行压缩；
对经过压缩处理的动作变化视频段进行存储。
2.如权利要求1所述的方法，其特征在于，对视频进行分段处理后还得到单一动作视频段集合，所述单一动作视频段集合中每个单一动作视频段对应一个视频段类别，视频段类别包括站立、行走、跑；单一动作视频段的每帧图像中都有超过预设数量阈值的行人的动作类别与该单一动作视频段的视频段类别一致；
所述动作变化视频段集合中的动作变化视频段是单一动作视频段的视频段类别发生变化时两个单一动作视频段之间的视频。
3.如权利要求2所述的方法，其特征在于，所述两个动作变化视频段的相似度的计算方法为：将两个动作变化视频段依次输入神经网络中，得到两个环境特征向量，根据两个环境特征向量间的距离得到相似度；其中，所述环境信息是指行人以外的信息。
4.如权利要求1所述的方法，其特征在于，所述第一压缩系数的计算方法为：
将第一视频段子集合中的每个动作变化视频段都划分为N个视频块，第一视频段子集合中每个动作变化视频段的第n个视频块构成视频块集合xn，n的取值范围为[1,N]，计算集合xn中任意两个视频块的相似度，得到相似度集合yn，根据集合yn中的所有相似度计算相似度均值与相似度方差，相似度均值与相似度方差的比值为an；
设置滑动窗口，分别以视频块集合xn中每个视频块为中心对集合xn进行滑窗，基于滑动窗口中任意两个视频块的相似度得到相似度矩阵，基于每个相似度矩阵的特征值得到bn；an与bn的乘积为βn；
获取坐标点Snm＝(Snij,Smij)，Snij表示第一视频段子集合中第i个动作变化视频段的第n个视频块与第j个动作变化视频段的第n个视频块的相似度，Smij表示第一视频段子集合中第i个动作变化视频段的第m个视频块与第j个动作变化视频段的第m个视频块的相似度，视频块集合xm的获取方法和获取视频块集合xn的方法相同，m的取值范围为[1,N]，且m不等于n；对坐标点进行聚类，得到若干坐标点类别，基于所有坐标点类别中坐标点对应的视频块得到图结构，将图结构划分为子图结构，基于包括第n个视频块的子图结构中的权值计算第n个视频块的协同度γn；
基于an、βn、γn得到每个动作变化视频段中第n个视频块的第一压缩系数。
5.如权利要求4所述的方法，其特征在于，所述聚类具体为：
将二维坐标点(Snij,Smij)转换为四维坐标点(n,m,Snij,Smij)，对四维坐标点进行聚类，得到若干坐标点类别，每个坐标点类别中所有四维坐标点对应的(n,m)相同。
6.如权利要求5所述的方法，其特征在于，所述图结构的获取方法为：
获取所有坐标点类别中坐标点对应的视频块，将每个视频块视为一个节点，将每个坐标点类别对应的节点相连后进行相同节点的融合，相连的两个节点间权值为1；选择两个相连的节点为两个原始点，寻找与原始点相连的邻接点，获取原始点、与原始点相连的邻接点的邻接坐标点类别，获取两个原始点的初始坐标点类别，计算邻接坐标点类别与初始坐标点类别间的类别权值，基于最大类别权值更新两个原始点间的权值。
7.如权利要求6所述的方法，其特征在于，所述类别权值的计算方法为：对于两个坐标点类别，获取每个坐标点类别中所有坐标点对应的动作变化视频段的个数，重复出现的动作变化视频段只统计一次，每个坐标点类别对应的动作变化视频段的个数与第一视频段子集合中的动作变化视频段总个数的比值为该坐标点类别的视频占比；两个坐标点类别的视频占比的均值为δ；根据每个坐标点类别中的所有坐标点获取每个坐标点类别对应的动作变化视频段，计算两个坐标点类别对应的动作变化视频段的交并比ε，δ和ε的乘积为类别权值。
8.如权利要求7所述的方法，其特征在于，所述基于最大类别权值更新两个原始点间的权值为以最大类别权值与初始坐标点类别视频占比的乘积更新两个原始点间的权值。
9.如权利要求1所述的方法，其特征在于，对单一动作视频段集合、第二视频段子集合中的视频段按照预设的第二压缩系数进行压缩。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110320876.4A CN113055705B (zh) | 2021-03-25 | 2021-03-25 | 基于大数据分析的云计算平台数据存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110320876.4A CN113055705B (zh) | 2021-03-25 | 2021-03-25 | 基于大数据分析的云计算平台数据存储方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113055705A CN113055705A (zh) | 2021-06-29 |
| CN113055705B true CN113055705B (zh) | 2022-08-19 |
Family
ID=76515247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110320876.4A Active CN113055705B (zh) | 2021-03-25 | 2021-03-25 | 基于大数据分析的云计算平台数据存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113055705B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015099704A1 (en) * | 2013-12-24 | 2015-07-02 | Pelco, Inc. | Method and apparatus for intelligent video pruning |
| US9501915B1 (en) * | 2014-07-07 | 2016-11-22 | Google Inc. | Systems and methods for analyzing a video stream |
| CN109657546A (zh) * | 2018-11-12 | 2019-04-19 | 平安科技（深圳）有限公司 | 基于神经网络的视频行为识别方法及终端设备 |
| CN112153462A (zh) * | 2019-06-26 | 2020-12-29 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、终端及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001097517A1 (en) * | 2000-06-14 | 2001-12-20 | Arjun Nayyar | Multimedia compression/decompression and compressed data representation |
| US20100208064A1 (en) * | 2009-02-19 | 2010-08-19 | Panasonic Corporation | System and method for managing video storage on a video surveillance system |
| CN110650379B (zh) * | 2019-09-26 | 2022-04-01 | 北京达佳互联信息技术有限公司 | 视频摘要生成方法、装置、电子设备及存储介质 |
-
2021
- 2021-03-25 CN CN202110320876.4A patent/CN113055705B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015099704A1 (en) * | 2013-12-24 | 2015-07-02 | Pelco, Inc. | Method and apparatus for intelligent video pruning |
| US9501915B1 (en) * | 2014-07-07 | 2016-11-22 | Google Inc. | Systems and methods for analyzing a video stream |
| CN109657546A (zh) * | 2018-11-12 | 2019-04-19 | 平安科技（深圳）有限公司 | 基于神经网络的视频行为识别方法及终端设备 |
| CN112153462A (zh) * | 2019-06-26 | 2020-12-29 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、终端及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 一种监控视频分段的方法;高清芬;《衡水学院学报》;20080820(第04期);全文 * |
| 监控视频聚簇模式挖掘及其应用;柳伟等;《数据采集与处理》;20080715(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113055705A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259905B (zh) | 一种基于下采样的特征融合遥感图像语义分割方法 | |
| CN112396027B (zh) | 基于图卷积神经网络的车辆重识别方法 | |
| CN110826684B (zh) | 卷积神经网络的压缩方法、装置、电子设备和介质 | |
| CN110866593B (zh) | 一种基于人工智能的高速公路恶劣天气识别方法 | |
| CN111242180B (zh) | 一种基于轻量化卷积神经网络的图像识别方法及*** | |
| CN105894046A (zh) | 卷积神经网络训练及图像处理的方法和***、计算机设备 | |
| US20120150876A1 (en) | Image search apparatus and image search method | |
| CN107659754B (zh) | 一种树叶扰动情况下监控视频的有效浓缩方法 | |
| CN114022770A (zh) | 基于改进自注意力机制与迁移学习的山体裂缝检测方法 | |
| CN113313164A (zh) | 一种基于超像素分割与图卷积的数字病理图像分类方法及*** | |
| CN112101364B (zh) | 基于参数重要性增量学习的语义分割方法 | |
| CN111160481B (zh) | 基于深度学习的adas目标检测方法及*** | |
| CN112270355A (zh) | 基于大数据技术与sae-gru的主动安全预测方法 | |
| CN113239869A (zh) | 基于关键帧序列和行为信息的两阶段行为识别方法及*** | |
| CN114299286A (zh) | 一种异常天气下基于类别分组的道路场景语义分割方法 | |
| CN116089883B (zh) | 用于提高已有类别增量学习新旧类别区分度的训练方法 | |
| CN115240024A (zh) | 一种联合自监督学习和半监督学习的地外图片分割方法和*** | |
| CN110264483B (zh) | 一种基于深度学习的语义图像分割方法 | |
| CN115830533A (zh) | 基于K-means聚类改进YOLOv5算法的安全帽佩戴检测方法 | |
| CN113055705B (zh) | 基于大数据分析的云计算平台数据存储方法 | |
| JP2011150605A (ja) | 画像領域分割装置、画像領域分割方法および画像領域分割プログラム | |
| CN117116096A (zh) | 基于多通道交通图像与深度cnn的机场延误预测方法及*** | |
| CN112418227A (zh) | 基于双自注意力机制的监控视频卡车分割方法 | |
| CN110176029B (zh) | 基于层级稀疏表示的图像复原与匹配一体化方法及*** | |
| Xia et al. | Abnormal event detection method in surveillance video based on temporal CNN and sparse optical flow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230428 Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province Patentee after: Dragon totem Technology (Hefei) Co.,Ltd. Address before: 450044 No. 6 Yingcai Street, Huiji District, Zhengzhou City, Henan Province Patentee before: ZHENGZHOU NORMAL University |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Data Storage Method for Cloud Computing Platform Based on Big Data Analysis Effective date of registration: 20231110 Granted publication date: 20220819 Pledgee: Huishang Bank Co.,Ltd. Hefei Xiyou road sub branch Pledgor: Dragon totem Technology (Hefei) Co.,Ltd. Registration number: Y2023980064890 |