CN116522410A - 一种应用于云平台的数据验证***及方法 - Google Patents

一种应用于云平台的数据验证***及方法 Download PDF

Info

Publication number
CN116522410A
CN116522410A CN202310518750.7A CN202310518750A CN116522410A CN 116522410 A CN116522410 A CN 116522410A CN 202310518750 A CN202310518750 A CN 202310518750A CN 116522410 A CN116522410 A CN 116522410A
Authority
CN
China
Prior art keywords
data file
data
file
code
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310518750.7A
Other languages
English (en)
Inventor
郦俊岭
石文欣
徐胜旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Digital Storage Technology Co ltd
Original Assignee
Shenzhen Digital Storage Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Digital Storage Technology Co ltd filed Critical Shenzhen Digital Storage Technology Co ltd
Priority to CN202310518750.7A priority Critical patent/CN116522410A/zh
Publication of CN116522410A publication Critical patent/CN116522410A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种应用于云平台的数据验证***及方法，首先对云平台数据进行验证，形成数据文件，所述数据为云平台数据传输过程中产生的；再对数据文件进行特征码分析；对云平台数据验证的方法为，对不同数据进行比对，选取数据重合度高的数据形成数据文件，所述重合度为80％，对所述数据文件进行特征码分析。

Description

一种应用于云平台的数据验证***及方法
技术领域
本发明提出了一种应用于云平台的数据验证***及方法，属于数据传输技术领域。
背景技术
对于大部分***来说都会有数据传输的需求，目前，针对多个***节点的大型***而言，数据传输过程中，随着每个工作节点的运行，会导致在整个***中，出现过多缓存相同文件，导致文件缓存数量产生冗余，进而导致占用过多存储空间的问题发生；
在云平台数据传输的过程中，经常产生冗余文件需要被验证删除不需要的数据文件。
发明内容
本发明提供了一种应用于云平台的数据验证***及方法，用以解决现有技术中的数据传输过程中常出现过多缓存文件导致占用过多存储空间的问题，所采取的技术方案如下：
一种应用于云平台的数据验证方法，
步骤S1：对云平台数据进行验证，形成数据文件，所述数据为云平台数据传输过程中产生的；
步骤S2：对数据文件进行特征码分析。
优选地，对云平台数据验证的方法为，对不同数据进行比对，选取数据重合度高的数据形成数据文件，所述重合度为80％，对所述数据文件进行特征码分析。
所述特征码分析方法包括：
在所述数据文件生成后，对所述数据文件设置唯一标识码，并将所述唯一标识码实时与所述数据文件联立标识；
在所述数据文件进行数据传输过程中，实时监测所述数据文件是否进行过内容编辑，并根据内容编辑的操作设置附加码；
将所述唯一标识码和附加码进行组合，形成特征码，并将所述特征码与所述数据文件进行联立；
在所述数据文件进行存储过程中，实时进行特征码分析和比较，根据所述特征码比较结果，确定在数据传输过程中是否对当前数据文件进行保存。
进一步地，在所述数据文件进行数据传输过程中，实时监测所述数据文件是否进行过内容编辑，并根据内容编辑的操作设置附加码，包括：
在所述数据文件进行数据传输过程中，当所述数据文件传输至一个***节点时，实时监测所述数据文件是否被打开；
当所述数据文件被打开时，实时监测所述数据文件打开后是否出现内容编辑；如果所述数据文件打开后没有出现内容编辑，则在所述数据文件关闭后保持当前文件的唯一标识码，不再进行额外编码；如果所述数据文件打开后出现内容编辑，则按照当前内容编辑所属次数生成附加码。
进一步地，将所述唯一标识码和附加码进行组合，形成特征码，并将所述特征码与所述数据文件进行联立，包括：
将所述唯一标识码和附加码进行组合，形成特征码；
在所述数据文件被关闭时，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；
将所述特征码与所述内容编辑后的数据文件进行联立，形成带有特征码的数据文件；
在数据传输过程中，根据所述数据文件的内容编辑情况进行特征码更新，并将更新后的特征码与其对应的内容编辑后的数据文件进行联立。
进一步地，在数据传输过程中，根据所述数据文件的内容编辑情况进行特征码更新，并将更新后的特征码与其对应的内容编辑后的数据文件进行联立，包括：
在数据传输过程中，实时监测所述数据文件的内容编辑情况，所述数据文件的内容每编辑一次增加一个附加码；
将新增的附加码与原有的特征码进行组合，形成更新后的特征码；
在进行内容编辑的数据文件关闭后，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；
将所述更新后的特征码与所述内容编辑后的数据文件进行联立，形成带有更新后的特征码的数据文件。
进一步地，在所述数据文件进行存储过程中，实时进行特征码分析和比较，根据所述特征码比较结果，确定在数据传输过程中是否对当前数据文件进行保存，包括：
实时判断所述数据文件在数据传输过程经过的路径***中所有对应的存储数据文件；
每出现一次特征码更新时，对待有相同唯一标识码的所有特征码进行比较，将特征码出现重复的数据文件进行唯一文件保留，重复数据文件删除处理；其中，所述唯一文件保留，重复数据文件删除处理的原则为：保留特征码重复的数据文件中，数据文件生成时间最早的数据文件，对于其他具有相同特征码的数据文件进行删除。
进一步地，所述特征码分析方法，还包括：
实时监测每个***节点内具有相同唯一标识且特征码不同的数据文件的数量；
当所述具有相同唯一标识且特征码不同的数据文件的数量超过预设的数量阈值时，检测具有相同唯一标识且特征码不同的数据文件之间的数据文件生成时间间隔；其中，所述数量阈值的取值范围为n≥6；
根据所述数据文件生成时间间隔设置时间间隔阈值，其中，所述时间间隔阈值通过如下公式获取：
T0＝Tp-0.63·(Tmax1+Tmax2)+0.37·(Tmin1+Tmin2)
其中，Ty表示所述时间间隔阈值；Tp表示时间间隔平均值；Tmin1和Tmin2分别表示最小时间间隔和第二小时间间隔；Tmax1和max2分别表示最大时间间隔和第二大时间间隔；
将数据文件生成时间点相邻的两个数据文件之间的时间间隔小于所述时间间隔阈值的文件中，进行择一删除；其中，择一删除的标准为：删除时间间隔小于所述时间间隔阈值的两个相邻数据文件中，数据文件生成时间较早的一个数据文件。
一种应用于云平台的数据验证***，所述特征码分析***包括：
标识码设置模块，用于在所述数据文件生成后，对所述数据文件设置唯一标识码，并将所述唯一标识码实时与所述数据文件联立标识；
附加码设置模块，用于在所述数据文件进行数据传输过程中，实时监测所述数据文件是否进行过内容编辑，并根据内容编辑的操作设置附加码；
组合模块，用于将所述唯一标识码和附加码进行组合，形成特征码，并将所述特征码与所述数据文件进行联立；
保存模块，用于在所述数据文件进行存储过程中，实时进行特征码分析和比较，根据所述特征码比较结果，确定在数据传输过程中是否对当前数据文件进行保存。
进一步地，所述附加码设置模块包括：
打开监控模块，用于在所述数据文件进行数据传输过程中，当所述数据文件传输至一个***节点时，实时监测所述数据文件是否被打开；
编辑检测模块，用于当所述数据文件被打开时，实时监测所述数据文件打开后是否出现内容编辑；如果所述数据文件打开后没有出现内容编辑，则在所述数据文件关闭后保持当前文件的唯一标识码，不再进行额外编码；如果所述数据文件打开后出现内容编辑，则按照当前内容编辑所属次数生成附加码。
进一步地，所述组合模块包括：
特征码生成模块，用于将所述唯一标识码和附加码进行组合，形成特征码；
文件拆分模块，用于在所述数据文件被关闭时，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；
联立模块，用于将所述特征码与所述内容编辑后的数据文件进行联立，形成带有特征码的数据文件；
更新联立模块，用于在数据传输过程中，根据所述数据文件的内容编辑情况进行特征码更新，并将更新后的特征码与其对应的内容编辑后的数据文件进行联立。
进一步地，所述更新联立模块包括：
附加码增加模块，用于在数据传输过程中，实时监测所述数据文件的内容编辑情况，所述数据文件的内容每编辑一次增加一个附加码；
特征码更新模块，用于将新增的附加码与原有的特征码进行组合，形成更新后的特征码；
另存模块，用于在进行内容编辑的数据文件关闭后，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；
文件形成模块，用于将所述更新后的特征码与所述内容编辑后的数据文件进行联立，形成带有更新后的特征码的数据文件。
进一步地，所述保存模块包括：
实时判断模块，用于实时判断所述数据文件在数据传输过程经过的路径***中所有对应的存储数据文件；
比较处理模块，用于每出现一次特征码更新时，对待有相同唯一标识码的所有特征码进行比较，将特征码出现重复的数据文件进行唯一文件保留，重复数据文件删除处理；其中，所述唯一文件保留，重复数据文件删除处理的原则为：保留特征码重复的数据文件中，数据文件生成时间最早的数据文件，对于其他具有相同特征码的数据文件进行删除。
进一步地，所述特征码分析***，还包括：
数量监测模块，用于实时监测每个***节点内具有相同唯一标识且特征码不同的数据文件的数量；
间隔获取模块，用于当所述具有相同唯一标识且特征码不同的数据文件的数量超过预设的数量阈值时，检测具有相同唯一标识且特征码不同的数据文件之间的数据文件生成时间间隔；其中，所述数量阈值的取值范围为n≥6；
阈值设置模块，用于根据所述数据文件生成时间间隔设置时间间隔阈值，其中，所述时间间隔阈值通过如下公式获取：
T0＝Tp-0.63·(Tmax1+Tmax2)+0.37·(Tmin1+Tmin2)
其中，Ty表示所述时间间隔阈值；Tp表示时间间隔平均值；Tmin1和Tmin2分别表示最小时间间隔和第二小时间间隔；Tmax1和max2分别表示最大时间间隔和第二大时间间隔；
删除模块，用于将数据文件生成时间点相邻的两个数据文件之间的时间间隔小于所述时间间隔阈值的文件中，进行择一删除；其中，择一删除的标准为：删除时间间隔小于所述时间间隔阈值的两个相邻数据文件中，数据文件生成时间较早的一个数据文件。
本发明有益效果：
本发明提出的一种应用于云平台的数据验证***及方法通过唯一标识码和附加码组合形成的特征码方式以及每次文件内容编辑后的文件自动另存方式，能够针对每次内容编辑处理后的文件进行归类的唯一标识，使每一初始文件下的每次内容编辑文件均得以唯一保存，防止出现同一版本文件多次保存为多个文件导致过多占用存储空间的问题发生。同时，通过相隔距离将近的文件存储时间间隔设置的方式对不同文件内容编辑后的存储数据文件进行筛选，间接实现基于原始文件的文件内容编辑的中间过程文件的存储简化，进一步降低存储空间的占用比例，防止存储空间占用比例过大导致数据存储空间不足的问题发生。
附图说明
图1为本发明所述方法的流程图；
图2为本发明所述的***框图；
图3为本发明应用于云平台的数据验证方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图3所示，一种应用于云平台的数据验证方法，
步骤S1：对云平台数据进行验证，形成数据文件，所述数据为云平台数据传输过程中产生的；
步骤S2：对数据文件进行特征码分析。
优选地，对云平台数据验证的方法为，对不同数据进行比对，选取数据重合度高的数据形成数据文件，所述重合度为80％，对所述数据文件进行特征码分析。
本发明实施例提出了一种应用于云平台的数据验证方法，如图1所示，所述特征码分析方法包括：
S1、在所述数据文件生成后，对所述数据文件设置唯一标识码，并将所述唯一标识码实时与所述数据文件联立标识；
S2、在所述数据文件进行数据传输过程中，实时监测所述数据文件是否进行过内容编辑，并根据内容编辑的操作设置附加码；
S3、将所述唯一标识码和附加码进行组合，形成特征码，并将所述特征码与所述数据文件进行联立；
S4、在所述数据文件进行存储过程中，实时进行特征码分析和比较，根据所述特征码比较结果，确定在数据传输过程中是否对当前数据文件进行保存。
上述技术方案的工作原理为：首先，在所述数据文件生成后，对所述数据文件设置唯一标识码，并将所述唯一标识码实时与所述数据文件联立标识；然后，在所述数据文件进行数据传输过程中，实时监测所述数据文件是否进行过内容编辑，并根据内容编辑的操作设置附加码；之后，将所述唯一标识码和附加码进行组合，形成特征码，并将所述特征码与所述数据文件进行联立；最后，在所述数据文件进行存储过程中，实时进行特征码分析和比较，根据所述特征码比较结果，确定在数据传输过程中是否对当前数据文件进行保存。
上述技术方案的效果为：本实施例提出的一种应用于云平台的数据验证方法通过唯一标识码和附加码组合形成的特征码方式以及每次文件内容编辑后的文件自动另存方式，能够针对每次内容编辑处理后的文件进行归类的唯一标识，使每一初始文件下的每次内容编辑文件均得以唯一保存，防止出现同一版本文件多次保存为多个文件导致过多占用存储空间的问题发生。同时，通过相隔距离将近的文件存储时间间隔设置的方式对不同文件内容编辑后的存储数据文件进行筛选，间接实现基于原始文件的文件内容编辑的中间过程文件的存储简化，进一步降低存储空间的占用比例，防止存储空间占用比例过大导致数据存储空间不足的问题发生。
本发明的一个实施例，在所述数据文件进行数据传输过程中，实时监测所述数据文件是否进行过内容编辑，并根据内容编辑的操作设置附加码，包括：
S201、在所述数据文件进行数据传输过程中，当所述数据文件传输至一个***节点时，实时监测所述数据文件是否被打开；
S202、当所述数据文件被打开时，实时监测所述数据文件打开后是否出现内容编辑；如果所述数据文件打开后没有出现内容编辑，则在所述数据文件关闭后保持当前文件的唯一标识码，不再进行额外编码；如果所述数据文件打开后出现内容编辑，则按照当前内容编辑所属次数生成附加码。
上述技术方案的工作原理为：首先，在所述数据文件进行数据传输过程中，当所述数据文件传输至一个***节点时，实时监测所述数据文件是否被打开；然后，当所述数据文件被打开时，实时监测所述数据文件打开后是否出现内容编辑；如果所述数据文件打开后没有出现内容编辑，则在所述数据文件关闭后保持当前文件的唯一标识码，不再进行额外编码；如果所述数据文件打开后出现内容编辑，则按照当前内容编辑所属次数生成附加码。
上述技术方案的效果为：通过上述方式能够有效提高文件内容编辑判断的效率和判断准确性。同时，通过唯一标识码和附加码的方式能够对每次文件内容编辑所产生的文件进行唯一标识区分，提高内容编辑对应文件的唯一识别性。
本发明的一个实施例，将所述唯一标识码和附加码进行组合，形成特征码，并将所述特征码与所述数据文件进行联立，包括：
S301、将所述唯一标识码和附加码进行组合，形成特征码；
S302、在所述数据文件被关闭时，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；
S303、将所述特征码与所述内容编辑后的数据文件进行联立，形成带有特征码的数据文件；
S304、在数据传输过程中，根据所述数据文件的内容编辑情况进行特征码更新，并将更新后的特征码与其对应的内容编辑后的数据文件进行联立。
上述技术方案的工作原理为：首先，将所述唯一标识码和附加码进行组合，形成特征码；然后，在所述数据文件被关闭时，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；随后，将所述特征码与所述内容编辑后的数据文件进行联立，形成带有特征码的数据文件；最后，在数据传输过程中，根据所述数据文件的内容编辑情况进行特征码更新，并将更新后的特征码与其对应的内容编辑后的数据文件进行联立。
上述技术方案的效果为：通过上述方式能够有效提高文件内容编辑判断的效率和判断准确性。同时，通过唯一标识码和附加码的方式能够对每次文件内容编辑所产生的文件进行唯一标识区分，提高内容编辑对应文件的唯一识别性。
本发明的一个实施例，在数据传输过程中，根据所述数据文件的内容编辑情况进行特征码更新，并将更新后的特征码与其对应的内容编辑后的数据文件进行联立，包括：
S3041、在数据传输过程中，实时监测所述数据文件的内容编辑情况，所述数据文件的内容每编辑一次增加一个附加码；
S3042、将新增的附加码与原有的特征码进行组合，形成更新后的特征码；
S3043、在进行内容编辑的数据文件关闭后，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；
S3044、将所述更新后的特征码与所述内容编辑后的数据文件进行联立，形成带有更新后的特征码的数据文件。
上述技术方案的工作原理为：首先，在数据传输过程中，实时监测所述数据文件的内容编辑情况，所述数据文件的内容每编辑一次增加一个附加码；然后，将新增的附加码与原有的特征码进行组合，形成更新后的特征码；随后，在进行内容编辑的数据文件关闭后，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；最后，将所述更新后的特征码与所述内容编辑后的数据文件进行联立，形成带有更新后的特征码的数据文件。
上述技术方案的效果为：通过上述方式能够有效提高文件内容编辑判断的效率和判断准确性。同时，通过唯一标识码、合附加码的方式结合文件自动另存方式能够对每次文件内容编辑所产生的文件进行文件实体和唯一标识的同时区分，提高内容编辑对应文件的唯一识别性。另一方面，对应用户而言能够获取每次内容编辑对应的唯一文件，有效防止文件存储混乱的问题发生。
本发明的一个实施例，在所述数据文件进行存储过程中，实时进行特征码分析和比较，根据所述特征码比较结果，确定在数据传输过程中是否对当前数据文件进行保存，包括：
S401、实时判断所述数据文件在数据传输过程经过的路径***中所有对应的存储数据文件；
S402、每出现一次特征码更新时，对待有相同唯一标识码的所有特征码进行比较，将特征码出现重复的数据文件进行唯一文件保留，重复数据文件删除处理；其中，所述唯一文件保留，重复数据文件删除处理的原则为：保留特征码重复的数据文件中，数据文件生成时间最早的数据文件，对于其他具有相同特征码的数据文件进行删除。
上述技术方案的工作原理为：首先，实时判断所述数据文件在数据传输过程经过的路径***中所有对应的存储数据文件；然后，每出现一次特征码更新时，对待有相同唯一标识码的所有特征码进行比较，将特征码出现重复的数据文件进行唯一文件保留，重复数据文件删除处理；其中，所述唯一文件保留，重复数据文件删除处理的原则为：保留特征码重复的数据文件中，数据文件生成时间最早的数据文件，对于其他具有相同特征码的数据文件进行删除。
上述技术方案的效果为：通过相隔距离将近的文件存储时间间隔设置的方式对不同文件内容编辑后的存储数据文件进行筛选，间接实现基于原始文件的文件内容编辑的中间过程文件的存储简化，进一步降低存储空间的占用比例，防止存储空间占用比例过大导致数据存储空间不足的问题发生。
本发明的一个实施例，所述特征码分析方法，还包括：
步骤1、实时监测每个***节点内具有相同唯一标识且特征码不同的数据文件的数量；
步骤2、当所述具有相同唯一标识且特征码不同的数据文件的数量超过预设的数量阈值时，检测具有相同唯一标识且特征码不同的数据文件之间的数据文件生成时间间隔；其中，所述数量阈值的取值范围为n≥6；
步骤3、根据所述数据文件生成时间间隔设置时间间隔阈值，其中，所述时间间隔阈值通过如下公式获取：
T0＝Tp-0.63·(Tmax1+Tmax2)+0.37·(Tmin1+Tmin2)
其中，Ty表示所述时间间隔阈值；Tp表示时间间隔平均值；Tmin1和Tmin2分别表示最小时间间隔和第二小时间间隔；Tmax1和max2分别表示最大时间间隔和第二大时间间隔；
步骤4、将数据文件生成时间点相邻的两个数据文件之间的时间间隔小于所述时间间隔阈值的文件中，进行择一删除；其中，择一删除的标准为：删除时间间隔小于所述时间间隔阈值的两个相邻数据文件中，数据文件生成时间较早的一个数据文件。
上述技术方案的工作原理为：首先，实时监测每个***节点内具有相同唯一标识且特征码不同的数据文件的数量；然后，当所述具有相同唯一标识且特征码不同的数据文件的数量超过预设的数量阈值时，检测具有相同唯一标识且特征码不同的数据文件之间的数据文件生成时间间隔；其中，所述数量阈值的取值范围为n≥6；随后，根据所述数据文件生成时间间隔设置时间间隔阈值；最后，将数据文件生成时间点相邻的两个数据文件之间的时间间隔小于所述时间间隔阈值的文件中，进行择一删除；其中，择一删除的标准为：删除时间间隔小于所述时间间隔阈值的两个相邻数据文件中，数据文件生成时间较早的一个数据文件。
上述技术方案的效果为：通过相隔距离将近的文件存储时间间隔设置的方式对不同文件内容编辑后的存储数据文件进行筛选，间接实现基于原始文件的文件内容编辑的中间过程文件的存储简化，进一步降低存储空间的占用比例，防止存储空间占用比例过大导致数据存储空间不足的问题发生。
同时，通过上述方式和公式获取的时间间隔能够有效提高时间间隔设置的合理性和文件删除的筛选判断准确性，防止时间间隔设置过短使过多中间文件被删除导致重要文件删除的问题发生，同时，又能够防止时间间隔设置过长导致无法实现中间文件的有效删除，进而导致无法有效降低存储空间占用量的问题发生。
本发明实施例提出了一种应用于云平台的数据验证***，如图2所示，所述特征码分析***包括：
标识码设置模块，用于在所述数据文件生成后，对所述数据文件设置唯一标识码，并将所述唯一标识码实时与所述数据文件联立标识；
附加码设置模块，用于在所述数据文件进行数据传输过程中，实时监测所述数据文件是否进行过内容编辑，并根据内容编辑的操作设置附加码；
组合模块，用于将所述唯一标识码和附加码进行组合，形成特征码，并将所述特征码与所述数据文件进行联立；
保存模块，用于在所述数据文件进行存储过程中，实时进行特征码分析和比较，根据所述特征码比较结果，确定在数据传输过程中是否对当前数据文件进行保存。
上述技术方案的工作原理为：首先，通过标识码设置模块在所述数据文件生成后，对所述数据文件设置唯一标识码，并将所述唯一标识码实时与所述数据文件联立标识；然后，利用附加码设置模块在所述数据文件进行数据传输过程中，实时监测所述数据文件是否进行过内容编辑，并根据内容编辑的操作设置附加码；随后，通过组合模块将所述唯一标识码和附加码进行组合，形成特征码，并将所述特征码与所述数据文件进行联立；最后，利用保存模块在所述数据文件进行存储过程中，实时进行特征码分析和比较，根据所述特征码比较结果，确定在数据传输过程中是否对当前数据文件进行保存。
上述技术方案的效果为：本实施例提出的一种应用于云平台的数据验证***通过唯一标识码和附加码组合形成的特征码方式以及每次文件内容编辑后的文件自动另存方式，能够针对每次内容编辑处理后的文件进行归类的唯一标识，使每一初始文件下的每次内容编辑文件均得以唯一保存，防止出现同一版本文件多次保存为多个文件导致过多占用存储空间的问题发生。同时，通过相隔距离将近的文件存储时间间隔设置的方式对不同文件内容编辑后的存储数据文件进行筛选，间接实现基于原始文件的文件内容编辑的中间过程文件的存储简化，进一步降低存储空间的占用比例，防止存储空间占用比例过大导致数据存储空间不足的问题发生。
本发明的一个实施例，所述附加码设置模块包括：
打开监控模块，用于在所述数据文件进行数据传输过程中，当所述数据文件传输至一个***节点时，实时监测所述数据文件是否被打开；
编辑检测模块，用于当所述数据文件被打开时，实时监测所述数据文件打开后是否出现内容编辑；如果所述数据文件打开后没有出现内容编辑，则在所述数据文件关闭后保持当前文件的唯一标识码，不再进行额外编码；如果所述数据文件打开后出现内容编辑，则按照当前内容编辑所属次数生成附加码。
上述技术方案的工作原理为：首先，通过打开监控模块在所述数据文件进行数据传输过程中，当所述数据文件传输至一个***节点时，实时监测所述数据文件是否被打开；然后，利用编辑检测模块在当所述数据文件被打开时，实时监测所述数据文件打开后是否出现内容编辑；如果所述数据文件打开后没有出现内容编辑，则在所述数据文件关闭后保持当前文件的唯一标识码，不再进行额外编码；如果所述数据文件打开后出现内容编辑，则按照当前内容编辑所属次数生成附加码。
上述技术方案的效果为：通过上述方式能够有效提高文件内容编辑判断的效率和判断准确性。同时，通过唯一标识码和附加码的方式能够对每次文件内容编辑所产生的文件进行唯一标识区分，提高内容编辑对应文件的唯一识别性。
本发明的一个实施例，所述组合模块包括：
特征码生成模块，用于将所述唯一标识码和附加码进行组合，形成特征码；
文件拆分模块，用于在所述数据文件被关闭时，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；
联立模块，用于将所述特征码与所述内容编辑后的数据文件进行联立，形成带有特征码的数据文件；
更新联立模块，用于在数据传输过程中，根据所述数据文件的内容编辑情况进行特征码更新，并将更新后的特征码与其对应的内容编辑后的数据文件进行联立。
上述技术方案的工作原理为：首先，通过特征码生成模块将所述唯一标识码和附加码进行组合，形成特征码；然后，利用文件拆分模块在所述数据文件被关闭时，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；
联立模块，用于将所述特征码与所述内容编辑后的数据文件进行联立，形成带有特征码的数据文件；最后，采用更新联立模块于在数据传输过程中，根据所述数据文件的内容编辑情况进行特征码更新，并将更新后的特征码与其对应的内容编辑后的数据文件进行联立。
上述技术方案的效果为：通过上述方式能够有效提高文件内容编辑判断的效率和判断准确性。同时，通过唯一标识码和附加码的方式能够对每次文件内容编辑所产生的文件进行唯一标识区分，提高内容编辑对应文件的唯一识别性。
本发明的一个实施例，所述更新联立模块包括：
附加码增加模块，用于在数据传输过程中，实时监测所述数据文件的内容编辑情况，所述数据文件的内容每编辑一次增加一个附加码；
特征码更新模块，用于将新增的附加码与原有的特征码进行组合，形成更新后的特征码；
另存模块，用于在进行内容编辑的数据文件关闭后，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；
文件形成模块，用于将所述更新后的特征码与所述内容编辑后的数据文件进行联立，形成带有更新后的特征码的数据文件。
上述技术方案的工作原理为：首先，通过附加码增加模块在数据传输过程中，实时监测所述数据文件的内容编辑情况，所述数据文件的内容每编辑一次增加一个附加码；然后，利用特征码更新模块将新增的附加码与原有的特征码进行组合，形成更新后的特征码；之后，采用另存模块在进行内容编辑的数据文件关闭后，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；最后，利用文件形成模块将所述更新后的特征码与所述内容编辑后的数据文件进行联立，形成带有更新后的特征码的数据文件。
上述技术方案的效果为：通过上述方式能够有效提高文件内容编辑判断的效率和判断准确性。同时，通过唯一标识码、合附加码的方式结合文件自动另存方式能够对每次文件内容编辑所产生的文件进行文件实体和唯一标识的同时区分，提高内容编辑对应文件的唯一识别性。另一方面，对应用户而言能够获取每次内容编辑对应的唯一文件，有效防止文件存储混乱的问题发生。
本发明的一个实施例，所述保存模块包括：
实时判断模块，用于实时判断所述数据文件在数据传输过程经过的路径***中所有对应的存储数据文件；
比较处理模块，用于每出现一次特征码更新时，对待有相同唯一标识码的所有特征码进行比较，将特征码出现重复的数据文件进行唯一文件保留，重复数据文件删除处理；其中，所述唯一文件保留，重复数据文件删除处理的原则为：保留特征码重复的数据文件中，数据文件生成时间最早的数据文件，对于其他具有相同特征码的数据文件进行删除。
上述技术方案的工作原理为：首先，通过实时判断模块实时判断所述数据文件在数据传输过程经过的路径***中所有对应的存储数据文件；然后，利用比较处理模块在每出现一次特征码更新时，对待有相同唯一标识码的所有特征码进行比较，将特征码出现重复的数据文件进行唯一文件保留，重复数据文件删除处理；其中，所述唯一文件保留，重复数据文件删除处理的原则为：保留特征码重复的数据文件中，数据文件生成时间最早的数据文件，对于其他具有相同特征码的数据文件进行删除。
上述技术方案的效果为：通过相隔距离将近的文件存储时间间隔设置的方式对不同文件内容编辑后的存储数据文件进行筛选，间接实现基于原始文件的文件内容编辑的中间过程文件的存储简化，进一步降低存储空间的占用比例，防止存储空间占用比例过大导致数据存储空间不足的问题发生。
本发明的一个实施例，所述特征码分析***，还包括：
数量监测模块，用于实时监测每个***节点内具有相同唯一标识且特征码不同的数据文件的数量；
间隔获取模块，用于当所述具有相同唯一标识且特征码不同的数据文件的数量超过预设的数量阈值时，检测具有相同唯一标识且特征码不同的数据文件之间的数据文件生成时间间隔；其中，所述数量阈值的取值范围为n≥6；
阈值设置模块，用于根据所述数据文件生成时间间隔设置时间间隔阈值，其中，所述时间间隔阈值通过如下公式获取：
T0＝Tp-0.63·(Tmax1+Tmax2)+0.37·(Tmin1+Tmin2)
其中，Ty表示所述时间间隔阈值；Tp表示时间间隔平均值；Tmin1和Tmin2分别表示最小时间间隔和第二小时间间隔；Tmax1和max2分别表示最大时间间隔和第二大时间间隔；
删除模块，用于将数据文件生成时间点相邻的两个数据文件之间的时间间隔小于所述时间间隔阈值的文件中，进行择一删除；其中，择一删除的标准为：删除时间间隔小于所述时间间隔阈值的两个相邻数据文件中，数据文件生成时间较早的一个数据文件。
上述技术方案的工作原理为：利用数量监测模块实时监测每个***节点内具有相同唯一标识且特征码不同的数据文件的数量；然后，采用间隔获取模块在当所述具有相同唯一标识且特征码不同的数据文件的数量超过预设的数量阈值时，检测具有相同唯一标识且特征码不同的数据文件之间的数据文件生成时间间隔；其中，所述数量阈值的取值范围为n≥6；利用阈值设置模块根据所述数据文件生成时间间隔设置时间间隔阈值；最后，通过删除模块将数据文件生成时间点相邻的两个数据文件之间的时间间隔小于所述时间间隔阈值的文件中，进行择一删除；其中，择一删除的标准为：删除时间间隔小于所述时间间隔阈值的两个相邻数据文件中，数据文件生成时间较早的一个数据文件。
上述技术方案的效果为：通过相隔距离将近的文件存储时间间隔设置的方式对不同文件内容编辑后的存储数据文件进行筛选，间接实现基于原始文件的文件内容编辑的中间过程文件的存储简化，进一步降低存储空间的占用比例，防止存储空间占用比例过大导致数据存储空间不足的问题发生。
同时，通过上述方式和公式获取的时间间隔能够有效提高时间间隔设置的合理性和文件删除的筛选判断准确性，防止时间间隔设置过短使过多中间文件被删除导致重要文件删除的问题发生，同时，又能够防止时间间隔设置过长导致无法实现中间文件的有效删除，进而导致无法有效降低存储空间占用量的问题发生。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种应用于云平台的数据验证方法，其特征在于，包括：
步骤S1：对云平台数据进行验证，形成数据文件，所述数据为云平台数据传输过程中产生的；
步骤S2：对数据文件进行特征码分析。
2.根据权利要求1中一种应用于云平台的数据验证方法，其特征在于，对云平台数据验证的方法为，对不同数据进行比对，选取数据重合度高的数据形成数据文件，所述重合度为80％，对所述数据文件进行特征码分析。
3.根据权利要求1所述特征码分析方法包括：
在所述数据文件生成后，对所述数据文件设置唯一标识码，并将所述唯一标识码实时与所述数据文件联立标识；
在所述数据文件进行数据传输过程中，实时监测所述数据文件是否进行过内容编辑，并根据内容编辑的操作设置附加码；
将所述唯一标识码和附加码进行组合，形成特征码，并将所述特征码与所述数据文件进行联立；
在所述数据文件进行存储过程中，实时进行特征码分析和比较，根据所述特征码比较结果，确定在数据传输过程中是否对当前数据文件进行保存。
4.根据权利要求1所述特征码分析方法，其特征在于，在所述数据文件进行数据传输过程中，实时监测所述数据文件是否进行过内容编辑，并根据内容编辑的操作设置附加码，包括：
在所述数据文件进行数据传输过程中，当所述数据文件传输至一个***节点时，实时监测所述数据文件是否被打开；
当所述数据文件被打开时，实时监测所述数据文件打开后是否出现内容编辑；如果所述数据文件打开后没有出现内容编辑，则在所述数据文件关闭后保持当前文件的唯一标识码，不再进行额外编码；如果所述数据文件打开后出现内容编辑，则按照当前内容编辑所属次数生成附加码。
5.根据权利要求1所述特征码分析方法，其特征在于，将所述唯一标识码和附加码进行组合，形成特征码，并将所述特征码与所述数据文件进行联立，包括：
将所述唯一标识码和附加码进行组合，形成特征码；
在所述数据文件被关闭时，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；
将所述特征码与所述内容编辑后的数据文件进行联立，形成带有特征码的数据文件；
在数据传输过程中，根据所述数据文件的内容编辑情况进行特征码更新，并将更新后的特征码与其对应的内容编辑后的数据文件进行联立。
6.根据权利要求3所述特征码分析方法，其特征在于，在数据传输过程中，根据所述数据文件的内容编辑情况进行特征码更新，并将更新后的特征码与其对应的内容编辑后的数据文件进行联立，包括：
在数据传输过程中，实时监测所述数据文件的内容编辑情况，所述数据文件的内容每编辑一次增加一个附加码；
将新增的附加码与原有的特征码进行组合，形成更新后的特征码；
在进行内容编辑的数据文件关闭后，对内容编辑后的数据文件进行另保存，形成内容编辑后的数据文件和内容编制之前的原始文件数据；
将所述更新后的特征码与所述内容编辑后的数据文件进行联立，形成带有更新后的特征码的数据文件。
7.根据权利要求1所述特征码分析方法，其特征在于，在所述数据文件进行存储过程中，实时进行特征码分析和比较，根据所述特征码比较结果，确定在数据传输过程中是否对当前数据文件进行保存，包括：
实时判断所述数据文件在数据传输过程经过的路径***中所有对应的存储数据文件；
每出现一次特征码更新时，对待有相同唯一标识码的所有特征码进行比较，将特征码出现重复的数据文件进行唯一文件保留，重复数据文件删除处理；其中，所述唯一文件保留，重复数据文件删除处理的原则为：保留特征码重复的数据文件中，数据文件生成时间最早的数据文件，对于其他具有相同特征码的数据文件进行删除。
8.一种应用于云平台的数据验证***，其特征在于，所述特征码分析***包括：
标识码设置模块，用于在所述数据文件生成后，对所述数据文件设置唯一标识码，并将所述唯一标识码实时与所述数据文件联立标识；
附加码设置模块，用于在所述数据文件进行数据传输过程中，实时监测所述数据文件是否进行过内容编辑，并根据内容编辑的操作设置附加码；
组合模块，用于将所述唯一标识码和附加码进行组合，形成特征码，并将所述特征码与所述数据文件进行联立；
保存模块，用于在所述数据文件进行存储过程中，实时进行特征码分析和比较，根据所述特征码比较结果，确定在数据传输过程中是否对当前数据文件进行保存。
CN202310518750.7A 2023-05-09 2023-05-09 一种应用于云平台的数据验证***及方法 Pending CN116522410A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310518750.7A CN116522410A (zh) 2023-05-09 2023-05-09 一种应用于云平台的数据验证***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310518750.7A CN116522410A (zh) 2023-05-09 2023-05-09 一种应用于云平台的数据验证***及方法

Publications (1)

Publication Number Publication Date
CN116522410A true CN116522410A (zh) 2023-08-01

Family

ID=87400813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310518750.7A Pending CN116522410A (zh) 2023-05-09 2023-05-09 一种应用于云平台的数据验证***及方法

Country Status (1)

Country Link
CN (1) CN116522410A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103227818A (zh) * 2013-03-27 2013-07-31 福建伊时代信息科技股份有限公司 终端、服务器、文件传输方法、文件存储管理***和方法
US20180083982A1 (en) * 2016-09-21 2018-03-22 Rockwell Automation Technologies, Inc. Secure command execution from a cloud monitoring system to a remote cloud agent
CN116016673A (zh) * 2023-01-06 2023-04-25 深圳市数存科技有限公司 一种基于数据传输的特征码分析***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103227818A (zh) * 2013-03-27 2013-07-31 福建伊时代信息科技股份有限公司 终端、服务器、文件传输方法、文件存储管理***和方法
US20180083982A1 (en) * 2016-09-21 2018-03-22 Rockwell Automation Technologies, Inc. Secure command execution from a cloud monitoring system to a remote cloud agent
CN116016673A (zh) * 2023-01-06 2023-04-25 深圳市数存科技有限公司 一种基于数据传输的特征码分析***及方法

Similar Documents

Publication Publication Date Title
CN106713273B (zh) 一种基于字典树剪枝搜索的协议关键字识别方法
CN110874744B (zh) 一种数据异常检测方法及装置
CN113672937A (zh) 一种区块链节点
CN116016673A (zh) 一种基于数据传输的特征码分析***及方法
CN114462465A (zh) 一种分类模型的训练方法、质检预测方法及对应装置
CN116882790B (zh) 一种矿山生态修复区域的碳排放设备管理方法及***
CN112866292A (zh) 一种面向多样本组合攻击的攻击行为预测方法和装置
CN116150191A (zh) 一种用于云端数据架构的数据运算加速方法及***
CN116070249A (zh) 资产数据智能监控管理***及方法
CN112235254B (zh) 一种高速主干网中Tor网桥的快速识别方法
CN116701381B (zh) 一种分布式数据采集入库用的多级校验***及校验方法
CN116522410A (zh) 一种应用于云平台的数据验证***及方法
CN111539206B (zh) 一种确定敏感信息的方法、装置、设备及存储介质
CN110825533A (zh) 一种数据发射方法及装置
CN117472679A (zh) 结合数据流和控制流漂移发现的异常检测方法及***
CN109327349B (zh) 区块链账户创建时的限制方法、介质、装置及***
CN112994924B (zh) 一种网络业务日志在线归并方法
CN114546957A (zh) 一种数据智能集中处理服务平台
CN109558744B (zh) 一种数据处理方法和***
CN111813833A (zh) 一种实时二度通联关系数据挖掘的方法
CN111339043A (zh) 一种区块链碎片优化方法、***及存储介质
CN117610970B (zh) 一种数据迁移工作的智能评估方法及***
CN115484105B (zh) 攻击树的建模方法、装置、电子设备及可读存储介质
CN116882968B (zh) 一种故障缺陷全过程处理的设计和实现方法
CN115001856B (zh) 基于数据处理的网络安全画像及攻击预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination