CN115086301B - 用于压缩上传均衡的数据分析***及方法 - Google Patents

用于压缩上传均衡的数据分析***及方法 Download PDF

Info

Publication number
CN115086301B
CN115086301B CN202210690330.2A CN202210690330A CN115086301B CN 115086301 B CN115086301 B CN 115086301B CN 202210690330 A CN202210690330 A CN 202210690330A CN 115086301 B CN115086301 B CN 115086301B
Authority
CN
China
Prior art keywords
compression
uploading
file
compressed
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210690330.2A
Other languages
English (en)
Other versions
CN115086301A (zh
Inventor
闫雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Yunche Online Technology Co ltd
Original Assignee
Jiaxing Yunqie Supply Chain Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Yunqie Supply Chain Management Co ltd filed Critical Jiaxing Yunqie Supply Chain Management Co ltd
Priority to CN202210690330.2A priority Critical patent/CN115086301B/zh
Publication of CN115086301A publication Critical patent/CN115086301A/zh
Application granted granted Critical
Publication of CN115086301B publication Critical patent/CN115086301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/38Flow control; Congestion control by adapting coding or compression rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种用于压缩上传均衡的数据分析***,包括:测试准备机构,用于获取测试用文件的文件数据量以及设定压缩上传时长,文件数据量除以单位时长最低压缩上传数据量阈值以获得设定压缩上传时长的取值;编号转换器件,用于获得当前待压缩上传文件对应的有效压缩模式;压缩处理器件,用于采用有效压缩模式执行压缩处理;单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。本发明还涉及一种用于压缩上传均衡的数据分析方法。通过本发明,能够基于数据压缩设备的性能、数据上传设备的网速以及数据文件本身的数据量为每一数据文件解析出满足数据运营商获取数据速度要求的压缩模式。

Description

用于压缩上传均衡的数据分析***及方法
技术领域
本发明涉及数据分析领域,尤其涉及一种用于压缩上传均衡的数据分析***及方法。
背景技术
离线数据分析用于较复杂和耗时的数据分析和处理,一般通常构建在云计算平台之上,如开源的HDFS文件***和MapReduce运算框架。Hadoop机群包含数百台乃至数千台服务器,存储了数PB乃至数十PB的数据,每天运行着成千上万的离线数据分析作业,每个作业处理几百MB到几百TB甚至更多的数据,运行时间为几分钟、几小时、几天甚至更长。
在线数据分析也称为联机分析处理,用来处理用户的在线请求,它对响应时间的要求比较高(通常不超过若干秒)。与离线数据分析相比,在线数据分析能够实时处理用户的请求,允许用户随时更改分析的约束和限制条件。与离线数据分析相比,在线数据分析能够处理的数据量要小得多,但随着技术的发展,当前的在线分析***已经能够实时地处理数千万条甚至数亿条记录。传统的在线数据分析***构建在以关系数据库为核心的数据仓库之上,而在线大数据分析***构建在云计算平台的NoSQL***上。如果没有大数据的在线分析和处理,则无法存储和索引数量庞大的互联网网页,就不会有当今的高效搜索引擎,也不会有构建在大数据处理基础上的微博、博客、社交网络等的蓬勃发展。
当前,对于待压缩上传到数据运营商服务器的数据文件,其压缩模式直接决定了压缩时长和上传时长,然而,压缩时长的降低,代表压缩比的降低,导致上传的数据的上升,进而引起上传时长的上升,由此可见,压缩时长和上传时长是相互矛盾的,而数据运营商只关注二者加起来的总时长,因此,需要一种深层次的数据分析机制实现对压缩时长和上传时长的关系探讨,以解析出满足数据运营商获取数据速度要求的压缩模式。
发明内容
为了解决相关领域的技术问题,本发明提供了一种用于压缩上传均衡的数据分析***及方法,能够基于数据压缩设备的性能、数据上传设备的网速以及数据文件本身的数据量为每一数据文件解析出满足数据运营商获取数据速度要求的压缩模式,从而实现原本矛盾的压缩时长和上传时长的动态平衡。
根据本发明的一方面,提供了一种用于压缩上传均衡的数据分析***,所述***包括:
测试准备机构,用于针对每一测试用文件,获取其文件数据量以及设定压缩上传时长,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值;
类型提取机构,与所述测试准备机构连接,用于针对每一测试用文件,采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件,并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长,并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号;
模型重构机构,与所述类型提取机构连接,用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
编号转换器件,与所述模型重构机构连接,用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号;
压缩处理器件,与所述编号转换器件连接,用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理,以获得当前待压缩上传文件对应的已压缩文件;
其中,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括:所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。
根据本发明的另一方面,还提供了一种用于压缩上传均衡的数据分析方法,所述方法包括:
使用测试准备机构,用于针对每一测试用文件,获取其文件数据量以及设定压缩上传时长,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值;
使用类型提取机构,与所述测试准备机构连接,用于针对每一测试用文件,采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件,并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长,并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号;
使用模型重构机构,与所述类型提取机构连接,用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
使用编号转换器件,与所述模型重构机构连接,用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号;
使用压缩处理器件,与所述编号转换器件连接,用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理,以获得当前待压缩上传文件对应的已压缩文件;
其中,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括:所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。
由此可见,本发明至少具备以下两处突出的实质性特点:第一、基于当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率对满足数据运营商允许的每单位时长所压缩上传的最少数据量的速率要求的压缩编码种类进行智能解析,以在数据压缩和数据上传二者耗费时长之间达到动态的均衡,从而保证总的压缩上传时间;第二、采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构,实现对要使用的智能解析模型的多次重构,其中重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联,从而提升智能解析结果的精度。
附图说明
以下将结合附图对本发明的实施方案进行描述,其中:
图1为根据本发明实施方案示出的用于压缩上传均衡的数据分析***的结构方框图。
图2为根据本发明实施方案示出的用于压缩上传均衡的数据分析方法的步骤流程图。
具体实施方式
下面将参照附图对本发明的用于压缩上传均衡的数据分析方法的实施方案进行详细说明。
多媒体数据的压缩编码技术是在C.E.Shannon信息理论的基础发展起来的。编码方法可以分为三类:(1)根据信息源的统计特性,采用预测编码、变换编码、矢量量化编码、子带编码、神经网络编码等方法(第一代编码方法)。(2)根据人眼视觉特性,采用基于方向滤波的图像编码、基于图像轮廓一伦理编码,基于小波分析的编码等方法(第二代编码方法)。(3)根据传递景物特征:采用分形编码、基于模型的编码等方法(第二代编码方法)。
当前,对于待压缩上传到数据运营商服务器的数据文件,其压缩模式直接决定了压缩时长和上传时长,然而,压缩时长的降低,代表压缩比的降低,导致上传的数据的上升,进而引起上传时长的上升,由此可见,压缩时长和上传时长是相互矛盾的,而数据运营商只关注二者加起来的总时长,因此,需要一种深层次的数据分析机制实现对压缩时长和上传时长的关系探讨,以解析出满足数据运营商获取数据速度要求的压缩模式。
为了克服上述不足,本发明搭建了一种用于压缩上传均衡的数据分析***及方法,能够有效解决相应的技术问题。
本发明至少具备以下两处突出的实质性特点:
第一、基于当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率对满足数据运营商允许的每单位时长所压缩上传的最少数据量的速率要求的压缩编码种类进行智能解析,以在数据压缩和数据上传二者耗费时长之间达到动态的均衡,从而保证总的压缩上传时间;
第二、采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构,实现对要使用的智能解析模型的多次重构,其中重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联,从而提升智能解析结果的精度。
图1为根据本发明实施方案示出的用于压缩上传均衡的数据分析***的结构方框图,所述***包括:
测试准备机构,用于针对每一测试用文件,获取其文件数据量以及设定压缩上传时长,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值;
类型提取机构,与所述测试准备机构连接,用于针对每一测试用文件,采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件,并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长,并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号;
模型重构机构,与所述类型提取机构连接,用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
编号转换器件,与所述模型重构机构连接,用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号;
压缩处理器件,与所述编号转换器件连接,用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理,以获得当前待压缩上传文件对应的已压缩文件;
其中,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括:所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量;
示例地,所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量中,当数据运营商允许的每单位时长所压缩上传的最少数据量为每秒10M时,所述单位时长最低压缩上传数据量阈值的取值为每秒10M。
接着,继续对本发明的用于压缩上传均衡的数据分析***的具体结构进行进一步的说明。
所述用于压缩上传均衡的数据分析***中还可以包括:
上传处理器件,与所述压缩处理器件连接,用于将当前待压缩上传文件对应的已压缩文件上传到数据运营商占用的网络存储节点;
其中,将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号包括:重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联。
在所述用于压缩上传均衡的数据分析***中:
采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构包括:将所述测试用文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为所述智能解析模型的输入,将所述测试用文件对应的有效压缩模式对应的编号作为所述智能解析模型的输出,对所述智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
其中,将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号包括:当小于设定压缩上传时长的参考总时长存在两个以上时,将数值最小的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号。
在所述用于压缩上传均衡的数据分析***中:
测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件设置在同一数据处理终端内;
其中,测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件共同所述数据处理终端内的同一供电电源。
在所述用于压缩上传均衡的数据分析***中:
将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入包括:在当前待压缩上传文件的文件数据量超过最大设置阈值时,停止执行将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入。
图2为根据本发明实施方案示出的用于压缩上传均衡的数据分析方法的步骤流程图,所述方法包括:
使用测试准备机构,用于针对每一测试用文件,获取其文件数据量以及设定压缩上传时长,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值;
使用类型提取机构,与所述测试准备机构连接,用于针对每一测试用文件,采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件,并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长,并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号;
使用模型重构机构,与所述类型提取机构连接,用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
使用编号转换器件,与所述模型重构机构连接,用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号;
使用压缩处理器件,与所述编号转换器件连接,用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理,以获得当前待压缩上传文件对应的已压缩文件;
其中,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括:所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。
接着,继续对本发明的用于压缩上传均衡的数据分析方法的具体步骤进行进一步的说明。
所述用于压缩上传均衡的数据分析方法还可以包括:
使用上传处理器件,与所述压缩处理器件连接,用于将当前待压缩上传文件对应的已压缩文件上传到数据运营商占用的网络存储节点;
其中,将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号包括:重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联。
所述用于压缩上传均衡的数据分析方法中:
采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构包括:将所述测试用文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为所述智能解析模型的输入,将所述测试用文件对应的有效压缩模式对应的编号作为所述智能解析模型的输出,对所述智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
其中,将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号包括:当小于设定压缩上传时长的参考总时长存在两个以上时,将数值最小的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号。
所述用于压缩上传均衡的数据分析方法中:
测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件设置在同一数据处理终端内;
其中,测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件共同所述数据处理终端内的同一供电电源。
所述用于压缩上传均衡的数据分析方法中:
将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入包括:在当前待压缩上传文件的文件数据量超过最大设置阈值时,停止执行将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入。
另外,在所述用于压缩上传均衡的数据分析***及方法中,将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号包括:所述智能解析模型基于前馈神经网络。
采用本发明的用于压缩上传均衡的数据分析***及方法,针对现有技术的数据压缩时长与数据上传时长二者需求矛盾的技术问题,能够基于数据压缩设备的性能、数据上传设备的网速以及数据文件本身的数据量为每一数据文件解析出满足数据运营商获取数据速度要求的压缩模式,从而实现原本矛盾的压缩时长和上传时长的动态平衡。
虽然以上描述参看了优选设计,但可在本发明内容的精神和范围内对优选设计进行进一步修改。因此,本申请案被用来涵盖使用本文揭示的普遍原理对优选设计所作出的任何改变、使用或调整。进一步地,本申请案被用来涵盖属于相关领域中的已知或惯例实践并且属于所附权利要求书的限制内的自本发明揭示内容的改变。

Claims (8)

1.一种用于压缩上传均衡的数据分析***,其特征在于,所述***包括:
测试准备机构,用于针对每一测试用文件,获取其文件数据量以及设定压缩上传时长,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值;
类型提取机构,与所述测试准备机构连接,用于针对每一测试用文件,采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件,并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长,并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号,其中,当小于设定压缩上传时长的参考总时长存在两个以上时,将数值最小的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号;
模型重构机构,与所述类型提取机构连接,用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构,包括将所述测试用文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为所述智能解析模型的输入,将所述测试用文件对应的有效压缩模式对应的编号作为所述智能解析模型的输出,对所述智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;编号转换器件,与所述模型重构机构连接,用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号;
压缩处理器件,与所述编号转换器件连接,用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理,以获得当前待压缩上传文件对应的已压缩文件;
其中,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括:所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。
2.如权利要求1所述的用于压缩上传均衡的数据分析***,其特征在于,还包括:
上传处理器件,与所述压缩处理器件连接,用于将当前待压缩上传文件对应的已压缩文件上传到数据运营商占用的网络存储节点;
其中,将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号包括:重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联。
3.如权利要求1-2任一所述的用于压缩上传均衡的数据分析***,其特征在于:
测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件设置在同一数据处理终端内;
其中,测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件共用所述数据处理终端内的同一供电电源。
4.如权利要求1-2任一所述的用于压缩上传均衡的数据分析***,其特征在于:
将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入包括:在当前待压缩上传文件的文件数据量超过最大设置阈值时,停止执行将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入。
5.一种用于压缩上传均衡的数据分析方法,其特征在于,所述方法包括:
使用测试准备机构,用于针对每一测试用文件,获取其文件数据量以及设定压缩上传时长,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值;
使用类型提取机构,与所述测试准备机构连接,用于针对每一测试用文件,采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件,并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长,并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号,其中,当小于设定压缩上传时长的参考总时长存在两个以上时,将数值最小的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号;
使用模型重构机构,与所述类型提取机构连接,用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构,包括将所述测试用文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为所述智能解析模型的输入,将所述测试用文件对应的有效压缩模式对应的编号作为所述智能解析模型的输出,对所述智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
使用编号转换器件,与所述模型重构机构连接,用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号;
使用压缩处理器件,与所述编号转换器件连接,用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理,以获得当前待压缩上传文件对应的已压缩文件;
其中,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括:所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。
6.如权利要求5所述的用于压缩上传均衡的数据分析方法,其特征在于,还包括:
使用上传处理器件,与所述压缩处理器件连接,用于将当前待压缩上传文件对应的已压缩文件上传到数据运营商占用的网络存储节点;
其中,将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号包括:重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联。
7.如权利要求5-6任一所述的用于压缩上传均衡的数据分析方法,其特征在于:
测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件设置在同一数据处理终端内;
其中,测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件共用所述数据处理终端内的同一供电电源。
8.如权利要求5-6任一所述的用于压缩上传均衡的数据分析方法,其特征在于:
将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入包括:在当前待压缩上传文件的文件数据量超过最大设置阈值时,停止执行将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入。
CN202210690330.2A 2022-06-17 2022-06-17 用于压缩上传均衡的数据分析***及方法 Active CN115086301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210690330.2A CN115086301B (zh) 2022-06-17 2022-06-17 用于压缩上传均衡的数据分析***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210690330.2A CN115086301B (zh) 2022-06-17 2022-06-17 用于压缩上传均衡的数据分析***及方法

Publications (2)

Publication Number Publication Date
CN115086301A CN115086301A (zh) 2022-09-20
CN115086301B true CN115086301B (zh) 2022-12-27

Family

ID=83254330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210690330.2A Active CN115086301B (zh) 2022-06-17 2022-06-17 用于压缩上传均衡的数据分析***及方法

Country Status (1)

Country Link
CN (1) CN115086301B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233438B (zh) * 2023-03-09 2023-08-29 上海华期信息技术有限责任公司 利用加权算法的数据预测采集***
CN116347080B (zh) * 2023-03-27 2023-10-31 苏州利博特信息科技有限公司 基于下采样处理的智能算法应用***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727643A (zh) * 2019-09-16 2020-01-24 北京明朝万达科技股份有限公司 一种基于机器学习的文件分类管理方法及***
CN111476002A (zh) * 2020-04-07 2020-07-31 北京东方金信科技有限公司 一种数据文件编码格式转换方法及***
CN112398481A (zh) * 2020-11-20 2021-02-23 南京轨道交通***工程有限公司 反馈式匹配预测多级实时压缩***及方法
CN112637598A (zh) * 2020-12-18 2021-04-09 国家电网有限公司信息通信分公司 视频的压缩与解压缩方法、装置、设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10313256B2 (en) * 2015-05-21 2019-06-04 Intel Corporation Apparatus and methods for adaptive data compression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727643A (zh) * 2019-09-16 2020-01-24 北京明朝万达科技股份有限公司 一种基于机器学习的文件分类管理方法及***
CN111476002A (zh) * 2020-04-07 2020-07-31 北京东方金信科技有限公司 一种数据文件编码格式转换方法及***
CN112398481A (zh) * 2020-11-20 2021-02-23 南京轨道交通***工程有限公司 反馈式匹配预测多级实时压缩***及方法
CN112637598A (zh) * 2020-12-18 2021-04-09 国家电网有限公司信息通信分公司 视频的压缩与解压缩方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN115086301A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN115086301B (zh) 用于压缩上传均衡的数据分析***及方法
CN110389820B (zh) 一种基于v-TGRU模型进行资源预测的私有云任务调度方法
CN112000636A (zh) 基于Flink流式处理的用户行为统计分析方法
CN111339433B (zh) 基于人工智能的信息推荐方法、装置、电子设备
CN112418482B (zh) 一种基于时间序列聚类的云计算能耗预测方法
CN111274256B (zh) 基于时序数据库的资源管控方法、装置、设备及存储介质
DE112018005205T5 (de) Komprimierung von vollständig verbundenen / wiederkehrenden Schichten von einem oder mehreren tiefen Netzen durch Durchsetzen von räumlicher Lokalität für Gewichtsmatrizen und erwirken von Frequenzkomprimierung
CN103778474A (zh) 资源负载量预测方法、分析预测***及业务运营监控***
CN111738435B (zh) 一种基于移动设备的在线稀疏训练方法及***
CN114154646A (zh) 一种移动边缘网络中联邦学习的效率优化方法
DE102021127244A1 (de) Künstliche Intelligenz Optimierungsplattform
CN111209105A (zh) 扩容处理方法、装置、设备及可读存储介质
CN114861907A (zh) 数据计算方法、装置、存储介质和设备
DE112021001767T5 (de) Rationalisieren von datenverarbeitungsoptimierungen für arbeitslasten mit maschinellem lernen
CN117651144A (zh) 基于深度学习的建筑物点云压缩方法及***
CN116149848A (zh) 负载预测方法、装置、电子设备及存储介质
JP2022530175A (ja) エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくvodサービスキャッシュ置き換え方法
CN116957043A (zh) 模型量化方法、装置、设备及介质
CN114663536B (zh) 一种图像压缩方法及装置
CN114610234B (zh) 一种存储***参数推荐方法及相关装置
CN116187387A (zh) 神经网络模型量化方法、装置、计算机设备和存储介质
CN110647448A (zh) 一种移动应用操作日志数据实时分析方法、服务器和***
CN116955698A (zh) 一种匹配模型训练方法、装置、电子设备及存储介质
CN114125070B (zh) 一种量化压缩的通信方法、***、电子装置及存储介质
CN111161363A (zh) 一种图像编码模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221208

Address after: Room 102-2, 1st floor, building 42, Zhifu center, 966 Xiuyuan Road, Xiuzhou District, Jiaxing City, Zhejiang Province, 314031

Applicant after: JIAXING YUNQIE SUPPLY CHAIN MANAGEMENT CO.,LTD.

Address before: 710121 School of computer science, Xi'an University of Posts and telecommunications, Chang'an District, Xi'an City, Shaanxi Province

Applicant before: Yan Xue

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 102-2, 1st floor, building 42, Zhifu center, 966 Xiuyuan Road, Xiuzhou District, Jiaxing City, Zhejiang Province, 314031

Patentee after: Jiaxing Yunche Online Technology Co.,Ltd.

Country or region after: China

Address before: Room 102-2, 1st floor, building 42, Zhifu center, 966 Xiuyuan Road, Xiuzhou District, Jiaxing City, Zhejiang Province, 314031

Patentee before: JIAXING YUNQIE SUPPLY CHAIN MANAGEMENT CO.,LTD.

Country or region before: China