发明内容
为了解决相关领域的技术问题,本发明提供了一种用于压缩上传均衡的数据分析***及方法,能够基于数据压缩设备的性能、数据上传设备的网速以及数据文件本身的数据量为每一数据文件解析出满足数据运营商获取数据速度要求的压缩模式,从而实现原本矛盾的压缩时长和上传时长的动态平衡。
根据本发明的一方面,提供了一种用于压缩上传均衡的数据分析***,所述***包括:
测试准备机构,用于针对每一测试用文件,获取其文件数据量以及设定压缩上传时长,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值;
类型提取机构,与所述测试准备机构连接,用于针对每一测试用文件,采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件,并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长,并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号;
模型重构机构,与所述类型提取机构连接,用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
编号转换器件,与所述模型重构机构连接,用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号;
压缩处理器件,与所述编号转换器件连接,用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理,以获得当前待压缩上传文件对应的已压缩文件;
其中,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括:所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。
根据本发明的另一方面,还提供了一种用于压缩上传均衡的数据分析方法,所述方法包括:
使用测试准备机构,用于针对每一测试用文件,获取其文件数据量以及设定压缩上传时长,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值;
使用类型提取机构,与所述测试准备机构连接,用于针对每一测试用文件,采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件,并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长,并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号;
使用模型重构机构,与所述类型提取机构连接,用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
使用编号转换器件,与所述模型重构机构连接,用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号;
使用压缩处理器件,与所述编号转换器件连接,用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理,以获得当前待压缩上传文件对应的已压缩文件;
其中,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括:所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。
由此可见,本发明至少具备以下两处突出的实质性特点:第一、基于当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率对满足数据运营商允许的每单位时长所压缩上传的最少数据量的速率要求的压缩编码种类进行智能解析,以在数据压缩和数据上传二者耗费时长之间达到动态的均衡,从而保证总的压缩上传时间;第二、采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构,实现对要使用的智能解析模型的多次重构,其中重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联,从而提升智能解析结果的精度。
具体实施方式
下面将参照附图对本发明的用于压缩上传均衡的数据分析方法的实施方案进行详细说明。
多媒体数据的压缩编码技术是在C.E.Shannon信息理论的基础发展起来的。编码方法可以分为三类:(1)根据信息源的统计特性,采用预测编码、变换编码、矢量量化编码、子带编码、神经网络编码等方法(第一代编码方法)。(2)根据人眼视觉特性,采用基于方向滤波的图像编码、基于图像轮廓一伦理编码,基于小波分析的编码等方法(第二代编码方法)。(3)根据传递景物特征:采用分形编码、基于模型的编码等方法(第二代编码方法)。
当前,对于待压缩上传到数据运营商服务器的数据文件,其压缩模式直接决定了压缩时长和上传时长,然而,压缩时长的降低,代表压缩比的降低,导致上传的数据的上升,进而引起上传时长的上升,由此可见,压缩时长和上传时长是相互矛盾的,而数据运营商只关注二者加起来的总时长,因此,需要一种深层次的数据分析机制实现对压缩时长和上传时长的关系探讨,以解析出满足数据运营商获取数据速度要求的压缩模式。
为了克服上述不足,本发明搭建了一种用于压缩上传均衡的数据分析***及方法,能够有效解决相应的技术问题。
本发明至少具备以下两处突出的实质性特点:
第一、基于当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率对满足数据运营商允许的每单位时长所压缩上传的最少数据量的速率要求的压缩编码种类进行智能解析,以在数据压缩和数据上传二者耗费时长之间达到动态的均衡,从而保证总的压缩上传时间;
第二、采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构,实现对要使用的智能解析模型的多次重构,其中重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联,从而提升智能解析结果的精度。
图1为根据本发明实施方案示出的用于压缩上传均衡的数据分析***的结构方框图,所述***包括:
测试准备机构,用于针对每一测试用文件,获取其文件数据量以及设定压缩上传时长,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值;
类型提取机构,与所述测试准备机构连接,用于针对每一测试用文件,采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件,并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长,并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号;
模型重构机构,与所述类型提取机构连接,用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
编号转换器件,与所述模型重构机构连接,用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号;
压缩处理器件,与所述编号转换器件连接,用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理,以获得当前待压缩上传文件对应的已压缩文件;
其中,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括:所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量;
示例地,所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量中,当数据运营商允许的每单位时长所压缩上传的最少数据量为每秒10M时,所述单位时长最低压缩上传数据量阈值的取值为每秒10M。
接着,继续对本发明的用于压缩上传均衡的数据分析***的具体结构进行进一步的说明。
所述用于压缩上传均衡的数据分析***中还可以包括:
上传处理器件,与所述压缩处理器件连接,用于将当前待压缩上传文件对应的已压缩文件上传到数据运营商占用的网络存储节点;
其中,将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号包括:重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联。
在所述用于压缩上传均衡的数据分析***中:
采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构包括:将所述测试用文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为所述智能解析模型的输入,将所述测试用文件对应的有效压缩模式对应的编号作为所述智能解析模型的输出,对所述智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
其中,将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号包括:当小于设定压缩上传时长的参考总时长存在两个以上时,将数值最小的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号。
在所述用于压缩上传均衡的数据分析***中:
测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件设置在同一数据处理终端内;
其中,测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件共同所述数据处理终端内的同一供电电源。
在所述用于压缩上传均衡的数据分析***中:
将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入包括:在当前待压缩上传文件的文件数据量超过最大设置阈值时,停止执行将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入。
图2为根据本发明实施方案示出的用于压缩上传均衡的数据分析方法的步骤流程图,所述方法包括:
使用测试准备机构,用于针对每一测试用文件,获取其文件数据量以及设定压缩上传时长,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值;
使用类型提取机构,与所述测试准备机构连接,用于针对每一测试用文件,采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件,并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长,并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号;
使用模型重构机构,与所述类型提取机构连接,用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
使用编号转换器件,与所述模型重构机构连接,用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号;
使用压缩处理器件,与所述编号转换器件连接,用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理,以获得当前待压缩上传文件对应的已压缩文件;
其中,所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括:所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。
接着,继续对本发明的用于压缩上传均衡的数据分析方法的具体步骤进行进一步的说明。
所述用于压缩上传均衡的数据分析方法还可以包括:
使用上传处理器件,与所述压缩处理器件连接,用于将当前待压缩上传文件对应的已压缩文件上传到数据运营商占用的网络存储节点;
其中,将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号包括:重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联。
所述用于压缩上传均衡的数据分析方法中:
采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构包括:将所述测试用文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为所述智能解析模型的输入,将所述测试用文件对应的有效压缩模式对应的编号作为所述智能解析模型的输出,对所述智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构;
其中,将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号包括:当小于设定压缩上传时长的参考总时长存在两个以上时,将数值最小的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号。
所述用于压缩上传均衡的数据分析方法中:
测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件设置在同一数据处理终端内;
其中,测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件共同所述数据处理终端内的同一供电电源。
所述用于压缩上传均衡的数据分析方法中:
将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入包括:在当前待压缩上传文件的文件数据量超过最大设置阈值时,停止执行将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入。
另外,在所述用于压缩上传均衡的数据分析***及方法中,将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入,运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号包括:所述智能解析模型基于前馈神经网络。
采用本发明的用于压缩上传均衡的数据分析***及方法,针对现有技术的数据压缩时长与数据上传时长二者需求矛盾的技术问题,能够基于数据压缩设备的性能、数据上传设备的网速以及数据文件本身的数据量为每一数据文件解析出满足数据运营商获取数据速度要求的压缩模式,从而实现原本矛盾的压缩时长和上传时长的动态平衡。
虽然以上描述参看了优选设计,但可在本发明内容的精神和范围内对优选设计进行进一步修改。因此,本申请案被用来涵盖使用本文揭示的普遍原理对优选设计所作出的任何改变、使用或调整。进一步地,本申请案被用来涵盖属于相关领域中的已知或惯例实践并且属于所附权利要求书的限制内的自本发明揭示内容的改变。