CN113190361A - 数据传输策略的调整方法、装置、设备及存储介质 - Google Patents

数据传输策略的调整方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113190361A
CN113190361A CN202110432248.5A CN202110432248A CN113190361A CN 113190361 A CN113190361 A CN 113190361A CN 202110432248 A CN202110432248 A CN 202110432248A CN 113190361 A CN113190361 A CN 113190361A
Authority
CN
China
Prior art keywords
data
data transmission
tolerance
preset
change rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110432248.5A
Other languages
English (en)
Other versions
CN113190361B (zh
Inventor
尚文科
林振钦
罗庚贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202110432248.5A priority Critical patent/CN113190361B/zh
Publication of CN113190361A publication Critical patent/CN113190361A/zh
Application granted granted Critical
Publication of CN113190361B publication Critical patent/CN113190361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/547Messaging middleware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/548Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及云计算领域,公开了一种数据传输策略的调整方法、装置、设备及存储介质,用于提高数据传输策略调整的灵活性。该方法包括:接收终端发出的性能数据传输请求,并根据所述性能数据传输请求,获取目标性能数据;采用预置分布式消息中间件和预置推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库,并对所述目标性能数据进行监控,得到性能状态指标值;计算所述性能状态指标值对应的数据变化率,并获取所述目标性能数据的数据容忍度;对所述数据变化率和所述数据容忍度进行分析,得到分析结果;根据所述分析结果,对所述推拉混合数据传输策略进行调整。

Description

数据传输策略的调整方法、装置、设备及存储介质
技术领域
本发明涉及云计算领域,尤其涉及一种数据传输策略的调整方法、装置、设备及存储介质。
背景技术
近年来,云计算得到了快速的发展,它通过虚拟化技术将基础设施以及不同种类的资源进行整合来提高它们的使用率。随着云计算平台规模的变大对于其资源的管理和部署也变得更加复杂,为了能反映其运行的状态以及服务质量,监控***起到了非常重要的作用。云计算平台下的资源是虚拟化的,而且还有具有一定的弹性化,所以除了对物理服务器的资源进行监控外,对于运行在其上的虚拟机以及虚拟资源的监控也尤为重要。
现有技术是使用SIGAR、JMX等技术获取监控数据,并采用目前在网格以及分布式***监控中使用的推、拉模型进行数据传输,然后对基础设施层、中间件层以及应用层分别进行监控。但是,现有技术无法实时调整数据传输策略,导致无法快速传输数据。
发明内容
本发明的主要目的在于解决目前数据传输时传输策略的调整不灵活的问题。
本发明第一方面提供了一种数据传输策略的调整方法,所述数据传输策略的调整方法包括:接收终端发出的性能数据传输请求,并根据所述性能数据传输请求,获取目标性能数据;采用预置分布式消息中间件和预置推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库,并对所述目标性能数据进行监控,得到性能状态指标值;计算所述性能状态指标值对应的数据变化率,并获取所述目标性能数据的数据容忍度;对所述数据变化率和所述数据容忍度进行分析,得到分析结果;根据所述分析结果,对所述推拉混合数据传输策略进行调整。
可选的,在本发明第一方面的第一种实现方式中,所述接收终端发出的性能数据传输请求,并根据所述性能数据传输请求,获取目标性能数据包括:接收终端发出的性能数据传输请求,并对所述性能数据传输请求进行地址解析,得到数据获取地址;根据所述数据获取地址,确定数据获取时对应的资源分布层,所述资源分布层包括:基础设施层、平台软件层和应用软件层;当所述资源分布层为基础设施层时,调用预置API接口获取目标性能数据;当所述资源分布层为平台软件层时,采用预置JMX接口获取目标性能数据;当所述资源分布层为应用软件层时,采用预置***获取目标性能数据。
可选的,在本发明第一方面的第二种实现方式中,所述采用预置分布式消息中间件和预置推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库,并对所述目标性能数据进行监控,得到性能状态指标值包括:采用ZeroMQ分布式消息中间件和推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库;对所述目标性能数据进行监控,得到监控数据;根据所述资源分布层,获取所述监控数据中的性能状态指标值。
可选的,在本发明第一方面的第三种实现方式中,所述计算所述性能状态指标值对应的数据变化率,并获取所述目标性能数据的数据容忍度包括:调用预置数据变化率函数,计算所述性能状态指标值对应的数据变化率;获取所述目标性能数据的数据容忍度,所述数据容忍度为预设的用户容忍度。
可选的,在本发明第一方面的第四种实现方式中,所述对所述数据变化率和所述数据容忍度进行分析,得到分析结果包括:分析所述数据变化率和所述数据容忍度的大小关系,得到分析结果,所述分析结果包括:所述数据变化率小于或等于所述数据容忍度以及所述数据变化率大于所述数据容忍度。
可选的,在本发明第一方面的第五种实现方式中,所述根据所述分析结果,对所述推拉混合数据传输策略进行调整包括:当所述数据变化率小于或等于所述数据容忍度时,按照预置比例数量增加所述推拉混合数据传输策略中拉取模式的时长占比;当所述数据变化率大于所述数据容忍度时,按照预置比例数量增加所述推拉混合数据传输策略中推送模式的时长占比。
可选的,在本发明第一方面的第六种实现方式中,在所述根据所述分析结果,对所述数据传输策略进行调整之后,还包括:对所述目标性能数据进行格式化,得到格式化性能数据;对所述格式化性能数据进行集成,并对集成后的格式化性能数据进行存储。
本发明第二方面提供了一种数据传输策略的调整装置,所述数据传输策略的调整装置包括:获取模块,用于接收终端发出的性能数据传输请求,并根据所述性能数据传输请求,获取目标性能数据;监控模块,用于采用预置分布式消息中间件和预置推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库,并对所述目标性能数据进行监控,得到性能状态指标值;计算模块,用于计算所述性能状态指标值对应的数据变化率,并获取所述目标性能数据的数据容忍度;分析模块,用于对所述数据变化率和所述数据容忍度进行分析,得到分析结果;调整模块,用于根据所述分析结果,对所述推拉混合数据传输策略进行调整。
可选的,在本发明第二方面的第一种实现方式中,所述获取模块具体用于:接收终端发出的性能数据传输请求,并对所述性能数据传输请求进行地址解析,得到数据获取地址;根据所述数据获取地址,确定数据获取时对应的资源分布层,所述资源分布层包括:基础设施层、平台软件层和应用软件层;当所述资源分布层为基础设施层时,调用预置API接口获取目标性能数据;当所述资源分布层为平台软件层时,采用预置JMX接口获取目标性能数据;当所述资源分布层为应用软件层时,采用预置***获取目标性能数据。
可选的,在本发明第二方面的第二种实现方式中,所述监控模块具体用于:采用ZeroMQ分布式消息中间件和推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库;对所述目标性能数据进行监控,得到监控数据;根据所述资源分布层,获取所述监控数据中的性能状态指标值。
可选的,在本发明第二方面的第三种实现方式中,所述计算模块具体用于:调用预置数据变化率函数,计算所述性能状态指标值对应的数据变化率;获取所述目标性能数据的数据容忍度,所述数据容忍度为预设的用户容忍度。
可选的,在本发明第二方面的第四种实现方式中,所述分析模块具体用于:分析所述数据变化率和所述数据容忍度的大小关系,得到分析结果,所述分析结果包括:所述数据变化率小于或等于所述数据容忍度以及所述数据变化率大于所述数据容忍度。
可选的,在本发明第二方面的第五种实现方式中,所述调整模块具体用于:当所述数据变化率小于或等于所述数据容忍度时,按照预置比例数量增加所述推拉混合数据传输策略中拉取模式的时长占比;当所述数据变化率大于所述数据容忍度时,按照预置比例数量增加所述推拉混合数据传输策略中推送模式的时长占比。
可选的,在本发明第二方面的第六种实现方式中,所述数据传输策略的调整装置还包括:存储模块,用于对所述目标性能数据进行格式化,得到格式化性能数据;对所述格式化性能数据进行集成,并对集成后的格式化性能数据进行存储。
本发明第三方面提供了一种数据传输策略的调整设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述数据传输策略的调整设备执行上述的数据传输策略的调整方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的数据传输策略的调整方法。
本发明提供的技术方案中,接收终端发出的性能数据传输请求,并根据所述性能数据传输请求,获取目标性能数据;采用预置分布式消息中间件和预置推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库,并对所述目标性能数据进行监控,得到性能状态指标值;计算所述性能状态指标值对应的数据变化率,并获取所述目标性能数据的数据容忍度;对所述数据变化率和所述数据容忍度进行分析,得到分析结果;根据所述分析结果,对所述推拉混合数据传输策略进行调整。本发明提高了数据传输策略调整的灵活性。
附图说明
图1为本发明实施例中数据传输策略的调整方法的第一个实施例示意图;
图2为本发明实施例中数据传输策略的调整方法的第二个实施例示意图;
图3为本发明实施例中数据传输策略的调整装置的第一个实施例示意图;
图4为本发明实施例中数据传输策略的调整装置的第二个实施例示意图;
图5为本发明实施例中数据传输策略的调整设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种数据传输策略的调整方法、装置、设备及存储介质。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中数据传输策略的调整方法的第一个实施例包括:
101、接收终端发出的性能数据传输请求,并根据性能数据传输请求,获取目标性能数据;
可以理解的是,本发明的执行主体可以为数据传输策略的调整装置,还可以是服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的,服务器接收到终端发出的性能数据传输请求,对性能数据传输请求的地址进行解析,得到数据获取地址,根据数据获取地址,确定数据获取时对应的资源分布层,不同的资源分布在不同的资源分布层上,硬件资源分布在基础设施层(Infrastructure asa Service,IaaS),中间件资源分布在平台软件层(Platform as a Service,PaaS),应用服务资源分布在应用软件层(Software as a service,SaaS)层,对于不同层次上的不同资源,采用不同的数据获取方案,获取目标性能数据。具体的,目标性能数据是带有时间戳的数据,例如:物流行业中的订单数据。
102、采用预置分布式消息中间件和预置推拉混合数据传输策略,将目标性能数据传输至预置数据仓库,并对目标性能数据进行监控,得到性能状态指标值;
具体的,服务器采用ZeroMQ分布式消息中间件和推拉混合数据传输策略将目标性能数据传输至预置数据仓库,ZeroMQ分布式消息中间件是一个基于消息队列的多线程网络库,其对套接字类型、连接处理、帧、甚至路由的底层细节进行抽象,提供跨越多种传输协议的套接字,推拉混合数据传输策略在保证较高数据实时性的前提下,尽量减少通信开销,保证监控信息的实时同步,通过推拉混合算法来减少数据的更新次数。服务器对目标性能数据的传输过程进行全程监控,得到监控数据,监控数据中包含多个性能状态指标,从监控数据中提取出需要的性能状态指标。
103、计算性能状态指标值对应的数据变化率,并获取目标性能数据的数据容忍度;
具体的,服务器采用预置数据变化率函数计算性能状态指标值对应的数据变化率,然后采用数据容忍度(Data Real-time Tolerant,DRT),DRT描述了监控***对数据实时性的容忍度,DRT越大,表示监控***对数据实时性的容忍度越大,即对数据实时性的要求越低,DRT越小,表示监控***对数据实时性的容忍度越低,即对数据实时性的要求越高,其中,数据容忍度为用户容忍度和***容忍度中的一种,用户容忍度是用来描述用户对数据传输状态实时性的容忍度,用户容忍度的取值是由用户预先设定,并且在运行过程中保持不变的,***容忍度表示监控***对数据实时性的容忍度,当***容忍度大于用户容忍度时,监控***采用用户预先设置的用户容忍度为数据容忍度,当***容忍度小于或等于用户容忍度时,监控***采用***容忍度作为数据容忍度。
104、对数据变化率和数据容忍度进行分析,得到分析结果;
具体的,服务器对数据变化率和数据容忍度进行大小比较,得到分析结果,分析结果包括:数据变化率小于或等于数据容忍度,数据变化率大于数据容忍度。
105、根据分析结果,对推拉混合数据传输策略进行调整。
具体的,服务器根据分析结果对推拉混合数据传输策略进行调整,通过对目标性能数据的传输过程进行评估,根据虚拟机节点上运行的服务的响应时间性能数据进行分析,根据响应时间的动态变化来调整数据传输策略。
本发明实施例中,接收终端发出的性能数据传输请求,并根据性能数据传输请求,获取目标性能数据;采用预置分布式消息中间件和预置推拉混合数据传输策略,将目标性能数据传输至预置数据仓库,并对目标性能数据进行监控,得到性能状态指标值;计算性能状态指标值对应的数据变化率,并获取目标性能数据的数据容忍度;对数据变化率和数据容忍度进行分析,得到分析结果;根据分析结果,对推拉混合数据传输策略进行调整。本发明通过对目标性能数据的数据传输过程进行监控,根据监控得到的数据变化率和数据容忍度进行比较,根据比较结果调整数据传输策略,提高了数据传输策略调整的灵活性。
请参阅图2,本发明实施例中数据传输策略的调整方法的第二个实施例包括:
201、接收终端发出的性能数据传输请求,并根据性能数据传输请求,获取目标性能数据;
具体的,服务器接收到终端发出的性能数据传输请求,对性能数据传输请求的地址进行解析,得到数据获取地址,根据数据获取地址,确定数据获取时对应的资源分布层,不同的资源分布在不同的资源分布层上,硬件资源分布在IaaS层,中间件资源分布在PaaS层,应用服务资源分布在SaaS层,对于不同层次上的不同资源,采用不同的数据获取方案,获取目标性能数据。具体的,目标性能数据是带有时间戳的数据,例如:物流行业中的订单数据。
可选的,上述步骤201包括:接收终端发出的性能数据传输请求,并对性能数据传输请求进行地址解析,得到数据获取地址;根据数据获取地址,确定数据获取时对应的资源分布层,资源分布层包括:基础设施层、平台软件层和应用软件层;当资源分布层为基础设施层时,调用预置API接口获取目标性能数据;当资源分布层为平台软件层时,采用预置JMX接口获取目标性能数据;当资源分布层为应用软件层时,采用预置***获取目标性能数据。
具体的,服务器在接收到终端发出的性能数据传输请求之后,采用负载均衡技术,服务器中为同一个主机名配置多个数据获取地址,在应答性能数据传输请求时,服务器对每个请求进行地址解析,得到数据获取地址,根据数据获取地址匹配对应的资源分布层,当数据在基础设施层时,调用预置API接口,通过API接口获取目标性能数据,当数据在平台软件层时,采用预置JMX接口,通过JMX接口获取目标性能数据;当数据在应用软件层时,采用预先编写的***,对性能数据传输请求进行拦截,以确定性能数据传输请求对应的请求接口,获取目标性能数据。
202、采用预置分布式消息中间件和预置推拉混合数据传输策略,将目标性能数据传输至预置数据仓库,并对目标性能数据进行监控,得到性能状态指标值;
具体的,服务器采用ZeroMQ分布式消息中间件和推拉混合数据传输策略将目标性能数据传输至预置数据仓库,ZeroMQ分布式消息中间件是一个基于消息队列的多线程网络库,其对套接字类型、连接处理、帧、甚至路由的底层细节进行抽象,提供跨越多种传输协议的套接字,推拉混合数据传输策略在保证较高数据实时性的前提下,尽量减少通信开销,保证监控信息的实时同步,通过推拉混合算法来减少数据的更新次数。服务器对目标性能数据的传输过程进行全程监控,得到监控数据,监控数据中包含多个性能状态指标,从监控数据中提取出需要的性能状态指标。
可选的,上述步骤202包括:采用ZeroMQ分布式消息中间件和推拉混合数据传输策略,将目标性能数据传输至预置数据仓库;对目标性能数据进行监控,得到监控数据;根据资源分布层,获取监控数据中的性能状态指标值。
具体的,服务器采用ZeroMQ分布式消息中间件和推拉混合数据传输策略,将目标性能数据传输至预置数据仓库,在推拉混合数据传输策略中采用推送(Push)和拉取(Pull)混合算法,Push和Pull混合算法结合了Push模式和Pull模式的优势,采用Push和Pull混合模式,在保证较高数据实时性的前提下,尽量减少通信开销,保证监控信息的实时同步,推拉混合算法来减少数据的更新次数Pull操作的周期是通过加减固定值进行简单的变化,没有根据运行过程中应用服务的变化实时改变。因此,本技术方案对推拉混合算法进行了改进,可以根据运行过程中监控的性能指标实时地调整数据传输策略。
具体的,服务器在数据传输的过程中记录数据传输服务的监控状态信息,每一个时间戳会实时记录数据传输时的性能状态指标,x1表示在数据传输的起始端早于t的最近时间戳,x2表示在数据接收的接收端中早于时间t的最近时间戳,由于在数据传输起始端的数据更新总是早于数据存储端的数据更新,所以有x2>x1,Col(x1)表示x1时刻在数据采集端的性能状态指标值,Rcev(x2)表示x2时刻在数据接收端的性能状态指标值。
203、计算性能状态指标值对应的数据变化率,并获取目标性能数据的数据容忍度;
具体的,服务器采用预置数据变化率函数计算性能状态指标值对应的数据变化率,然后采用DRT描述监控***对数据实时性的容忍度,DRT越大,表示监控***对数据实时性的容忍度越大,即对数据实时性的要求越低,DRT越小,表示监控***对数据实时性的容忍度越低,即对数据实时性的要求越高。
可选的,上述步骤203包括:调用预置数据变化率函数,计算性能状态指标值对应的数据变化率;获取目标性能数据的数据容忍度,数据容忍度为预设的用户容忍度。
具体的,服务器采用预置数据变化率函数,计算性能状态指标值对应的数据变化率,数据变化率函数为:
Figure BDA0003031824330000091
其中,change表示数据变化率,Col(tx1)表示数据传输起始端的性能状态指标值,Recv(tx2)表示数据接收端的性能状态指标值,MAX表示性能状态指标值的最大值,MIN表示性能状态指标值的最小值。
具体的,服务器在虚拟机节点上运行的多个服务响应时间的变化对虚拟机节点性能的影响,服务响应时间y的变化越小,说明***的性能变化越小,则监控***需要的监控信息相对也就较少,监控***对数据实时性的容忍度就越大,所以DRT越大,服务响应时间y的变化越大,说明***的性能变化越大,则监控***需要的监控信息相对也就越多,监控***对数据实时性的容忍度就低,所以DRT越小。
204、对数据变化率和数据容忍度进行分析,得到分析结果;
具体的,服务器对数据变化率和数据容忍度进行大小比较,得到分析结果,分析结果包括:数据变化率小于或等于数据容忍度,数据变化率大于数据容忍度。
可选的,上述步骤204包括:分析数据变化率和数据容忍度的大小关系,得到分析结果,分析结果包括:数据变化率小于或等于数据容忍度以及数据变化率大于数据容忍度。
具体的,例如:数据容忍度的取值范围为(0,1),数据容忍度在[0.5,1)时为高容忍度,数据容忍度在(0,0.5)时为低容忍度,当数据变化率为0.25,数据容忍度为0.6时,数据变化率小于数据容忍度;当数据变化率为0.45,数据容忍度为0.45时,数据变化率等于数据容忍度;当数据变化率为0.7,数据容忍度为0.65时,数据变化率大于数据容忍度。
205、当数据变化率小于或等于数据容忍度时,按照预置比例数量增加推拉混合数据传输策略中拉取模式的时长占比;
具体的,服务器当数据变化率小于或等于数据容忍度时,按照预置比例数量增加推拉混合数据传输策略中拉取模式的时长占比,预置比例数量为用户设定,若用户设置为5%时,则按照5%的比例提高拉取模式在推拉混合数据传输策略中的占比,在拉取模式中,客户端主动从服务端拉取数据,全局数据存储服务周期性地向局部数据存储服务发送查询请求获取资源采集信息,因此拉取模式传输数据的通信开销较小,但是送种周期性的查询策略可能会无法监测到查询周期中被监控节点的关键负载变化,导致数据实时性较差。
206、当数据变化率大于数据容忍度时,按照预置比例数量增加推拉混合数据传输策略中推送模式的时长占比。
具体的,服务器当数据变化率大于数据容忍度时,按照预置比例数量增加推拉混合数据传输策略中推送模式的时长占比,预置比例数量为用户设定,若用户设置为5%时,则按照5%的比例提高推送模式在推拉混合数据传输策略中的占比,在推送模式中,服务器主动把信息推送给客户端,局部数据存储服务主动将各监控采集服务采集的性能数据推给全局数据存储服务,当采集到的性能数据发生变化时,局部数据存储服务就会把采集到的性能数据传输到全局数据存储服务中进行存储,因此数据的实时性较高,但是由于频繁的数据传输会增加***的网络开销,如果传输的数据量过大,甚至可能引起网络拥塞。
具体的,服务器当数据变化率小于或等于数据容忍度时,说明数据的状态变化小于监控***的数据实时性容忍度,所以可以将拉取模式增大,当数据变化率大于数据容忍度时,说明数据的状态变化大于监控***的数据实时性容忍度,所以将拉取模式的占比减小。
具体的,服务器在数据容忍度的值较小时,说明监控***对数据实时性的要求较高,当数据传输的起始端的数据变化率大于数据容忍度时,数据采集端就将数据推送给数据接收端,在一些极端的情况下,数据传输的起始端状态的变化的数据变化率太小无法触发推送操作,会周期性地激活拉取操作以避免数据传输的起始端的数据长时间没有被更新到。
可选的,在上述步骤206之后,还包括:对目标性能数据进行格式化,得到格式化性能数据;对格式化性能数据进行集成,并对集成后的格式化性能数据进行存储。
具体的,服务器由于采集到的目标性能数据格式都不一致,在性能数据存储模块中对性能数据进行格式化后,以一个虚拟机节点为单位对该虚拟机节点上的数据进行集成,对集成后的性能数据,采用主流的MySQL数据库进行持久化的存储。
本发明实施例中,对数据变化率和数据容忍度分析完之后得到分析结果,再根据分析结果进行数据传输策略的调整,当数据变化率小于或等于数据容忍度时,按照预置比例数量增加推拉混合数据传输策略中拉取模式的时长占比;当数据变化率大于数据容忍度时,按照预置比例数量增加推拉混合数据传输策略中推送模式的时长占比,通过对推拉混合数据传输策略进行调整,使数据的传输更加合理,***的性能维持在最佳状态。本发明提高了数据传输策略调整的灵活性。
上面对本发明实施例中数据传输策略的调整方法进行了描述,下面对本发明实施例中数据传输策略的调整装置进行描述,请参阅图3,本发明实施例中数据传输策略的调整装置第一个实施例包括:
获取模块301,用于接收终端发出的性能数据传输请求,并根据所述性能数据传输请求,获取目标性能数据;
监控模块302,用于采用预置分布式消息中间件和预置推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库,并对所述目标性能数据进行监控,得到性能状态指标值;
计算模块303,用于计算所述性能状态指标值对应的数据变化率,并获取所述目标性能数据的数据容忍度;
分析模块304,用于对所述数据变化率和所述数据容忍度进行分析,得到分析结果;
调整模块305,用于根据所述分析结果,对所述推拉混合数据传输策略进行调整。
本发明实施例中,接收终端发出的性能数据传输请求,并根据性能数据传输请求,获取目标性能数据;采用预置分布式消息中间件和预置推拉混合数据传输策略,将目标性能数据传输至预置数据仓库,并对目标性能数据进行监控,得到性能状态指标值;计算性能状态指标值对应的数据变化率,并获取目标性能数据的数据容忍度;对数据变化率和数据容忍度进行分析,得到分析结果;根据分析结果,对推拉混合数据传输策略进行调整。本发明通过对目标性能数据的数据传输过程进行监控,根据监控得到的数据变化率和数据容忍度进行比较,根据比较结果调整数据传输策略,提高了数据传输策略调整的灵活性。
请参阅图4,本发明实施例中数据传输策略的调整装置第二个实施例包括:
获取模块301,用于接收终端发出的性能数据传输请求,并根据所述性能数据传输请求,获取目标性能数据;
监控模块302,用于采用预置分布式消息中间件和预置推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库,并对所述目标性能数据进行监控,得到性能状态指标值;
计算模块303,用于计算所述性能状态指标值对应的数据变化率,并获取所述目标性能数据的数据容忍度;
分析模块304,用于对所述数据变化率和所述数据容忍度进行分析,得到分析结果;
调整模块305,用于根据所述分析结果,对所述推拉混合数据传输策略进行调整。
可选的,获取模块301具体用于:接收终端发出的性能数据传输请求,并对所述性能数据传输请求进行地址解析,得到数据获取地址;根据所述数据获取地址,确定数据获取时对应的资源分布层,所述资源分布层包括:基础设施层、平台软件层和应用软件层;当所述资源分布层为基础设施层时,调用预置API接口获取目标性能数据;当所述资源分布层为平台软件层时,采用预置JMX接口获取目标性能数据;当所述资源分布层为应用软件层时,采用预置***获取目标性能数据。
可选的,监控模块302具体用于:采用ZeroMQ分布式消息中间件和推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库;对所述目标性能数据进行监控,得到监控数据;根据所述资源分布层,获取所述监控数据中的性能状态指标值。
可选的,计算模块303具体用于:调用预置数据变化率函数,计算所述性能状态指标值对应的数据变化率;获取所述目标性能数据的数据容忍度,所述数据容忍度为预设的用户容忍度。
可选的,分析模块304具体用于:分析所述数据变化率和所述数据容忍度的大小关系,得到分析结果,所述分析结果包括:所述数据变化率小于或等于所述数据容忍度以及所述数据变化率大于所述数据容忍度。
可选的,调整模块305具体用于:当所述数据变化率小于或等于所述数据容忍度时,按照预置比例数量增加所述推拉混合数据传输策略中拉取模式的时长占比;当所述数据变化率大于所述数据容忍度时,按照预置比例数量增加所述推拉混合数据传输策略中推送模式的时长占比。
可选的,数据传输策略的调整装置还包括:存储模块306,用于对所述目标性能数据进行格式化,得到格式化性能数据;对所述格式化性能数据进行集成,并对集成后的格式化性能数据进行存储。
本发明实施例中,接收终端发出的性能数据传输请求,并根据性能数据传输请求,获取目标性能数据;采用预置分布式消息中间件和预置推拉混合数据传输策略,将目标性能数据传输至预置数据仓库,并对目标性能数据进行监控,得到性能状态指标值;计算性能状态指标值对应的数据变化率,并获取目标性能数据的数据容忍度;对数据变化率和数据容忍度进行分析,得到分析结果;根据分析结果,对推拉混合数据传输策略进行调整。本发明通过对目标性能数据的数据传输过程进行监控,根据监控得到的数据变化率和数据容忍度进行比较,根据比较结果调整数据传输策略,提高了数据传输策略调整的灵活性。
上面图3和图4从模块化功能实体的角度对本发明实施例中的数据传输策略的调整装置进行详细描述,下面从硬件处理的角度对本发明实施例中数据传输策略的调整设备进行详细描述。
图5是本发明实施例提供的一种数据传输策略的调整设备的结构示意图,该数据传输策略的调整设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据传输策略的调整设备500中的一系列指令操作。更进一步地,处理器510可以设置为与存储介质530通信,在数据传输策略的调整设备500上执行存储介质530中的一系列指令操作。
数据传输策略的调整设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作***531,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图5示出的数据传输策略的调整设备结构并不构成对数据传输策略的调整设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种数据传输策略的调整设备,所述数据传输策略的调整设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述数据传输策略的调整方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述数据传输策略的调整方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据传输策略的调整方法,其特征在于,所述数据传输策略的调整方法包括:
接收终端发出的性能数据传输请求,并根据所述性能数据传输请求,获取目标性能数据;
采用预置分布式消息中间件和预置推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库,并对所述目标性能数据进行监控,得到性能状态指标值;
计算所述性能状态指标值对应的数据变化率,并获取所述目标性能数据的数据容忍度;
对所述数据变化率和所述数据容忍度进行分析,得到分析结果;
根据所述分析结果,对所述推拉混合数据传输策略进行调整。
2.根据权利要求1所述的数据传输策略的调整方法,其特征在于,所述接收终端发出的性能数据传输请求,并根据所述性能数据传输请求,获取目标性能数据包括:
接收终端发出的性能数据传输请求,并对所述性能数据传输请求进行地址解析,得到数据获取地址;
根据所述数据获取地址,确定数据获取时对应的资源分布层,所述资源分布层包括:基础设施层、平台软件层和应用软件层;
当所述资源分布层为基础设施层时,调用预置API接口获取目标性能数据;
当所述资源分布层为平台软件层时,采用预置JMX接口获取目标性能数据;
当所述资源分布层为应用软件层时,采用预置***获取目标性能数据。
3.根据权利要求2所述的数据传输策略的调整方法,其特征在于,所述采用预置分布式消息中间件和预置推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库,并对所述目标性能数据进行监控,得到性能状态指标值包括:
采用ZeroMQ分布式消息中间件和推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库;
对所述目标性能数据进行监控,得到监控数据;
根据所述资源分布层,获取所述监控数据中的性能状态指标值。
4.根据权利要求1所述的数据传输策略的调整方法,其特征在于,所述计算所述性能状态指标值对应的数据变化率,并获取所述目标性能数据的数据容忍度包括:
调用预置数据变化率函数,计算所述性能状态指标值对应的数据变化率;
获取所述目标性能数据的数据容忍度,所述数据容忍度为预设的用户容忍度。
5.根据权利要求1所述的数据传输策略的调整方法,其特征在于,所述对所述数据变化率和所述数据容忍度进行分析,得到分析结果包括:
分析所述数据变化率和所述数据容忍度的大小关系,得到分析结果,所述分析结果包括:所述数据变化率小于或等于所述数据容忍度以及所述数据变化率大于所述数据容忍度。
6.根据权利要求5所述的数据传输策略的调整方法,其特征在于,所述根据所述分析结果,对所述推拉混合数据传输策略进行调整包括:
当所述数据变化率小于或等于所述数据容忍度时,按照预置比例数量增加所述推拉混合数据传输策略中拉取模式的时长占比;
当所述数据变化率大于所述数据容忍度时,按照预置比例数量增加所述推拉混合数据传输策略中推送模式的时长占比。
7.根据权利要求1-6中任一项所述的数据传输策略的调整方法,其特征在于,在所述根据所述分析结果,对所述数据传输策略进行调整之后,还包括:
对所述目标性能数据进行格式化,得到格式化性能数据;
对所述格式化性能数据进行集成,并对集成后的格式化性能数据进行存储。
8.一种数据传输策略的调整装置,其特征在于,所述数据传输策略的调整装置包括:
获取模块,用于接收终端发出的性能数据传输请求,并根据所述性能数据传输请求,获取目标性能数据;
监控模块,用于采用预置分布式消息中间件和预置推拉混合数据传输策略,将所述目标性能数据传输至预置数据仓库,并对所述目标性能数据进行监控,得到性能状态指标值;
计算模块,用于计算所述性能状态指标值对应的数据变化率,并获取所述目标性能数据的数据容忍度;
分析模块,用于对所述数据变化率和所述数据容忍度进行分析,得到分析结果;
调整模块,用于根据所述分析结果,对所述推拉混合数据传输策略进行调整。
9.一种数据传输策略的调整设备,其特征在于,所述数据传输策略的调整设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述数据传输策略的调整设备执行如权利要求1-7中任一项所述的数据传输策略的调整方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-7中任一项所述的数据传输策略的调整方法。
CN202110432248.5A 2021-04-21 2021-04-21 数据传输策略的调整方法、装置、设备及存储介质 Active CN113190361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110432248.5A CN113190361B (zh) 2021-04-21 2021-04-21 数据传输策略的调整方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110432248.5A CN113190361B (zh) 2021-04-21 2021-04-21 数据传输策略的调整方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113190361A true CN113190361A (zh) 2021-07-30
CN113190361B CN113190361B (zh) 2024-03-26

Family

ID=76977948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110432248.5A Active CN113190361B (zh) 2021-04-21 2021-04-21 数据传输策略的调整方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113190361B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116155920A (zh) * 2023-02-16 2023-05-23 北京万里开源软件有限公司 一种MySQL协议数据库数据远距离传输方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100138405A1 (en) * 2008-12-03 2010-06-03 International Business Machines Corporation Hybrid Push/Pull Execution of Continuous SQL Queries
CN106126323A (zh) * 2016-06-17 2016-11-16 四川新环佳科技发展有限公司 基于云平台的实时任务调度方法
US20170339196A1 (en) * 2016-05-17 2017-11-23 Amazon Technologies, Inc. Versatile autoscaling
JP2017228233A (ja) * 2016-06-24 2017-12-28 三菱商事株式会社 データ分析システム、データ分析方法、端末装置およびコンピュータプログラム
CN108429635A (zh) * 2018-01-31 2018-08-21 昆明理工大学 一种用于分布式环境下的数据传输方法
CN109388501A (zh) * 2018-08-31 2019-02-26 平安科技(深圳)有限公司 基于人脸识别请求的通信匹配方法、装置、设备及介质
CN111294289A (zh) * 2020-03-26 2020-06-16 上海有个机器人有限公司 一种多链路切换的机器人通讯方法和***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100138405A1 (en) * 2008-12-03 2010-06-03 International Business Machines Corporation Hybrid Push/Pull Execution of Continuous SQL Queries
US20170339196A1 (en) * 2016-05-17 2017-11-23 Amazon Technologies, Inc. Versatile autoscaling
CN106126323A (zh) * 2016-06-17 2016-11-16 四川新环佳科技发展有限公司 基于云平台的实时任务调度方法
JP2017228233A (ja) * 2016-06-24 2017-12-28 三菱商事株式会社 データ分析システム、データ分析方法、端末装置およびコンピュータプログラム
CN108429635A (zh) * 2018-01-31 2018-08-21 昆明理工大学 一种用于分布式环境下的数据传输方法
CN109388501A (zh) * 2018-08-31 2019-02-26 平安科技(深圳)有限公司 基于人脸识别请求的通信匹配方法、装置、设备及介质
CN111294289A (zh) * 2020-03-26 2020-06-16 上海有个机器人有限公司 一种多链路切换的机器人通讯方法和***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116155920A (zh) * 2023-02-16 2023-05-23 北京万里开源软件有限公司 一种MySQL协议数据库数据远距离传输方法及***
CN116155920B (zh) * 2023-02-16 2023-10-03 北京万里开源软件有限公司 一种MySQL协议数据库数据远距离传输方法及***

Also Published As

Publication number Publication date
CN113190361B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN109218355B (zh) 负载均衡引擎,客户端,分布式计算***以及负载均衡方法
US7660887B2 (en) Systems and methods for providing dynamic quality of service for a distributed system
US7552171B2 (en) Incremental run-time session balancing in a multi-node system
CN107534570B (zh) 用于虚拟化网络功能监控的计算机***、方法和介质
JP6692000B2 (ja) リスク識別方法、リスク識別装置、クラウドリスク識別装置及びシステム
US7634560B2 (en) Method for measuring server performance, system for measuring server performance and computer programs therefor
US20050256971A1 (en) Runtime load balancing of work across a clustered computing system using current service performance levels
EP1654648B1 (en) Hierarchical management of the dynamic allocation of resources in a multi-node system
US10360068B1 (en) Dynamic configuration of virtual machines
CN112165436B (zh) 流量控制方法、装置及***
US20130290499A1 (en) Method and system for dynamic scaling in a cloud environment
US9385964B2 (en) Resource management method and management server
CN111124609B (zh) 数据采集方法、装置、数据采集设备及存储介质
CN112468310B (zh) 流媒体集群节点管理方法、装置及存储介质
JP2011197852A (ja) 仮想計算機システムの管理プログラム,管理装置及び管理方法
CN107430526B (zh) 用于调度数据处理的方法和节点
CN112445774A (zh) 一种分布式共享文件***及其数据处理方法
US7966394B1 (en) Information model registry and brokering in virtualized environments
CN112543222B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112711479A (zh) 服务器集群的负载均衡***、方法、装置和存储介质
US20210168078A1 (en) Method, electronic device and computer program product of load balancing
CN113190361B (zh) 数据传输策略的调整方法、装置、设备及存储介质
CN112698929A (zh) 一种信息采集方法及装置
CN112565388A (zh) 一种基于打分体系的分布式采集服务调度***及方法
CN111555987A (zh) 限流配置方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant