CN111277511A - 传输速率控制方法、装置、计算机***及可读存储介质 - Google Patents

传输速率控制方法、装置、计算机***及可读存储介质 Download PDF

Info

Publication number
CN111277511A
CN111277511A CN202010057739.1A CN202010057739A CN111277511A CN 111277511 A CN111277511 A CN 111277511A CN 202010057739 A CN202010057739 A CN 202010057739A CN 111277511 A CN111277511 A CN 111277511A
Authority
CN
China
Prior art keywords
server
transmission rate
rate
database
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010057739.1A
Other languages
English (en)
Other versions
CN111277511B (zh
Inventor
杨超
刘劲柏
蒋超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202010057739.1A priority Critical patent/CN111277511B/zh
Priority to PCT/CN2020/087614 priority patent/WO2021142971A1/zh
Publication of CN111277511A publication Critical patent/CN111277511A/zh
Application granted granted Critical
Publication of CN111277511B publication Critical patent/CN111277511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了传输速率控制方法、装置、计算机***及可读存储介质，基于大数据，包括：周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数；通过预设的成熟网络模型计算所述基本参数获得最佳匹配速率；将所述源数据库与目标数据库之间数据传输的传输速率调整为所述最佳匹配速率。本发明避免了当前因通过阈值调节导致传输速率过大导致服务器崩溃，或传输速率过小导致服务器传输效率降低的问题，以最佳匹配速率为目标对服务器进行数据传输速率的动态调整，持续的保证了所述数据传输在保证所述服务器稳定性的前提下，能够获得最快的传输速率的技术效果，持续保证了数据传输操作的高效稳定性。

Description

传输速率控制方法、装置、计算机***及可读存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种传输速率控制方法、装置、计算机***及可读存储介质。
背景技术
在现今数据***时代，企业内部拥有众多***沉淀了大量的数据，但内部***之间缺乏统一的平台对数据进行关联、整合及联通，导致***之间无法协同工作，难以充分释放数据的真正价值，需要一个统一的数据集成平台处理这些孤岛数据。同时市面上有大量类型的数据库，关系型、非关系型、大数据等，产品种类也是多种多样，现有集成工具支持的数据库类型。集成工具在同步数据速率上普遍采用较固定的方式配置，但是实际应用中设备和网络环境比较复杂，数据库的主要性能需要满足业务***的频繁调用。
那么对于如何实现最大化利用作为源数据源的源数据库，和作为目标数据源的目标数据库所在服务器的剩余性能，充分利用网络线路剩余带宽，当前采用的机制是通过设定固定阈值，以规定源数据库和目标数据库之间数据传输的传输速率。
这种方法只是通过限定某一安全的速率区间，以避免服务器因数据传输占用过大资源，而导致服务器无法正常运行的情况；但是没有基于服务器的运行情况对传输速率进行调整，因此很容易造成当前服务器运行状况较差但因阈值较高导致传输速率过大导致服务器崩溃，或当前服务器运行状况较好但因阈值较低而导致传输速率过小导致服务器传输效率降低的问题发生。
发明内容
本发明的目的是提供一种传输速率控制方法、装置、计算机***及可读存储介质，用于解决现有技术存在的当前服务器运行状况较差但因阈值较高导致传输速率过大导致服务器崩溃，或当前服务器运行状况较好但因阈值较低而导致传输速率过小导致服务器传输效率降低的问题。
为实现上述目的，本发明提供一种传输速率控制方法，包括：
周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数；其中，所述基本参数表征了服务器及其数据库的硬件条件、环境状况以及运行状况；
通过预设的成熟网络模型预测所述基本参数获得最佳匹配速率；其中，所述成熟网络模型用于根据所述基本参数，预测源数据库和目标数据库之间允许的最大传输速率，该传输速率为当前源数据库和目标数据库之间的最佳匹配速率；
将所述源数据库与目标数据库之间数据传输的传输速率调整为所述最佳匹配速率。
上述方案中，周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数之前，包括：
分别与源数据库所在服务器和目标数据库所在服务器建立连接；其中，通过TCP或UDP与所述服务器建立通信连接。
上述方案中，所述基本参数至少包括：硬件参数、软件参数和业务参数，其中，硬件参数用于表征服务器的硬件条件，软件参数用于表征服务器当前运行所面临的环境状况，业务参数用于表征服务器中数据库的运行状况。
上述方案中，所述成熟网络模型是以ReLU函数作为激活函数的DeepFM模型。
上述方案中，所述成熟网络模型通过以下步骤训练获得：
获取初始神经网络模型和至少一个训练样本，所述训练样本包括训练参数和训练速率；
将所述训练参数录入所述初始神经网络模型计算获得预测结果，并通过所述预测结果和所述训练速率对所述初始神经网络模型进行迭代；
依次通过各训练样本对所述初始神经网络模型进行所述迭代形成成熟网络模型。
上述方案中，将所述训练参数录入所述初始神经网络模型计算获得预测结果，并通过所述预测结果和所述训练速率对所述初始神经网络模型进行迭代的步骤，包括：
将训练参数录入所述初始神经网络模型使其运算获得预测结果，通过损失函数计算所述预测结果与训练速率的差值，通过反向传播算法并根据所述差值更新所述初始神经网络模型中的参数，以使所述初始神经网络模型计算所述训练参数所获得的预测结果，与所述训练速率的差值在预设的训练阈值以内，实现对所述初始神经网络模型的迭代。
上述方案中，将所述源数据库与目标数据库之间数据传输的传输速率调整为所述最佳匹配速率的步骤，包括：
获取所述源数据库与目标数据库之间数据传输的传输速率并将其设为当前速率；
判断所述当前速率是否大于所述最佳匹配速率；若是，则将所述当前速率降至所述最佳匹配速率；若否，则计算所述当前速率和最佳匹配速率的调整差值，通过预设的调整时间计算所述调整差值获得单位调整量；
通过所述单位调整量调整所述当前速率，直至所述源数据库与目标数据库之间数据传输的传输速率到达最佳匹配速率为止。
为实现上述目的，本发明还提供一种传输速率控制装置，包括：
参数提取模块，用于周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数；其中，所述基本参数表征了服务器及其数据库的硬件条件、环境状况以及运行状况；
速率计算模块，用于通过预设的成熟网络模型预测所述基本参数获得最佳匹配速率；其中，所述成熟网络模型用于根据所述基本参数，预测源数据库和目标数据库之间允许的最大传输速率，该传输速率为当前源数据库和目标数据库之间的最佳匹配速率；
速率调整模块，用于将所述源数据库与目标数据库之间数据传输的传输速率调整为所述最佳匹配速率。
为实现上述目的，本发明还提供一种计算机***，其包括多个计算机设备，各计算机设备包括存储器.处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述多个计算机设备的处理器执行所述计算机程序时共同实现上述传输速率控制方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，其包括多个存储介质，各存储介质上存储有计算机程序，所述多个存储介质存储的所述计算机程序被处理器执行时共同实现上述传输速率控制方法的步骤。
本发明提供的传输速率控制方法、装置、计算机***及可读存储介质，通过基本参数从多种维度综合评价当前源数据库和目标数据库之间能够承受的最大传输速率，以避免当前因通过阈值调节导致传输速率过大导致服务器崩溃，或传输速率过小导致服务器传输效率降低的问题，因此，以最佳匹配速率为目标对服务器进行数据传输速率的调整，使所述数据传输在保证所述服务器稳定性的前提下，能够获得最快的传输速率；
同时，周期性地获得最佳匹配速率并根据最佳匹配速率调整服务器的传输速率，实现了动态调整两个服务器之间传输速率的技术效果，持续的保证了所述数据传输在保证所述服务器稳定性的前提下，能够获得最快的传输速率的技术效果，持续保证了数据传输操作的高效稳定性。
附图说明
图1为本发明传输速率控制方法实施例一的流程图；
图2为本发明传输速率控制方法实施例二的传输速率控制方法的环境应用示意图；
图3是本发明本发明传输速率控制方法实施例二提供的一种传输速率控制的具体方法流程图；
图4是本发明本发明传输速率控制方法实施例二提供的所述成熟网络模型通过以下步骤的具体方法流程图；
图5是本发明本发明传输速率控制方法实施例二提供的根据所述最佳匹配速率调整传输速率的具体方法流程图；
图6为本发明传输速率控制装置实施例三的程序模块示意图；
图7为本发明计算机***实施例四中计算机设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的传输速率控制方法、装置、计算机***及可读存储介质，适用于大数据领域，为提供一种基于参数提取模块、速率计算模块、速率调整模块和连接建立模块的传输速率控制方法。本发明通过周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数；通过预设的成熟网络模型计算所述基本参数获得最佳匹配速率；根据所述最佳匹配速率调整所述源数据库与目标数据库之间数据传输的传输速率。以避免当前因通过阈值调节导致传输速率过大导致服务器崩溃，或传输速率过小导致服务器传输效率降低的问题，使所述数据传输在保证所述服务器稳定性的前提下，能够获得最快的传输速率，以及实现了动态调整服务器之间传输速率的技术效果，持续的保证了所述数据传输在保证所述服务器稳定性的前提下，能够获得最快的传输速率的技术效果，持续保证了数据传输操作的高效稳定性。
实施例一
请参阅图1，本实施例的一种传输速率控制方法，包括：
S102：周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数；其中，所述基本参数表征了服务器及其数据库的硬件条件、环境状况以及运行状况；
S103：通过预设的成熟网络模型预测所述基本参数获得最佳匹配速率；其中，所述成熟网络模型用于根据所述基本参数，预测源数据库和目标数据库之间允许的最大传输速率，该传输速率为当前源数据库和目标数据库之间的最佳匹配速率；
S104：将所述源数据库与目标数据库之间数据传输的传输速率调整为所述最佳匹配速率。
在应用场景下，源数据库将数据传输至目标数据库的过程，是通过在源数据库所在服务器与目标数据库所在服务器建立通信连接实现的数据传输；为能够动态且全面的了解源数据库所在服务器和目标数据库所在服务器的运行状态，按照预设的提取周期，周期性地获得所述服务器的基本参数。
为从多种维度综合评价当前源数据库和目标数据库之间能够承受的最大传输速率，以避免当前因通过阈值调节导致传输速率过大导致服务器崩溃，或传输速率过小导致服务器传输效率降低的问题，因此，以最佳匹配速率为目标对两个服务器进行数据传输速率的调整，使所述数据传输在保证两个所述服务器稳定性的前提下，能够获得最快的传输速率。
由于周期性地执行步骤S102-S104，因此，保证了对服务器的基本参数的循环检测，计算，获得最佳匹配速率，并根据最佳匹配速率调整两个服务器之间的传输速率，实现了动态调整两个服务器之间传输速率的技术效果，持续的保证了所述数据传输在保证所述服务器稳定性的前提下，能够获得最快的传输速率的技术效果，持续保证了数据传输操作的高效稳定性。
在示例性的实施例中，所述成熟网络模型是以ReLU函数作为激活函数的DeepFM模型，因其同时学习低阶特征组合和高阶特征组合，故，能够兼顾学习基本参数中各不同数据类型的数据，以更好的适应传输速率匹配的应用场景；并且，通过ReLU函数作为激活函数，以制造神经网络的稀疏性，减少了基本参数中各数据之间的相互依赖关系，缓解了过拟合问题的发生。
实施例二
本实施例为上述实施例一的一种具体应用场景，通过本实施例，能够更加清楚、具体地阐述本发明所提供的方法。在实现本实施例提供的方法时，可以通过周期性地获取源数据库所在服务器及目标数据库所在服务器的基本参数，并通过计算获得的最佳匹配速率，调整所述源数据库与目标数据库之间数据传输的传输速率。
下面，以用于获取源数据库及目标数据库所在服务器的基本参数，并调整所述源数据库与目标数据库之间数据传输的传输速率为例，来对本实施例提供的方法进行具体说明。需要说明的是，本实施例只是示例性的，并不限制本发明实施例所保护的范围。
图2示意性示出了根据本申请实施例二的传输速率控制方法的环境应用示意图。
在示例性的实施例中，源数据库所在服务器4和目标数据库所在服务器5之间建立了通信连接，传输速率控制方法所在的服务器2通过网络3连接源数据库所在服务器4及目标数据库所在服务器5，所述服务器2可以通过一个或多个网络3提供服务，网络3可以包括各种网络设备，例如路由器，交换机，多路复用器，集线器，调制解调器，网桥，中继器，防火墙，代理设备和/或等等。网络3可以包括物理链路，例如同轴电缆链路，双绞线电缆链路，光纤链路，它们的组合和/或类似物。网络3可以包括无线链路，例如蜂窝链路，卫星链路，Wi-Fi链路和/或类似物；
所述服务器2、源数据库所在服务器4、以及目标数据库所在服务器5可以由单个或多个计算机设备(如，服务器)组成。该单个或多个计算设备可以包括虚拟化计算实例。虚拟化计算实例可以包括虚拟机，诸如计算机***的仿真，操作***，服务器等。计算设备可以基于定义用于仿真的特定软件(例如，操作***，专用应用程序，服务器)的虚拟映像和/或其他数据来加载虚拟机。随着对不同类型的处理服务的需求改变，可以在一个或多个计算设备上加载和/或终止不同的虚拟机。可以实现管理程序以管理同一计算设备上的不同虚拟机的使用。
图3是本发明一个实施例提供的一种传输速率控制的具体方法流程图，该方法具体包括步骤S201至S204。
S201：分别与源数据库所在服务器和目标数据库所在服务器建立连接；其中，通过TCP或UDP与所述服务器建立通信连接。
本步骤中，源数据库所在服务器和目标数据库所在服务器之间通过建立通信连接，实现源数据库将其中的数据传输至目标数据库的技术效果；分别与源数据库所在服务器和目标数据库所在服务器的监控***建立连接，以便于获得源数据库所在服务器和目标数据库所在服务器的基本参数，以及源数据库和目标数据库之间数据传输的传输速率。
需要说明的是，TCP(Transmission Control Protocol传输控制协议)是一种面向连接的、可靠的、基于字节流的传输层通信协议，由IETF的RFC 793定义。在简化的计算机网络OSI模型中，它完成第四层传输层所指定的功能，用户数据报协议(UDP)是同一层内另一个重要的传输协议。在因特网协议族(Internetprotocol suite)中，TCP层是位于IP层之上，应用层之下的中间层。不同主机的应用层之间经常需要可靠的、像管道一样的连接，但是IP层不提供这样的流机制，而是提供不可靠的包交换。UDP是User Datagram Protocol的简称，中文名是用户数据报协议，是OSI(Open System Interconnection，开放式***互联)参考模型中一种无连接的传输层协议，提供面向事务的简单不可靠信息传送服务，IETFRFC 768是UDP的正式规范。所述监控***是一种用于实时监测服务器及其数据库的硬件条件、环境状况以及运行状况的计算机***。
S202：周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数；其中，所述基本参数表征了服务器及其数据库的硬件条件、环境状况以及运行状况。
在应用场景下，源数据库将数据传输至目标数据库的过程，是通过在源数据库所在服务器与目标数据库所在服务器建立通信连接实现的数据传输；为能够动态且全面的了解源数据库所在服务器和目标数据库所在服务器的运行状态，按照预设的提取周期，周期性地获得所述服务器的基本参数。
本步骤中，所述基本参数至少包括：硬件参数、软件参数和业务参数，所述硬件参数至少包括所述服务器的CPU、内存、网络RTT、ACK；所述软件参数至少包括所述服务器中数据库的连接数、SQL响应指标、负载压力；所述业务参数至少包括所述服务器的业务响应时长；其中，硬件参数用于表征服务器自身的硬件条件，软件参数用于表征服务器当前运行所面临的环境状况，所述业务参数用于表征服务器中数据库的运行状况；因此，通过获取硬件参数、软件参数和业务参数从硬件条件、环境状况以及业务环境三个维度获得当前服务器及其数据库的运行状态。
进一步地，所述基本参数还可包括版本类型，所述版本类型至少包括服务器的磁盘类型，服务器版本，连接数据源的驱动版本。以便于从版本类型维度，并结合所述硬件条件、环境状况以及业务环境的维度对服务器及其数据库的运行状态进行评价，以获得更加准确合理的最佳匹配速度。
需要说明的是，所述基本参数可通过服务器中的监控***获得，因此，基本参数的获得方式在此不做赘述。
S203：通过预设的成熟网络模型预测所述基本参数获得最佳匹配速率；其中，所述成熟网络模型用于根据所述基本参数，预测源数据库和目标数据库之间允许的最大传输速率，该传输速率为当前源数据库和目标数据库之间的最佳匹配速率。
为从多种维度综合评价当前源数据库和目标数据库之间能够承受的最大传输速率，以避免当前因通过阈值调节导致传输速率过大导致服务器崩溃，或传输速率过小导致服务器传输效率降低的问题，根据当前源数据库和目标数据库所在服务器的状态，获得两个服务器之间能够承受的最大传输速率。
其中，所述成熟网络模型是以ReLU函数作为激活函数的DeepFM模型，因其同时学习低阶特征组合和高阶特征组合，故，能够兼顾学习基本参数中各不同数据类型的数据，以更好的适应传输速率匹配的应用场景；并且，通过ReLU函数作为激活函数，以制造神经网络的稀疏性，减少了基本参数中各数据之间的相互依赖关系，缓解了过拟合问题的发生。
具体地，请参阅图4，所述成熟网络模型通过以下步骤训练获得：
S203-1：获取初始神经网络模型和至少一个训练样本，所述训练样本包括训练参数和训练速率。
其中，所述训练参数是指源数据库所在的服务器和目标数据库所在的服务器在历史上的运行状况；所述训练速率是指历史上基于所述训练参数，源数据库所在服务器与目标数据库所在服务器在保证服务器稳定运行前提下，能够允许的最大传输速率。
所述训练参数至少包括：硬件参数、软件参数和业务参数，所述硬件参数至少包括所述服务器的CPU、内存、网络RTT、ACK，所述软件参数至少包括所述服务器中数据库的连接数、SQL响应指标、负载压力、业务响应时长；所述业务参数至少包括所述服务器的业务响应时长。
进一步的，所述基本参数还可包括版本类型，所述版本类型至少包括服务器的磁盘类型，服务器版本，连接数据源的驱动版本。
本步骤中，所述初始神经网络模型采用的是DeepFM模型，以实现特征交叉，避免手工编码组合特征的问题，以便于更好的适应传输速率匹配的应用场景；采用ReLU函数作为DeepFM模型的激活函数，以制造神经网络的稀疏性，提供了屏蔽不相关因素的机制进而自动关联相关影响因素。
需要说明的是，所述DeepFM模型结合了广度和深度模型的优点，联合训练FM模型和DNN模型同时学习低阶特征组合和高阶特征组合，其中，FM是一个因子分解机，其通过隐向量latent vector做内积来表示组合特征，可以对低阶特征交互和高阶特征交互进行建模，因此实现了特征交叉，而不需要避免手工编码组合特征以进行特征工程的问题。
所述ReLU函数是指线性整流函数(Rectified Linear Unit,ReLU)，其为一种人工神经网络中常用的激活函数(activation function)，通常指代以斜坡函数及其变种为代表的非线性函数，于本实施例中，使用Relu会使部分神经元为0，这样就造成了网络的稀疏性，并且减少了参数之间的相互依赖关系，缓解了过拟合问题的发生。
于本实施例中，所述基本参数的硬件参数、软件参数和业务参数对于模型来说，是属于低阶特征；而版本类型对于模型来说属于高阶特征；因此，FM模型和DNN模型将同时对作为低阶特征的硬件参数、软件参数和业务参数，以及作为高阶特征的版本类型进行学习，并且FM模型通过隐向量latent vector做内积来表示组合特征，可以对低阶特征交互和高阶特征交互进行建模，因此实现了特征交叉，实现从版本类型维度、硬件条件维度、环境状况维度以及业务环境维度等多维度出发，对服务器及其数据库的运行状态进行评价，以获得更加准确合理的最佳匹配速度的技术效果。
S203-2：将所述训练参数录入所述初始神经网络模型计算获得预测结果，并通过所述预测结果和所述训练速率对所述初始神经网络模型进行迭代。
具体地，将训练参数录入所述初始神经网络模型使其运算获得预测结果，通过损失函数计算所述预测结果与训练速率的差值，通过反向传播算法并根据所述差值更新所述初始神经网络模型中的参数，以使所述初始神经网络模型计算所述训练参数所获得的预测结果，与所述训练速率的差值在预设的训练阈值以内，实现对所述初始神经网络模型的迭代。
S203-3：依次通过各训练样本对所述初始神经网络模型，按照S203-2所述的步骤进行所述迭代形成成熟网络模型。
S204：将所述源数据库与目标数据库之间数据传输的传输速率调整为所述最佳匹配速率。
为避免源数据库和目标数据库所在的服务器因传输速率过大而崩溃，或因传输速率小而降低传输效率，故，以最佳匹配速率为目标对两个服务器进行数据传输速率的调整，使所述数据传输在保证两个所述服务器稳定性的前提下，能够获得最快的传输速率。
由于是按照预设的提取周期周期性地执行步骤S202-S204，因此，保证了对服务器的基本参数的循环检测，计算，获得最佳匹配速率，并根据最佳匹配速率调整两个服务器之间的传输速率，实现了动态调整两个服务器之间传输速率的技术效果，持续的保证了所述数据传输在保证所述服务器稳定性的前提下，能够获得最快的传输速率的技术效果，持续保证了数据传输操作的高效稳定性。
需要说明的是，所述源数据库与目标数据库之间的传输速率可通过服务器的监控***获得，故在此不做赘述。
在一个优选的实施例中，请参阅图5，将所述源数据库与目标数据库之间数据传输的传输速率调整为所述最佳匹配速率的步骤，包括：
S204-1：获取所述源数据库与目标数据库之间数据传输的传输速率并将其设为当前速率。
本步骤中，可通过访问所述源数据库所在服务器的监控***，或目标数据库所在服务器的监控***，获得源数据库与目标数据库之间的通信连接上数据的传输速率。
S204-2：判断所述当前速率是否大于所述最佳匹配速率；若是，则将所述当前速率降至所述最佳匹配速率；若否，则计算所述当前速率和最佳匹配速率的调整差值，通过预设的调整时间计算所述调整差值获得单位调整量并执行所述S204-3。
由于当前速率若大于最佳匹配速率对于服务器来说是具有崩溃死机等风险的，因此，通过将当前速率直接降至最佳匹配速率，将会快速有效的使服务器远离崩溃风险，保证其平稳运行。
本步骤中，通过将当前速率和最佳匹配速率相减获得调整差值，将所述调整差值与预设的调整时间相除获得单位调整量。
S204-3：通过所述单位调整量调整所述当前速率，直至所述源数据库与目标数据库之间数据传输的传输速率到达最佳匹配速率为止。
为避免对当前速率突然进行大幅度调整，造成服务器的CPU和内存占有量骤然提升，导致服务器运行不稳定。本步骤按照所述单位调整量，在单位时间内调整所述当前速率，直至所述当前速率达到最佳匹配速率为止。
于本实施例中，本申请采用TCP协议控制源数据库与目标数据库中间的传输速率。
需要说明的是，TCP发送端发送数据时，并不是直接传输给接收端，而是先将数据复制到发送缓冲区。类似的，TCP接受端从TCP数据段得到数据后，将其放入接受缓冲区。这样可以避免TCP连接滥用内存、CPU、网络带宽，从而阻止其他连接使用这些资源。
实施例三
请参阅图6，本实施例的一种传输速率控制装置1，所述传输速率控制装置1安装在服务器2中，其包括：
参数提取模块11，用于周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数；其中，所述基本参数表征了服务器及其数据库的硬件条件、环境状况以及运行状况；
速率计算模块12，用于通过预设的成熟网络模型预测所述基本参数获得最佳匹配速率；其中，所述成熟网络模型用于根据所述基本参数，预测源数据库和目标数据库之间允许的最大传输速率，该传输速率为当前源数据库和目标数据库之间的最佳匹配速率；
速率调整模块13，用于将所述源数据库与目标数据库之间数据传输的传输速率调整为所述最佳匹配速率。
可选的，所述传输速率控制装置还包括：
连接建立模块10，用于分别与源数据库所在服务器和目标数据库所在服务器建立连接；其中，通过TCP或UDP与所述服务器建立通信连接。
本技术方案基于大数据领域的数据分析技术，周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数；通过构建成熟网络模型(即：神经网络)作为分类模型，计算所述基本参数获得最佳匹配速率，以实现服务器之间的关系网络分析；根据所述最佳匹配速率调整所述源数据库与目标数据库之间数据传输的传输速率，实现更好的资源分配。
实施例四：
为实现上述目的，本发明还提供一种计算机***，该计算机***包括多个计算机设备6，实施例二的传输速率控制装置1的组成部分可分散于不同的计算机设备中，计算机设备可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过***总线相互通信连接的存储器61、处理器62，如图7所示。需要指出的是，图7仅示出了具有组件-的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器61(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器61可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器61也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器61还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器61通常用于存储安装于计算机设备的操作***和各类应用软件，例如实施例一的传输速率控制装置的程序代码等。此外，存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制计算机设备的总体操作。本实施例中，处理器62用于运行存储器61中存储的程序代码或者处理数据，例如运行传输速率控制装置，以实现实施例一的传输速率控制方法。
实施例五：
为实现上述目的，本发明还提供一种计算机可读存储***，其包括多个存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器62执行时实现相应功能。本实施例的计算机可读存储介质用于存储传输速率控制装置，被处理器62执行时实现实施例一的传输速率控制方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种传输速率控制方法，其特征在于，包括：
周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数；其中，所述基本参数表征了服务器及其数据库的硬件条件、环境状况以及运行状况；
通过预设的成熟网络模型预测所述基本参数获得最佳匹配速率；其中，所述成熟网络模型用于根据所述基本参数，预测源数据库和目标数据库之间允许的最大传输速率，该传输速率为当前源数据库和目标数据库之间的最佳匹配速率；
将所述源数据库与目标数据库之间数据传输的传输速率调整为所述最佳匹配速率。
2.根据权利要求1所述的传输速率控制方法，其特征在于，周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数之前，包括：
分别与源数据库所在服务器和目标数据库所在服务器建立连接；其中，通过TCP或UDP与所述服务器建立通信连接。
3.根据权利要求1所述的传输速率控制方法，其特征在于，所述基本参数至少包括：硬件参数、软件参数和业务参数，其中，硬件参数用于表征服务器的硬件条件，软件参数用于表征服务器当前运行所面临的环境状况，业务参数用于表征服务器中数据库的运行状况。
4.根据权利要求1所述的传输速率控制方法，其特征在于，所述成熟网络模型是以ReLU函数作为激活函数的DeepFM模型。
5.根据权利要求1所述的传输速率控制方法，其特征在于，所述成熟网络模型通过以下步骤训练获得：
获取初始神经网络模型和至少一个训练样本，所述训练样本包括训练参数和训练速率；
将所述训练参数录入所述初始神经网络模型计算获得预测结果，并通过所述预测结果和所述训练速率对所述初始神经网络模型进行迭代；
依次通过各训练样本对所述初始神经网络模型进行所述迭代形成成熟网络模型。
6.根据权利要求5所述的传输速率控制方法，其特征在于，所述将所述训练参数录入所述初始神经网络模型计算获得预测结果，并通过所述预测结果和所述训练速率对所述初始神经网络模型进行迭代的步骤，包括：
将训练参数录入所述初始神经网络模型使其运算获得预测结果，通过损失函数计算所述预测结果与训练速率的差值，通过反向传播算法并根据所述差值更新所述初始神经网络模型中的参数，以使所述初始神经网络模型计算所述训练参数所获得的预测结果，与所述训练速率的差值在预设的训练阈值以内，实现对所述初始神经网络模型的迭代。
7.根据权利要求1所述的传输速率控制方法，其特征在于，将所述源数据库与目标数据库之间数据传输的传输速率调整为所述最佳匹配速率的步骤，包括：
获取所述源数据库与目标数据库之间数据传输的传输速率并将其设为当前速率；
判断所述当前速率是否大于所述最佳匹配速率；若是，则将所述当前速率降至所述最佳匹配速率；若否，则计算所述当前速率和最佳匹配速率的调整差值，通过预设的调整时间计算所述调整差值获得单位调整量；
通过所述单位调整量调整所述当前速率，直至所述源数据库与目标数据库之间数据传输的传输速率到达最佳匹配速率为止。
8.一种传输速率控制装置，其特征在于，包括：
参数提取模块，用于周期性地分别获取源数据库所在服务器及目标数据库所在服务器的基本参数；其中，所述基本参数表征了服务器及其数据库的硬件条件、环境状况以及运行状况；
速率计算模块，用于通过预设的成熟网络模型预测所述基本参数获得最佳匹配速率；其中，所述成熟网络模型用于根据所述基本参数，预测源数据库和目标数据库之间允许的最大传输速率，该传输速率为当前源数据库和目标数据库之间的最佳匹配速率；
速率调整模块，用于将所述源数据库与目标数据库之间数据传输的传输速率调整为所述最佳匹配速率。
9.一种计算机***，其包括多个计算机设备，各计算机设备包括存储器.处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述多个计算机设备的处理器执行所述计算机程序时共同实现权利要求1至7任一项所述传输速率控制方法的步骤。
10.一种计算机可读存储介质，其包括多个存储介质，各存储介质上存储有计算机程序，其特征在于，所述多个存储介质存储的所述计算机程序被处理器执行时共同实现权利要求1至7任一项所述传输速率控制方法的步骤。
CN202010057739.1A 2020-01-19 2020-01-19 传输速率控制方法、装置、计算机***及可读存储介质 Active CN111277511B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010057739.1A CN111277511B (zh) 2020-01-19 2020-01-19 传输速率控制方法、装置、计算机***及可读存储介质
PCT/CN2020/087614 WO2021142971A1 (zh) 2020-01-19 2020-04-28 传输速率控制方法、装置、计算机***及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010057739.1A CN111277511B (zh) 2020-01-19 2020-01-19 传输速率控制方法、装置、计算机***及可读存储介质

Publications (2)

Publication Number Publication Date
CN111277511A true CN111277511A (zh) 2020-06-12
CN111277511B CN111277511B (zh) 2022-03-01

Family

ID=71000794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010057739.1A Active CN111277511B (zh) 2020-01-19 2020-01-19 传输速率控制方法、装置、计算机***及可读存储介质

Country Status (2)

Country Link
CN (1) CN111277511B (zh)
WO (1) WO2021142971A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214487A (zh) * 2020-09-28 2021-01-12 京东数字科技控股股份有限公司 数据写入方法及装置、计算机可读存储介质以及电子设备
CN112272074A (zh) * 2020-10-27 2021-01-26 国网内蒙古东部电力有限公司电力科学研究院 一种基于神经网络的信息传输速率控制方法及***
WO2023231843A1 (zh) * 2022-05-31 2023-12-07 华为技术有限公司 一种信号处理方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113704071B (zh) * 2021-07-30 2024-06-18 郑州浪潮数据技术有限公司 一种服务器健康状况预测的方法、装置、设备及可读介质
CN113766564B (zh) * 2021-10-15 2023-05-30 武汉联影医疗科技有限公司 数据传输的拥塞控制方法、装置、计算机设备和存储介质
CN114286356A (zh) * 2021-12-29 2022-04-05 河北电信设计咨询有限公司 基于数据库构建5g业务模型的***及方法
CN115665059B (zh) * 2022-11-17 2023-02-28 北京润泽云溪科技有限公司 一种数据传输分级储存***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848566A (zh) * 2018-06-12 2018-11-20 Oppo广东移动通信有限公司 无线通信传输方法、装置、移动终端及计算机可读取存储介质
CN109474444A (zh) * 2017-09-07 2019-03-15 ***通信有限公司研究院 一种传输控制协议tcp窗口的调整方法及调整设备
US20190150028A1 (en) * 2017-11-16 2019-05-16 Distech Controls Inc Environment control device and method for inferring an optimal wireless data transfer rate using a neural network
US20190149476A1 (en) * 2017-11-16 2019-05-16 Distech Controls Inc Inference server and environment control device for inferring an optimal wireless data transfer rate
CN110475295A (zh) * 2018-05-10 2019-11-19 中国信息通信研究院 一种超密集组网的信息传输速率控制方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902295B (zh) * 2009-05-26 2013-08-21 国际商业机器公司 控制应用服务器的负载接收速率的方法及装置
US10310833B2 (en) * 2017-01-30 2019-06-04 Dell Products L.P. Parallel diagnostic/software installation system
US10628343B2 (en) * 2017-02-03 2020-04-21 Futurewei Technologies, Inc. Systems and methods for utilizing DDR4-DRAM chips in hybrid DDR5-DIMMs and for cascading DDR5-DIMMs
CN108540506A (zh) * 2017-03-01 2018-09-14 ***通信有限公司研究院 一种信息传输方法、第一服务器以及终端设备
CN107181688B (zh) * 2017-03-31 2019-12-31 武汉绿色网络信息服务有限责任公司 一种sdn网络中实现服务器端跨域数据传输优化的***和方法
CN107948004B (zh) * 2017-12-29 2021-06-22 北京奇艺世纪科技有限公司 一种视频cdn调取优化方法及装置
CN109417514B (zh) * 2018-03-06 2022-07-22 华为技术有限公司 一种报文发送的方法、装置和存储设备
CN110022378B (zh) * 2019-04-22 2021-09-10 苏州排忧网络技术有限责任公司 基于状态的vpn服务器智能分配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109474444A (zh) * 2017-09-07 2019-03-15 ***通信有限公司研究院 一种传输控制协议tcp窗口的调整方法及调整设备
US20190150028A1 (en) * 2017-11-16 2019-05-16 Distech Controls Inc Environment control device and method for inferring an optimal wireless data transfer rate using a neural network
US20190149476A1 (en) * 2017-11-16 2019-05-16 Distech Controls Inc Inference server and environment control device for inferring an optimal wireless data transfer rate
CN110475295A (zh) * 2018-05-10 2019-11-19 中国信息通信研究院 一种超密集组网的信息传输速率控制方法及装置
CN108848566A (zh) * 2018-06-12 2018-11-20 Oppo广东移动通信有限公司 无线通信传输方法、装置、移动终端及计算机可读取存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214487A (zh) * 2020-09-28 2021-01-12 京东数字科技控股股份有限公司 数据写入方法及装置、计算机可读存储介质以及电子设备
CN112272074A (zh) * 2020-10-27 2021-01-26 国网内蒙古东部电力有限公司电力科学研究院 一种基于神经网络的信息传输速率控制方法及***
WO2023231843A1 (zh) * 2022-05-31 2023-12-07 华为技术有限公司 一种信号处理方法及装置

Also Published As

Publication number Publication date
CN111277511B (zh) 2022-03-01
WO2021142971A1 (zh) 2021-07-22

Similar Documents

Publication Publication Date Title
CN111277511B (zh) 传输速率控制方法、装置、计算机***及可读存储介质
US11836533B2 (en) Automated reconfiguration of real time data stream processing
CN109074377B (zh) 用于实时处理数据流的受管理功能执行
CN109918205B (zh) 一种边缘设备调度方法、***、装置及计算机存储介质
EP3413212A1 (en) Random forest model training method, electronic apparatus and storage medium
CN103761309A (zh) 一种运营数据处理方法及***
CN111641563B (zh) 基于分布式场景的流量自适应方法与***
WO2013185175A1 (en) Predictive analytics for resource provisioning in hybrid cloud
US20220043806A1 (en) Parallel decomposition and restoration of data chunks
CN111832661B (zh) 分类模型构建方法、装置、计算机设备及可读存储介质
CN109005060B (zh) 一种基于层级化高度异构分布式***的深度学习应用优化框架
CN112491508B (zh) 基于传输进程自适应的数据传输方法及装置
CN117472555A (zh) 算力资源分配方法、***、装置、设备及存储介质
CN113726885A (zh) 一种流量配额的调整方法和装置
CN111049919B (zh) 一种用户请求的处理方法、装置、设备及存储介质
US11973744B2 (en) Systems and methods for establishing consensus in distributed communications
CN116743589B (zh) 云主机迁移方法、装置及电子设备
US11989263B2 (en) Method, electronic device, and computer program product for data processing
CN113132324B (zh) 样本鉴定方法及***
EP4105862A2 (en) Data processing method and apparatus, electronic device and storage medium
CN116614383A (zh) 模型更新方法、装置、电子设备及存储介质
CN116614402A (zh) 模型传输方法、装置、电子设备及存储介质
US9325771B2 (en) Systems and methods for data management
CN116527498A (zh) 模型传输方法、装置、电子设备及存储介质
CN115914380A (zh) 基于Zlib压缩算法的云计算资源管理器通信延迟优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant