CN112383487A - 基于统一协议的高并发环境下数据传输方法及装置 - Google Patents

基于统一协议的高并发环境下数据传输方法及装置 Download PDF

Info

Publication number
CN112383487A
CN112383487A CN201911050212.XA CN201911050212A CN112383487A CN 112383487 A CN112383487 A CN 112383487A CN 201911050212 A CN201911050212 A CN 201911050212A CN 112383487 A CN112383487 A CN 112383487A
Authority
CN
China
Prior art keywords
data
data packets
environment based
high concurrency
packets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911050212.XA
Other languages
English (en)
Inventor
夏秀江
董伟
李大鹏
王晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Urban Construction Design and Development Group Co Ltd
Original Assignee
Beijing Urban Construction Design and Development Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Urban Construction Design and Development Group Co Ltd filed Critical Beijing Urban Construction Design and Development Group Co Ltd
Priority to CN201911050212.XA priority Critical patent/CN112383487A/zh
Publication of CN112383487A publication Critical patent/CN112383487A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
    • H04L47/2433—Allocation of priorities to traffic types
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/6215—Individual queue per QOS, rate or priority
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9057—Arrangements for supporting packet reassembly or resequencing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据传输方法及装置，尤其是涉及一种基于统一协议的高并发环境下数据传输方法及装置。包括：数据分级步骤，在发送端根据业务类型对待发送数据包进行分级；数据发送步骤，按照划定的优选级，对数据包进行排序，将优先级较高的数据包先送入至待发送队列中；因此，本发明具有如下优点：1.非重要数据抑制，减轻接收服务器的压力；2.将数据包拆分整合，合并为一个个大小相对稳定的包，保证传输稳定；3.压力分给了发送端一部分，另两服务器更加稳定；4.数据入库速度明显加快。

Description

基于统一协议的高并发环境下数据传输方法及装置
技术领域
本发明涉及一种数据传输方法及装置，尤其是涉及一种基于统一协议的高并发环境下数据传输方法及装置。
背景技术
随着云计算、大数据时代的来临,每天都会产生海量的数据,应用需求存在着大量的并发数据访问。与此同时,以多核心处理器、大内存为趋势的硬件升级,为解决大规模并发数据处理问题提供了硬件基础。数据库事务处理是我们使用相当频繁的数据库操作,需要满足ACID(原子性、一致性、隔离性和持久性)原则。在传统数据库的事务处理中,是采用加锁的方式来进行控制的,通过共享锁和排他锁等锁机制,来保证事务的可串行化。在当前需要处理海量并发的环境下,传统的加锁机制无法满足对事务处理吞吐量的需求,同时也存在资源浪费,不能有效发挥现有硬件条件应该具有的数据处理能力。
在设备都应用统一协议连通的情况下，设备间存在大量数据交互，数据无时无刻不在被塞到另一个设备中，产生大量并发，同时产生大量数据，数据集中传输导致了很多问题，并不能很好的利用传输资源，同时数据中存在大量非重要数据，对于数据统计，数据分析产生不好的影响，如果能够区分数据的可用性同时抑制非重要数据的上传，就既能降低一部分高并发的压力，同时完成数据清洗，保证数据的可靠性。
现有技术中采用垂直扩展的方式，即提升单机处理能力来提高数据传输效率，简单来说就是增加单线程的处理能力，处理速度，让每条数据处理周期变短。垂直扩展的方式又有两种：
(1)增强单机硬件性能，例如：增加CPU核数如32核，升级更好的网卡如万兆，升级更好的硬盘如SSD，扩充硬盘容量如2T，扩充***内存如128G；
(2)提升单机架构性能，例如：使用Cache来减少IO次数，使用异步来增加单服务吞吐量，使用无锁数据结构来减少响应时间；
在线程池容量有限的情况下,最大限度地提升线程池的并发能力,在资源消耗和线程池并发能力之间做了很好的平衡。但是，单机性能总是有极限的，无论使用多先进的物理机器，终究单机的极限太低，垂直扩展的方式一般只能应用在并发量相对能够控制的情况。
现有技术中采用水平扩展的方式，即采用负载均衡算法帮助合理优化服务器集群的任务分配问题,从而使服务器集群的性能达到最优化,使得企业能够有效地处理大用户量的高并发访问。
水平扩展只要增加服务器数量，就能线性扩充***性能。水平扩展对***架构设计是有要求的。这就是我们常听说的负载均衡，利用反向代理层，将请求信息分发到不通的服务器，降低单台机器的请求数。
高可用相关的技术以及架构，对于大型复杂的分布式***，也是非常的重要。高可用架构中，非常重要的一个环节，就是如何将分布式***中的各个服务打造成高可用的服务，足以应对分布式***中各种各样的异常问题，比如服务间调用超时或者失败。这就涉及到了高可用分布式***中的很多重要的技术，包括资源隔离，限流与过载保护，熔断，优雅降级，容错，超时控制，监控运维，等等。在采用水平扩展的情况下，当服务器连接发送大量数据，直接上传服务器，浪费了很大一部分资源。
发明内容
本发明主要是解决现有技术所存在的大量数据上行导致无用数据增加，影响数据统计，数据分析等技术问题，提出了一种基于统一协议的高并发环境下数据传输方法及装置。该方法及装置从根本上缓解服务器压力，充分利用资源。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
一种基于统一协议的高并发环境下数据传输方法，包括：
数据分级步骤，在发送端根据业务类型对待发送数据包进行分级；
数据发送步骤，按照划定的优选级，对数据包进行排序，将优先级较高的数据包先送入至待发送队列中。
优选的，上述的一种基于统一协议的高并发环境下数据传输方法，包括：
数据拆分步骤，在发送端将待发送数据拆分和/或整合成大小相同的数据包后发送。
优选的，上述的一种基于统一协议的高并发环境下数据传输方法，包括：在所述数据发送步骤中，在发送端延迟发送优选级较低的数据包。
优选的，上述的一种基于统一协议的高并发环境下数据传输方法，包括：
数据抑制步骤，在预定时段出现重复数据包时，仅发送第一次出现的数据包，丢弃后出现的数据包。
一种基于统一协议的高并发环境下数据传输***，包括：
数据分级模块，在发送端根据业务类型对待发送数据包进行分级；
数据发送模块，按照划定的优选级，对数据包进行排序，将优先级较高的数据包先送入至待发送队列中。
优选的，上述的一种基于统一协议的高并发环境下数据传输***，包括：
数据拆分模块，在发送端将待发送数据拆分和/或整合成大小相同的数据包后发送。
优选的，上述的一种基于统一协议的高并发环境下数据传输***，包括：在所述数据发送模块中，在发送端延迟发送优选级较低的数据包。
优选的，上述的一种基于统一协议的高并发环境下数据传输***，包括：
数据抑制模块，在预定时段出现重复数据包时，仅发送第一次出现的数据包，丢弃后出现的数据包。
因此，本发明具有如下优点：1.非重要数据抑制，减轻接收服务器的压力；2.将数据包拆分整合，合并为一个个大小相对稳定的包，保证传输稳定；3.压力分给了发送端一部分，另两服务器更加稳定；4.数据入库速度明显加快。
附图说明
附图1是本发明的一种原理图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
两台服务器在进行大量数据交互过程中，接收服务器承受着巨大的压力，分别是并发，和对数据进行预处理的操作，数据入库操作等问题。面对这些问题我们考虑到能不能在数据发送的服务器上对非重要数据进行抑制，让重要的数据部分优先发送入库。在网络的负载能力和计算能力有限的情况下尽可能提高数据的质量和效率，我们看到大量数据在发送端，可以对这些数据进行拆分整合，将数据打包或拆分成为一个个大小相对恒定的数据包，既不影响传输速率，又能减少资源浪费，保证数据稳定传输。
大量数据上行至同一平台，不停的进行数据交互会对服务器造成极大压力，同一时间可能会出现大量重复数据被推送到服务器，此时需要数据压制功能，相同数据压制，避免数据重复处理增加服务器压力，减少接收服务器预处理数据量。
在数据处理接收端进行应用负载均衡技术，数据划分方法,将关系和数据均匀的分布到各个处理节点，使数据库集群中各单数据库***节点既保持了良好的自治性又能相互协作以达到高并行处理性能。本实施例基于https传输协议实现高并发环境下数据的传输。
基于以上原理，如图1所示，本实施例提出了一种基于统一协议的高并发环境下数据传输方法，包括：
数据分级步骤，在发送端根据业务类型对待发送数据包进行分级；
数据发送步骤，按照划定的优选级，对数据包进行排序，将优先级较高的数据包先送入至待发送队列中，在发送端延迟发送优选级较低的数据包。
作为一种优选方式，本实施例的一种基于统一协议的高并发环境下数据传输方法，还包括：
数据拆分步骤，在发送端将待发送数据拆分和/或整合成大小相同的数据包后发送；
数据抑制步骤，在预定时段出现重复数据包时，仅发送第一次出现的数据包，丢弃后出现的数据包。
本实施例还提供一种基于统一协议的高并发环境下数据传输***，包括：
数据分级模块，在发送端根据业务类型对待发送数据包进行分级；
数据发送模块，按照划定的优选级，对数据包进行排序，将优先级较高的数据包先送入至待发送队列中。在发送端延迟发送优选级较低的数据包。
作为一种优选方式，本实施例的一种基于统一协议的高并发环境下数据传输***，包括：
数据拆分模块，在发送端将待发送数据拆分和/或整合成大小相同的数据包后发送；
数据抑制模块，在预定时段出现重复数据包时，仅发送第一次出现的数据包，丢弃后出现的数据包。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于统一协议的高并发环境下数据传输方法，其特征在于，包括：
数据分级步骤，在发送端根据业务类型对待发送数据包进行分级；
数据发送步骤，按照划定的优选级，对数据包进行排序，将优先级较高的数据包先送入至待发送队列中。
2.根据权利要求1所述的一种基于统一协议的高并发环境下数据传输方法，其特征在于，包括：
数据拆分步骤，在发送端将待发送数据拆分和/或整合成大小相同的数据包后发送。
3.根据权利要求1所述的一种基于统一协议的高并发环境下数据传输方法，其特征在于，包括：在所述数据发送步骤中，在发送端延迟发送优选级较低的数据包。
4.根据权利要求1所述的一种基于统一协议的高并发环境下数据传输方法，其特征在于，包括：
数据抑制步骤，在预定时段出现重复数据包时，仅发送第一次出现的数据包，丢弃后出现的数据包。
5.一种基于统一协议的高并发环境下数据传输***，其特征在于，包括：
数据分级模块，在发送端根据业务类型对待发送数据包进行分级；
数据发送模块，按照划定的优选级，对数据包进行排序，将优先级较高的数据包先送入至待发送队列中。
6.根据权利要求5所述的一种基于统一协议的高并发环境下数据传输***，其特征在于，包括：
数据拆分模块，在发送端将待发送数据拆分和/或整合成大小相同的数据包后发送。
7.根据权利要求5所述的一种基于统一协议的高并发环境下数据传输***，其特征在于，包括：在所述数据发送模块中，在发送端延迟发送优选级较低的数据包。
8.根据权利要求5所述的一种基于统一协议的高并发环境下数据传输***，其特征在于，包括：
数据抑制模块，在预定时段出现重复数据包时，仅发送第一次出现的数据包，丢弃后出现的数据包。
CN201911050212.XA 2019-10-31 2019-10-31 基于统一协议的高并发环境下数据传输方法及装置 Pending CN112383487A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911050212.XA CN112383487A (zh) 2019-10-31 2019-10-31 基于统一协议的高并发环境下数据传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911050212.XA CN112383487A (zh) 2019-10-31 2019-10-31 基于统一协议的高并发环境下数据传输方法及装置

Publications (1)

Publication Number Publication Date
CN112383487A true CN112383487A (zh) 2021-02-19

Family

ID=74585979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911050212.XA Pending CN112383487A (zh) 2019-10-31 2019-10-31 基于统一协议的高并发环境下数据传输方法及装置

Country Status (1)

Country Link
CN (1) CN112383487A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645053A (zh) * 2009-06-29 2010-02-10 福建星网锐捷网络有限公司 一种提高数据传输效率的方法及装置
CN104125167A (zh) * 2014-07-24 2014-10-29 海信集团有限公司 一种流量控制方法和装置
US20170041243A1 (en) * 2014-04-23 2017-02-09 Mitsubishi Electric Corporation Relay device and data transfer method
CN106453126A (zh) * 2016-11-29 2017-02-22 郑州云海信息技术有限公司 一种虚拟机流量控制方法及装置
CN107634915A (zh) * 2017-08-25 2018-01-26 中国科学院计算机网络信息中心 数据传输方法、装置及储存介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645053A (zh) * 2009-06-29 2010-02-10 福建星网锐捷网络有限公司 一种提高数据传输效率的方法及装置
US20170041243A1 (en) * 2014-04-23 2017-02-09 Mitsubishi Electric Corporation Relay device and data transfer method
CN104125167A (zh) * 2014-07-24 2014-10-29 海信集团有限公司 一种流量控制方法和装置
CN106453126A (zh) * 2016-11-29 2017-02-22 郑州云海信息技术有限公司 一种虚拟机流量控制方法及装置
CN107634915A (zh) * 2017-08-25 2018-01-26 中国科学院计算机网络信息中心 数据传输方法、装置及储存介质

Similar Documents

Publication Publication Date Title
US11647081B2 (en) Method and system for reducing connections to a database
US10261853B1 (en) Dynamic replication error retry and recovery
JP6276273B2 (ja) 分散型データグリッドクラスタにおけるメッセージ前処理をサポートするシステムおよび方法
US11275622B2 (en) Utilizing accelerators to accelerate data analytic workloads in disaggregated systems
US9495201B2 (en) Management of bottlenecks in database systems
US12001289B2 (en) Data recovery method, apparatus and device, and readable storage medium
CN114691306A (zh) 实时事务一致的变更通知
US10819641B2 (en) Highly available servers
US9553810B2 (en) Dynamic reconfiguration of network devices for outage prediction
EP3087483B1 (en) System and method for supporting asynchronous invocation in a distributed data grid
CN106648832B (zh) 提高虚拟机资源利用率的装置及方法
WO2023046141A1 (zh) 一种数据库网络负载性能的加速框架、加速方法及设备
US8458702B1 (en) Method for implementing user space up-calls on java virtual machine before/after garbage collection
CN110717132A (zh) 全链路监控***数据收集方法、推送方法及相关设备
Lin et al. Towards Accelerating Data Intensive Application's Shuffle Process Using SmartNICs
CN112383487A (zh) 基于统一协议的高并发环境下数据传输方法及装置
CN110798366B (zh) 任务逻辑的处理方法、装置及设备
CN113051079B (zh) 一种计算机过载保护装置
US11487587B2 (en) Information processing system and method for controlling information processing system
Yu et al. Analysis of CPU pinning and storage configuration in 100 Gbps network data transfer
Gu et al. A Transformable NVMeoF Queue Design for Better Differentiating Read and Write Request Processing
US20230305918A1 (en) Fault Tolerant Big Data Processing
US11003355B2 (en) Implementing VM memory right-sizing using VM memory compression
Sun et al. Live migration for virtual machine based on kalman prediction of dirty pages
CN114885023A (zh) 一种资源调度方法、装置及平台设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210219