CN107733806B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN107733806B
CN107733806B CN201610663389.7A CN201610663389A CN107733806B CN 107733806 B CN107733806 B CN 107733806B CN 201610663389 A CN201610663389 A CN 201610663389A CN 107733806 B CN107733806 B CN 107733806B
Authority
CN
China
Prior art keywords
marketing
cache region
data
saturation
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610663389.7A
Other languages
English (en)
Other versions
CN107733806A (zh
Inventor
李少年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Henan Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Henan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Henan Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201610663389.7A priority Critical patent/CN107733806B/zh
Publication of CN107733806A publication Critical patent/CN107733806A/zh
Application granted granted Critical
Publication of CN107733806B publication Critical patent/CN107733806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种数据处理方法及装置，包括：接收营销***源端缓存区的状态消息，根据状态消息确定源端缓存区的饱和度；根据源端缓存区的饱和度，按照第一设定规则将营销平台发送的营销数据缓存，将营销平台发送的不同优先级的营销数据缓存至源端缓存区；若源端缓存区的饱和度大于第一阈值且小于第二阈值，将营销平台发送的高优先级的营销数据缓存至源端缓存区，将营销平台发送的低优先级的营销数据缓存至预设的文件缓存区；若源端缓存区的饱和度大于第二阈值，将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区，解决了目前营销支撑***中的营销数据推送方法处理效率低，拥塞率高的问题。

Description

一种数据处理方法及装置
技术领域
本发明涉及通信技术领域，尤其涉及一种数据处理方法及装置。
背景技术
随着移动通信进入4G时代，移动业务迅猛增长，交易处理数据激增，移动运营商市场营销逐步由流量运营向内容经营转型，促进增值业务运营适应4G时代业务“互联网化”发展趋势，而营销支撑***的效率成为了营销环节中的重中之重。
目前基于数据库的营销数据推送方法普遍应用于当前的营销支撑***，但是这种方式需要根据计算机的时间片轮转调度算法来进行数据读取和调度，这种方式相对会依赖数据库技术的性能，会造成设备的等待，处理效率不高；同时读取的数据需要缓存在内存中，且不管短信端口的状态，均会不停给短信端口发送营销数据，数据量高峰期容易造成数据丢失，比如说当某一个端口堆积太多的营销数据，就会很容易使堆积的数据丢失。
综上，目前营销支撑***中的营销数据推送方法存在处理效率低，拥塞率高的问题。
发明内容
本发明实施例提供一种数据处理方法及装置，用以解决目前营销支撑***中的营销数据推送方法存在处理效率低，拥塞率高的问题。
本发明方法包括一种数据处理方法，该方法包括：接收营销***源端缓存区的状态消息，并根据所述状态消息确定所述源端缓存区的饱和度；
根据所述源端缓存区的饱和度，按照第一设定规则将营销平台发送的营销数据进行缓存，所述第一设定规则为：
若所述源端缓存区的饱和度小于第一阈值，则将营销平台发送的不同优先级的营销数据缓存至所述源端缓存区；
若所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则将营销平台发送的高优先级的营销数据缓存至所述源端缓存区，并将营销平台发送的低优先级的营销数据缓存至预设的文件缓存区；
若所述源端缓存区的饱和度大于第二阈值，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区。
基于同样的发明构思，本发明实施例进一步提供一种数据处理装置，该装置包括：
接收单元，用于接收营销***源端缓存区的状态消息；
确定单元，用于根据所述状态消息确定所述源端缓存区的饱和度；
缓存单元，用于根据所述源端缓存区的饱和度，按照第一设定规则将营销平台发送的营销数据进行缓存，所述第一设定规则为：
若所述源端缓存区的饱和度小于第一阈值，则将营销平台发送的不同优先级的营销数据缓存至所述源端缓存区；
若所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则将营销平台发送的高优先级的营销数据缓存至所述源端缓存区，并将营销平台发送的低优先级的营销数据缓存至预设的文件缓存区；
若所述源端缓存区的饱和度大于第二阈值，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区。
本发明实施例通过增加一个调度程序，该程序可以获取源端缓存区的状态信息，进而根据该状态信息确定出源端缓存区实时的饱和度，然后根据所述源端缓存区的饱和度，按照设定规则将营销平台发送的营销数据进行缓存，若所述源端缓存区的饱和度小于第一阈值，说明源端缓存区的饱和度很低，有足够的缓存空间可以接收营销平台的发送的不同优先级的营销数据，如果所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则说明所述源端缓存区的饱和度相对较高，因此这时调度程序控制源端选择性地存储营销平台发送的高优先级的营销数据，并将低优先级的营销数据缓存至预设的文件缓存区，这样既可以保证高优先级的营销数据可以被及时的存储和发送出去，也可以利用预设的文件缓存区分担源端缓存区的数据压力，另外，当所述源端缓存区的饱和度大于第二阈值时，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区，因此在数据量超出处理源端存储能力的时候，通过预设的文件缓存区对实时数据进行缓存，保证数据的完整性，防止源端发生数据堵塞，可见，通过上述数据存储方法可以提高对高优先级的营销数据的处理效率，另外也可以避免源端发生数据堵塞的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供一种数据处理方法流程示意图；
图2为本发明实施例提供一种树形结构的数据存储结构示意图一；
图3为本发明实施例提供一种树形结构的数据存储结构示意图二；
图4为本发明实施例提供一种数据缓存方法流程示意图；
图5为本发明实施例提供一种数据发送方法流程示意图；
图6为本发明实施例提供一种数据处理方法结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
随着移动互联网及大数据技术的发展，人们大部分需求都能通过用户的上网行为以及用户位置来进行判定，具体包括用户访问的具体网页内容、搜索的关键词、使用APP行为、以及当前所在位置等信息。
目前，电商、运营商等企业的营销活动也都在围绕用户的行为数据进行挖掘和拓展，每个企业都有自己的个性化推荐引擎，针对营销***等。例如：电信的翼健康会对出现在合作医院的基站范围内的手机用户发送翼健康APP的推荐信息；58同城会根据用户的使用历史信息、搜索关键词等推荐网站的对应内容与服务，移动通信平台通过10086***推送业务短信给手机用户等。
本发明为了解决背景技术中提到的问题，增加了一个预设的文件缓存区，文件缓存区的主要作用是在营销***的源端的缓存区相对饱和时，将营销平台发送的低优先级的营销数据暂时缓存在文件缓存区内，这样源端的中缓存区就可以空出来用来存储优先级较高的实时营销数据。这样，就可以保证营销平台以数据流的方式将各类营销数据发送至源端，源端可以是各类电子渠道，然后再经由源端调度处理后发送至目的端，目的端可以是各种营销网关，其中，各类营销数据具有不同级别的优先级。
参见图1所示，本发明实施例提供一种数据处理方法流程示意图，具体地实现方法包括：
步骤S101，接收营销***源端缓存区的状态消息，并根据所述状态消息确定所述源端缓存区的饱和度。
步骤S102，根据所述源端缓存区的饱和度，按照第一设定规则将营销平台发送的营销数据进行缓存，所述第一设定规则为：
若所述源端缓存区的饱和度小于第一阈值，则将营销平台发送的不同优先级的营销数据缓存至所述源端缓存区；
若所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则将营销平台发送的高优先级的营销数据缓存至所述源端缓存区，并将营销平台发送的低优先级的营销数据缓存至预设的文件缓存区；
若所述源端缓存区的饱和度大于第二阈值，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区。
在执行步骤S101之前，先对缓存器的饱和度进行定义，假定(R，N，B)是一组数据模型；R为源端缓存区的数据饱和度，即R＝{r0,r1，r2}；N为目的端的数据饱和度，即N＝{n0，n1，n2}；B为预设的文件缓存区的数据饱和度，即B＝{b0，b1,b2}，其中，r0、n0、b0代表缓存区的饱和度最低，r1、n1、b1代表缓存区的饱和度居中，r2、n2、b2代表缓存区的饱和度最高。
具体地，计算各数据缓存区的数据饱和度R0，N0，B0。然后判断计算得到的缓存区饱和度所在的区间，例如，对于源端缓存区，若R小于r1,代表源端缓存区数据饱和度低，为空闲状态，可以继续追加数据，其中r1代表第一阈值；若R大于等于r1并且小于r2,代表该数据缓存区数据饱和度正常，为正常工作状态，可以继续追加数据，其中r2代表第二阈值；若R大于r2，代表该数据缓存区数据饱和度低，为饱和状态，暂时不能追加数据。
同理，对于目的端端缓存区，若N小于n3,代表目的端缓存区数据饱和度低，为空闲状态，可以继续追加数据，其中n3代表第三阈值；若N大于等于n3并且小于n4，代表目的端缓存区数据饱和度正常，为正常工作状态，可以继续追加数据，其中n4代表第四阈值；若R大于r4，代表目的端缓存区数据饱和度低，为饱和状态，暂时不能追加数据。
另外，营销平台发送的营销数据自身携带不同级别的优先级，假定(MsgNo|MsgType|MsgContact|MsgContent|CreateDateTime|MsgPRI)是一组营销信息字符串；它们的定义如下：
Figure BDA0001077540040000051
Figure BDA0001077540040000061
以上营销数据由营销平台通过数据流的方式发送至电子渠道，经由电子渠道调度处理后发送至短彩信营销网关。例如移动***的电子渠道可以包括10086***、彩信***等。其中，10086***和彩信***对应一个源端缓存区，源端缓存区对营销平台发送过来的数据按照设定的规则进行缓存，然后按照设定的发送规则发送至短彩信营销网关，具体地，接收营销***目的端缓存区的状态消息，并根据所述状态消息确定所述目的端缓存区的饱和度；
根据所述目的端缓存区的饱和度，按照第二设定规则将营销平台发送的营销数据进行发送，所述第二设定规则为：
若所述目的端缓存区的饱和度小于第三阈值，则将所述源端缓存区和预设的文件缓存区中的营销数据按照优先级高低依次发送至所述目的端缓存区；
若所述目的端缓存区的饱和度大于第三阈值且小于第四阈值，则将所述源端缓存区中的高优先级的营销数据依次发送至所述目的端缓存区；
若所述目的端缓存区的饱和度大于第四阈值，则停止将所述源端缓存区中的营销数据发送至所述目的端缓存区。
进一步地，本发明实施例中源端缓存区、目的端缓存区和文件缓存区的数据存储结构按照树形结构存储，如图2所示，树的分支从左到右依次存储优先级高到低的营销信息，每个分支存储同一优先级的营销信息，按照队列的结构存储时间先后的营销数据。同时，每个树的分支将有一个进程进行读取，实现树分支间的并发读取和存储。同时，为了保证缓存区中的数据可以以最短时间发送至网关，本发明实施例是以动态调度交叉算法将源端缓存区中数据进行存储，当某个树的分支上的队列结点超过最少分支结点的一倍以上时，将由动态调度程序实时调度该分支上的结点到最少的分支，以达到最短时间发送关键营销信息的要求。图2中树形存储结构经过调度之后如图3所示，这样既能够保证优先级较高的数据存在第一树分支，也能够保证当第一树分支中优先级较高的数据变少之后，该分支的空闲结点能够被其它分支的低优先级的数据补充，因此源端缓存区的中缓存的数据可以按照优先级按顺序依次发送至目的端。
进一步地，对树分支进行最短时间的动态调度交叉计算方法如下，假定Dur(i，j)为发送A1，A2，A3，A4的最短时间,发送的最短时间系数分别为t1,t2,t3,t4，对于每一个树分支K，我们一次检查Dur(i，k)+Dur(k，j)<Dur(i,j)是否成立，如果成立，我们便设置Dur(i，j)＝Dur(i，k)+Dur(k，j)，当我们遍历完所有分支k的结点。Dur(i，j)就是我们所需的最少时间。
具体算法如下：假设B是邻接矩阵，而矩阵Disp用来记录动态调度信息的节点以及数量。
Figure BDA0001077540040000071
Figure BDA0001077540040000072
计算步骤如下：
步骤一，把B-1划去第0行第0列和对角线来计算B0，B0如下式所示。
Figure BDA0001077540040000073
不在三条线上的元素所在的2阶矩阵为：
Figure BDA0001077540040000074
Figure BDA0001077540040000075
Figure BDA0001077540040000081
依次比较以上二阶矩阵，通过比较二阶矩阵中对角线之和的大小，如果矩阵第一行第一列的值加上第二行第二列的值之和小于第一行第二列的值加上第二行第一列的值之和成立，那么第一行第二列所对应矩阵中的值将被第一行第一列的值加上第二行第二列的值之和所替代即得到B0，并在Disp矩阵中记录被修改的位置上记录得到两者的差值得到Disp0。
假定比较得知第一个二阶矩阵中第一行第一列的值加上第二行第二列的值之和小于第一行第二列的值加上第二行第一列的值之和成立，即：
Figure BDA0001077540040000082
若上式成立，则：
Figure BDA0001077540040000083
Figure BDA0001077540040000084
步骤二，同理，把B0划去第一行第一列和对角线来计算B1
按上面所述的防范的得到相应二阶矩阵后进行比较，发生变化的元素再矩阵中进行相应修改得到B1，并在Disp矩阵中记录被修改的位置的到Disp1。
步骤三，同理，把B1划去第2行第2列和对角线来计算B2和Disp2。
步骤四，同理，把B2划去第3行第3列和对角线来计算B3和Disp3。
步骤五，Disp3即为动态调度的方案和结果。Disp3中记录的节点调度的数量即为最短时间发送营销数据所要进行调度的节点以及数量。
进一步地，本发明实施例结合移动平台推送消息的场景对数据缓存过程进行详细阐述，如图4所示，确定好各数据缓存区数据饱和度后，下一步统一调度程序根据各数据饱和度对外部流入的营销数据进行统一的调度，思路如下：
步骤A1，电子渠道接收到外部的大量营销数据，同时根据营销数据的营销优先级对数据进行分类；并得到数据缓存区的各数据饱和度。
步骤A2，判断数据缓存区数据饱和度矩阵模型为:
步骤A3，若数据缓存区的数据饱和度为
Figure BDA0001077540040000091
则根据优先级高低提取营销数据推送至实时营销程序，同时其他高优先级数据推送至数据缓存区，低优先级数据推送至文件缓存区；并告知实时营销程序关于短彩信网关的实时数据饱和度，由实时营销程序决定是否把的本缓存区的数据推送至短彩信网关。
步骤A4，若数据缓存区的数据饱和度为
Figure BDA0001077540040000092
则从接收到的高优先级营销数据以及文件缓存区中取高优先级数据至数据缓存区，同时其他数据推送至文件缓存区。
步骤A5，若数据缓存区的数据饱和度为
Figure BDA0001077540040000093
则所有数据推送至文件缓存区。
进一步地，本发明实施例结合移动平台推送消息的场景对数据发送过程进行详细阐述，如图5所示，确定好各数据缓存区数据饱和度后，统一调度程序中的数据流发送程序根据各数据饱和度进行数据的推送，思路如下：
步骤B1，电子渠道接收到外部的大量营销数据，同时根据营销数据的营销优先级队数据进行分类；并得到数据缓存区的各数据饱和度。
步骤B2，判断数据缓存区数据饱和度矩阵模型为,
步骤B3，若数据缓存区的数据饱和度为
Figure BDA0001077540040000094
则把接收到实时的营销数据推送至实时营销程序。
步骤B4，若数据缓存区的数据饱和度为
Figure BDA0001077540040000101
则从接收到的高优先级营销数据以及数据缓存区中取高优先级数据至数据缓存区，同时获取高优先级数据推送至实时营销程序。
步骤B5，若数据缓存区的数据饱和度为
Figure BDA0001077540040000102
则调度程序从文件缓存区获取高优先级数据调度到数据缓存区。
步骤B6，若数据缓存区的数据饱和度为
Figure BDA0001077540040000103
则调度程序通知实时营销程序将数据推送至营销网关。
可见，因此这时调度程序控制源端选择性地存储营销平台发送的高优先级的营销数据，并将低优先级的营销数据缓存至预设的文件缓存区，这样既可以保证高优先级的营销数据可以被及时的存储和发送出去，也可以利用预设的文件缓存区分担源端缓存区的数据压力，另外，当所述源端缓存区的饱和度大于第二阈值时，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区，因此在数据量超出处理源端存储能力的时候，通过预设的文件缓存区对实时数据进行缓存，保证数据的完整性，防止源端发生数据堵塞，可见，通过上述数据存储方法可以提高对高优先级的营销数据的处理效率，另外也可以避免源端发生数据堵塞的问题，另一方面，根据所述目的端缓存区的饱和度，按照第二设定规则将营销平台发送的营销数据进行发送，当源端检测到目的端缓存区的饱和度较高时，则选择性地向目的端发送高优先级的营销数据，以避免目的端发生堵塞，因为高优先级的营销数据得到及时地处理，所以提高了数据处理的实时性。
基于相同的技术构思，本发明实施例还提供一种数据处理装置，该装置可执行上述方法实施例。本发明实施例提供的装置如图6所示，包括：接收单元401、确定单元402、缓存单元403，其中：
接收单元401，用于接收营销***源端缓存区的状态消息；
确定单元402，用于根据所述状态消息确定所述源端缓存区的饱和度；
缓存单元403，用于根据所述源端缓存区的饱和度，按照第一设定规则将营销平台发送的营销数据进行缓存，所述第一设定规则为：
若所述源端缓存区的饱和度小于第一阈值，则将营销平台发送的不同优先级的营销数据缓存至所述源端缓存区；
若所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则将营销平台发送的高优先级的营销数据缓存至所述源端缓存区，并将营销平台发送的低优先级的营销数据缓存至预设的文件缓存区；
若所述源端缓存区的饱和度大于第二阈值，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区。
进一步地，所述接收单元401，还用于接收营销***目的端缓存区的状态消息；
所述确定单元402，还用于并根据所述状态消息确定所述目的端缓存区的饱和度；
发送单元404，用于根据所述目的端缓存区的饱和度，按照第二设定规则将营销平台发送的营销数据进行发送，所述第二设定规则为：若所述目的端缓存区的饱和度小于第三阈值，则将所述源端缓存区和预设的文件缓存区中的营销数据按照优先级高低依次发送至所述目的端缓存区；若所述目的端缓存区的饱和度大于第三阈值且小于第四阈值，则将所述源端缓存区中的高优先级的营销数据依次发送至所述目的端缓存区。
进一步地，所述源端缓存区、所述预设的文件缓存区和所述目的端缓存区的存储结构为树形结构，其中所述树形结构的每个分支分别用来存储不同优先级的营销数据。
进一步地，所述树形结构的每个分支以队列的形式进行存储，其中，所述队列中的每个结点分部对应每个营销数据，队列结点的先后顺序与所述营销数据的接收时间的先后顺序一致。
进一步地，所述树形结构的每个分支的分支结点通过动态调度交叉算法进行调度，以使所述树形结构的对应的营销数据按照优先级发送至目的端的时间最短。
综上，本发明实施例通过增加一个调度程序，该程序可以获取源端缓存区的状态信息，进而根据该状态信息确定出源端缓存区实时的饱和度，然后根据所述源端缓存区的饱和度，按照设定规则将营销平台发送的营销数据进行缓存，若所述源端缓存区的饱和度小于第一阈值，说明源端缓存区的饱和度很低，有足够的缓存空间可以接收营销平台的发送的不同优先级的营销数据，如果所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则说明所述源端缓存区的饱和度相对较高，因此这时调度程序控制源端选择性地存储营销平台发送的高优先级的营销数据，并将低优先级的营销数据缓存至预设的文件缓存区，这样既可以保证高优先级的营销数据可以被及时的存储和发送出去，也可以利用预设的文件缓存区分担源端缓存区的数据压力，另外，当所述源端缓存区的饱和度大于第二阈值时，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区，因此在数据量超出处理源端存储能力的时候，通过预设的文件缓存区对实时数据进行缓存，保证数据的完整性，防止源端发生数据堵塞，可见，通过上述数据存储方法可以提高对高优先级的营销数据的处理效率，另外也可以避免源端发生数据堵塞的问题，另一方面，根据所述目的端缓存区的饱和度，按照第二设定规则将营销平台发送的营销数据进行发送，当源端检测到目的端缓存区的饱和度较高时，则选择性地向目的端发送高优先级的营销数据，以避免目的端发生堵塞，因为高优先级的营销数据得到及时地处理，所以提高了数据处理的实时性。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种数据处理方法，其特征在于，该方法包括：
接收营销***源端缓存区的状态消息，并根据所述状态消息确定所述源端缓存区的饱和度；
根据所述源端缓存区的饱和度，按照第一设定规则将营销平台发送的营销数据进行缓存，所述第一设定规则为：
若所述源端缓存区的饱和度小于第一阈值，则将营销平台发送的不同优先级的营销数据缓存至所述源端缓存区；
若所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则将营销平台发送的高优先级的营销数据缓存至所述源端缓存区，并将营销平台发送的低优先级的营销数据缓存至预设的文件缓存区；
若所述源端缓存区的饱和度大于第二阈值，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区；
接收营销***目的端缓存区的状态消息，并根据所述状态消息确定所述目的端缓存区的饱和度；
根据所述目的端缓存区的饱和度，按照第二设定规则将营销平台发送的营销数据进行发送，所述第二设定规则为：
若所述目的端缓存区的饱和度小于第三阈值，则将所述源端缓存区和预设的文件缓存区中的营销数据按照优先级高低依次发送至所述目的端缓存区；
若所述目的端缓存区的饱和度大于第三阈值且小于第四阈值，则将所述源端缓存区中的高优先级的营销数据依次发送至所述目的端缓存区；
若所述目的端缓存区的饱和度大于第四阈值，则停止将所述源端缓存区中的营销数据发送至所述目的端缓存区。
2.如权利要求1所述的方法，其特征在于，还包括：
所述源端缓存区、所述预设的文件缓存区和所述目的端缓存区的存储结构为树形结构，其中所述树形结构的每个分支分别用来存储不同优先级的营销数据。
3.如权利要求2所述的方法，其特征在于，所述树形结构的每个分支以队列的形式进行存储，其中，所述队列中的每个结点分部对应每个营销数据，队列结点的先后顺序与所述营销数据的接收时间的先后顺序一致。
4.如权利要求2所述的方法，其特征在于，所述树形结构的每个分支的分支结点通过动态调度交叉算法进行调度，以使所述树形结构的对应的营销数据按照优先级发送至目的端的时间最短。
5.一种数据处理装置，其特征在于，该装置包括：
接收单元，用于接收营销***源端缓存区的状态消息；
确定单元，用于根据所述状态消息确定所述源端缓存区的饱和度；
缓存单元，用于根据所述源端缓存区的饱和度，按照第一设定规则将营销平台发送的营销数据进行缓存，所述第一设定规则为：
若所述源端缓存区的饱和度小于第一阈值，则将营销平台发送的不同优先级的营销数据缓存至所述源端缓存区；
若所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则将营销平台发送的高优先级的营销数据缓存至所述源端缓存区，并将营销平台发送的低优先级的营销数据缓存至预设的文件缓存区；
若所述源端缓存区的饱和度大于第二阈值，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区；
所述接收单元，还用于接收营销***目的端缓存区的状态消息；
所述确定单元，还用于并根据所述状态消息确定所述目的端缓存区的饱和度；
发送单元，用于根据所述目的端缓存区的饱和度，按照第二设定规则将营销平台发送的营销数据进行发送，所述第二设定规则为：若所述目的端缓存区的饱和度小于第三阈值，则将所述源端缓存区和预设的文件缓存区中的营销数据按照优先级高低依次发送至所述目的端缓存区；若所述目的端缓存区的饱和度大于第三阈值且小于第四阈值，则将所述源端缓存区中的高优先级的营销数据依次发送至所述目的端缓存区。
6.如权利要求5所述的装置，其特征在于，还包括：
所述源端缓存区、所述预设的文件缓存区和所述目的端缓存区的存储结构为树形结构，其中所述树形结构的每个分支分别用来存储不同优先级的营销数据。
7.如权利要求6所述的装置，其特征在于，所述树形结构的每个分支以队列的形式进行存储，其中，所述队列中的每个结点分部对应每个营销数据，队列结点的先后顺序与所述营销数据的接收时间的先后顺序一致。
8.如权利要求7所述的装置，其特征在于，所述树形结构的每个分支的分支结点通过动态调度交叉算法进行调度，以使所述树形结构的对应的营销数据按照优先级发送至目的端的时间最短。
CN201610663389.7A 2016-08-12 2016-08-12 一种数据处理方法及装置 Active CN107733806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610663389.7A CN107733806B (zh) 2016-08-12 2016-08-12 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610663389.7A CN107733806B (zh) 2016-08-12 2016-08-12 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN107733806A CN107733806A (zh) 2018-02-23
CN107733806B true CN107733806B (zh) 2020-04-24

Family

ID=61200959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610663389.7A Active CN107733806B (zh) 2016-08-12 2016-08-12 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN107733806B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110719308A (zh) * 2018-07-12 2020-01-21 深圳市于易点科技有限公司 一种规避高并发消息阻塞的方法和***
CN111831699B (zh) * 2020-09-21 2021-01-08 北京新唐思创教育科技有限公司 数据缓存方法、电子设备及计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291279A (zh) * 2007-04-18 2008-10-22 华为技术有限公司 高速下行分组接入中业务数据的调度方法及其装置
CN101453481A (zh) * 2007-12-07 2009-06-10 北京闻言科技有限公司 一种通过缓存实现通知的方法
CN101505260A (zh) * 2008-02-04 2009-08-12 华为技术有限公司 消息流量的控制方法、***及装置
CN102932275A (zh) * 2012-11-20 2013-02-13 中国空间技术研究院 一种应用于容延时网络的优先级报文转发方法
CN104702535A (zh) * 2013-12-06 2015-06-10 ***通信集团公司 一种数据传输方法、装置、***及相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668740B1 (en) * 2000-09-22 2010-02-23 Ita Software, Inc. Method, system, and computer program product for interfacing with information sources

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291279A (zh) * 2007-04-18 2008-10-22 华为技术有限公司 高速下行分组接入中业务数据的调度方法及其装置
CN101453481A (zh) * 2007-12-07 2009-06-10 北京闻言科技有限公司 一种通过缓存实现通知的方法
CN101505260A (zh) * 2008-02-04 2009-08-12 华为技术有限公司 消息流量的控制方法、***及装置
CN102932275A (zh) * 2012-11-20 2013-02-13 中国空间技术研究院 一种应用于容延时网络的优先级报文转发方法
CN104702535A (zh) * 2013-12-06 2015-06-10 ***通信集团公司 一种数据传输方法、装置、***及相关设备

Also Published As

Publication number Publication date
CN107733806A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
US10171284B2 (en) Reachability-based coordination for cyclic dataflow
CN104205770B (zh) 具有请求取消能力的改善的dash客户端和接收机
JP2020510892A5 (zh)
US9497288B2 (en) Subscriber based priority of messages in a publisher-subscriber domain
KR101960007B1 (ko) 편의적 네트워크 업데이트
US20180027061A1 (en) Method and apparatus for elastically scaling virtual machine cluster
CN106815254B (zh) 一种数据处理方法和装置
CN110022227A (zh) 业务处理方法、装置、设备及存储介质
CN110162292A (zh) 语音播报方法及装置
US10313219B1 (en) Predictive intelligent processor balancing in streaming mobile communication device data processing
CN104503831B (zh) 设备优化方法及装置
JP6217644B2 (ja) ルール分配サーバ、イベント処理システム、方法及びプログラム
CN108243032B (zh) 一种服务等级信息的获取方法、装置及设备
CN110677468B (zh) 消息处理方法、装置以及设备
CN102014282A (zh) 一种分布式视频转码调度方法及***
CN106326062A (zh) 应用程序的运行状态控制方法和装置
CN107733806B (zh) 一种数据处理方法及装置
CN106294188A (zh) 存储空间处理方法及装置
CN111464352A (zh) 调用链路数据处理方法及装置
CN111111176A (zh) 游戏中物体lod的管理方法、装置及电子设备
CN109033190A (zh) 一种推荐信息的推送方法、装置及设备
US8510426B2 (en) Communication and coordination between web services in a cloud-based computing environment
CN112396511A (zh) 分布式风控变量数据处理方法、装置及***
CN117076195A (zh) 参数的调整方法、装置、存储介质及电子装置
CN111144659A (zh) 物流调度方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant