CN104125163B - 一种数据处理方法、装置及终端 - Google Patents
一种数据处理方法、装置及终端 Download PDFInfo
- Publication number
- CN104125163B CN104125163B CN201310148437.5A CN201310148437A CN104125163B CN 104125163 B CN104125163 B CN 104125163B CN 201310148437 A CN201310148437 A CN 201310148437A CN 104125163 B CN104125163 B CN 104125163B
- Authority
- CN
- China
- Prior art keywords
- data
- user
- request
- queue
- data queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 230000003993 interaction Effects 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012163 sequencing technique Methods 0.000 claims abstract description 19
- 238000004806 packaging method and process Methods 0.000 claims description 8
- 230000000737 periodic effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000013500 data storage Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 101150013030 FAN1 gene Proteins 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法、装置及终端，其中，该方法包括：接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；将所述应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；将请求用户数据队列推送给用户终端。采用本发明，既能满足数据有效性，又能缓解***资源占用和网络开销增大的问题。
Description
技术领域
本发明涉及互联网数据交互的处理技术，尤其涉及一种数据处理方法、装置及终端。
背景技术
随着互联网技术的普及，人们获得有效数据的方式，已经由传统的媒体如报纸，期刊等转到互联网媒体，互联网中存在信息量巨大的数据，用户可以根据自身需求直接从互联网中获取大量数据，也可以通过数据共享的方式获得数据。互联网技术兴起后出现了大量社交应用类的工具，这些社交应用类的工具就是为了方便用户间数据共享来设计的，虽然提供了多种数据共享途径，但是也存在问题，诸如，数据共享是能获得更多的数据，但是哪些是用户需要的有效数据未可知；数据共享是基于数据交互存在的，信息量巨大的数据在数据交互时必定导致***资源占用，如接收端接收数据时的缓存占用，交互时网络带宽占用导致网络开销增大的问题。
目前，为了解决上述问题，采用的方案主要有两种数据处理方案，对数据进行处理来获得有效数据，以减少数据交互时的数据量，分别阐述如下：
方案一：对于数据交互时传输的数据，采用存储量固定的数据格式，比如可以设置最多存储的数据量上限，数据按照先进先出的方式进行处理。这个方案存在的问题是：设定数据量上限的数据格式，没法完整的表述所有的数据，因为超过数据量上限就不支持了，因此，这种处理方案只是针对局部数据的，无法针对所有的全量数据，数据量虽然小了，对***资源占用和网络开销增大的问题有所缓解，但是由于不是针对全量数据，分析不准确，会导致从全量数据中得到有效数据的概率大大降低。
方案二：对于数据交互时传输的数据，不限定具体的数据格式，区别于上述方案一是针对局部数据进行处理，本方案是针对全量数据进行处理，以获得有效数据。这个方案存在的问题是：虽然没有设定数据量上限，针对全量数据，可以完整的表述所有的数据，针对全量数据处理，分析准确，得到有效数据的概率大大提高，但是，交互时获得全量数据的过程，由于数据量巨大，没法缓解***资源占用和网络开销增大的问题。
综上所述，无论采用哪种现有方案，都没法既能满足数据有效性，又能缓解***资源占用和网络开销增大的问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种数据处理方法、装置及终端，既能满足数据有效性，又能缓解***资源占用和网络开销增大的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种数据处理方法，该方法包括：
接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；
将所述应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；
将请求用户数据队列推送给用户终端。
其中，该方法还包括：所述将请求用户数据队列推送给用户终端之前，将接收的时间戳封装到所述请求用户数据队列中的对应请求用户信息中；所述时间戳标识请求用户成功登录的时间。
其中，该方法还包括：将请求用户数据队列推送给用户终端之前，从所述请求用户数据队列中删除无效数据。
其中，所述从所述请求用户数据队列中删除无效数据具体包括：对所述请求用户数据队列进行定期扫描或定时扫描，当所述时间戳超过预设时间上限仍没有更新时，将对应请求用户信息判定为无效数据，从所述请求用户数据队列中删除对应请求用户信息。
一种数据处理方法，该方法包括：
触发数据交互请求来获取请求用户数据队列；所述请求用户数据队列以请求用户信息进行排序标识。
其中，所述触发数据交互请求具体包括：由请求用户采用用户账号成功登录来触发所述数据交互请求。
其中，该方法还包括：在所述数据交互请求中携带有时间戳，所述时间戳标识请求用户成功登录的时间。
其中，该方法还包括：所述获取请求用户数据队列之后，显示所述请求用户数据队列，所述请求用户数据队列包括所述时间戳。
一种数据处理装置，该装置包括：
获取及排序单元，用于接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；
转换及排序单元，用于将所述应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；
推送单元，用于将请求用户数据队列推送给用户终端。
其中，该装置还包括：封装单元，用于将时间戳封装到所述请求用户数据队列中的对应请求用户信息中；所述时间戳标识请求用户成功登录的时间。
其中，该装置还包括：数据删除单元，用于从所述请求用户数据队列中删除无效数据。
其中，所述数据删除单元，进一步用于对所述请求用户数据队列进行定期扫描或定时扫描，当所述时间戳超过预设时间上限仍没有更新时，将对应请求用户信息判定为无效数据，从所述请求用户数据队列中删除对应请求用户信息。
其中，该装置位于后台服务器侧。
一种数据处理终端，该终端包括：
数据请求单元，用于触发数据交互请求；
数据获取单元，用于获取请求用户数据队列；所述请求用户数据队列以请求用户信息进行排序标识。
其中，所述数据请求单元，进一步用于由请求用户采用用户账号成功登录来触发所述数据交互请求。
其中，该终端还包括：数据发送单元，用于将时间戳携带在所述数据交互请求中发送给服务器；所述时间戳标识请求用户成功登录的时间。
其中，该终端还包括：数据显示单元，用于显示所述请求用户数据队列，所述请求用户数据队列包括所述时间戳。
本发明的方法是接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；将应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；将请求用户数据队列推送给用户终端。
采用本发明，由于是根据用户相关度关系获取与请求用户对应的应答用户的数据队列，因此，处理得到的数据既不会有遗漏，又是和请求用户最相关的有效数据，从而既能满足数据有效性，又能缓解***资源占用和网络开销增大的问题。
附图说明
图1为本发明方法实施例一的实现流程示意图；
图2为本发明方法实施例二的实现流程示意图；
图3为本发明装置实施例的组成结构示意图；
图4为本发明终端实施例的组成结构示意图；
图5为本发明应用实例一的数据交互示意图；
图6为本发明应用实例二的数据交互示意图。
具体实施方式
本发明的基本思想是：接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；将应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；将请求用户数据队列推送给用户终端。
下面结合附图对技术方案的实施作进一步的详细描述。
方法实施例一：本发明的数据处理方法，如图1所示，该方法包括以下步骤：
步骤101、接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识。
这里，数据交互请求由请求用户采用用户账号成功登录后触发。
这里，该应答用户数据队列的数据结构为：以应答用户信息进行排序标识，该应答用户数据队列的具体结构形式，在后续方法实施例有具体描述。
步骤102、将应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识。
这里，请求用户数据队列存储在数据库中，数据库可以为Redis，Redis为高性能的key-value数据库，是开源的内存数据库，Redis是其名称。
这里，请求用户数据队列以用户帐号进行指示，即：请求用户数据队列为：以用户帐号指示的包含请求用户信息的队列，且请求用户信息中包括时间戳，时间戳也可以单独表示，不加入对应请求用户信息中。也就是说，所述时间戳在所述请求用户数据队列的封装方式有两种：一：将所述请求用户成功登录的时间以时间戳的形式直接加入请求用户数据队列中的对应请求用户信息中；或者，将所述请求用户成功登录的时间以时间戳的形式加入请求用户数据队列，与对应请求用户信息分别表示在数据队列中。请求用户数据队列的具体结构形式，在后续方法实施例有具体描述。
步骤103、将请求用户数据队列推送给用户终端。
这里，将请求用户数据队列推送给用户终端之前，将时间戳封装到请求用户数据队列中的对应请求用户信息中；时间戳标识请求用户成功登录的时间。
这里，将请求用户数据队列推送给用户终端之前，从请求用户数据队列中删除无效数据。
这里，所述从请求用户数据队列中删除无效数据具体为：对请求用户数据队列进行定期扫描或定时扫描，当时间戳超过预设时间上限仍没有更新时，将对应请求用户信息判定为无效数据，从请求用户数据队列中删除对应请求用户信息。
这里，定期扫描为：周期性的定期扫描，是按照预设的频率来进行扫描，比如一天，一周等来扫描；而定时扫描是按照预设的时间点进行扫描，比如9点，10点等来扫描。
方法实施例二：本发明的数据处理方法，如图2所示，该方法包括以下步骤：
步骤201、触发数据交互请求，请求根据用户相关度关系返回与请求用户对应的应答用户数据队列；应答用户数据队列以应答用户信息进行排序标识。
这里，所述请求根据用户相关度关系返回与请求用户对应的应答用户数据队列具体包括：由请求用户采用用户账号成功登录后触发所述请求。
步骤202、获取对应答用户数据队列转换后得到的请求用户数据队列；请求用户数据队列以请求用户信息进行排序标识。
这里，所述获取对所述应答用户数据队列转换后得到的请求用户数据队列之前，将时间戳携带在数据交互请求中发送给服务器；所述时间戳标识请求用户成功登录的时间。
这里，所述获取对所述应答用户数据队列转换后得到的请求用户数据队列之后，显示所述请求用户数据队列，所述请求用户数据队列包括所述时间戳。
装置实施例：本发明的数据处理装置，位于后台服务器侧，如图3所示，该装置包括：
获取及排序单元，用于接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；
转换及排序单元，用于将所述应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；
推送单元，用于将请求用户数据队列推送给用户终端。
这里，该装置还包括：封装单元，用于将时间戳封装到所述请求用户数据队列中的对应请求用户信息中；所述时间戳标识请求用户成功登录的时间。
这里，该装置还包括：数据删除单元，用于从所述请求用户数据队列中删除无效数据。
这里，所述数据删除单元，进一步用于对所述请求用户数据队列进行定期扫描或定时扫描，当所述时间戳超过预设时间上限仍没有更新时，将对应请求用户信息判定为无效数据，从所述请求用户数据队列中删除对应请求用户信息。
这里，该装置还包括：数据存储单元，用于存储所述请求用户数据队列。
进一步的，所述获取及排序单元、所述转换及排序单元、所述封装单元、所述数据删除单元不仅可以如上述描述在该装置中分开独立设置，还可以合并设置到该装置内的一个数据处理执行单元中。
所述数据存储单元，数据存储单元可以采用一主模块和多个从模块配合工作的逻辑结构；其中，从模块用于执行并发处理的读操作，并将收到的、用户采用用户帐号成功登录触发数据交互请求后获取的请求用户信息读入所述主模块。主模块用于对来自于多个所述从模块的所述请求用户信息进行去重复处理后存储，将去重复处理后的信息提供给数据处理执行单元进行数据处理，存储数据处理后获得的所述请求用户数据队列。从模块进一步用于以批处理的方式，收到用户采用用户帐号成功登录触发数据交互请求后获取的请求用户信息。
终端实施例：本发明的数据处理终端，位于前端用户终端侧，如图4所示，该终端包括：
数据请求单元，用于触发数据交互请求，请求根据用户相关度关系返回与请求用户对应的应答用户数据队列；所述应答用户数据队列以应答用户信息进行排序标识；
数据获取单元，用于获取对所述应答用户数据队列转换后得到的请求用户数据队列；所述请求用户数据队列以请求用户信息进行排序标识。
这里，所述数据请求单元，进一步用于由请求用户采用用户账号成功登录来触发所述数据交互请求。
这里，该终端还包括：数据发送单元，用于将时间戳携带在所述数据交互请求中发送给服务器；所述时间戳标识请求用户成功登录的时间。
这里，该终端还包括：数据显示单元，用于显示所述请求用户数据队列，所述请求用户数据队列包括所述时间戳。
这里需要指出的是，本发明适用于所有数据交互场景，包括应用各种社交应用类的工具的情况，不限于微博的数据交互场景。
应用实例一：为本发明数据交互及数据处理的一应用实例，社交应用类的工具为微博时的数据交互应用场景。本实例基于本发明分别位于用户终端侧和服务器侧的上述装置中的单元进行数据交互及数据处理。
这里，在本实例具体的微博应用中，具体的，通过用户成功登录后的上线命令触发数据交互请求，请求用户为粉丝，应答用户为偶像，用户相关度关系为：粉丝与偶像间的收听与被收听关系，有效数据为粉丝是否为活跃度用户，活跃度并不是以即时在线或离线的状态来界定，而是以粉丝和偶像间相互收听与被收听的关注度关系来界定，比如，一个粉丝虽然在线，但是与偶像间即时没有相互收听与被收听的关注度关系，那这个粉丝就不算活跃，不属于有效数据，以此类推，不做赘述。其中，就偶像和粉丝而言，A收听了B，则A是B的粉丝，B是A的偶像。本实施例中以A表示粉丝用户，B表示偶像用户。就活跃度而言，如果A在30分钟内发表过微博或拉取过首页，则认为A活跃，在线状态，反之则认为A不活跃，离线状态。
如图5所示，本实例的流程包括以下内容：
1、通过用户Uin的上线命令触发数据交互请求。
2、收到上线命令后，拉取粉丝A的偶像链B的数据队列：偶像链A(idol1，idol2，...)。
3、对以B进行排序标识的数据队列：A(idol1，idol2，...)进行数据格式转换，得到以A进行排序标识的数据队列：粉丝链Idol1(A)，Idol2(A)，...。
4、将粉丝链Idol1(time，A)，Idol2(time，A)，...存储到包含Redis类型数据库的数据存储单元。
这里，每个粉丝A多了一个时间戳time，用于标识A的上线时间。
5、对Redis类型数据库中的粉丝进行周期性扫描，如果粉丝的时间戳超过30分钟没有更新，则删除该粉丝。
以下以微博应用场景，对比本发明和现有技术，以体现本发明的优越性。
现有技术的微博应用场景下，采用的处理方案有两种：
处理方案一：数据交互时传输的数据，采用存储量固定的数据格式，数据量上限为：存储最近的1万粉丝。该方案存在的问题是：数据在存储上有所限制，限定只存储1万个粉丝，多出来粉丝，按照先进先出的方法进行淘汰，一方面，长度会受限，只能存储1万个在线粉丝，而实际中很多用户的在线粉丝会超出100万，可见，设置数据量上限后，只能针对局部数据处理，虽然数据交互时的数据量减少了，但是有效数据也会随之减少；另一方面，数据有效性很低，最近的1万个粉丝不一定都在线，而很多在线粉丝又不在这1万个里面，不能真实反映用户活跃度。
处理方案二：数据交互时传输的数据，不限定具体的数据格式，针对全量数据，即拉取全量粉丝然后处理出在线粉丝。具体的，首先将一个用户的全量粉丝拉取出来，然后根据这些粉丝的状态处理出在线的粉丝。该方案存在的问题是：针对全量数据，数据量大，则有效数据也有更多选择，会更加精确，但是，一方面，通信和计算开销过大，因为很多用户的粉丝多达百万甚至千万，拉取全量粉丝会导致很大的网络开销，拉取完后再处理出在线粉丝又会导致很大的计算开销，对***资源，如缓存占用大，加重CPU的负载；另一方面，延迟太大，因为全量粉丝数据量很大，拉取和处理需要一定时间，导致延迟很大。
综上所述，采用处理方案一和处理方案二，无法既能满足数据有效性，又能缓解***资源占用和网络开销增大的问题，因为它们都是基于单向数据来处理的，所谓单向数据是指仅仅针对用户的粉丝来展开的数据，不考虑相关度，得到的粉丝会有很多。而本发明可以理解为基于双向数据来处理，所谓双向数据是指根据用户相关度关系来处理，具体到微博应用为：粉丝与偶像间的收听与被收听关系，因为是相关度来看，所以得到的数据相比现有技术就会少很多，而且基于相关度来看的粉丝成为有效数据的概率更高，除了交互数据量减小，有效数据的概率更高，由于能尽快得到有效数据，因此，交互的延时也小。
应用实例二：社交应用类的工具为微博时的数据交互应用场景。
如图6所示，图6为数据处理执行单元和数据存储单元间的交互示意图。本实例中，数据存储单元为一主多从的逻辑结构，即一个主模块和多个从模块构成的逻辑结构，且采用Redis的数据库。
数据存储单元存储数据的时候，采用现有Redis的有序集合，简称Zset，由于有序集合自身的特点，使得两个问题得到了高效解决：一：在线粉丝的自动去重复处理，多个从模块并行处理，会将读入的数据都传输给主模块，这样数据传输效率会高，而且多个从模块间保存的同样的数据可以互相备份，如果任一个出现问题，都确保数据不会丢失，提高安全性，但是由于多个从模块读入的数据会有所重复，因此，需要主模块进行去重复处理，在微博应用场景下，，重复粉丝只保留一个；二：一个用户的所有在线粉丝自动按照上线时间进行排序，很容易得到时间戳。
在数据存储单元存储数据时，数据格式也称为存储结构的逻辑表示为：
Uin：{(time1，Fan1)，(time2，Fan2)，(time3，Fan3)，...}
其中，Uin表示用户的用户帐号，后面跟着该用户的在线粉丝链，每个在线粉丝用一对元组(time，Fan)来表示，time表示上线时的时间戳，Fan表示该粉丝的用户帐号。
数据处理执行单元从数据存储单元获得待处理数据实现处理。
这里需要指出的是：图6的逻辑结构为2层架构，即逻辑层(数据处理执行单元)与存储层(数据存储单元)，两层通过网络相连。分为2层降低了***的耦合性，使得逻辑与存储可以独立维护。逻辑层(数据处理执行单元)与存储层(数据存储单元)也可以集成在一起。
逻辑层(数据处理执行单元)与存储层(数据存储单元)采用流水线，应用程序编程接口(API，Application Programming Interface)进行通信，使得多个粉丝通过批处理方式可以一次添加完成，而不需要一次次分别添加，因此大大提高了操作效率并降低了整体延时。
存储层(数据存储单元)采用一主多从，即一个主(Master)多个从(slave)的逻辑结构，数据存储单元的主模块承担写操作，数据存储单元的从模块承担读操作。一主多从结构适应了业务的多读少写的特点，提高了***的整体性能。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (16)
1.一种数据处理方法，其特征在于，该方法包括：
接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；
将排序后的应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；
根据请求用户与应答用户相互收听与被收听的关注度关系，确定所述请求用户是否为活跃度用户；
将所述活跃度用户对应的请求用户信息确定为有效数据；将预设时间段内没有更新的请求用户信息确定为无效数据；
删除排序后的请求用户数据队列中的无效数据，以保留所述排序后的请求用户数据队列中的有效数据；
将删除无效数据之后的请求用户数据队列推送给用户终端。
2.根据权利要求1所述的方法，其特征在于，该方法还包括：所述将请求用户数据队列推送给用户终端之前，将接收的时间戳封装到所述请求用户数据队列中的对应请求用户信息中；所述时间戳标识请求用户成功登录的时间。
3.根据权利要求1所述的方法，其特征在于，从所述请求用户数据队列中删除无效数据具体包括：对所述请求用户数据队列进行定期扫描或定时扫描，当时间戳超过预设时间上限仍没有更新时，将对应请求用户信息判定为无效数据，从所述请求用户数据队列中删除对应请求用户信息。
4.一种数据处理方法，其特征在于，该方法包括：
触发数据交互请求来根据用户相关度关系获取请求用户数据队列；所述请求用户数据队列以请求用户信息进行排序标识，所述请求用户数据队列不包括无效数据，且所述请求用户数据队列中包括有效数据，以使得将所述有效数据推送给用户终端；
其中，所述无效数据为预设时间段内没有更新的请求用户信息，所述有效数据的确定过程包括：根据请求用户与应答用户相互收听与被收听的关注度关系，确定所述请求用户是否为活跃度用户；将活跃度用户对应的请求用户信息确定为所述有效数据。
5.根据权利要求4所述的方法，其特征在于，所述触发数据交互请求具体包括：由请求用户采用用户账号成功登录来触发所述数据交互请求。
6.根据权利要求4或5所述的方法，其特征在于，该方法还包括：在所述数据交互请求中携带有时间戳，所述时间戳标识请求用户成功登录的时间。
7.根据权利要求6所述的方法，其特征在于，该方法还包括：所述获取请求用户数据队列之后，显示所述请求用户数据队列，所述请求用户数据队列包括所述时间戳。
8.一种数据处理装置，其特征在于，该装置包括：
获取及排序单元，用于接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；
转换及排序单元，用于将排序后的应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；
数据删除单元，用于根据所述请求用户与所述应答用户相互收听与被收听的关注度关系，确定所述请求用户是否为活跃度用户；将所述活跃度用户对应的请求用户信息确定为有效数据；将预设时间段内没有更新的请求用户信息确定为无效数据；删除排序后的请求用户数据队列中的无效数据，以保留所述排序后的请求用户数据队列中的有效数据；
推送单元，用于将删除无效数据之后的请求用户数据队列推送给用户终端。
9.根据权利要求8所述的装置，其特征在于，该装置还包括：封装单元，用于将时间戳封装到所述请求用户数据队列中的对应请求用户信息中；所述时间戳标识请求用户成功登录的时间。
10.根据权利要求8所述的装置，其特征在于，所述数据删除单元，进一步用于对所述请求用户数据队列进行定期扫描或定时扫描，当时间戳超过预设时间上限仍没有更新时，将对应请求用户信息判定为无效数据，从所述请求用户数据队列中删除对应请求用户信息。
11.根据权利要求8至10任一项所述的装置，其特征在于，该装置位于后台服务器侧。
12.一种数据处理终端，其特征在于，该终端包括：
数据请求单元，用于触发数据交互请求；
数据获取单元，用于根据用户相关度关系获取请求用户数据队列；所述请求用户数据队列以请求用户信息进行排序标识，所述请求用户数据队列不包括无效数据，且所述请求用户数据队列中包括有效数据，以使得将所述有效数据推送给用户终端；
其中，所述无效数据为预设时间段内没有更新的请求用户信息，所述有效数据的确定过程包括：根据请求用户与应答用户相互收听与被收听的关注度关系，确定所述请求用户是否为活跃度用户；将活跃度用户对应的请求用户信息确定为所述有效数据。
13.根据权利要求12所述的终端，其特征在于，所述数据请求单元，进一步用于由请求用户采用用户账号成功登录来触发所述数据交互请求。
14.根据权利要求13所述的终端，其特征在于，该终端还包括：数据发送单元，用于将时间戳携带在所述数据交互请求中发送给服务器；所述时间戳标识请求用户成功登录的时间。
15.根据权利要求14所述的终端，其特征在于，该终端还包括：数据显示单元，用于显示所述请求用户数据队列，所述请求用户数据队列包括所述时间戳。
16.一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行上述权利要求1至3任一项或者权利要求4至7任一项所提供的数据处理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310148437.5A CN104125163B (zh) | 2013-04-25 | 2013-04-25 | 一种数据处理方法、装置及终端 |
| PCT/CN2013/089995 WO2014173151A1 (en) | 2013-04-25 | 2013-12-19 | Method, device and terminal for data processing |
| US14/796,639 US10043220B2 (en) | 2013-04-25 | 2015-07-10 | Method, device and storage medium for data processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310148437.5A CN104125163B (zh) | 2013-04-25 | 2013-04-25 | 一种数据处理方法、装置及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104125163A CN104125163A (zh) | 2014-10-29 |
| CN104125163B true CN104125163B (zh) | 2020-04-07 |
Family
ID=51770431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310148437.5A Active CN104125163B (zh) | 2013-04-25 | 2013-04-25 | 一种数据处理方法、装置及终端 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10043220B2 (zh) |
| CN (1) | CN104125163B (zh) |
| WO (1) | WO2014173151A1 (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622060B (zh) * | 2016-07-13 | 2022-04-26 | 北京京东尚科信息技术有限公司 | 订单跟踪分析方法及装置 |
| CN106202505B (zh) * | 2016-07-20 | 2019-09-20 | 北京京东尚科信息技术有限公司 | 数据处理方法及其*** |
| CN106599104B (zh) * | 2016-11-29 | 2022-01-11 | 北京锐安科技有限公司 | 一种基于redis集群的海量数据关联方法 |
| CN107609010A (zh) * | 2017-07-27 | 2018-01-19 | 北京瑞卓喜投科技发展有限公司 | 基于区块链技术的信息处理方法和装置 |
| CN108376106A (zh) * | 2018-02-01 | 2018-08-07 | 中国工商银行股份有限公司 | 一种区块链消息反馈方法及*** |
| CN108985477A (zh) * | 2018-06-29 | 2018-12-11 | 北京嘀嘀无限科技发展有限公司 | 业务处理方法、装置及存储介质 |
| CN111209311B (zh) * | 2018-11-06 | 2024-02-06 | 京东科技控股股份有限公司 | 用于处理数据的方法和装置 |
| CN109634975B (zh) * | 2018-12-10 | 2022-02-25 | 拉扎斯网络科技（上海）有限公司 | 数据同步方法及装置、电子设备及计算机可读存储介质 |
| CN110569263B (zh) * | 2019-08-27 | 2022-11-22 | 苏宁云计算有限公司 | 实时数据去重计数方法及装置 |
| CN111339070A (zh) * | 2020-02-20 | 2020-06-26 | 上海二三四五网络科技有限公司 | 一种订单重复提交的控制方法及装置 |
| CN112419825B (zh) * | 2020-12-01 | 2023-04-07 | 武威职业学院 | 一种基于ar技术的多媒体会计教学装置 |
| CN113419874B (zh) * | 2021-06-21 | 2023-08-08 | 网易（杭州）网络有限公司 | 接口请求的触发方法、装置、存储介质及计算机设备 |
| WO2023052596A1 (en) * | 2021-09-30 | 2023-04-06 | Telefonaktiebolaget Lm Ericsson (Publ) | Handling an updated network function profile |
| CN116030398B (zh) * | 2023-03-31 | 2023-06-23 | 山东爱特云翔计算机有限公司 | 一种基于多路视频信号的任务分析方法、***及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1917463A (zh) * | 2006-08-30 | 2007-02-21 | ***通信集团公司 | 基于用户操作特征对用户信息关联的方法 |
| CN101425093A (zh) * | 2008-12-05 | 2009-05-06 | 腾讯科技（深圳）有限公司 | 基于社会性网络关系链的联系人动态内容聚合方法及*** |
| CN102325367A (zh) * | 2011-09-29 | 2012-01-18 | 用友软件股份有限公司 | 为客户端应用进行数据分组同步的装置和方法 |
| CN102480513A (zh) * | 2010-11-29 | 2012-05-30 | 国际商业机器公司 | 在社交网络中辅助传递更新内容的装置和方法 |
| CN102591891A (zh) * | 2011-01-17 | 2012-07-18 | 常州合网网络科技有限公司 | 一种基于用户数据获取业务数据的方法及*** |
| CN102833176A (zh) * | 2011-06-13 | 2012-12-19 | 腾讯科技（深圳）有限公司 | 获取信息的方法、装置和*** |
| CN103051511A (zh) * | 2011-10-11 | 2013-04-17 | 阿里巴巴集团控股有限公司 | 一种消息数据的处理方法及装置 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5917482A (en) * | 1996-03-18 | 1999-06-29 | Philips Electronics N.A. Corporation | Data synchronizing system for multiple memory array processing field organized data |
| US6332161B1 (en) * | 1998-09-25 | 2001-12-18 | Charles Schwab & Co., Inc. | Customer web log-in architecture |
| CN100396000C (zh) * | 2005-08-12 | 2008-06-18 | 华为技术有限公司 | 客户端向服务器申请服务的方法及其*** |
| KR101245856B1 (ko) * | 2006-09-29 | 2013-03-20 | 삼성전자주식회사 | 이종 이상의 무선 통신 규격을 지원하는 멀티 무선 메쉬네트워크 시스템 및 그 제어방법 |
| US7855975B2 (en) * | 2007-05-30 | 2010-12-21 | Sap Ag | Response time estimation for intermittently-available nodes |
| US20120221962A1 (en) * | 2008-08-05 | 2012-08-30 | Eugene Lee Lew | Social messaging hub system |
| US8965954B2 (en) * | 2008-10-21 | 2015-02-24 | Google Inc. | Always ready client/server data synchronization |
| US9081881B2 (en) * | 2008-12-18 | 2015-07-14 | Hartford Fire Insurance Company | Computer system and computer-implemented method for use in load testing of software applications |
| CN102402514A (zh) * | 2010-09-07 | 2012-04-04 | 腾讯科技（深圳）有限公司 | 展示微博客人页的方法和装置 |
| CN102447647B (zh) * | 2010-10-13 | 2014-06-18 | 腾讯科技（深圳）有限公司 | 一种基于新消息的通知方法、装置及*** |
| EP2664998B1 (en) | 2011-01-11 | 2022-03-09 | Tencent Technology (Shenzhen) Company Limited | Microblog message processing method and device thereof |
| CN102591870B (zh) * | 2011-01-11 | 2016-10-05 | 腾讯科技（深圳）有限公司 | 基于微博的富媒体导出方法、微博终端及微博服务器端 |
| US10360385B2 (en) * | 2011-03-22 | 2019-07-23 | Microsoft Technology Licensing Llc | Visual styles for trust categories of messages |
| US8825798B1 (en) * | 2012-02-02 | 2014-09-02 | Wells Fargo Bank N.A. | Business event tracking system |
| US9146978B2 (en) * | 2012-06-07 | 2015-09-29 | Wal-Mart Stores, Inc. | Throttling mechanism |
| US9635088B2 (en) * | 2012-11-26 | 2017-04-25 | Accenture Global Services Limited | Method and system for managing user state for applications deployed on platform as a service (PaaS) clouds |
| JP6318940B2 (ja) * | 2013-07-30 | 2018-05-09 | 株式会社リコー | サービス提供システム、データ提供方法及びプログラム |
-
2013
- 2013-04-25 CN CN201310148437.5A patent/CN104125163B/zh active Active
- 2013-12-19 WO PCT/CN2013/089995 patent/WO2014173151A1/en active Application Filing
-
2015
- 2015-07-10 US US14/796,639 patent/US10043220B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1917463A (zh) * | 2006-08-30 | 2007-02-21 | ***通信集团公司 | 基于用户操作特征对用户信息关联的方法 |
| CN101425093A (zh) * | 2008-12-05 | 2009-05-06 | 腾讯科技（深圳）有限公司 | 基于社会性网络关系链的联系人动态内容聚合方法及*** |
| CN102480513A (zh) * | 2010-11-29 | 2012-05-30 | 国际商业机器公司 | 在社交网络中辅助传递更新内容的装置和方法 |
| CN102591891A (zh) * | 2011-01-17 | 2012-07-18 | 常州合网网络科技有限公司 | 一种基于用户数据获取业务数据的方法及*** |
| CN102833176A (zh) * | 2011-06-13 | 2012-12-19 | 腾讯科技（深圳）有限公司 | 获取信息的方法、装置和*** |
| CN102325367A (zh) * | 2011-09-29 | 2012-01-18 | 用友软件股份有限公司 | 为客户端应用进行数据分组同步的装置和方法 |
| CN103051511A (zh) * | 2011-10-11 | 2013-04-17 | 阿里巴巴集团控股有限公司 | 一种消息数据的处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104125163A (zh) | 2014-10-29 |
| US10043220B2 (en) | 2018-08-07 |
| US20150319238A1 (en) | 2015-11-05 |
| WO2014173151A1 (en) | 2014-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104125163B (zh) | 一种数据处理方法、装置及终端 | |
| US8438275B1 (en) | Formatting data for efficient communication over a network | |
| US11188443B2 (en) | Method, apparatus and system for processing log data | |
| CN111258978B (zh) | 一种数据存储的方法 | |
| CN110147470B (zh) | 一种跨机房数据比对***及方法 | |
| CN111813573B (zh) | 管理平台与机器人软件的通信方法及其相关设备 | |
| WO2023273544A1 (zh) | 日志文件的存储方法、装置、设备和存储介质 | |
| CN105930502B (zh) | 一种收集数据的***、客户端和方法 | |
| CN114201421A (zh) | 一种数据流处理方法、存储控制节点及可读存储介质 | |
| CN101977361A (zh) | 一种批量短信预处理方法 | |
| CN113900810A (zh) | 分布式图处理方法、***及存储介质 | |
| CN112613271A (zh) | 数据分页方法、装置、计算机设备及存储介质 | |
| CN114398520A (zh) | 数据检索方法、***、装置、电子设备及存储介质 | |
| CN113656178B (zh) | 数据处理方法、装置、设备及可读存储介质 | |
| US20140236987A1 (en) | System and method for audio signal collection and processing | |
| CN115374340A (zh) | 数据查询方法、装置、设备及存储介质 | |
| CN111427917A (zh) | 搜索数据处理方法及相关产品 | |
| US20140108420A1 (en) | Index creation method and system | |
| CN116541416B (zh) | 一种请求数据的优化处理方法及装置 | |
| CN116661684B (zh) | 一种闪存数据的读取方法、***、设备及介质 | |
| CN117478535B (zh) | 一种日志存储的方法和装置 | |
| CN112804331B (zh) | 一种基于消息总线的电能表数据处理方法、***和电能表 | |
| CN117648297B (zh) | 基于对象存储小文件离线合并方法、***、设备及介质 | |
| CN114553894B (zh) | 数据同步方法、装置、***及存储介质 | |
| CN118245445A (zh) | 日志查询方法、装置、电子设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |