CN110764936A - 一种数据采集方法及装置 - Google Patents
一种数据采集方法及装置 Download PDFInfo
- Publication number
- CN110764936A CN110764936A CN201911032119.6A CN201911032119A CN110764936A CN 110764936 A CN110764936 A CN 110764936A CN 201911032119 A CN201911032119 A CN 201911032119A CN 110764936 A CN110764936 A CN 110764936A
- Authority
- CN
- China
- Prior art keywords
- acquisition
- preset
- event
- queue
- reported
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 127
- 230000008569 process Effects 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims description 20
- 230000001960 triggered effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 230000003139 buffering effect Effects 0.000 claims 1
- 238000013461 design Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 230000004044 response Effects 0.000 description 15
- 230000006399 behavior Effects 0.000 description 6
- 238000013480 data collection Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 238000012797 qualification Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000872 buffer Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种数据采集方法及装置，其中方法包括：检测到用户触发预设操作后，在执行所述预设操作对应的任务时生成对应的多条采集事件；每条采集事件用于记录执行所述任务中的每个子任务的事件，进一步地，通过多次上报过程上报所述多条采集事件，在每次上报过程中，将所述多条采集事件中未上报的一条或多条采集事件上报给采集服务器。本发明实施例中，通过多次上报过程上报采集事件，可以无需一次将全部的采集事件上报给采集服务器，相比于现有技术采用即收即发的数据采集策略来说，可以降低采集服务器的压力，并可以提高数据采集的效率。
Description
技术领域
本发明涉及金融科技(Fintech)技术领域，尤其涉及一种数据采集方法及装置。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，然而由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。数据采集是金融行业常用的数据处理方法，通过采集预设时段内的用户行为数据，并基于用户行为数据建立业务预测模型，可以使用业务预测模型分析未来一段时间的业务执行情况，从而有助于建立更好的决策应对机制；比如，通过采集某一商品在一定时段的用户行为数据，并建立该商品对应的用户流失模型，可以对该商品在未来一段时间内的用户流失情况进行分析，如此，营销部门可以调整该商品的营销策略，从而降低用户流失情况。
现有技术一般采用即收即发的策略执行数据采集过程，具体地说，业务***只要检测到业务触发埋点事件，就会生成埋点事件对应的采集事件，并同时将采集事件上报给采集服务器。然而，现阶段的业务***通常支持并行处理，因此，若多个埋点事件被同时触发，则业务***会同时将多个埋点事件对应的多个采集事件并行地上报给采集服务器，如此，会使得采集服务器的压力较大，影响采集服务器的正常工作。
综上，目前亟需一种数据采集方法，用以降低采集服务器的压力。
发明内容
本发明实施例提供一种数据采集方法及装置，用以降低采集服务器的压力。
第一方面，本发明实施例提供的一种数据采集方法，所述方法包括：
检测到用户触发预设操作后，在执行所述预设操作对应的任务时生成对应的多条采集事件；每条采集事件用于记录执行所述任务中的每个子任务的事件，进一步地，通过多次上报过程上报所述多条采集事件，在每次上报过程中，将所述多条采集事件中未上报的一条或多条采集事件上报给采集服务器。
在上述设计中，通过多次上报过程上报采集事件，可以无需一次将全部的采集事件上报给采集服务器，相比于现有技术采用即收即发的数据采集策略来说，上述设计可以降低采集服务器的压力，并可以提高数据采集的效率。
在一种可能的设计中，所述通过多次上报过程上报所述多条采集事件，包括：将所述多条采集事件依次存储在预设队列中，在每次上报过程中，在确定上一次上报过程上报的采集事件成功上报给所述采集服务器后，将所述预设队列中未上报的一条采集事件上报给所述采集服务器。
在上述设计中，通过设置预设队列，可以以较少的占用空间来存储生成的采集事件，并可以按照生成的时间顺序准确地保存多条采集事件，从而可以提高数据采集的准确性；且，通过设置每次上报过程所上报的一条采集事件上报成功后，再启动下一次上报过程，可以在降低采集服务器的压力的同时，降低采集事件的丢失率，从而可以提高采集服务器接收采集事件的成功率。
在一种可能的设计中，所述将所述预设队列中未上报的一条采集事件上报给所述采集服务器，包括：获取所述预设队列中预设游标指示的位置相邻的后一位置存储的采集事件，并上报给所述采集服务器，进而使用所述预设游标指示的位置相邻的位置更新所述预设游标，所述预设游标用于指示每次上报过程中上报的采集事件在所述预设队列中的位置。
在上述设计中，通过使用预设游标记录每次上报的采集事件所在的位置，可以根据预设游标方便地获取到下一次待上报的采集事件所在的位置，从而可以提高数据采集的灵活性和准确性。
在一种可能的设计中，所述方法还包括：在确定上一次上报过程上报的采集事件未成功上报给所述采集服务器后，重复上报所述上一次上报过程上报的采集事件，且在重复上报的次数超过预设次数时，将所述预设队列中所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件缓存至预设位置；进一步地，在故障排除后，将所述预设位置缓存的采集事件上报给采集服务器。
在上述设计中，由于多次上报过程失败的原因一般为网络故障，因此通过缓存未能成功上报的采集事件，并在网络故障恢复后重新上报未上报的采集事件，可以使得采集服务器采集到最全面的采集数据，从而可以提高数据采集的成功率。
在一种可能的设计中，若所述预设游标指示的位置为所述预设队列末端的位置，或者，若所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件已缓存至所述预设位置，则删除所述预设队列。
在上述设计中，通过在缓存成功后删除预设队列，或者在预设队列中的采集事件均上报完成后删除预设队列，可以避免无意义的占用空间行为，从而可以降低***的性能损耗。
在一种可能的设计中，所述将所述多条采集事件依次存储在预设队列之前，还查询所述预设位置是否缓存有采集事件，若是，则使用所述预设队列的初始位置存储所述预设位置缓存的采集事件，再从所述预设队列的初始位置之后的位置依次存储所述多条采集事件；若否，则从所述预设队列的初始位置开始依次存储所述多条采集事件。
在上述设计中，在生成新的采集事件后，通过先从预设位置获取缓存的采集事件，并放置在预设队列的初始位置，在将新的采集事件放置在缓存的采集事件之后，可以保证采集事件按照生成的时间顺序依次被上报给采集服务器，从而可以提高数据采集的准确性和成功率。
在一种可能的设计中，所述将所述预设队列中未上报的一条采集事件上报给所述采集服务器，包括：获取所述预设队列中起始位置存储的采集事件，并上报给所述采集服务器；进一步地，若确定本次上报过程上报的采集事件成功上报给所述采集服务器，则删除所述预设队列中起始位置存储的采集事件，并依次将所述预设队列中各位置存储的采集事件前移一个位置；其中，所述预设队列中位于所述起始位置之后的位置存储的采集事件移动至所述起始位置。
在上述设计中，通过从预设队列中删除已上报的采集事件，可以降低预设队列所占用的存储空间，从而在采集事件增多时无需为预设队列重新扩展存储空间，提高预设队列的可用性以及存储空间的使用率。
第二方面，本发明实施例提供的一种数据采集装置，所述装置包括：
处理模块，用于检测到用户触发预设操作后，在执行所述预设操作对应的任务时生成对应的多条采集事件；每条采集事件用于记录执行所述任务中的每个子任务的事件；
收发模块，用于通过多次上报过程上报所述多条采集事件；在每次上报过程中，将所述多条采集事件中未上报的一条或多条采集事件上报给采集服务器。
在一种可能的设计中，所述收发模块具体用于：将所述多条采集事件依次存储在预设队列中，在每次上报过程中，在确定上一次上报过程上报的采集事件成功上报给所述采集服务器后，将所述预设队列中未上报的一条采集事件上报给所述采集服务器。
在一种可能的设计中，所述收发模块具体用于：获取所述预设队列中预设游标指示的位置相邻的后一位置存储的采集事件，并上报给所述采集服务器，进而使用所述预设游标指示的位置相邻的位置更新所述预设游标；所述预设游标用于指示每次上报过程中上报的采集事件在所述预设队列中的位置。
在一种可能的设计中，所述装置还包括缓存模块；所述收发模块还用于：在确定上一次上报过程上报的采集事件未成功上报给所述采集服务器后，重复上报所述上一次上报过程上报的采集事件；在所述收发模块重复上报的次数超过预设次数时，所述缓存模块用于：将所述预设队列中所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件缓存至预设位置；相应地，所述收发模块还用于：在故障排除后，将所述预设位置缓存的采集事件上报给采集服务器。
在一种可能的设计中，所述处理模块还用于：若所述预设游标指示的位置为所述预设队列末端的位置，或者，若所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件已缓存至所述预设位置，则删除所述预设队列。
在一种可能的设计中，所述缓存模块将所述多条采集事件依次存储在预设队列之前，还用于：查询所述预设位置是否缓存有采集事件，若是，则使用所述预设队列的初始位置存储所述预设位置缓存的采集事件，再从所述预设队列的初始位置之后的位置依次存储所述多条采集事件；若否，则从所述预设队列的初始位置开始依次存储所述多条采集事件。
在一种可能的设计中，所述收发模块具体用于：获取所述预设队列中起始位置存储的采集事件，并上报给所述采集服务器；进一步地，若确定本次上报过程上报的采集事件成功上报给所述采集服务器，则删除所述预设队列中起始位置存储的采集事件，并依次将所述预设队列中各位置存储的采集事件前移一个位置；其中，所述预设队列中位于所述起始位置之后的位置存储的采集事件移动至所述起始位置。
第三方面，本发明实施例提供的一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行如上述第一方面任意所述的数据采集方法。
第四方面，本发明实施例提供的一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行如上述第一方面任意所述的数据采集方法。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种可能的***架构示意图；
图2为本发明实施例提供的一种数据采集方法对应的流程示意图；
图3为本发明实施例提供的一种基于预设游标上报采集事件的方法示意图；
图4为本发明实施例提供的一种基于先进先出的队列算法上报采集事件的方法示意图；
图5为本发明实施例提供的一种数据采集方法的实现流程示意图；
图6为本发明实施例提供的一种数据采集装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
金融科技(Fintech)技术领域通常涉及到多种交易，比如，银行的交易可以包括售卡交易、存款交易、贷款交易、保险交易、理财交易等，银行每天的交易量可以达到数千笔甚至数万笔。为了保证各项交易的顺利进行，银行通常可以对用户执行各种交易的事件进行采集，进而对采集的各项事件进行大数据分析，得到分析模型；其中，分析模型可以有多种，比如用户流失模型、用户画像等等。如此，银行可以使用分析模型对用户的行为进行预测，从而可以基于预测的用户的行为为用户提供对应的服务。
图1为本发明实施例提供的一种可能的***架构示意图，如图1所示，该***架构可以包括采集服务器110和至少一个客户端设备，比如客户端设备121、客户端设备122和客户端设备123；其中，至少一个客户端设备可以分别与采集服务器110通信连接，比如可以通过有线方式实现连接，或者也可以通过无线方式实现连接，具体不作限定。
本发明实施例中，至少一个客户端设备可以分别设置在至少一个业务***中，比如客户端设备121为贷款业务***中设置的客户端设备，客户端设备122为保险业务***中设置的客户端设备，客户端设备123为理财业务***中设置的客户端设备。在一个示例中，客户端设备可以是指提供应用程序(Application，APP)的服务器，APP可以是指内嵌浏览器的APP，如此，若用户终端上安装有客户端设备提供的APP，则客户端设备可以检测到用户在APP的浏览器上所触发的操作，并可以向用户提供操作对应的服务。
需要说明的是，图1仅是一种示例性的简单说明，其所列举的客户端设备的数量仅是为了便于说明方案，并不构成对方案的限定，在具体实施中，客户端设备的数量可以远远大于3个，比如可以为4个或4个以上。
基于图1所示意的***架构，图2为本发明实施例提供的一种数据采集方法对应的流程示意图，该方法包括：
步骤201，检测到用户触发预设操作后，在执行预设操作对应的任务时生成对应的多条采集事件。
在一种可能的前提下，预设操作可以为指示埋点事件被触发的操作，当用户触发预设操作时，客户端设备可以执行预设操作对应的业务，且业务执行过程会触发埋点事件，如此，客户端设备可以生成埋点事件对应的采集事件。以埋点事件为贷款事件为例，贷款事件对应的预设操作可以有多种，比如可以为点击贷款界面上的贷款申请图标，或者也可以为按压键盘上的预设按键(可以为单一按键，也可以为组合按键)，或者还可以为在文本框中输入预设文字或语音输入预设文字，或者还可以为检测到预设脑电波形，或者还可以为拍摄到指定动作或扫描到预设条码，等等，具体不作限定。
需要说明的是，本发明实施例中，业务执行过程与数据采集过程分别在各自的进程中执行，数据采集过程由业务执行过程来决定，且不影响业务执行过程。举例来说，贷款事件被触发后，在业务进程中执行贷款操作，而在数据采集进程中采集执行贷款操作所触发的埋点事件，比如采集用户申请贷款这一事件。
下面以预设操作为点击贷款界面上的贷款申请图标为例，描述生成多条采集事件的具体实现过程。
具体实施中，若客户端设备向用户提供了APP，则用户在APP上的任何操作均可以被客户端设备所采集，且，客户端设备还可以对用户的操作作出响应。举例来说，若微粒贷APP为客户端设备121提供的APP，则当用户打开用户终端中的微粒贷APP的微粒贷产品页面后，若用户在微粒贷产品页面上触发了“一键借款”的按钮，则客户端设备121可以依次从多个第三方平台查询用户的相关信息，从而确定是否可以向用户提供借款；比如，客户端设备121可以先从个人信息维护平台中查询用户的个人信息，当个人信息查询通过后，可以从开户信息维护平台查询用户的开户信息，当开户信息查询通过后，可以从贷款信息维护平台中查询用户的贷款资格；进一步地，若个人信息、开户信息和贷款资格均查询通过，则客户端设备121可以向用户提供借款，若个人信息、开户信息和贷款资格中存在任意一个查询不通过，则可以拒绝用户的借款申请。
在上述过程中，在执行“一键贷款”对应的贷款业务时，客户端设备分别执行了查询用户的个人信息、查询用户的开户信息以及查询用户的贷款资格这三个子任务。如此，若客户端设备121预先在微粒贷APP上设置了第一埋点事件、第二埋点事件和第三埋点事件，第一埋点事件指示客户端设备121(或用户)执行了查询个人信息维护平台中的个人信息的子任务，第二埋点事件指示客户端设备121(或用户)执行了查询开户信息维护平台中的开户信息的子任务，第三埋点事件指示客户端设备121(或用户)执行了查询贷款信息维护平台中的贷款资格的子任务，则在用户触发了“一键借款”的按钮后，由于第一埋点事件、第二埋点事件和第三埋点事件依次被触发，因此客户端设备121可以依次生成第一埋点事件对应的第一采集事件、第二埋点事件对应的第二采集事件，以及第三埋点事件对应的第三采集事件。
本发明实施例中，查询用户的个人信息、查询用户的开户信息以及查询用户的贷款资格这三个子任务的执行间隔非常短，可能只有几毫秒，因此客户端设备121在执行贷款业务的过程中，相当于并行地生成第一采集事件、第二采集事件和第三采集事件。
需要说明的是，上述仅是一种示例性的简单说明，其所列举的采集事件的数量仅是为了便于说明方案，并不构成对方案的限定，在具体实施中，采集事件的数量可以为2条，或者也可以大于3条，比如4条或4条以上，具体不作限定。
步骤202，通过多次上报过程上报多条采集事件，在每次上报过程中，将多条采集事件中未上报的一条或多条采集事件上报给采集服务器。
具体实施中，客户端设备121可以先将多条采集事件存储在第一预设位置，然后每次从第一预设位置获取未上报的一条或多条采集事件并上报给采集服务器110；如此，通过多次上报过程来上报多条采集事件，可以无需一次将多条采集事件全部上报给采集服务器，相比于现有技术采用即收即发的数据采集策略来说，可以降低采集服务器的压力，并可以提高数据采集的效率。
本发明实施例中，第一预设位置可以由本领域技术人员根据经验进行设置，或者也可以根据业务需要进行设置，比如可以为客户端设备121的存储器(磁盘、外部存储器、外挂设备等)，或者也可以为数据库服务器，或者还可以为云存储(比如云空间、云盘等)；且，采集事件可以以数据表的形式存储在第一预设位置，或者也可以以链表的形式存储在第一预设位置，或者还可以以机器语言的形式存储在第一预设位置，等等，具体不作限定。
在一种可能的实现方式，可以使用队列来存储采集事件，队列为一种特殊的线性表，可以由多个元素构成，每个元素均可以存储一个地址指针，队列可以设置在客户端设备121的运行内存(Random Access Memory，RAM)中。具体实施中，在生成多条采集事件之后，客户端设备121可以先将多条采集事件依次存储在预设队列中，如此，在每次上报时，可以从预设队列中获取一条或多条未上报的采集事件，并上报给采集服务器110。采用该种方式，通过设置预设队列，可以以较少的占用空间来存储生成的多条采集事件，并可以按照生成的时间顺序准确地保存多条采集事件，从而可以提高数据采集的准确性。
可选地，在每次上报时，客户端设备121可以从预设队列中获取一条未上报的采集事件，并上报给采集服务器110，从而使得采集事件逐条被上报给采集服务器110；相应地，在每次上报之前，均需要确定上一次上报的采集事件上报成功，也就是说，在上一次上报的采集事件成功被上报给采集服务器110后，客户端设备121再启动下一次上报过程。采用该种方式，通过设置每次上报过程所上报的一条采集事件上报成功后，再启动下一次上报过程，可以在降低采集服务器的压力的同时，降低采集事件的丢失率，从而可以提高采集服务器接收采集事件的成功率。
本发明实施例中，采集服务器110在接收客户端设备121上报的采集事件后，会向客户端设备121发送响应消息，响应消息包括第一类型响应消息和第二类型响应消息；其中，第一类型响应消息用于标识采集服务器110成功接收到客户端设备121上报的采集事件，第二类型响应消息用于标识采集服务器110在设定时长内未接收到客户端设备121上报的采集事件，或者采集服务器110接收到非法格式的采集事件。如此，在每次上报时，若客户端设备121接收到采集服务器110发送的第一类型响应消息，则确定该次上报的采集事件上报成功，从而可以启动下次上报过程；若客户端设备121接收到采集服务器110发送的第二类型响应消息，则确定该次上报的采集事件上报失败，从而可以不启动下次上报过程。
在一个示例中，在确定某次上报的采集事件上报失败后，客户端设备121可以重复上报该次上报的采集事件，若重复上报的次数超过预设次数，说明当前网络故障，因此，客户端设备121可以将预设队列存储的全部未上报的采集事件(包含该次上报的采集事件)缓存至第二预设位置；其中，预设次数可以由本领域技术人员根据经验进行设置，比如可以为3次，或者也可以为4次或4次以上；第二预设位置可以与第一预设位置相同，或者也可以不同，具体不作限定。
本发明实施例中，若预设操作为设置在内嵌浏览器的APP上的操作，则第一预设位置可以为客户端设备121的RAM，第二预设位置可以为设备的内存(Read-only memory，ROM)。具体实施中，当客户端设备121生成多条采集事件后，可以先将多条采集事件存储在客户端设备121的RAM中，然后在每次上报时，从RAM中获取未上报的一条采集事件，将该条采集事件放置在浏览器请求队列中，浏览器请求队列用于存储浏览器待处理的请求数据；采用该种方式，客户端设备121的每次上报过程可以仅占用浏览器请求队列中的一个位置，相比于现有技术一次上报多个采集事件导致占用浏览器请求队列的多个位置的方式来说，可以降低浏览器的工作压力，从而不影响浏览器的正常工作效率。
进一步地，当某一条采集事件多次重复上报均失败时，客户端设备121可以从RAM中获取全部未上报的采集事件(包括该条采集事件)，并将这些未上报的采集事件通过浏览器缓存到设备的ROM中；如此，当确定网络故障恢复后，若生成了新的采集事件，则可以先将设备的ROM中缓存的采集事件上报给采集服务器110，然后再将新的采集事件上报给采集服务器110。本发明实施例中，由于多次上报过程失败的原因一般为网络故障，因此通过缓存未能成功上报的采集事件，并在网络故障恢复后重新上报未上报的采集事件，可以使得采集服务器采集到最全面的采集数据，从而可以提高数据采集的成功率。
本发明实施例中，从预设队列中获取未上报的采集事件的方式可以有多种，下面主要介绍两种可能的实现方式，可以理解的，获取未上报的采集事件的方式也可以为其它方式，本发明实施例不作限定：
实现方式一
在实现方式一中，客户端设备121可以预先设置预设游标，预设游标用于指示待上报的采集事件在预设队列中的位置。
图3为本发明实施例提供的一种基于预设游标上报采集事件的方法示意图，如图3所示，当前时刻，客户端设备121中已设置有用于上报采集事件的第一队列，第一队列包含队头和队尾，采集事件可以从第一队列的队尾依次***第一队列，第一队列中依次存储有采集事件1、采集事件2和采集事件3，采集事件1占用第一队列的初始位置0，采集事件2占用第一队列的位置1，采集事件3占用第一队列的位置2。在将第一队列中的采集事件上报给采集服务器110的过程中，若客户端设备121根据用户新触发的预设操作生成了新的采集事件4、采集事件5和采集事件6，则采集事件4、采集事件5和采集事件6可以从第一队列的队尾***第一队列，如此，采集事件4可以占用第一队列的位置3，采集事件5可以占用第一队列的位置4，采集事件6可以占用第一队列的位置5。
具体实施中，预设游标在初始状态时可以指示第一队列的初始位置，即位置0，因此，客户端设备121在初次上报采集事件时，可以先获取预设游标指示的位置0存储的采集事件1，然后可以将采集事件1放置在浏览器请求队列中，经由浏览器将采集事件1上报给采集服务器110。进一步地，若客户端设备121接收到采集服务器110发送的第一类型响应消息，说明采集事件1成功上报给采集服务器110，因此客户端设备121可以控制预设游标从第一队列的队头方向向队尾方向后移一位，如此，预设游标可以指示在第一队列的位置1，从而可以使得客户端设备121在下次上报时将第一队列的位置1存储的采集事件2上报给采集服务器110。
在一种可能的情形中，在上报采集事件2时，若客户端设备121接收到采集服务器110发送的第二类型响应消息，说明采集事件2未能成功上报给采集服务器110，因此客户端设备121可以重复上报采集事件2，若重复上报3次均接收到采集服务器110发送的第二类型响应消息，则说明采集事件2在3次重复上报中均未成功上报给采集服务器110，当前网络故障，因此客户端设备121可以将第一队列中预设游标指示的位置1至第一队列末端的位置2之间的采集事件(即采集事件2和采集事件3)缓存至第二预设位置。
本发明实施例中，当第一队列中未上报的采集事件被缓存至第二预设位置后，和/或，当预设游标指示的位置为第一队列末端的位置时，客户端设备121可以删除第一队列，从而可以避免第一队列占用无意义的占用空间，降低***的性能损耗。
进一步地，当第一队列被删除后，若客户端设备121检测到用户新触发了预设操作，并生成新的采集事件7和采集事件8，则客户端设备121可以创建第二队列，在将采集事件7和采集事件8存储在的第二队列之前，可以先查询第二预设位置是否缓存有之前未上报的采集事件。若第二预设位置缓存有采集事件2和采集事件3，则可以先将采集事件2和采集事件3依次存储在第二队列中，再将采集事件7和采集事件8依次存储在第二队列中；如此，采集事件2可以占用第二队列的位置0，采集事件3可以占用第二队列的位置1，采集事件7可以占用第二队列的位置2，采集事件8可以占用第二队列的位置3。相应地，若第二预设位置未缓存有采集事件，则可以直接将采集事件7和采集事件8依次存储在第二队列中；如此，采集事件7可以占用第二队列的位置0，采集事件8可以占用第二队列的位置1。
本发明实施例中，在生成新的采集事件后，通过先从预设位置获取缓存的采集事件，并放置在预设队列的初始位置，在将新的采集事件放置在缓存的采集事件之后，可以保证采集事件按照生成的时间顺序依次被上报给采集服务器，从而可以提高数据采集的准确性和成功率。
在实现方式一中，由于使用预设游标记录当前待上报的采集事件在预设队列中的位置，因此采集事件在预设队列中的位置不会发生变化。从而可以无需频繁地移动采集事件，降低***性能损耗，且，根据预设游标可以方便地获取到下一次待上报的采集事件所在的位置，从而可以提高数据采集的灵活性。
实现方式二
在实现方式二中，客户端设备121可以采用先进先出的队列算法上报采集数据，具体地说，客户端设备121每成功上报一条采集事件，即可将该条采集事件从预设队列中删除，并可以将其它采集事件依次前移，从而保持预设队列中的元素持续更新。
图4为本发明实施例提供的一种基于先进先出的队列算法上报采集数据的实现方法示意图，如图4所示，第一队列依次存储有采集事件1、采集事件2和采集事件3，采集事件1占用第一队列的初始位置0，采集事件2占用第一队列的位置1，采集事件3占用第一队列的位置2。
具体实施中，客户端设备121可以先获取第一队列的位置0存储的采集事件1，然后可以将采集事件1放置在浏览器请求队列中，经由浏览器将采集事件1上报给采集服务器110。进一步地，若客户端设备121接收到采集服务器110发送的第一类型响应消息，说明采集事件1成功上报给采集服务器110，因此客户端设备121可以控制将采集事件1从第一队列的队头方向移出第一队列(或者直接删除采集事件1)，并依次控制采集事件2和采集事件3前移一个位置，从而使得采集事件2占用第一队列的位置0，采集事件3占用第一队列的位置1。如此，客户端设备121在每次上报的采集事件均为位于第一队列的初始位置的采集事件。
进一步地，在上报采集事件2时，若客户端设备121接收到采集服务器110发送的第二类型响应消息，说明采集事件2未能成功上报给采集服务器110，因此客户端设备121可以重复上报采集事件2，若重复上报3次均接收到采集服务器110发送的第二类型响应消息，则说明采集事件2在3次重复上报中均未成功上报给采集服务器110，当前网络故障，因此客户端设备121可以将第一队列中未上报给采集服务器110的采集事件缓存至第二预设位置。具体地说，由于采集事件被成功上报给采集服务器110后即将采集事件从第一队列中删除，因此第一队列中存储的采集事件均为未上报给采集服务器110的采集事件，也就是说，在确定网络故障时，客户端设备121可以将第一队列中存储的全部采集事件缓存在第一队列。
相应地，当某一采集事件无法被上报给采集服务器，从而导致第一队列中的全部采集事件被缓存至第二预设位置后，和/或，当第一队列中的采集事件被全部上报给采集服务器110，从而导致第一队列中不存在采集事件后，客户端设备121可以删除第一队列，从而可以避免第一队列占用无意义的占用空间，降低***的性能损耗。
在实现方式二中，通过从预设队列中删除已上报的采集事件，可以降低预设队列所占用的存储空间，从而在采集事件增多时无需为预设队列重新扩展存储空间，提高预设队列的可用性以及存储空间的使用率。
为了便于理解，下面从另一个角度描述本发明实施例中数据采集方法的具体实现过程。
图5为本发明实施例提供的一种数据采集方法的实现流程示意图，如图5所示，当用户触发第一预设操作后，若在执行第一预设操作对应的业务时触发了埋点事件1、埋点事件2和埋点事件3，则客户端设备可以依次生成埋点事件1对应的采集事件1、埋点事件2对应的采集事件2，以及埋点事件3对应的采集事件3。进一步地，若客户端设备中已设置有用于上报采集数据的队列a1，则客户端设备可以将采集事件1、采集事件2和采集事件3从队列a1的队尾依次***到队列a1中，假设队列a1中存储的采集事件已占用了队列a1的位置0～位置i-1，则采集事件1可以占用队列a1的位置i、采集事件2可以占用队列a1的位置i+1，采集事件3可以占用队列a1的位置i+2；其中，i可以为大于或等于0的整数。
本发明实施例中，当采集事件存储在队列a1时，客户端设备可以为采集事件分配一个唯一标识；其中，采集事件的唯一标识可以由本领域技术人员根据经验进行设置，在一个示例中，可以设置唯一标识为时间戳与随机数的组合形式，且长度为16位。
需要说明的是，本发明实施例中，采集事件可以包括但不限于：APP的标识、用户的标识、采集事件的标识、设备的信息、用户的信息以及业务的信息。其中，设备的信息可以是指处理器的类型、CPU的核数、设备的型号等，用户的信息可以是指用户的姓名、性别、手机号码、常住地等，业务的信息可以是指埋点事件的类型、业务的流水号等，具体不作限定。
本发明实施例中，客户端设备可以按照预设周期执行上报过程，比如若预设周期为2分钟，则客户端设备可以每2分钟从队列a1中获取一条未上报的采集事件(比如采集事件k)并上报给采集服务器；在上报采集事件k之前，客户端设备可以先查询上报进程中是否存在正在上报的采集事件，若不存在，则可以直接将采集事件k上报给采集服务器，若存在，则可以先等待正在上报的采集事件(比如采集事件h)上报完成(即接收到采集服务器发送的响应消息)。当采集事件h上报完成后，若确定采集事件h上报成功，则可以将采集事件k上报给采集服务器；若确定采集事件h上报失败，则可以查询采集事件h已上报给采集服务器的次数，若已上报的次数大于或等于预设次数，说明当前网络故障，因此可以从队列a1中将采集事件h至队列末端位置的采集事件全部缓存起来，若已上报的次数小于预设次数，则可以重新上报采集事件h，并在上报完成后确定采集事件h是否上报成功，重复执行上述步骤。
进一步地，若队列a1中未上报的采集事件被缓存，或者队列a1中的采集事件全部被上报成功，则客户端设备可以将队列a1删除。如此，当用户触发第二预设操作后，若在执行第二预设操作对应的业务时触发埋点事件3、埋点事件4和埋点事件5，则客户端设备可以依次生成埋点事件3对应的采集事件3、埋点事件4对应的采集事件4，以及埋点事件5对应的采集事件5；进一步地，由于客户端设备中未设置有用于上报采集数据的队列，因此客户端设备可以创建队列a2，并将采集事件3、采集事件4和采集事件5存储在队列a2中。其中，客户端设备在将采集事件3、采集事件4和采集事件5存储在队列a2之前，可以先查询确定是否存在已缓存的采集事件，若存在已缓存的采集事件，则可以先将已缓存的采集事件从队列a2的队尾***队列a2中，然后再将采集事件3、采集事件4和采集事件5从队列a2的队尾***队列a2中，最后基于队列a2执行上报过程。如此，客户端设备可以先将上次未能成功上报的采集事件上报给采集服务器，然后在将本次新生成的采集事件上报给采集服务器，从而提高采集事件采集的成功率。
在一个示例中，客户端设备在缓存采集事件之前，可以先压缩采集事件，通过缓存压缩的采集事件，可以降低采集事件占用的空间。其中，若待缓存的采集事件有多个，则客户端设备可以对多个采集事件执行一次压缩得到一个压缩文件，或者也可以对每个采集事件执行压缩得到多个压缩文件，或者还可以对连续的预设数量的采集事件执行压缩得到多个压缩文件，压缩采集事件的数量可以根据业务需要进行具体地设置，本发明实施例对此不作限定。
本发明的上述实施例中，检测到用户触发预设操作后，在执行所述预设操作对应的任务时生成对应的多条采集事件；每条采集事件用于记录执行所述任务中的每个子任务的事件，进一步地，通过多次上报过程上报所述多条采集事件，在每次上报过程中，将所述多条采集事件中未上报的一条或多条采集事件上报给采集服务器。本发明实施例中，通过多次上报过程上报采集事件，可以无需一次将全部的采集事件上报给采集服务器，相比于现有技术采用即收即发的数据采集策略来说，可以降低采集服务器的压力，并可以提高数据采集的效率。
针对上述方法流程，本发明实施例还提供一种数据采集装置，该装置的具体内容可以参照上述方法实施。
图6为本发明实施例提供的一种数据采集装置的结构示意图，包括：
处理模块601，用于检测到用户触发预设操作后，在执行所述预设操作对应的任务时生成对应的多条采集事件；每条采集事件用于记录执行所述任务中的每个子任务的事件；
收发模块602，用于通过多次上报过程上报所述多条采集事件；在每次上报过程中，将所述多条采集事件中未上报的一条或多条采集事件上报给采集服务器。
可选地，所述收发模块602具体用于：
将所述多条采集事件依次存储在预设队列中；
在每次上报过程中，在确定上一次上报过程上报的采集事件成功上报给所述采集服务器后，将所述预设队列中未上报的一条采集事件上报给所述采集服务器。
可选地，所述收发模块602具体用于：
获取所述预设队列中预设游标指示的位置相邻的后一位置存储的采集事件，并上报给所述采集服务器；所述预设游标用于指示每次上报过程中上报的采集事件在所述预设队列中的位置；
使用所述预设游标指示的位置相邻的位置更新所述预设游标。
可选地，所述装置还包括缓存模块603；
所述收发模块602还用于：在确定上一次上报过程上报的采集事件未成功上报给所述采集服务器后，重复上报所述上一次上报过程上报的采集事件；
在所述收发模块602重复上报的次数超过预设次数时，所述缓存模块603用于：将所述预设队列中所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件缓存至预设位置；
所述收发模块602还用于：在故障排除后，将所述预设位置缓存的采集事件上报给采集服务器。
可选地，所述处理模块601还用于：
若所述预设游标指示的位置为所述预设队列末端的位置，或者，若所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件已缓存至所述预设位置，则删除所述预设队列。
可选地，所述缓存模块603将所述多条采集事件依次存储在预设队列之前，还用于：
查询所述预设位置是否缓存有采集事件，若是，则使用所述预设队列的初始位置存储所述预设位置缓存的采集事件，再从所述预设队列的初始位置之后的位置依次存储所述多条采集事件；若否，则从所述预设队列的初始位置开始依次存储所述多条采集事件。
可选地，所述收发模块602具体用于：
获取所述预设队列中起始位置存储的采集事件，并上报给所述采集服务器；
若确定本次上报过程上报的采集事件成功上报给所述采集服务器，则删除所述预设队列中起始位置存储的采集事件，并依次将所述预设队列中各位置存储的采集事件前移一个位置；其中，所述预设队列中位于所述起始位置之后的位置存储的采集事件移动至所述起始位置。
从上述内容可以看出：本发明的上述实施例中，检测到用户触发预设操作后，在执行所述预设操作对应的任务时生成对应的多条采集事件；每条采集事件用于记录执行所述任务中的每个子任务的事件，进一步地，通过多次上报过程上报所述多条采集事件，在每次上报过程中，将所述多条采集事件中未上报的一条或多条采集事件上报给采集服务器。本发明实施例中，通过多次上报过程上报采集事件，可以无需一次将全部的采集事件上报给采集服务器，相比于现有技术采用即收即发的数据采集策略来说，可以降低采集服务器的压力，并可以提高数据采集的效率。
基于同一发明构思，本发明实施例还提供一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行如上述图2任意所述的数据采集方法。
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行如上述图2任意所述的数据采集方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (16)
1.一种数据采集方法，其特征在于，所述方法包括：
检测到用户触发预设操作后，在执行所述预设操作对应的任务时生成对应的多条采集事件；每条采集事件用于记录执行所述任务中的每个子任务的事件；
通过多次上报过程上报所述多条采集事件；在每次上报过程中，将所述多条采集事件中未上报的一条或多条采集事件上报给采集服务器。
2.根据权利要求1所述的方法，其特征在于，所述通过多次上报过程上报所述多条采集事件，包括：
将所述多条采集事件依次存储在预设队列中；
在每次上报过程中，在确定上一次上报过程上报的采集事件成功上报给所述采集服务器后，将所述预设队列中未上报的一条采集事件上报给所述采集服务器。
3.根据权利要求2所述的方法，其特征在于，所述将所述预设队列中未上报的一条采集事件上报给所述采集服务器，包括：
获取所述预设队列中预设游标指示的位置相邻的后一位置存储的采集事件，并上报给所述采集服务器；所述预设游标用于指示每次上报过程中上报的采集事件在所述预设队列中的位置；
使用所述预设游标指示的位置相邻的位置更新所述预设游标。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在确定上一次上报过程上报的采集事件未成功上报给所述采集服务器后，重复上报所述上一次上报过程上报的采集事件，且在重复上报的次数超过预设次数时，将所述预设队列中所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件缓存至预设位置；
在故障排除后，将所述预设位置缓存的采集事件上报给采集服务器。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述预设游标指示的位置为所述预设队列末端的位置，或者，若所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件已缓存至所述预设位置，则删除所述预设队列。
6.根据权利要求4或5所述的方法，其特征在于，所述将所述多条采集事件依次存储在预设队列之前，还包括：
查询所述预设位置是否缓存有采集事件，若是，则使用所述预设队列的初始位置存储所述预设位置缓存的采集事件，再从所述预设队列的初始位置之后的位置依次存储所述多条采集事件；若否，则从所述预设队列的初始位置开始依次存储所述多条采集事件。
7.根据权利要求2所述的方法，其特征在于，所述将所述预设队列中未上报的一条采集事件上报给所述采集服务器，包括：
获取所述预设队列中起始位置存储的采集事件，并上报给所述采集服务器；
若确定本次上报过程上报的采集事件成功上报给所述采集服务器，则删除所述预设队列中起始位置存储的采集事件，并依次将所述预设队列中各位置存储的采集事件前移一个位置；其中，所述预设队列中位于所述起始位置之后的位置存储的采集事件移动至所述起始位置。
8.一种数据采集装置，其特征在于，所述装置包括：
处理模块，用于检测到用户触发预设操作后，在执行所述预设操作对应的任务时生成对应的多条采集事件；每条采集事件用于记录执行所述任务中的每个子任务的事件；
收发模块，用于通过多次上报过程上报所述多条采集事件；在每次上报过程中，将所述多条采集事件中未上报的一条或多条采集事件上报给采集服务器。
9.根据权利要求8所述的装置，其特征在于，所述收发模块具体用于：
将所述多条采集事件依次存储在预设队列中；
在每次上报过程中，在确定上一次上报过程上报的采集事件成功上报给所述采集服务器后，将所述预设队列中未上报的一条采集事件上报给所述采集服务器。
10.根据权利要求9所述的装置，其特征在于，所述收发模块具体用于：
获取所述预设队列中预设游标指示的位置相邻的后一位置存储的采集事件，并上报给所述采集服务器；所述预设游标用于指示每次上报过程中上报的采集事件在所述预设队列中的位置；
使用所述预设游标指示的位置相邻的位置更新所述预设游标。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括缓存模块；
所述收发模块还用于：在确定上一次上报过程上报的采集事件未成功上报给所述采集服务器后，重复上报所述上一次上报过程上报的采集事件；
在所述收发模块重复上报的次数超过预设次数时，所述缓存模块用于：将所述预设队列中所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件缓存至预设位置；
所述收发模块还用于：在故障排除后，将所述预设位置缓存的采集事件上报给采集服务器。
12.根据权利要求11所述的装置，其特征在于，所述处理模块还用于：
若所述预设游标指示的位置为所述预设队列末端的位置，或者，若所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件已缓存至所述预设位置，则删除所述预设队列。
13.根据权利要求11或12所述的装置，其特征在于，所述缓存模块将所述多条采集事件依次存储在预设队列之前，还用于：
查询所述预设位置是否缓存有采集事件，若是，则使用所述预设队列的初始位置存储所述预设位置缓存的采集事件，再从所述预设队列的初始位置之后的位置依次存储所述多条采集事件；若否，则从所述预设队列的初始位置开始依次存储所述多条采集事件。
14.根据权利要求9所述的装置，其特征在于，所述收发模块具体用于：
获取所述预设队列中起始位置存储的采集事件，并上报给所述采集服务器；
若确定本次上报过程上报的采集事件成功上报给所述采集服务器，则删除所述预设队列中起始位置存储的采集事件，并依次将所述预设队列中各位置存储的采集事件前移一个位置；其中，所述预设队列中位于所述起始位置之后的位置存储的采集事件移动至所述起始位置。
15.一种计算设备，其特征在于，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～7任一权利要求所述的方法。
16.一种计算机可读存储介质，其特征在于，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行权利要求1～7任一权利要求所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911032119.6A CN110764936A (zh) | 2019-10-28 | 2019-10-28 | 一种数据采集方法及装置 |
| PCT/CN2020/119039 WO2021082858A1 (zh) | 2019-10-28 | 2020-09-29 | 一种数据采集方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911032119.6A CN110764936A (zh) | 2019-10-28 | 2019-10-28 | 一种数据采集方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110764936A true CN110764936A (zh) | 2020-02-07 |
Family
ID=69334231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911032119.6A Pending CN110764936A (zh) | 2019-10-28 | 2019-10-28 | 一种数据采集方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110764936A (zh) |
| WO (1) | WO2021082858A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021082858A1 (zh) * | 2019-10-28 | 2021-05-06 | 深圳前海微众银行股份有限公司 | 一种数据采集方法及装置 |
| CN112764837A (zh) * | 2021-01-29 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 数据上报方法、装置、存储介质及终端 |
| CN113750517A (zh) * | 2020-11-30 | 2021-12-07 | 上海达龙信息科技有限公司 | 键盘操作数据传输方法及装置、键盘操作执行方法及装置 |
| CN114567674A (zh) * | 2022-02-25 | 2022-05-31 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
| CN115393974A (zh) * | 2022-08-01 | 2022-11-25 | 北京主线科技有限公司 | 自动驾驶车辆故障事件记录方法、装置、设备及存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113190458A (zh) * | 2021-05-24 | 2021-07-30 | 北京映客芝士网络科技有限公司 | 自动埋点数据分析的方法、装置、计算机设备和存储介质 |
| CN113900901A (zh) * | 2021-10-21 | 2022-01-07 | 北京达佳互联信息技术有限公司 | 数据上报方法、数据监控方法、装置、设备及存储介质 |
| CN114579416B (zh) * | 2022-03-09 | 2024-05-03 | 北京字节跳动网络技术有限公司 | 一种指标确定方法、装置、服务器和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104348650A (zh) * | 2013-08-05 | 2015-02-11 | 腾讯科技（深圳）有限公司 | 网站的监控方法、业务装置及*** |
| CN107239389A (zh) * | 2017-06-07 | 2017-10-10 | 网易（杭州）网络有限公司 | 一种在混合app中确定用户操作记录的方法及装置 |
| CN107885590A (zh) * | 2017-11-30 | 2018-04-06 | 百度在线网络技术（北京）有限公司 | 用于智能设备的任务处理方法和装置 |
| CN108199902A (zh) * | 2018-01-24 | 2018-06-22 | 精硕科技（北京）股份有限公司 | 数据传输的处理方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104865953B (zh) * | 2015-03-20 | 2019-04-05 | 北京远特科技股份有限公司 | 一种车辆数据处理方法和装置 |
| CN110764936A (zh) * | 2019-10-28 | 2020-02-07 | 深圳前海微众银行股份有限公司 | 一种数据采集方法及装置 |
-
2019
- 2019-10-28 CN CN201911032119.6A patent/CN110764936A/zh active Pending
-
2020
- 2020-09-29 WO PCT/CN2020/119039 patent/WO2021082858A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104348650A (zh) * | 2013-08-05 | 2015-02-11 | 腾讯科技（深圳）有限公司 | 网站的监控方法、业务装置及*** |
| CN107239389A (zh) * | 2017-06-07 | 2017-10-10 | 网易（杭州）网络有限公司 | 一种在混合app中确定用户操作记录的方法及装置 |
| CN107885590A (zh) * | 2017-11-30 | 2018-04-06 | 百度在线网络技术（北京）有限公司 | 用于智能设备的任务处理方法和装置 |
| CN108199902A (zh) * | 2018-01-24 | 2018-06-22 | 精硕科技（北京）股份有限公司 | 数据传输的处理方法及装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021082858A1 (zh) * | 2019-10-28 | 2021-05-06 | 深圳前海微众银行股份有限公司 | 一种数据采集方法及装置 |
| CN113750517A (zh) * | 2020-11-30 | 2021-12-07 | 上海达龙信息科技有限公司 | 键盘操作数据传输方法及装置、键盘操作执行方法及装置 |
| CN113750517B (zh) * | 2020-11-30 | 2024-04-30 | 上海达龙信息科技有限公司 | 键盘操作数据传输方法及装置、键盘操作执行方法及装置 |
| CN112764837A (zh) * | 2021-01-29 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 数据上报方法、装置、存储介质及终端 |
| CN112764837B (zh) * | 2021-01-29 | 2022-03-08 | 腾讯科技（深圳）有限公司 | 数据上报方法、装置、存储介质及终端 |
| CN114567674A (zh) * | 2022-02-25 | 2022-05-31 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
| WO2023160276A1 (zh) * | 2022-02-25 | 2023-08-31 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
| CN114567674B (zh) * | 2022-02-25 | 2024-03-15 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
| CN115393974A (zh) * | 2022-08-01 | 2022-11-25 | 北京主线科技有限公司 | 自动驾驶车辆故障事件记录方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021082858A1 (zh) | 2021-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110764936A (zh) | 一种数据采集方法及装置 | |
| CN110086666B (zh) | 一种告警方法、装置及*** | |
| WO2020233212A1 (zh) | 一种日志记录的处理方法、服务器及存储介质 | |
| CN110428127B (zh) | 自动化分析方法、用户设备、存储介质及装置 | |
| CN110795166B (zh) | 一种数据处理方法及装置 | |
| CN106815254B (zh) | 一种数据处理方法和装置 | |
| CN111338791A (zh) | 集群队列资源的调度方法、装置、设备及存储介质 | |
| CN101223509A (zh) | 用于自适应地收集性能和事件信息的***和方法 | |
| CN111813573B (zh) | 管理平台与机器人软件的通信方法及其相关设备 | |
| US11645179B2 (en) | Method and apparatus of monitoring interface performance of distributed application, device and storage medium | |
| CN108765134B (zh) | 订单数据处理方法及装置、电子设备、存储介质 | |
| CN109324909A (zh) | 一种基于云服务的人脸比对服务***及方法 | |
| CN114546590B (zh) | Java虚拟机堆内存集合对象监测方法及内存溢出分析方法 | |
| CN113422808B (zh) | 物联网平台http信息推送方法、***、装置及介质 | |
| CN109981715B (zh) | 一种会话管理的方法及装置 | |
| CN113360210A (zh) | 数据对账方法、装置、计算机设备和存储介质 | |
| CN102906740B (zh) | 压缩数据记录和处理压缩数据记录的方法和*** | |
| CN116842090A (zh) | 一种对账***、方法、设备及存储介质 | |
| CN116521639A (zh) | 一种日志数据的处理方法、电子设备和计算机可读介质 | |
| CN113377777B (zh) | 数据加载方法、设备、计算机程序产品及存储介质 | |
| CN111770080B (zh) | 一种设备指纹的恢复方法及装置 | |
| CN115269288A (zh) | 故障确定方法、装置、设备和存储介质 | |
| CN115129491A (zh) | 微服务请求消息跟踪方法、生成方法、装置、介质及设备 | |
| CN106354722B (zh) | 一种流式计算***的消息处理方法和装置 | |
| CN111274203B (zh) | 一种话单存储***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200207 |
|
| RJ01 | Rejection of invention patent application after publication |