CN110716848A - 数据收集方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种数据收集方法、装置、电子设备及存储介质。所述方法包括：获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值；将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务；将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；将所述上报队列中的上报任务上报给数据统计平台。通过埋点信息抓取对应的数据，并将所述数据直接上报给数据统计平台，为数据统计以及数据分析提供基本的数据支持。

Description

数据收集方法、装置、电子设备及存储介质

技术领域

本申请涉及大数据领域，更具体地，涉及一种数据收集方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的不断发展，各类网站和APP应运而生，用户可以通过这些网站或APP实现各种各样的功能。用户在通过交互使用网站或APP时，会产生大量的数据，这些数据是各类网站和APP不断提升用户使用体验的重要依据，由此，对这些数据进行收集分析显得尤为重要。

在基于iOS和安卓的***中，都存在各自的统计需求，可以对用户的行为进行统计分析，flutter作为一种Google开源的一种跨平台语言，用来开发APP具有体验好，开发效率高的特点。然而在基于flutter语言开发的APP中，没有flutter的对相关数据收集统计，则不能收集到这些数据。

发明内容

本申请提出了一种数据收集方法、装置、电子设备及存储介质，对基于flutter的APP的数据进行收集分析，以改善上述问题。

第一方面，本申请实施例提供了一种数据收集方法，该方法包括：获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值；将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务；将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；将所述上报队列中的上报任务上报给数据统计平台。

第二方面，本申请实施例提供了一种数据收集装置，该装置包括：获取模块，用于获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值；生成模块，用于将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务；添加模块，用于将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；上报模块，用于将所述上报队列中的上报任务上报给数据统计平台。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如上述应用于电子设备的方法。

第四方面，本申请实施列提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请实施例提供的数据收集方法、装置、电子设备及存储介质，获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值；将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务；将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报，将所述上报队列中的上报任务上报给数据统计平台。通过埋点信息抓取对应的数据，并将所述数据上报给数据统计平台，为数据统计以及数据分析提供基本的数据支持。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个实施例提供的数据收集方法的流程图。

图2示出了本申请另一个实施例提供的数据收集方法的流程图。

图3示出了本申请又一个实施例提供的数据收集方法的流程图。

图4示出了在图3所提供的实施例的基础上提供的数据收集方法的部分步骤的流程图。

图5示出了本申请再一个实施例提供的数据收集方法的流程图。

图6示出了本申请一个实施例提供的数据收集装置的功能模块图。

图7示出了本申请实施例提出的用于执行根据本申请实施例的数据收集方法的电子设备的结构框图。

图8示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的数据收集方法的程序代码的存储介质。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着互联网的不断发展，越来越多的APP进入到用户的生活中，用户可以通过使用APP实现各种各样的功能，以满足日常的生活或娱乐需求。用户在使用这些APP时，会产生大量的行为数据，基于这些行为数据，可以作为对APP的更新迭代的依据，或是可以根据用户的行为数据，开发新的产品，以满足用户的需求。

在iOS或安卓***中，都存在各自的统计需求，可以对用户的行为数据进行统计分析，flutter作为一种Google开源的一种跨平台语言，用来开发APP具有体验好，开发效率高的特点，利用flutter开发对应APP也受到了大量开发者的使用，然而，在flutter开发的应用中，也需要对用户的行为数据进行收集统计，为后续开发提供数据支撑。

作为一种实施方式，在flutter的混合工程中，对行为数据收集统计时，可以采用插件的方式将行为数据回传给APP进行统计上报，然而这种方式在传递和请求数据上较为损耗性能。

因此，发明人提出了本申请实施例中的数据收集的方法，获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值；将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务；将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；将所述上报队列中的上报任务上报给数据统计平台。不需要利用插件的方式回传数据，避免对性能的损耗，同时通过埋点信息抓取对应的数据，并将所述数据上报给数据统计平台，为数据统计以及数据分析提供基本的数据支持。

下面将对本申请实施例进行详细的说明。

Flutter可以快速在iOS和Android上构建应用程序。Flutter的框架分为三层，包括Framework，Engine，以及Embedder；其中，Framework使用dart语言实现，Engine使用C++实现，主要包括Skia，Dart和Text；Embedder是一个嵌入层，通过该层把Flutter嵌入到各个平台上去，Embedder的主要工作包括渲染Surface设置，线程设置等。基于flutter，可以发开应用程序，以实现各种各样的功能，在基于flutter发开的应用程序，也需要对用户的使用产生行为数据收集上报给数据统计平台，以为数据统计以及数据分析提供基本的数据支持。请参阅图1，本申请实施例提供了一种数据收集方法，本实施例描述的处理流程的执行主体可以是电子设备，用于收集上报用户在使用基于flutter的应用程序所产生的行为数据。具体的该方法可以包括：

步骤S110，获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值。

埋点是一种常用的数据采集方法，针对特定用户行为或事件进行捕获、处理和发送。主要是监听软件应用运行过程中的事件，当需要关注的事件发生时进行判断和捕获。埋点的方法可以代码埋点、可视化埋点和无埋点。其中，代码埋点是指在网页或APP中加上一些代码，当用户触发相应行为时，进行数据上报，在APP中也可以称为是软件开发工具包(software development kit，SDK)；可视化埋点为利用可视化交互手段，通过管理数据统计平台连接设备配置事件，再根据事件对数据进行采集；无埋点是指开发人员集成采集SDK后，SDK直接开始捕捉和监测用户在应用里的所有行为，并全部上报，不需要开发人员添加额外代码。

由此，在网页或APP中埋点后，在用户使用的过程中，可以根据预先的埋点信息收集与埋点信息对应的数据作为目标数据，也就是说，这些数据需要上报给数据统计平台，以做进一步的分析。其中，目标数据中可以包括多个字段名称以及字段名称对应的值。例如，需要上报的用户观看游戏视频时长，则可以基于所述埋点信息获取用户基本信息和视频信息，在用户在通过交互观看视频时，可以获取到用户基本信息如用户id(uid)等信息，以及视频信息如总时长，视频链接，视频名称等信息。若此时获取到的视频信息有视频链接为https://www.youtube.com/，那么对应的，所述目标数据中的字段名称则为视频链接，与所述字段名称对应的值则为https://www.youtube.com/。

获取到的目标数据中的字段名称以及字段名称对应的值与埋点信息有关，若埋点信息中对应的数据较多，那么获取到的目标数据中可以是多个字段名称以及字段名称对应的值。

步骤S120，将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务。

在获取到目标数据后，需要将目标数据上报给数据统计平台以进行数据分析，在获取的目标数据中，可能包括多个字段名称以及所述字段名称对应的值。可以将所述多个字段以及所述字段名称对应的值按照预设规则生成上报任务。

所述预设规则包括简写规则以及拼接规则，简写规则可以是对所述字段名称进行简写，以控制生成的上报任务中的字节大小的规则。

在一些实施方式中，简写规则可以是定义字段名称的缩写符号，以所述缩写符号代表所述字段名称，从而降低上报任务中的字节数。在另一些实施方式中，若上报任务中存在特定数据，特定数据可以理解为在上报给数据统计平台的上报任务中，数据统计平台人员希望得到一些特定字段名称以及与所述特定字段名称对应的值，然而在实际的数据获取时，可能获取不到这些特定字段名称对应的值，表明该上报任务中即使存在该特定字段名称，但没有与特定字段名称对应的值，则可以将所述特定字段名称删除，以降低上报任务中的字节数。

拼接规则是将所述字段名称以及所述字段名称对应的值拼接成上报任务，以将获得的字段名称与所述字段名称的值进行关联，并在存在多个字段名称以及所述字段名称对应的值时，对每个字段名称以及所述字段名称对应的值进行拼接，生成上报任务上报到数据统计平台。

从而可以将获取到的目标数据，也就是字段名称以及所述字段名称对应的值按照所述预设规则生成上报任务，以将所述上报任务上报给数据统计平台。

步骤S130，将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报。

步骤S140，将所述上报队列中的上报任务上报给数据统计平台。

上报任务是将获取到的目标数据中的字段名称以及与所述字段名称对应的值按照预设规则生成的，在上报任务中包括了获取到的目标数据的所有内容。在将上报任务上报给数据统计平台时，目标数据也在所述上报任务上报给了数据统计平台。

在将上报任务上报给数据统计平台时，为了防止上报过程占用过多资源，可以使用两个队列处理，两个队列可以都是先进先出队列，包括一个一个先进先出的上报任务。具体的，两个队列可以是上报队列和等待队列，在生成所述上报任务后，可以将上报任务添加到等待队列中，等待从等待队列添加至上报队列上报，将上报队列中的上报任务上报给数据统计平台，从而上报任务可以从等待队列移动到上报队列中，直到两个队列中所有的上报任务都上报成功。从而可以通过两个队列将收集到的目标数据上报给数据统计平台，以便于数据统计平台根据所述目标数据进行数据分析，从而为数据统计以及数据分析提供基本的数据支持。

本申请提出的数据收集方法，获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值；将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务；将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；将所述上报队列中的上报任务上报给数据统计平台。本申请实施例中，通过埋点信息抓取对应的数据，并将所述数据直接上报给数据统计平台，为数据统计以及数据分析提供基本的数据支持。

请参阅图2，本申请另一实施例提供了一种数据收集方法，在上一实施例的基础上重点描述了生成上报任务的过程。具体的，该方法可以包括：

步骤S210，获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值。

步骤S210可参照前述实施例对应部分，在此不再赘述。

步骤S220，按照简写规则将所述字段名称进行简写得到简写后的字段名称。

获取到字段名称以及字段名称对应的值时，可以按照简写规则将所述字段名称进行简写得到简写后的字段名称。

作为一种实施方式，可以是预先设置好各个字段名称对应的缩写，以预先设置的缩写代替所述字段名称。例如，获取到的目标数据中包括字段名称link，以及与link对应的值https://www.youtube.com/，则可以将字段名称link简化为缩写“l”，那么link这个字段名称则可以用缩写“l”代替，从而控制上报任务中的字节大小。

作为另一种实施方式，简写规则可以是删除没有获取到字段名称对应的值的字段名称。例如，预先设置有特定字段名称如应用id以及接口秘钥，然后在获取到的目标数据中，并没与接口秘钥对应的字段名称以及与接口秘钥对应的值，则可以将字段名称“接口秘钥”删除，从而控制上报任务中的字节大小。

在按照简写规则对获取到的字段名称简写后，可以获得简写后的字段名称，从而可以将简写后的字段名称作为所述上报任务中的一部分上报。可以理解的是，简写后的字段名称可以相互区分，不会出现不同的字段名称在通过所述简写规则简写后成为了相同的简写后的字段名称，简写规则的具体内容可以根据实际的使用进行设置，在此不做具体限定。

步骤S230，将所述简写后的字段名称按照所述拼接规则进行拼接得到所述上报任务。

将简写后的字段名称以及与所述简写后的字段名称对应的值按照拼接规则拼接得到上报任务。所述上报任务可以是一个URL链接，将获取到的简写后的字段名称以及简写后的字段名称对应的值按照拼接规则进行拼接得到所述URL链接，那么在生成的URL链接中，即上报任务中包括了获取到的目标数据的所有内容。

例如，在上报用户观视频时长时，获取到的目标数据中有字段名称link，以及link对应的值https://www.youtube.com/；字段名称act，以及act对应的值herovideo；字段名称viewtime，以及viewtime对应的值20190904220556；字段名称appkey，以及appkey对应的值6ffb6db7c211b966b735f07c16176f7f，字段名称from，以及from对应的值12；字段名称to，以及to对应的值30；字段名称videotype，以及videotype对应的值mobile legend。在按照简写规则对字段名称进行简写后，得到的简写后的字段名称以及字段名称对应的值可参阅表1。

表1

简写后的字段名称	字段名称对应的值
		a	herovideo
l	https://www.youtube.com/
		v	20190904220556
k	6ffb6db7c211b966b735f07c16176f7f
		f	12
t	30
		y	mobile legend

从表1可以得知，通过简写规则，将获取的目标数据中的字段名称进行了简写，得到简写后的字段名称。从而将所述简写后的字段名称按照所述拼接规则进行拼接得到URL链接，作为所述上报任务。其中，简写规则可以根据实际的使用进行设置，在此不做具体限定。

在将上报任务上报给数据统计平台时，需要知道对应的数据统计平台接口地址，即上报链接，所述上报链接可以是预先设置在所述拼接规则中。例如，预先设置的上报链接为http://ylog.hiido.com/j.gif。根据所述拼接规则，可以将每一个字段名称以及字段名称对应的值拼接为一个URL部件，请参阅表1，表1存在多个需要上报的字段名称以及字段名称对应的值，表1中的每一个字段名称以及字段名称对应的值都可以拼接为一个URL部件，例如，“a＝herovideo”可以为一个URL部件；l＝https://www.youtube.com/也可以是一个URL部件，以此类推，可以将表1中的每个字段名称以及字段名称对应的值拼接为一个URL部件，则可以获取到多个URL部件。

进一步的，可以根据所述上报链接以及获取到的多个URL部件用预设符号拼接成所述URL链接。例如，上报链接为http://ylog.hiido.com/j.gif，URL部件为根据表1中的内容得到的，那么可以得到URL链接为http://ylog.hiido.com/j.gif？a＝herovideo&l＝https://www.youtube.com/&v＝20190904220556&k＝6ffb6db7c211b966b735f07c16176f7f&f＝12&t＝30&y＝mobile legend。得到所述URL链接后，则可以将所述URL链接作为上报任务上报给数据统计平台。

步骤S240，将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；

步骤S250，将所述上报队列中的上报任务上报给数据统计平台。

上报任务中包括了获取的目标数据，由此可以将目标数据上报给数据统计平台。可以理解的，根据用户的行为可以产生多个上报任务。例如，用户在点击一个视频进行观看时，可以根据埋点信息获取的目标数据生成一个上报任务，用户在点击另一个视频进行观看时可根据埋点信息获取的目标数据生成另一个上报任务。对生成的上报任务上报时，为了放置上报时占用过多的资源，可以使用上报队列和等待队列进行处理，具体的，可以将上报任务添加到等待队列中，等待从等待队列添加至上报队列上报，将上报队列中的上报任务上报给数据统计平台，从而上报任务可以从等待队列移动到上报队列中，直到两个队列中所有的上报任务都上报成功。在通过所述上报和等待队列上报生成的上报任务时还可以获取电子设备的性能参数，根据所述性能参数暂停队列中的上报任务，避免对电子设备的正常使用造成影响。

本申请提出的数据收集方法，获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值；按照简写规则将所述字段名称进行简写得到简写后的字段名称；将所述简写后的字段名称按照拼接规则进行拼接得到上报任务；将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；将所述上报队列中的上报任务上报给数据统计平台。。本申请实施例中，通过埋点信息抓取对应的数据，并将所述数据按照预设规则生成上报任务上报给数据统计平台，并在生成上报任务的过程中进行字节控制，以减小上报任务中的字节数，加快上报任务的上报，为数据统计以及数据分析提供基本的数据支持。

请参阅图3，本申请又一实施例提供了一种数据收集方法，本实施例在前述实施例的基础上，重点描述了対生成的上报任务上报的过程。如图3所示，该方法可以包括：

步骤S310，获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值。

步骤S320，将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务。

步骤S310至步骤S320可参照前述实施例的对应描述，在此不再赘述。

步骤S330，将所述上报队列中的第一个上报任务上报给数据统计平台。

在本申请实施例中，采用两个队列将上报任务上报。这两个队列可以是上报队列以及等待队列，将在所述上报队列中的上报任务上报，在所述等待队列中的上报任务等待通过上报队列进行上报。

其中在将字段名称以及所述字段名称对应的值按照预设规则生成上报任务后，在将所述上报队列中的第一个上报任务上报给数据统计平台之前，可以将所述上报任务添加到对应的队列中。请参阅图4，示出了将上报任务添加到对应的队列中的过程，具体的，该方法包括步骤S331至步骤S334中的内容。

步骤S331，获取生成的上报任务。

在将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务后，可以获取生成的所述上报任务，在获取到所述上报任务时，需要将所述上报任务添加进上报队列中或等待队列中，以上报所述上报任务。由于有两个队列，由此需要确定将生成的所述上报任务添加进上报队列还是等待队列。

步骤S332，判断所述上报队列中是否存在上报任务；若是，执行步骤S333；若否，执行步骤S334。

步骤S333，将生成的所述上报任务添加至所述等待队列中等待上报。

步骤S334，将生成的所述上报任务添加至所述上报队列中执行上报。

在接收到生成的所述上报任务时，若将所述上报任务添加至上报队列，则会将所述上报任务上报；若将所述上报任务添加至等待队列，则会等待上报。由此，可以判断上报队列中是否存在上报任务，若所述上报队列中存在上报任务，表明有上报任务正在上报，可以将生成的所述上报任务添加至所述等待队列中等待上报。若所述上报队列中不存在上报任务，即所述上报队列为空，则可以将生成的所述上报任务添加至上报队列中上报。

步骤S340，判断所述第一个上报任务是否上报成功，若是，执行步骤S350；若否，执行步骤S360。

在将所述上报队列中的上报任务上报时，受到网络环境的影响，在网络不好的情况下，可能出现上报失败的情况。若一个上报任务上报失败，表明数据统计平台没有接收到该上报任务，则不能获取到上报任务中携带的数据，从而影响数据统计平台的统计和分析。由此，可以对上报任务的上报情况进行监测，在所述上报任务上报失败时，执行步骤S360；在所述上报任务执行成功时，执行步骤S350。

将上报队列中的上报任务上报时，可以是获取所述上报队列中的第一个上报任务，将所述第一个上报任务上报给数据统计平台。若第一个上报任务没有上报成功，则需要重新上报所述第一个上报任务，若第一个上报任务上报成功，则可以上报下一个上报任务。由此需要确定所述第一个上报任务是否上报成功。

作为一种实施方式，在将上报任务上报给数据统计平台时，在上报任务上报成功时，可以接收到数据统计平台反馈的成功标识，表示所述上报任务上报成功；在上报任务上报失败时，可以接收到数据统计平台反馈的失败标识，表示所述上报任务上报失败。从而可以根据数据统计平台反馈的成功标识或是失败标识来确定所述上报任务是否上报成功。

作为另一种实施方式，可以是在第一个上报任务上报后的预设时间内，确定是否接收到数据统计平台反馈的成功标识；若接收到所述成功标识，则可以认为所述第一个上报任务上报成功；若没有接收到所述成功标识，则可以认为所述第一个上报任务上报失败。

其中，对于不同大小的上报任务，所需要的上报时间不同，由此，不同大小的上报任务对应着不同的预设时间。可以预先设置上报任务的大小与上报时间对应的关系。可以在上报过程中多次统计上报任务大小与对应的上报时间，可以根据大量的数据获取到所述上报时间与上报任务大小之间的关系。例如，上报时间为y，上报任务大小为x；根据大量的数据统计获取到的上报时间与上报任务大小之间的关系为y＝k*x，其中，x为已知数，由此可以根据上报时间与上报任务大小之间的关系确定所述第一个上报任务所需要的上报时间，将所述上报时间作为所述第一个上报任务上报后的预设时间。若第一个上报任务的大小为a，那么对应的预设时间则为ka；第一个上报任务的大小为b，那么对应的预设时间则为kb。

步骤S350，将所述第一个上报任务从所述上报队列中删除，并将下一个上报任务作为所述第一个上报任务，执行步骤S340。

若判定所述第一个上报任务上报成功，表明数据统计平台已经接收到所述第一个上报任务中的目标数据，则可以将上报成功的所述第一个上报任务从上报队列中删除，获取在所述上报队列中的第二个上报任务，在删除所述已经上报成功的第一个上报任务后，所述第二个上报任务则成为了所述上报队列的新的第一个上报任务。同时，在所述上报成功的第一个上报任务从所述上报队列中删除后，可以获取等待队列中的第一个上报任务，将所述等待队列中的第一个上报任务移动到所述上报队列中的队尾。依次上报上报队列中的上报任务。由此，可以上报新的第一个上报任务，从而继续执行判断所述第一个上报任务是否上报成功的步骤，从而可以将所述上报队列和等待队列中的所有上报任务上报。

步骤S360，将所述第一个上报任务添加至所述等待队列的队尾，并从所述上报队列中删除所述第一个上报任务，将下一个上报任务作为所述第一个上报任务，执行步骤S340。

若判定所述第一个上报任务没有上报成功，表明数据统计平台没有接收到所述第一个上报任务中的目标数据，为了避免数据的丢失，可以重新上报所述第一个上报任务。

作为一种实施方法，可以是在所述第一个上报任务上报失败后，为了避免影响上报队列中其余上报任务的上报，可以将所述第一个上报任务从所述上报队列移动到所述等待队列的队尾等待重新上报。将所述第一个上报任务从所述上报队列中移出后，可以将所述上报队列中的下一个上报任务作为所述第一个上报任务上报给数据统计平台。从而避免因为一个上报任务上报失败，影响后续上报任务的上报进度。

在将上报失败的第一个上报任务移动到等待队列的队尾时，可以将等待队列中的第一个上报任务添加到所述上报队列的队尾，上报队列继续上报队列中的第一个上报任务，形成循环上报，从而可以上报所述上报队列以及等待队列中的所有上报任务。在所述上报队列和所述等待队列中的没有上报任务时，表明没有上报任务需要上报给数据统计平台，则可以结束上报。

在将上报任务上报时，使用了两个队列来完成上报。对两个队列中的上报任务，处理方式不同，具体的，两个队列为上报队列以及等待队列，上报在所述上报队列中的上报任务，在所述等待队列中的上报任务等待上报。由于在所述上报队列中存在上报任务时，不会将生成的上报任务添加进所述上报队列，并且，只有在所述上报队列中有上报任务移动或删除后，才会将等待队列中的上报任务移动到所述上报队列中，上报队列中上报任务的数量得到了控制，不会出现上报队列溢出的情况。然而，等待队列中会添加进很多上报任务，则可能会出现等待队列溢出的情况。因此，可以对等待队列中的上报任务的数量进行控制。

可以将所述上报队列和等待队列中所有的所有上报任务进行备份，存储在数据库中，在所述上报任务上报成功后，从所述数据库中删除。也就是说，在数据库中保存的上报任务为没有上报的上报任务，所述没有上报的上报任务包括正在等待上报的上报任务以及没有上报成功的上报任务。

在向所述等待队列中添加上报任务之前，可以判断所述等待队列中的上报任务数量是否等于预设数量，其中，所述预设数量为所述等待队列队满时的上报任务数量。若所述等待队列中的上报任务数量等于预设数量，表明所述等待队列中的上报任务数已经达到最大值，若此时还有上报任务需要添加进所述等待队列，则会导致等待队列溢出。由此，可以将所述等待队列中的第一个上报任务从所述等待队列中删除，即将等待队列的队首的上报任务删除，并将需要添加进所述等待队列的上报任务添加至所述等待队列的队尾。由于将所述等待队列中的第一个上报任务删除后，再将上报任务添加进等待队列，等待队列中的数量则始终维持在预设数量，则不会溢出。

对于从所述等待队列中删除的上报任务，由于在数据库中进行了备份，被删除的上报任务也不会丢失。在所述等待队列中的任务数据小于所述预设数量时，则可以从所述数据库中将从所述等待队列中删除的上报任务重新添加到所述等待队列中。

此外，将所述上报队列以及等待队列中的上报任务进行备份，也可以防止在上报过程中APP关闭，或是电子设备关机时上报任务丢失的情况，从而可以在启动APP时将所述数据库中的上报任务添加至上报队列或是等待队列中，继续上报所述上报任务。

由于flutter是单线程，不存在多线程模型，为了不阻塞正常的UI线程，可以使用异步方式Future和sync await实现异步处理。可以是在获取到目标数后，监听所述目标数据对应的应用程序是否执行结束，若执行结束，此时执行数据的上报的则不会影响到应用程序的使用，由此，则可以执行则执行将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务，再将所述上报任务上报给数据统计平台。具体的，可以将wait和sync异步任务注入到事件循环，实现异步任务。例如，在用户观看视频时，获取到与视频相关的目标数据，为了不影响用户的正常观看过程和相关的操作，在该视频软件运行结束后，将目标数据上报，从而在上报任务上报的过程中不会用影响到电子设备的正常使用。

本申请提出的数据收集方法，在获取到上报任务时，通过上报队列和等待队列将上报任务上报给数据统计平台，通过等待队列对所述上报队列中的上报任务的数量进行控制，防止上报队列溢出。并且通过数据库的方式，对上报任务进行备份，在防止等待队列溢出的同时可以避免上报任务的丢失，从而可以将所有的上报任务上报给数据统计平台，为数据统计以及数据分析提供了基本的数据支持。

在上报任务上报的过程中，可以实时检测电子设备的运行性能，在电子设备的性能出现异常情况时，暂停上报。具体的，可参阅图5，本申请再一实施例提供了一种数据收集方法，本实施例在前述实施例的基础上，重点描述了在上报任务上报的过程暂停上报以及恢复上报的过程，该方法可以包括：

步骤S410，获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值。

步骤S420，将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务。

步骤S430，将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报。

步骤S440，将所述上报队列中的上报任务上报给数据统计平台。

步骤S410至步骤S440可参照前述实施例对应部分，在此不再赘述。

步骤S450，在上报任务上报的过程中获取电子设备的性能参数。

在上报任务上报的过程，上报任务和电子设备的性能相互影响。例如，在电子设备的内存占用率较高时，持续上报上报任务，则可能导致电子设备卡顿，发热等现象；若电子设备当前的所处的网络环境不佳，则可能导致上报任务上报失败。由此，在将上报任务上报的过程中，可以获取电子设备的性能参数，来确定上报任务的上报是否会影响到电子设备的正常使用或是确定是否会批量引起上报任务上报失败的现象。

所述电子设备的性能参数可以是电子设备当前显示内容的刷新频率、内存占用率和/或网速。

步骤S460，若所述性能参数处于预设范围，暂停上报所述上报队列中的上报任务。

在获取到电子设备的性能参数时，可以确定所述性能参数是否处于预设范围来确定是否暂停上报任务。所述性能参数可以是刷新频率，内存占用率或是网速。可以预先设置各个性能参数对应的预设范围，即刷新频率对应预设刷新频率范围；内存占用率对应预设内存占用率范围；网速对应预设网速范围。在所述性能参数处于对应的预设范围时，继续上报队列中的上报任务可能会影响电子设备的正常使用，造成卡顿，发热等现象，或是可能引起上报任务批量出现上报失败。

作为一种实施方式，可以是获取到其中一个性能参数时，判断所述性能参数是否处于对应的预设范围；若在对应的预设范围内，则暂停上报在所述上报队列中的上报任务；若不在对应的预设范围内，则获取另一个性能参数进行判断。可以理解的是，在获取到的刷新频率，内存占用率或是网速中的任意一个处于所述预设范围内，则可以暂停上报在所述上报队列中的上报任务。

作为另一种实施方式，预设条件可以是，获取到的性能参数都处于对应的预设范围时，暂停上报在所述上报队列中的上报任务。也就是说，可以同时获取刷新频率，内存占用率以及网速，当刷新频率在所述预设刷新频率范围，内存占用率在所述预设内存占用率范围，并且网速在所述预设网速范围时，暂停上报在所述上报队列中的上报任务。

将所述上报队列中的上报任务暂停上报时，可以保持将上报任务添加到等待队列中或是数据库中，仅是暂停上报在上报队列中的上报任务。在所述性能参数不处于所述预设范围时，则可以恢复上报在上报队列中的上报任务，具体的，可是是在电子设备的性能参数不在对应的预设范围内时，恢复上报。

作为一种实施方式，可以在所述刷新频率，内存占用率以及网速都不在预设范围时，恢复上报。作为另一种实施方式，可以根据暂停上报原因确定是否恢复上报。例如，若是由于刷新频率在预设范围内，暂停上报上报任务，则可以继续获取刷新频率，当刷新频率不在预设范围内时，恢复对上报任务的上报。同理的，若是由于网速在预设范围内，暂停上报上报任务，则可以继续获取网速，当网速不在预设范围内时，恢复对上报任务的上报。

本申请提供的数据收集方法，通过获取在将上报任务上报的过程中的性能参数，在所述性能参数处于预设范围内时，表明此时仍然对上报任务上报，可能会影响电子设备的正常使用或是出现批量上报任务上报失败的情况，由此可以暂停上报在所述上报队列中的上报任务，避免影响电子设备的使用和批量上报任务上报失败的情况；在所述性能参数不处于预设范围时，则可以恢复对上报队列中上报任务的上报，从而可以将上报任务上报给数据统计平台，为数据统计和数据分析提供基本数据支持的同时避免影响电子设备的正常使用，从而兼顾用户的使用体验。

请参阅图6，其示出了本申请实施例提供的一种数据收集装置500，所述数据收集装置500包括获取模块510、生成模块520、添加模块530以及上报模块540。

获取模块510，用于获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值；生成模块520，用于将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务；添加模块530，用于将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；上报模块540，用于将所述上报队列中的上报任务上报给数据统计平台。

进一步的，所述预设规则包括字段名称简写规则以及拼接规则，所述生成模块520还用于按照简写规则将所述字段名称进行简写得到简写后的字段名称；将所述简写后的字段名称按照所述拼接规则进行拼接得到所述上报任务。

进一步的，预先设置有上报链接，所述生成模块还用于将所述上报链接、所述简写后的字段名称以及所述字段名称对应的值拼接为所述上报任务。

进一步的，所述添加模块530还用于将生成的上报任务添加至等待队列中；所述上报模块540还用于将所述上报队列中的第一个上报任务上报给数据统计平台；判断所述第一个上报任务是否上报成功；若是，则将所述第一个上报任务从所述上报队列中删除，并将下一个上报任务作为所述第一个上报任务，并从等待队列中获取上报任务添加至所述上报队列；若否，则将所述第一个上报任务添加至所述等待队列的队尾，并从所述上报队列中删除所述第一个上报任务。

进一步的，在将生成的上报任务添加至等待队列中之前，所述上报模块540还用于判断所述上报队列中是否存在上报任务；若是，将生成的所述上报任务添加至所述等待队列中等待上报；若否，将生成的所述上报任务添加至所述上报队列中执行上报。

进一步的，预先设置有数据库，所述数据库用于将所述上报队列以及等待队列中的所有未上报的上报任务进行备份，所述上报模块530还用于在向所述等待队列中添加上报任务之前，若所述等待队列中的上报任务数量等于预设数量，将所述等待队列中的第一个上报任务从所述等待队列中删除，其中，所述预设数量为所述等待队列队满时的上报任务数量；在所述等待队列中的上报任务数量小于所述预设数量时，从所述数据库中取出未上报的上报任务添加进所述等待上报队列中。

进一步的，所述装置500还包括检测模块，所述检测模块用于在对所述上报队列中的上报任务上报的过程中，获取电子设备的性能参数，所述性能参数包括刷新频率、内存占用率和/或网速；在所述性能参数处于预设范围时，暂停对所述上报队列中的上报任务的上报。

进一步的，在获取到目标数据后，若监听到与所述目标数据对应的应用程序执行结束，所述生成模块520则执行将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务步骤。

需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

综上所述，本申请提供的数据收集方法，获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值；将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务；将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；将所述上报队列中的上报任务上报给数据统计平台。通过埋点信息抓取对应的数据，并将所述数据直接上报给数据统计平台，为数据统计以及数据分析提供基本的数据支持。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图7，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备600可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备600可以包括一个或多个如下部件：处理器610、存储器620、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器620中并被配置为由一个或多个处理器610执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器620内的指令、程序、代码集或指令集，以及调用存储在存储器620内的数据，执行电子设备600的各种功能和处理数据。可选地，处理器610可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器610中，单独通过一块通信芯片进行实现。

存储器620可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集。存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备600在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图8，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质700包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种数据收集方法，其特征在于，应用于电子设备，所述方法包括：

获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值；

将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务；

将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；

将所述上报队列中的上报任务上报给数据统计平台。

2.根据权利要求1所述的方法，其特征在于，所述预设规则包括字段名称简写规则以及拼接规则，所述根据所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务，包括：

按照简写规则将所述字段名称进行简写得到简写后的字段名称；

将所述简写后的字段名称按照所述拼接规则进行拼接得到所述上报任务。

3.根据权利要求2所述的方法，其特征在于，预先设置有上报链接，所述将所述简写后的字段名称按照所述拼接规则进行拼接得到所述上报任务，包括：

将所述上报链接、所述简写后的字段名称以及所述字段名称对应的值拼接为所述上报任务。

4.根据权利要求1所述的方法，其特征在于，所述将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；将所述上报队列中的上报任务上报给数据统计平台，包括：

将生成的上报任务添加至等待队列中；

将所述上报队列中的第一个上报任务上报给数据统计平台；

判断所述第一个上报任务是否上报成功；

若是，则将所述第一个上报任务从所述上报队列中删除，将下一个上报任务作为所述第一个上报任务，并从等待队列中获取上报任务添加至所述上报队列；

若否，则将所述第一个上报任务添加至所述等待队列的队尾，并从所述上报队列中删除所述第一个上报任务。

5.根据权利要求4所述的方法，其特征在于，所述将生成的上报任务添加至等待队列中之前，还包括：

判断所述上报队列中是否存在上报任务；

若是，将生成的所述上报任务添加至所述等待队列中等待上报；

若否，将生成的所述上报任务添加至所述上报队列中执行上报。

6.根据权利要求4或5所述的方法，其特征在于，预先设置有数据库，所述数据库用于将所述上报队列以及等待队列中的所有未上报的上报任务进行备份，所述方法还包括：

在向所述等待队列中添加上报任务之前，若所述等待队列中的上报任务数量等于预设数量，将所述等待队列中的第一个上报任务从所述等待队列中删除，其中，所述预设数量为所述等待队列队满时的上报任务数量；

在所述等待队列中的上报任务数量小于所述预设数量时，从所述数据库中取出未上报的上报任务添加进所述等待上报队列中。

7.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：

在对所述上报队列中的上报任务上报的过程中，获取电子设备的性能参数，所述性能参数包括刷新频率、内存占用率和/或网速；

在所述性能参数处于预设范围时，暂停对所述上报队列中的上报任务的上报。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在获取到目标数据后，若监听到与所述目标数据对应的应用程序执行结束，则执行将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务步骤。

9.一种数据收集装置，其特征在于，应用于电子设备，所述装置包括：

获取模块，用于获取基于埋点信息收集到的目标数据，所述目标数据包括字段名称以及所述字段名称对应的值；

生成模块，用于将所述字段名称以及所述字段名称对应的值按照预设规则生成上报任务；

添加模块，用于将生成的上报任务添加至等待队列中，等待从等待队列添加至上报队列上报；

上报模块，将所述上报队列中的上报任务上报给数据统计平台。

10.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，与所述一个或多个处理器电连接；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1至8任一项所述的方法。

11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至8任一项所述的方法。

Images