CN107864065B - 无埋点数据采集方法、***及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种无埋点数据采集方法、数据采集***及计算机可读存储介质，该无埋点数据采集方法包括：当数据采集终端检测到预设采集位置上存在数据交互时，确定所述预设采集位置上的目标控件；所述数据采集终端采集目标控件的所有控件数据，并获取所述目标控件的控件标识符；所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器，以供服务器进行统计分析。本发明通过数据采集终端采集全量数据，再由服务器进行数据过滤拦截，从而获取到真实有效的数据信息，从而避开埋点数据采集埋点工程开发时间长和工作量冗余导致数据采集效率低下的现象，进而无需进行繁琐的埋点技术开发，缩短数据采集周期，提高数据采集效率。

Description

无埋点数据采集方法、***及计算机可读存储介质

技术领域

本发明涉及数据采集技术领域，尤其涉及一种无埋点数据采集方法、数据采集***及计算机可读存储介质。

背景技术

目前客户端采集用户行为特征的方式大多数是通过SDK(即软件开发工具包)进行埋点采集，即由开发者在SDK中植入精确的数据采集代码，用户安装客户端之后，数据采集代码再进行针对性的用户行为数据采集。但是埋点采集技术存在较大的缺陷，埋点采集需要事先经过长期的开发过程，而且，埋点采集到的数据需要开发者整理编辑或二次开发后主动上报至服务器，这将导致开发者的开发工作量繁琐且冗余，导致数据采集效率低下。

发明内容

本发明的主要目的在于提供一种无埋点数据采集方法、数据采集***及计算机可读存储介质，旨在解决埋点采集技术开发时间长和工作量繁琐的导致数据采集效率低下的技术问题。

为实现上述目的，本发明实施例提供一种无埋点数据采集方法，所述无埋点数据采集方法包括：

当数据采集终端检测到预设采集位置上存在数据交互时，确定所述预设采集位置上的目标控件；

所述数据采集终端采集目标控件的所有控件数据，并获取所述目标控件的控件标识符；

所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器，以供服务器进行统计分析。

优选地，所述所述数据采集终端采集目标控件的所有控件数据的步骤包括：

数据采集终端采集目标控件的所有控件数据；

数据采集终端识别控件数据的数据类型；

数据采集终端基于数据类型对控件数据进行数据分类，以获得规范化的控件数据。

优选地，所述获取所述目标控件的控件标识符的步骤包括：

数据采集终端获取服务器发送的控件采集规则，所述控件采集规则包括控件白名单；

数据采集终端基于控件白名单确定待采集控件，并获取待采集控件的控件标识符。

优选地，将所述控件标识符设置为第一控件标识符，所述所述数据采集终端将第一控件标识符和目标控件的所有控件数据发送至服务器的步骤包括：

当数据采集终端接收到服务器发送的第一过滤规则时，获取第一过滤规则中的第二控件标识符，所述第二控件标识符为待过滤控件的控件标识符；

当数据采集终端检测到与第二控件标识符相匹配的第一控件标识符时，将第一控件标识符和第一控件标识符对应的目标控件的所有控件数据过滤掉，以获得新的第一控件标识符和新的目标控件；

数据采集终端将新的第一控件标识符和新的目标控件的所有控件数据发送至服务器。

优选地所述所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器的步骤包括：

数据采集终端对控件标识符和目标控件的所有控件数据进行对称性算法加密，获得加密数据；

数据采集终端将加密数据发送至服务器。

本发明还提供一种无埋点数据采集方法，所述无埋点数据采集方法包括：

服务器获取数据采集终端发送的控件标识符和控件数据；

服务器基于预设的第二过滤规则对控件标识符和控件数据进行过滤，以获得目标控件数据；

服务器对目标控件数据进行统计分析，以获得行为特征分析报告。

优选地，所述服务器获取数据采集终端发送的控件标识符和控件数据的步骤之前还包括：

服务器向数据采集终端发送预设的第一过滤规则，以供数据采集终端对已获取的第一控件标识符和控件数据进行过滤。

优选地，所述服务器对目标控件数据进行统计分析，以获得行为特征分析报告的步骤之后还包括：

服务器基于行为特征分析报告进行数据分析，以获取控件采集规则；

服务器将控件采集规则发送至数据采集终端，以供数据采集终端进行针对性地数据采集。

本发明还提供一种数据采集***，所述数据采集***包括：数据采集终端、服务器、存储器、处理器，通信总线以及存储在所述存储器上的数据采集程序，

所述通信总线用于实现处理器与存储器间的通信连接；

所述处理器用于执行所述数据采集程序，以实现以下步骤：

当数据采集终端检测到预设采集位置上存在数据交互时，确定所述预设采集位置上的目标控件；

所述数据采集终端采集目标控件的所有控件数据，并获取所述目标控件的控件标识符；

所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器，以供服务器进行统计分析。

优选地，所述所述数据采集终端采集目标控件的所有控件数据的步骤包括：

数据采集终端采集目标控件的所有控件数据；

数据采集终端识别控件数据的数据类型；

数据采集终端基于数据类型对控件数据进行数据分类，以获得规范化的控件数据。

优选地，所述获取所述目标控件的控件标识符的步骤包括：

数据采集终端获取服务器发送的控件采集规则，所述控件采集规则包括控件白名单；

数据采集终端基于控件白名单确定待采集控件，并获取待采集控件的控件标识符。

优选地，将所述控件标识符设置为第一控件标识符，所述所述数据采集终端将第一控件标识符和目标控件的所有控件数据发送至服务器的步骤包括：

当数据采集终端接收到服务器发送的第一过滤规则时，获取第一过滤规则中的第二控件标识符，所述第二控件标识符为待过滤控件的控件标识符；

当数据采集终端检测到与第二控件标识符相匹配的第一控件标识符时，将第一控件标识符和第一控件标识符对应的目标控件的所有控件数据过滤掉，以获得新的第一控件标识符和新的目标控件；

数据采集终端将新的第一控件标识符和新的目标控件的所有控件数据发送至服务器。

优选地所述所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器的步骤包括：

数据采集终端对控件标识符和目标控件的所有控件数据进行对称性算法加密，获得加密数据；

数据采集终端将加密数据发送至服务器。

本发明还提供一种数据采集程序，以实现以下步骤：

服务器获取数据采集终端发送的控件标识符和控件数据；

服务器基于预设的第二过滤规则对控件标识符和控件数据进行过滤，以获得目标控件数据；

服务器对目标控件数据进行统计分析，以获得行为特征分析报告。

优选地，所述服务器获取数据采集终端发送的控件标识符和控件数据的步骤之前还包括：

服务器向数据采集终端发送预设的第一过滤规则，以供数据采集终端对已获取的第一控件标识符和控件数据进行过滤。

优选地，所述服务器对目标控件数据进行统计分析，以获得行为特征分析报告的步骤之后还包括：

服务器基于行为特征分析报告进行数据分析，以获取控件采集规则；

服务器将控件采集规则发送至数据采集终端，以供数据采集终端进行针对性地数据采集。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：

当数据采集终端检测到预设采集位置上存在数据交互时，确定所述预设采集位置上的目标控件；

所述数据采集终端采集目标控件的所有控件数据，并获取所述目标控件的控件标识符；

所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器，以供服务器进行统计分析。

本发明的技术方案中，首先当数据采集终端检测到预设采集位置上存在数据交互时，确定所述预设采集位置上的目标控件；然后所述数据采集终端采集目标控件的所有控件数据，并获取所述目标控件的控件标识符；最后所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器，以供服务器进行统计分析。本发明通过数据采集终端采集全量数据，再由服务器进行数据过滤拦截，从而获取到真实有效的数据信息，从而避开埋点数据采集埋点工程开发时间长和工作量冗余导致数据采集效率低下的现象，进而无需进行繁琐的埋点技术开发，缩短数据采集周期，提高数据采集效率。

附图说明

图1为本发明无埋点数据采集方法第一实施例的流程示意图；

图2为本发明无埋点数据采集方法第二实施例中所述所述数据采集终端将第一控件标识符和目标控件的所有控件数据发送至服务器的步骤的细化流程示意图；

图3为本发明无埋点数据采集方法第三实施例中所述获取所述目标控件的控件标识符的步骤的细化流程示意图；

图4为本发明无埋点数据采集方法第四实施例中所述所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器的步骤的细化流程示意图；

图5为本发明无埋点数据采集方法第五实施例中所述数据采集终端将加密数据发送至服务器的步骤的细化流程示意图；

图6为本发明无埋点数据采集方法第六实施例的流程示意图；

图7为本发明无埋点数据采集方法第七实施例的流程示意图；

图8为本发明无埋点数据采集方法第八实施例的流程示意图；

图9为本发明数据采集***一***实物示意图；

图10为本发明实施例方法涉及的硬件运行环境的设备结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种无埋点数据采集方法，在无埋点数据采集方法第一实施例中，参照图1，所述无埋点数据采集方法包括：

步骤S10，当数据采集终端检测到预设采集位置上存在数据交互时，确定所述预设采集位置上的目标控件；

数据采集终端主要用于采集用户的行为特征数据，以作为用户行为特征分析的参考数据源。数据采集终端所采集的数据为终端中的数据，例如用户经常使用的APP应用软件，或者用户在电商APP中购买频率最大的商品内容属性等等。所述预设采集位置指的是用户事先设置的所要采集的控件的位置。所述无埋点数据采集，并非无需进行代码程序的设计，而是根据控件的属性进行针对性采集。控件于用户直接进行数据交互，用户需要在终端上进行操作，通常，一个公测版的应用或程序的控件位置不会出现太大的变动，在单独的显示页面中，控件数据产生交互所在的人机交互位置是可知的，而开发人员可将该位置上部署为预设采集位置，从而直接采集该位置上的所有数据。只要该预设采集位置上有控件存在，其所产生的数据交互信息都将被采集到。由于本发明所获取的数据用于分析用户行为，因此数据采集终端采集的数据是基于用户的操作而产生或变化的数据。同时，由于终端与用户进行交互时所产生或变化的数据是基于控件控制的，因此本实施例只需实时监控终端中控件的数据变化即可定位到具体的控件。

所述控件是对数据和方法的封装。控件拥有属性和方法，属性是控件数据的简单访问者，而方法是控件实现功能的依据。因此，控件能够控制用户与终端的交互数据，一旦数据发生变化，即证明用户与终端正在执行交互操作，此时，数据采集终端将直接检测预设采集位置上的所有控件，并确定到具体发生数据交互的目标控件上。

步骤S20，所述数据采集终端采集目标控件的所有控件数据，并获取所述目标控件的控件标识符；

埋点技术的数据采集方式只要是通过在应用或网页的程序代码中部署各种针对特定控件的检测点(即检测代码)，实时收集该控件上的所有数据动态变化，在实现原理上，需要先根据检测点查询到该检测点所对应要采集数据的控件，再基于检测点中的获取方法获取到该控件内特定的控件数据。相比埋点技术，无埋点数据采集技术通过预先在应用或网页上的待采集数据的控件位置上部署针对该控件的数据采集代码。即无埋点数据采集技术直接定位到目标控件上，并采集该目标控件上的所有数据，而不针对特定控件数据进行采集。采集全量数据，可节省大量针对性数据采集的开发工作量。

确定到目标控件之后，数据采集终端便可直接采集获取当前目标控件的所有控件数据。由于本发明是无埋点技术数据采集方法，因此数据采集终端的采集对象是终端中预设采集位置上的任一控件，即数据采集终端采集了预设采集位置上的全量数据。所述目标控件中的控件数据可以是表单信息，可以是操作指令，也可以是自定义数据等等，根据控件具体所实现和控制的功能所固定的数据格式而定。该目标控件即为数据采集终端所检测到的发生数据变化的控件数据所依托的载体单元。

所述控件标识符指的是控件的ID信息，控件是控件数据的载体容器，为确保正确识别控件数据的来源，通常地，控件数据的载体容器设置有对应的控件标识符(如控件编号)，能够唯一映射到具体的控件，从而方便数据采集装置获取到控件的控件标识符。

由于控件标识符是控件的唯一标识特征，因此数据收集终端可根据控件标识符定位到具体的控件。控件标识符可作为后续数据采集终端和服务器识别控制筛选可用控件的重要参考依据。数据采集终端可以实时检测到终端中是否发生数据变化，但无法直接检测到发生了哪些变化，而这些数据交互变化是否属于有效信息，可根据分析进行确定。假设属于无效数据，则在该控件下的所有控件数据皆为无用，而该控件下的所有的控件数据可通过控件标识符来区分。

控件标识符与控件数据之间存在有对应的映射关系，由于控件标识符代表着一个控件对象，而控件数据依托于控件对象而存在，也就是说，不同的控件标识符对应着不同的控件数据。通过控件标识符，数据采集终端可以定位到具体的控件对象，并且跟根据不同的控件对象对其承载的控件数据进行数据处理。

步骤S30，所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器，以供服务器进行统计分析。

控件数据的采集是为了分析用户的行为特征，通常地，数据采集终端受限于硬件配置或功能限制，不便于进行数据统计分析。本实施例中提供一种与数据采集终端相对应的后台服务器，数据采集终端只需将控件数据以及对应的控件标识符发送至服务器，由服务器进行数据统计分析即可。参照图9，所述图9为本发明一***示意图，假设数据采集数据采集终端为移动终端，移动终端通过实时检测并获取到的控件数据，通过数据传输通道发送到对应的服务器中。所述数据传输通道可以是蓝牙通道、无线WiFi通道、数据网络通道等等。

具体地，在完整的无埋点数据采集过程中，数据采集终端采集了所有发生数据变化的控件数据，不需要以繁琐的埋点数据采集技术针对特定控件进行单一数据采集，并且针对全量数据的数据采集方式，无需通过复杂的开发流程，同时，也保证了所采集的控件数据没有错漏，更全面的数据集合形式形成了全方位的数据储备，无需后续新功能需求的重新采集。

本发明的技术方案中，首先当数据采集终端检测到预设采集位置上存在数据交互时，确定所述预设采集位置上的目标控件；然后所述数据采集终端采集目标控件的所有控件数据，并获取所述目标控件的控件标识符；最后所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器，以供服务器进行统计分析。本发明通过数据采集终端采集全量数据，再由服务器进行数据过滤拦截，从而获取到真实有效的数据信息，从而避开埋点数据采集埋点工程开发时间长和工作量冗余导致数据采集效率低下的现象，进而无需进行繁琐的埋点技术开发，缩短数据采集周期，提高数据采集效率。

进一步地，在本发明无埋点数据采集方法第一实施例的基础上，提出无埋点数据采集方法第二实施例，参照图2，所述第二实施例与第一实施例之间的区别在于，所述所述数据采集终端采集目标控件的所有控件数据的步骤包括：

步骤S21，数据采集终端采集目标控件的所有控件数据；

步骤S22，数据采集终端识别控件数据的数据类型；

数据采集终端所采集到的控件数据可能是不同类型的数据，为了方便服务器更好地应用数据采集终端采集到的数据，本实施例在采集到目标控件的所有控件数据时，可分析识别控件数据的数据类型。例如，将控件数据分为界面数据、用户数据和统计数据等等，具体可根据实际情况进行分类。可以理解的是，控件数据的数据类型一般是数据采集终端预设定义的，也可以是通过用户设置而成的。

步骤S23，数据采集终端基于数据类型对控件数据进行数据分类，以获得规范化的控件数据。

进一步地，通过识别控件数据的数据类型，将控件数据以数据类型为基准进行数据分类。数据分类可通过将具备相同属性的控件数据进行归纳划分，如将属于界面数据的类型(比如用户操作所在的显示界面，操作所在网页)进行统计，从而将归属于界面数据的控件数据进行集中分类，避免了控件数据的混乱，便于管理和调用，从而获取到规范化的控件数据，以供服务器调用或统计分析。

进一步地，在本发明无埋点数据采集方法第一实施例的基础上，提出无埋点数据采集方法第三实施例，参照图3，所述第三实施例与第一实施例之间的区别在于，所述获取所述目标控件的控件标识符的步骤包括：

步骤S24，数据采集终端获取服务器发送的控件采集规则，所述控件采集规则包括控件白名单；

数据采集终端在获取控件标识符之前，可先接收获取服务器发送的控件采集规则。所述控件采集规则指的是允许数据采集终端采集哪些特定控件，也就是说，控件采集规则将数据采集终端所采集的控件数据进行了划分，确定哪些控件数据需要采集，从而提高数据采集效率。因此，控件采集规则中包含有控件白名单，规定了数据采集终端需要采集哪些控件的控件数据。

需要说明的是，控件采集规则直接规定了数据采集终端采集特定控件的控件数据，而被采集的控件数据为所需要的精确数据，可直接作为参考数据源，而不再需要采集全量数据后再进行分析筛选，省略了对无效控件数据的采集，直接定位到所需采集数据的源头控件，从而提高数据采集效率和数据采集质量。

并且，控件采集规则可通过服务器先统计分析出来，并发送至数据采集终端，在下一个数据采集周期中发挥控件采集规则的作用。

步骤S25，数据采集终端基于控件白名单确定待采集控件，并获取待采集控件的控件标识符。

数据采集终端根据控件白名单中规定的所需采集的控件数据，确定控制并承载控件数据的待采集控件，并获取待采集控件的控件标识符。所述待采集控件即为数据采集终端所要采集控件数据的控件对象，由于该待采集控件自带有控件标识符，因此，数据采集终端可直接获取待采集控件的控件标识符。

进一步地，在本发明无埋点数据采集方法第一实施例的基础上，提出无埋点数据采集方法第四实施例，参照图4，所述第四实施例与第一实施例之间的区别在于，将所述控件标识符设置为第一控件标识符，所述所述数据采集终端将第一控件标识符和目标控件的所有控件数据发送至服务器的步骤包括：

步骤S31，当数据采集终端接收到服务器发送的第一过滤规则时，获取第一过滤规则中的第二控件标识符，所述第二控件标识符为待过滤控件的控件标识符；

数据采集终端与服务器处于实时连接状态，为采集到精确的用户行为特征数据，数据采集终端会接收到服务器发送的第一过滤规则。数据采集终端会采集终端中控件的全量数据，而所述第一过滤规则指的是指定数据采集终端对部分本端无意义的控件以及控件数据进行过滤。

本实施例中将数据采集终端中的控件标识符设置为第一控件标识符。当数据采集终端接收到服务器发送的第一过滤规则时，获取第一过滤规则中的第二控件标识符。所述第二控件标识符指的是第一过滤规则中指定的控件标识符。

步骤S32，当数据采集终端检测到与第二控件标识符相匹配的第一控件标识符时，将第一控件标识符和第一控件标识符对应的目标控件的所有控件数据过滤掉，以获得新的第一控件标识符和新的目标控件；

步骤S33，数据采集终端将新的第一控件标识符和新的目标控件的所有控件数据发送至服务器。

获取到第二控件标识符之后，数据采集终端将基于第二控件标识符和第一过滤规则对第一控件标识符和控件数据进行过滤，实质上是对数据采集终端中已采集到的第一控件标识符和控件数据的选择性拦截，将无效或无用的控件数据拦截在本地，而不作为发送数据发送到服务器端。

例如，假设数据采集终端检测到时钟控件的数据发生了变化，获取并采集到时钟控件的第一空间标识符和控件数据，而本次用户行为特征的采集数据中对时钟控件的控件数据没有任何需求，即服务器发送的第一过滤规则中无需用到时钟控件的控件数据。因此数据采集终端可根据第一过滤规则中时钟控件的第二控件标识符和第一过滤规则本身对第一控件标识符和控件数据进行过滤，并获取到过滤后新的第一控件标识符和新的控件数据，且该新的第一空间标识符和新的控件数据中不包含时钟控件的任何数据信息。其中，所述第一过滤规则除了提供第二控件标识符，还可以识别控件数据中属于第二控件标识符的数据，以供数据采集终端进行过滤。

获取到新的第一控件标识符和新的控件数据后，数据采集装置将其发送至服务器，以供服务器调用分析。

进一步地，在现实场景中，数据在传输过程中经常会出现传输通道异常断开的现象，假设数据采集终端将加密数据发送至服务器的过程中出现传输通道断开的状况，则此时加密数据尚未完全传输出去，而传输过程的中断将导致已传输的加密数据由于不完整而成为无效数据，从而造成加密数据发送传输失败的结果。

本实施例中，数据采集终端通过预设规则对加密数据进行数据拆分。所述预设规则指的是对加密数据的拆分规则，可通过检测获取到加密数据的总字节长度，根据总字节长度将加密数据均分为等体积的数据单元，以后的待发送数据单元。每一个数据单元都是一个细小的数据包，即将加密数据划分为多个细小的待发送数据单元，以多个待发送数据单元代替完整的加密数据。

获取到加密数据拆分的各个待发送数据单元之后，数据采集终端通过数据传输通道将所有待发送数据单元发送至服务器。由于本实施例不是将加密数据以单独的完整数据包发送出去，而是通过多个小数据包形式的待发送数据单元进行数据发送，因此，数据采集终端可采用断点续传的方式发送。断点续传指的是将传输内容分为多个数据单元传输，当传输连接后又重连时，可从最后一个完整的数据单元之后继续传输后续的数据单元。

例如，数据采集终端所传输的待发送数据单元为A、B、C三个，而数据采集终端按照A、B、C的顺序依次将待发送数据单元发送至服务器。假设数据采集终端将数据单元A和B完整发送至服务器，而在发送数据单元C的过程中，数据采集终端与服务器之间的传输连接通道突然断开，则数据单元C的发送被中断。由于本实施例采用断点续传机制，因此当数据采集装置和服务器恢复传输连接通道时，数据采集装置通过检测待发送数据单元A、B、C的发送状态获取到待发送数据单元A、B已经完整发送到服务器，而待发送数据单元C未完整发送，那么数据采集终端将不会重新从待发送数据单元A开始发送，而是直接从待发送数据单元C处发送，从而无需将已发送过的待发送数据单元A和B重新再发送一遍，但依旧可以将加密数据完整地传输到服务器中，并且提高传输发送效率。

进一步地，在本发明无埋点数据采集方法第一实施例的基础上，提出无埋点数据采集方法第五实施例，参照图5，所述第五实施例与第一实施例之间的区别在于，所述所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器的步骤包括：

步骤S34，数据采集终端对控件标识符和目标控件的所有控件数据进行对称性算法加密，获得加密数据；

在本实施例中，为保障控件标识符和控件数据在发送至服务器的传输过程中不被外部恶意窃取、篡改或伪造，数据采集装置将对控件标识符和控件数据进行算法加密，以获得加密数据。本实施例中所采用的加密算法为对称性算法，所述对称性算法指的是加密和解密使用相同密钥的加密算法，例如DES算法、AES算法和RC5算法等多种算法。通过对称性算法对控件标识符和控件数据进行加密，可将要发送的数据转化为加密数据，由于对称性算法需要使用相同密钥对数据进行加密和解密，因此加密数据在传输过程中即使被窃取，窃取者也无法获取到加密数据的真实内容，从而保障了加密数据的安全，避免了加密数据信息的泄露，提高传输安全效率。

步骤S35，数据采集终端将加密数据发送至服务器。

经过数据采集终端加密过后的加密数据，可直接发送至服务器。由于服务器与数据采集装置保持连接状态，因此在数据采集终端对控件标识符和控件数据进行算法加密后，服务器能够获取到加密数据的密钥，从而在服务器端对加密数据进行对称性算法解密，进而获取加密数据的真实数据内容。

本发明提供一种无埋点数据采集方法，在无埋点数据采集方法第六实施例中，参照图6，所述无埋点数据采集方法包括：

步骤S40，服务器获取数据采集终端发送的控件标识符和控件数据；

服务器作为数据处理中心，其硬件配置以及功能模块的设置更容易扩展，因此服务器主要用于对数据采集终端所采集到的数据进行分析处理。由于服务器与数据采集终端实时连接，因此服务器能够实时检测到数据采集终端发送过来的数据。所以，当数据采集终端向服务器发送数据信息时，服务器将接收获取到数据采集终端传输发送的控件标识符和控件数据。

步骤S50，服务器基于预设的第二过滤规则对控件标识符和控件数据进行过滤，以获得目标控件数据；

在服务器中预设有第二过滤规则，所述第二过滤规则指的是服务器端对所接收到的控件标识符和控件数据进行数据过滤的过滤规律。

当第二过滤规则中指明对某个控件标识符进行过滤时，即证明第二过滤规则过滤的是该控件标识符对应的控件对象的所有控件信息，由于控件数据都具有固定的控件对象，所以对控件标识符的过滤也是对控件标识符所对应的控件所承载的所有控件数据的过滤。

服务器所接收到的控件标识符和控件数据中，存在有部分无效或者无用的数据信息。因此，可通过服务器对这部分数据信息进行过滤拦截，防止无用数据对服务器分析有用数据的干扰。例如，若第二过滤规则规定对控件标识符所指代的控件A或控件A的(部分或所有)控件数据进行拦截，则证明控件A对用户行为特征数据分析毫无用处，或者控件A的控件数据可能对控件B的控件数据产生耦合作用，影响分析结果，而控件B的控件数据对用户行为特征分析具有重大参考价值等等。此时，服务器将基于第二过滤规则对控件标识符所指代的控件A和控件A的控件数据进行过滤筛选，以将控件A的控件数据拦截下来。而通过过滤筛选之后剩余的控件数据，即为目标控件数据。

步骤S60，服务器对目标控件数据进行统计分析，以获得行为特征分析报告。

目标控件数据作为用户行为特征的重要分析数据，在被服务器筛选处理之后，服务器将对其进行统计分析。一般而言，用户行为特征的数据分析可通过数据模型的计算得来。数据模型的建立，能够更加直观地映射不同的目标控件数据在用户行为特征的变化趋势。通过对数据模型的统计分析，即可建立起用户行为特征的大致模型，当然，有价值的目标控件数据样本越多，越能够获得精准的数据模型。

数据模型中很明显，不同控件的目标控件数据都对应着数据模型上的权重系数，且不同的目标控件数据彼此之间可能存在着关联关系，相互影响或被影响，可能是前因，可能是后因。对目标控件数据赋予相对应的权重系数，并通过对权重系数之间的分析计算，即可获得行为特征分析报告。

当然，以上所述的通过建模获取行为特征分析报告的方式作为本实施例一实施方法，仅作为参考，本实施例统计分析目标控件数据获得行为特征分析报告的方式并不局限于以上所述。

进一步地，在本发明无埋点数据采集方法第六实施例的基础上，提出无埋点数据采集方法第七实施例，参照图7，所述第七实施例与第六实施例之间的区别在于，所述服务器获取数据采集终端发送的控件标识符和控件数据的步骤之前还包括：

步骤S70服务器向数据采集终端发送预设的第一过滤规则，以供数据采集终端对已获取的第一控件标识符和控件数据进行过滤。

所述第一过滤规则是服务器端预设的数据采集过滤规则，由于本发明属于无埋点数据采集领域，因此采集到的全量数据中包含有大量的无效无用数据。为避免数据采集终端将大量无效无用数据发送至服务器，既浪费大量的传输资源，又干扰服务器对控件数据的统计分析。第一因此，服务器将预设的第一过滤规则发送至数据采集终端，由数据采集终端基于第一过滤规则对部分控件或部分控件的控件数据进行初步过滤，以筛选淘汰掉无用的数据信息。

进一步地，在本发明无埋点数据采集方法第六实施例的基础上，提出无埋点数据采集方法第八实施例，参照图8，所述第八实施例与第六实施例之间的区别在于，所述服务器对目标控件数据进行统计分析，以获得行为特征分析报告的步骤之后还包括：

步骤S80，服务器基于行为特征分析报告进行数据分析，以获取控件采集规则；

服务器所获取的行为特征分析报告，可作为服务器优化数据采集策略的参考内容，通过服务器对行为特征分析报告的进一步分析，可总结获取出用户行为特征分析的变化趋势。由于用户的行为特征的变化趋势丰富，因此需要从多维度角度进行数据分析。例如，用户对应用A的启动频率非常高，而在数据采集终端中所采集到的控件数据中包括了与应用A属于同一开发者的应用B。假设应用B的控件数据在前期的筛选过滤步骤中被拦截过滤掉，那么服务器需要修正这种拦截过滤机制，以进一步分析用户对于同一开发者的不同应用的行为特征，例如分析应用B的行为特征数据，从而获得更为精准的行为特征分析报告。

服务器基于行为特征分析报告的数据分析，将优化服务器对数据采集策略的设计思路，而这种优化机制需要通过采集更多的控件数据来实现，因此服务器对行为特征分析报告进行数据分析，将获得控件采集规则。该控件采集规则针对数据采集终端进行数据采集的方式进行优化改进，以获得更先进的数据采集机制。

步骤S90，服务器将控件采集规则发送至数据采集终端，以供数据采集终端进行针对性地数据采集。

分析获取到控件采集规则之后，由于数据采集的步骤由数据采集终端实现，因此服务器将发送控件采集规则值数据采集终端，由数据采集终端作为控件采集规则的执行者，基于控件采集规则进行针对性的数据采集。

需要说明的是，在不同的数据采集周期内，如上一个数据采集和统计分析周期内所获得的控件采集规则，可发送到数据采集终端，应用在本次数据采集和统计分析周期的步骤当中。

参照图10，图10是本发明实施例方法涉及的硬件运行环境的设备结构示意图。

本发明实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、便携计算机等终端设备。

如图10所示，该数据采集***可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，该数据采集***还可以包括用户接口、网络接口、摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

本领域技术人员可以理解，图10中示出的数据采集***结构并不构成对数据采集***的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块以及数据采集程序。操作***是管理和控制数据采集***硬件和软件资源的程序，支持数据采集程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与数据采集***中其它硬件和软件之间通信。

在图10所示的数据采集***中，处理器1001用于执行存储器1005中存储的数据采集程序，所述数据采集***包括数据采集终端和服务器，所述数据采集终端用于：

当数据采集终端检测到预设采集位置上存在数据交互时，确定所述预设采集位置上的目标控件；

所述数据采集终端采集目标控件的所有控件数据，并获取所述目标控件的控件标识符；

所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器，以供服务器进行统计分析。

优选地，所述所述数据采集终端采集目标控件的所有控件数据的步骤包括：

数据采集终端采集目标控件的所有控件数据；

数据采集终端识别控件数据的数据类型；

数据采集终端基于数据类型对控件数据进行数据分类，以获得规范化的控件数据。

优选地，所述获取所述目标控件的控件标识符的步骤包括：

数据采集终端获取服务器发送的控件采集规则，所述控件采集规则包括控件白名单；

数据采集终端基于控件白名单确定待采集控件，并获取待采集控件的控件标识符。

优选地，将所述控件标识符设置为第一控件标识符，所述所述数据采集终端将第一控件标识符和目标控件的所有控件数据发送至服务器的步骤包括：

当数据采集终端接收到服务器发送的第一过滤规则时，获取第一过滤规则中的第二控件标识符，所述第二控件标识符为待过滤控件的控件标识符；

当数据采集终端检测到与第二控件标识符相匹配的第一控件标识符时，将第一控件标识符和第一控件标识符对应的目标控件的所有控件数据过滤掉，以获得新的第一控件标识符和新的目标控件；

数据采集终端将新的第一控件标识符和新的目标控件的所有控件数据发送至服务器。

优选地所述所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器的步骤包括：

数据采集终端对控件标识符和目标控件的所有控件数据进行对称性算法加密，获得加密数据；

数据采集终端将加密数据发送至服务器。

本发明所述数据采集***中的服务器，所述服务器用于：

服务器获取数据采集终端发送的控件标识符和控件数据；

服务器基于预设的第二过滤规则对控件标识符和控件数据进行过滤，以获得目标控件数据；

服务器对目标控件数据进行统计分析，以获得行为特征分析报告。

进一步地，所述服务器获取数据采集终端发送的控件标识符和控件数据的步骤之前还包括：

服务器向数据采集终端发送预设的第一过滤规则，以供数据采集终端对已获取的第一控件标识符和控件数据进行过滤。

进一步地，所述服务器对目标控件数据进行统计分析，以获得行为特征分析报告的步骤之后还包括：

服务器基于行为特征分析报告进行数据分析，以获取控件采集规则；

服务器将控件采集规则发送至数据采集终端，以供数据采集终端进行针对性地数据采集。

本发明数据采集***的具体实施方式与上述无埋点数据采集方法各实施例基本相同，在此不再赘述。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于：

当数据采集终端检测到预设采集位置上存在数据交互时，确定所述预设采集位置上的目标控件；

所述数据采集终端采集目标控件的所有控件数据，并获取所述目标控件的控件标识符；

所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器，以供服务器进行统计分析。

本发明计算机可读存储介质具体实施方式与上述无埋点数据采集方法和数据采集***各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种无埋点数据采集方法，其特征在于，所述无埋点数据采集方法包括：

当数据采集终端检测到预设采集位置上存在数据交互时，确定所述预设采集位置上的目标控件；

所述数据采集终端采集目标控件的所有控件数据，并接收服务器发送的控件采集规则，基于控件采集规则包含的控件白名单确定待采集控件，并获取待采集控件的控件标识符，其中，所述控件采集规则规定了数据采集终端采集控件的控件数据；

所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器，以供服务器进行统计分析；

所述数据采集终端采集目标控件的所有控件数据的步骤包括：

数据采集终端采集目标控件的所有控件数据；

数据采集终端识别控件数据的数据类型；

数据采集终端基于数据类型对控件数据进行数据分类，以获得规范化的控件数据。

2.如权利要求1所述的无埋点数据采集方法，其特征在于，将所述控件标识符设置为第一控件标识符，所述所述数据采集终端将第一控件标识符和目标控件的所有控件数据发送至服务器的步骤包括：

当数据采集终端接收到服务器发送的第一过滤规则时，获取第一过滤规则中的第二控件标识符，所述第二控件标识符为待过滤控件的控件标识符；

当数据采集终端检测到与第二控件标识符相匹配的第一控件标识符时，将第一控件标识符和第一控件标识符对应的目标控件的所有控件数据过滤掉，以获得新的第一控件标识符和新的目标控件；

数据采集终端将新的第一控件标识符和新的目标控件的所有控件数据发送至服务器。

3.如权利要求1所述的无埋点数据采集方法，其特征在于，所述所述数据采集终端将控件标识符和目标控件的所有控件数据发送至服务器的步骤包括：

数据采集终端对控件标识符和目标控件的所有控件数据进行对称性算法加密，获得加密数据；

数据采集终端将加密数据发送至服务器。

4.一种无埋点数据采集方法，其特征在于，所述无埋点数据采集方法包括：

服务器获取数据采集终端发送的控件标识符和控件数据；

服务器基于预设的第二过滤规则对控件标识符和控件数据进行过滤，以获得目标控件数据；

服务器对目标控件数据进行统计分析，以获得行为特征分析报告；

所述服务器获取数据采集终端发送的控件标识符和控件数据的步骤之前还包括：

服务器向数据采集终端发送预设的第一过滤规则，以供数据采集终端对已获取的第一控件标识符和控件数据进行过滤。

5.如权利要求4所述的无埋点数据采集方法，其特征在于，所述服务器对目标控件数据进行统计分析，以获得行为特征分析报告的步骤之后还包括：

服务器基于行为特征分析报告进行数据分析，以获取控件采集规则；

服务器将控件采集规则发送至数据采集终端，以供数据采集终端进行针对性地数据采集。

6.一种数据采集***，其特征在于，所述数据采集***包括：数据采集终端、服务器、存储器、处理器，通信总线以及存储在所述存储器上的数据采集程序，

所述通信总线用于实现处理器与存储器间的通信连接；

所述处理器用于执行所述数据采集程序，以实现如权利要求1至5中任一项所述的无埋点数据采集方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据采集程序，所述数据采集程序被处理器执行时实现如权利要求1至5中任一项所述的无埋点数据采集方法的步骤。

Images