CN109561117B - 数据采集方法及装置 - Google Patents
数据采集方法及装置 Download PDFInfo
- Publication number
- CN109561117B CN109561117B CN201710880787.9A CN201710880787A CN109561117B CN 109561117 B CN109561117 B CN 109561117B CN 201710880787 A CN201710880787 A CN 201710880787A CN 109561117 B CN109561117 B CN 109561117B
- Authority
- CN
- China
- Prior art keywords
- target element
- identification information
- configuration file
- data
- event data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供的一种数据采集方法首先获得用户对所述客户端设备所显示的元素的操作指令;然后确定所述操作指令所操作的目标元素的标识信息是否为所述配置文件中的标识信息,如果是,则获取所述目标元素对应的事件数据;最后将所述事件数据发送至所述服务器。由于本发明中发送的是事件数据,而事件数据相比于全量数据的数据量要小很多,且只发送与配置文件中的标识信息相匹配的目标元素的事件数据,因此,大大降低了数据的传输量,降低了网络负担。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种数据采集方法及装置。
背景技术
随着互联网的不断发展和智能终端的普及,各大电商和互联网企业都拥有了自己的APP客户端,如京东、淘宝等。
用户对APP客户端中的元素(如按钮、图片或文字等)进行点击、选取等操作时,所产生的数据为用户行为数据。对用户行为数据进行数据分析对企业来说十分重要,可以为日后的市场决策提供依据,而数据分析的前提就是要采集用户行为数据。
现有技术中,对用户行为数据进行采集的方式通常是无埋点采集数据的方式,无埋点采集数据是指服务器对用户在APP客户端中的任意一个元素进行操作时所产生的全量数据进行采集,其中,全量数据包含了元素本身的属性数据以及该元素在***作时的上下文数据。
可以看出,现有的无埋点采集数据的方式需要采集用户操作的全量数据,如果将现有技术采集的全量数据传输出去(如传输到数据分析设备),需要消耗较多的数据流量。
当然,除对APP客户端操作产生的全量数据存在上述问题外,对其他界面,如网页操作产生的全量数据也可能存在相同问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种用户行为数据采集方法及装置,用于降低传输数据的流量,降低网络负担。
为实现上述目的,本发明提供如下技术方案:
本发明提供了一种数据采集方法,应用于客户端设备,所述方法包括:
获得用户对所述客户端设备所显示的元素的操作指令;
确定所述操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息,如果是,则获取所述目标元素对应的事件数据;
将所述事件数据发送至所述服务器。
可选的,还包括:
如果所述目标元素的标识信息不是所述配置文件中元素的标识信息,则确定所述目标元素的上下文信息;所述上下文信息用于表征所述目标元素所在页面中除所述目标元素的属性信息之外的其它信息;
将所述上下文信息发送至所述服务器。
可选的,确定所述操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息之前,所述方法还包括:
接收用户的设置指令;
根据所述设置指令,展示与所述设置指令相对应的配置界面,所述配置界面中的元素与所述客户端设备所显示的元素相对应;
接收用户对所述配置界面中的元素的配置操作;
根据所述配置操作生成配置文件,所述配置文件中包括所述元素的标识信息;
将所述配置文件存储在所述客户端设备的存储空间中。
可选的,还包括:
将所述配置文件上传到服务器中,以使所述服务器存储该配置文件。
可选的,所述将所述事件数据发送到所述服务器包括:
获取所述客户端设备的连接状态;
判断所述连接是否为wifi连接;
若是,则将所述事件数据发送到所述服务器。
可选的,所述将所述事件数据发送到所述服务器还包括:
获取所述配置文件中的字符替换规则,所述字符替换规则包括长字符串与短字符串的替换关系;
依据所述替换关系,将所述事件数据中符合所述字符替换规则的长字符串替换为短字符串,得到压缩事件数据;
将所述压缩事件数据发送到服务器。
本发明另一方面提供了一种数据采集装置,应用于客户端设备,所述采集装置包括:
指令获取模块,用于获得用户对所述客户端设备所显示的元素的操作指令;
第一执行模块,用于确定所述操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息,如果是,则获取所述目标元素对应的事件数据;
事件数据发送模块,用于将所述事件数据发送至所述服务器。
可选的,还包括:
第二执行模块,用于如果所述目标元素的标识信息不是所述配置文件中元素的标识信息,则确定所述目标元素的上下文信息;所述上下文信息用于表征所述目标元素所在页面中除所述目标元素的属性信息之外的其它信息;
上下文信息发送模块,用于将所述上下文信息发送至所述服务器。
本发明另一方面提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序执行上述所述的数据采集方法。
本发明另一方面提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述所述的数据采集方法。
借由上述技术方案,本发明提供的一种数据采集方法首先获得用户对所述客户端设备所显示的元素的操作指令;然后确定所述操作指令所操作的目标元素的标识信息是否为所述配置文件中的标识信息,如果是,则获取所述目标元素对应的事件数据;最后将所述事件数据发送至所述服务器。由于本发明中发送的是事件数据,而事件数据相比于全量数据的数据量要小很多,且只发送与配置文件中的标识信息相匹配的目标元素的事件数据,因此,大大降低了数据的传输量,降低了网络负担。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例公开的一种数据采集方法的流程示意图;
图2示出了本发明实施例公开的另一种数据采集方法的流程示意图;
图3示出了本发明实施例公开的一种数据采集方法中存储配置文件的流程示意图;
图4示出了本发明实施例公开的一种数据采集装置的结构示意图;
图5示出了本发明实施例公开的一种数据采集装置的硬件结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例公开了一种数据采集方法,可以应用在客户端设备中,其中,客户端设备可以是APP客户端,也可以是网页端的客户端,本申请优选的是在APP客户端中。
客户端设备与服务器相连,服务器可以是数据服务器,也可以是数据分析服务器,用来对采集的数据进行数据分析等处理,本发明不进行具体限定,在此不进行赘述。
其中,客户端设备中存储有配置文件,配置文件中包括有目标元素的标识信息。本发明实施例中,客户端设备的存储空间如硬盘中存储有配置文件,该配置文件的作用是为了给数据采集提供采集基础和采集依据,其包含的标识信息是一个唯一的标识信息,用于区分各个元素。具体关于配置文件的建立方式在后面进行详细介绍。
参见图1,图1示出了本发明实施例公开的一种数据采集方法的流程示意图。
本发明所提供的一种数据采集方法可以包括:
S100、获得用户对客户端设备所显示的元素的操作指令;
本发明实施例中,客户端设备中可显示多个元素,如图片、按钮以及文字等,用户对所显示的元素执行操作,如点选、单击、双击等操作,客户端设备会接收该操作对应的操作指令。
以APP客户端为例,当企业通过该客户端发布了新的活动时,该活动具体形式为在APP客户端中所显示的一个页面。在该页面中包括有多个按钮、图片等元素,用户根据自己的需求,对某目标元素进行操作,例如点击支付按钮,此时,会生成一个与点击操作对应的操作指令。客户端设备获得该操作指令。
S101、确定操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息,如果是,则获取目标元素对应的事件数据;
本发明实施例中,需要确定用户所操作的目标元素是否是需要采集用户行为数据的元素,因此,确定操作指令所操作的目标元素的标识信息是否为配置文件中的标识信息。
具体的,获取目标元素的标识信息,判断所述目标元素的标识信息是否与所述配置文件中的标识信息相匹配,如果是,则确定该目标元素为需要采集用户行为数据的元素,则获取该目标元素对应的事件数据。
需要说明的是,目标元素的标识信息的获取方法与配置文件中标识信息的生成方法相一致,只要可以使用相同的算法或方式获取标识信息即可。具体过程在后面进行详细介绍。
实际使用中,标识信息具体可以是目标元素的文本信息、目标元素所在页面的页面信息以及目标元素的上下文信息等。
其中,获取事件数据的方式可以包括:
获取所述操作指令中的操作事件;其中所述操作事件可以包括点击、双击、选取、右键单击、右键双击等任意一种操作。
根据所述操作指令中的操作事件查找所述目标元素的源代码,得到所述目标元素的事件数据。例如所述事件数据为跳转数据,URL:\\abc.htm。该URL即为该操作指令所对应的目标元素的事件数据。
可以理解的是,上述方式仅是获取事件数据的一种方式,只要可以获取目标元素所对应的事件数据即可,在此不进行赘述。
可以理解的是,事件数据其还可以包括回调数据、手势数据等,其中手势数据例如双指缩放、滑动等具体内容。
需要说明的是,本发明实施例中,如果确定操作指令所操作的目标元素的标识信息不为配置文件中的标识信息,则可以不获取任何数据,不执行与采集数据相关的任何操作;当然,也可以如现有技术中类似的发送全量数据到服务器。
S102、将事件数据发送至服务器。
最后,将事件数据发送到服务器,使得服务器可以对该事件数据进行保存或分析。而事件数据相比于全量数据,数据量要小很多,并且,该事件数据就是直观的反映出用户的具体行为,不是如全量数据此种纯数据,还需要进行算法分析才能够反映出用户所执行的具体操作,可以更直观的就看出用户的具体行为而不用进一步的分析,提高了分析数据的工作效率。
可以理解的是,本发明的数据采集方法在步骤100之前,还可以包括:
获取所述配置文件的配置信息,依据所述配置信息判断是否启动步骤S100,如果否,则获得用户对客户端设备所显示的元素的操作指令后,发送全量数据到服务器。
可以看出,本发明提供的一种数据采集方法首先获得用户对所述客户端设备所显示的元素的操作指令;然后确定所述操作指令所操作的目标元素的标识信息是否为所述配置文件中的标识信息,如果是,则获取所述目标元素对应的事件数据;最后将所述事件数据发送至所述服务器。由于本发明中发送的是事件数据,而事件数据相比于全量数据的数据量要小很多,且只发送与配置文件中的标识信息相匹配的目标元素的事件数据,因此,大大降低了数据的传输量,降低了网络负担。
在上述实施例的基础上,本发明另一方面提供了另一种数据采集方法。
参见图2,图2示出了本发明实施例公开的另一种数据采集方法的流程示意图。
数据采集方法包括:
S201、获得用户对客户端设备所显示的元素的操作指令;
S202、确定操作指令所操作的目标元素的标识信息是否为配置文件中的标识信息;
S203、如果是,则获取目标元素对应的事件数据,将事件数据发送至服务器。
其中,步骤S201-S203可以参考前述实施例中的S101-S103,在此不进行赘述。
S204、如果所述目标元素的标识信息不是所述配置文件中元素的标识信息,则确定目标元素的上下文信息;上下文信息用于表征目标元素所在页面中除目标元素的属性信息之外的其它信息;将上下文信息发送至服务器。
本发明实施例中,如果确定操作指令所操作的目标元素的标识信息不为配置文件中的标识信息,则会确定目标元素的上下文信息,其中上下文件信息为目标元素所在页面的其它内容信息。例如,一个“购买”按钮元素,其所在页的其他内容信息为上下文,如其所在页面的商品名称、价格、评论等。
其中上下文信息的具体获取方法包括对当前页面所有元素进行遍历,获取所有元素的文本、名称、标签、唯一标识等信息。
在获取上下文信息后,将该上下文信息发送至服务器,使得服务器进行保存。获取上下文信息的作用是可以通过上下文信息得到唯一标识,后期若在配置文件中对该唯一标识进行了配置,则可通过历史上下文信息来回溯历史事件数据。
需要说明的是,在服务器能够以特定时间为触发,将预先保存的全量数据进行数据转换,将全量数据转换为事件数据。该预先保存的全量数据为预设时间段内所保存的全量数据。可以理解的是,全量数据转换成事件数据为现有技术中的成熟技术,在此不进行赘述。其中,特定时间可以包括当服务器接收到上下文件信息时,则对预先保存的全量数据转换为事件数据。
可以看出,本发明实施例中,当配置文件中并未包括操作指令所对应的元素的标识信息时,会采集上下文信息发送到服务器中,更有利于后续数据分析。
图3示出了本发明实施例公开的一种数据采集方法中存储配置文件的流程示意图。
上述实施例中介绍了客户端设备中存储有配置文件,下面对存储配置文件的过程进行具体介绍。
配置文件的存储过程包括:
S300、接收用户的设置指令;
S301、根据设置指令,展示与设置指令相对应的配置界面,配置界面中的元素与客户端设备所显示的元素相对应;
本发明实施例中,可以在前端对配置文件进行设置,接收用户的设置指令。其中,设置指令可以是特定的手势轨迹所对应的指令,也可以是用户点击某按钮时所发出的设置指令,亦或是通过该APP的扫描功能扫描特定的二维码所生成的设置指令,只要可以接收到用户的设置指令即可,不进行具体限定。
可以理解的是,此处还可以包括对用户的身份验证,如果是普通用户,则不执行步骤S301,进行身份验证的过程属于现有技术的成熟技术,不在此进行赘述。
在接收到该设置指令后,调用配置界面,该配置界面与客户端设备所显示的界面相同,都包括相同的元素,且元素的位置、大小也相同,不同之处在于对该元素进行操作时,所执行的是配置操作。
可以理解的是,配置界面中也可以只显示出可以执行操作的元素,例如对该元素进行点选后,即可完成相应的配置。或者使用列表的方式显示各个元素。
S302、接收用户对配置界面中的元素的配置操作;
S303、根据配置操作生成配置文件;
用户在对配置界面中的元素进行了所需要的配置操作后,会生成配置文件,其中包括进行了配置的配置元素的标识信息。
其中,生成标识信息的方式可以包括,获取元素所在页面的上下文信息,根据所述上下文信息结合生成算法生成所述元素的标识信息。即,标识信息是依据元素所在页面的信息所生成的,各个元素之间的标识信息不同。可以理解的是,还可以设置未设置任何标识信息时的数据采集方式,如采集全量数据。
S304、将配置文件存储在客户端设备的存储空间中。
S305、将配置文件上传到服务中,以使服务器存储该配置文件。
在生成了配置文件之后,会将该配置文件存储在存储空间中,所述存储空间可以是云存储空间,也可以是设备自身的硬件存储空间,不进行具体限定。
还可以将该配置文件上传到服务器中,当其它客户端登录时,会先获取该配置文件,然后在执行之后的流程。可以理解的是,还可以在后端的服务器端中直接对该配置文件进行编写和/或改写。
可以理解的是,当上传到服务器中后,其它客户端设备登录到服务器时,会先判断该配置文件是否与自身所存储的配置文件相一致,如果相一致,则证明已经更新,若否,则下载该配置文件,使得存储的配置文件为最新。可以理解的是,判断是否为最新的过程可以使用多种方式,如,判断配置文件中的版本号或建立日期等,在此不进行具体限定。
可以看出,由于设置了配置文件,可以自由的对需要采集的元素进行设置,提高了灵活性,且可以在前端客户端设备以及后端服务器中进行配置文件的改写,进一步增加了灵活性。
可以选的,将操作事件发送到服务器包括:
获取所述客户端设备的连接状态;
判断所述连接是否为wifi连接;
若是,则将所述操事件数据发送到所述服务器本发明实施例中,如果是在wifi的连接状态,则发送事件数据到服务器,可以理解的是,也可以发送上下文信息到服务器。
如果未在wifi连接状态时,则在将事件数据和/或上下文信息保存在缓存中,同时记录该数据缓存的时间,当在wifi连接后,则发送缓存中的数据以及所记录的时间数据到服务器,使得服务器在接收到数据时可以根据该时间数据还原到正确的时间点。
可以理解的是,页面浏览、电商等与数据采集无关的数据可以正常发送。降低用户在使用如4G时的流量。
进一步的,由于APP以及网页的某些特性,在发生事件的页面,通常都有共性所存在,比如Android***中,页面大多都为Activity结尾,比如MainActivity,QueryActivity、LocationActivity,等,那么可以将Activity这个字符串用其他字符串替代,比如@!+,那么整个数据量可以从8个字节减少到3个字节。再比如,iOS有ViewController、WebViewController等,即可对ViewController字符串进行压缩。
因此,本发明的技术方案中,配置文件中还可以包括有字符替换规则,所述替换规则用于替换事件数据和/或上下文信息中的特定字符,所述方法还可以包括:
根据所述配置文件中的字符替换规则替换所述事件数据和/或所述上下文件信息中符合所述字符替换规则的字符。
需要说明的是,当服务器接收到经过上述处理的事件数据和/或上下文信息时,还会依据所述字符替换规则进行还原。
可以看出,经过上述操作,可以进一步的减小传输数据的流量。
本发明另一方面提供了一种数据采集装置。
参见图4所示,图4是本发明提供的一种数据采集装置的结构示意图。
本发明提供的一种数据采集装置应用于客户端设备,数据采集装置包括:
指令获取模块1,用于获得用户对客户端设备所显示的元素的操作指令;
第一执行模块2,用于确定操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息,如果是,则获取目标元素对应的事件数据;
事件数据发送模块3,用于将事件数据发送至服务器。
可选的,还包括:
第二执行模块4,用于如果目标元素的标识信息不是配置文件中元素的标识信息,则确定目标元素的上下文信息;上下文信息用于表征目标元素所在页面中除目标元素的属性信息之外的其它信息;
上下文信息发送模块5,用于将上下文信息发送至服务器。
本发明提供的一种数据采集装置指令获取模块1获得用户对客户端设备所显示的元素的操作指令;第一执行模块2确定操作指令所操作的目标元素的标识信息是否为配置文件中的标识信息,如果是,则获取目标元素对应的事件数据;事件数据发送模块3事件数据发送至服务器。由于本发明中发送的是事件数据,而事件数据相比于全量数据的数据量要小很多,且只发送与配置文件中的标识信息相匹配的目标元素的事件数据,因此,大大降低了数据的传输量,降低了网络负担。
参见图5,图5是本发明实施例公开的一种数据采集装置的硬件结构示意图。
数据采集装置包括处理器500和存储器600,上述指令获取模块1、第一执行模块2、事件数据发送模块3、第二执行模块4和上下文信息发送模块5等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来降低传输数据的流量,降低网络负担。。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现数据采集方法。
本发明实施例提供了一种处理器,处理器用于运行程序,其中,程序运行时执行数据采集方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:获得用户对客户端设备所显示的元素的操作指令;
确定操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息,如果是,则获取目标元素对应的事件数据;
将事件数据发送至服务器。
可选的,还包括:
如果目标元素的标识信息不是配置文件中元素的标识信息,则确定目标元素的上下文信息;上下文信息用于表征目标元素所在页面中除目标元素的属性信息之外的其它信息;
将上下文信息发送至服务器。
可选的,确定操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息之前,方法还包括:
接收用户的设置指令;
根据设置指令,展示与设置指令相对应的配置界面,配置界面中的元素与客户端设备所显示的元素相对应;
接收用户对配置界面中的元素的配置操作;
根据配置操作生成配置文件,配置文件中包括元素的标识信息;
将配置文件存储在客户端设备的存储空间中。
可选的,还包括:
将配置文件上传到服务器中,以使服务器存储该配置文件。
可选的,将事件数据发送到服务器包括:
获取客户端设备的连接状态;
判断连接是否为wifi连接;
若是,则将事件数据发送到服务器。
可选的,将事件数据发送到服务器还包括:
获取配置文件中的字符替换规则,字符替换规则包括长字符串与短字符串的替换关系;
依据替换关系,将事件数据中符合字符替换规则的长字符串替换为短字符串,得到压缩事件数据;
将压缩事件数据发送到服务器。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
获得用户对客户端设备所显示的元素的操作指令;
确定操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息,如果是,则获取目标元素对应的事件数据;
将事件数据发送至服务器。
可选的,还包括:
如果目标元素的标识信息不是配置文件中元素的标识信息,则确定目标元素的上下文信息;上下文信息用于表征目标元素所在页面中除目标元素的属性信息之外的其它信息;
将上下文信息发送至服务器。
可选的,确定操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息之前,方法还包括:
接收用户的设置指令;
根据设置指令,展示与设置指令相对应的配置界面,配置界面中的元素与客户端设备所显示的元素相对应;
接收用户对配置界面中的元素的配置操作;
根据配置操作生成配置文件,配置文件中包括元素的标识信息;
将配置文件存储在客户端设备的存储空间中。
可选的,还包括:
将配置文件上传到服务器中,以使服务器存储该配置文件。
可选的,将事件数据发送到服务器包括:
获取客户端设备的连接状态;
判断连接是否为wifi连接;
若是,则将事件数据发送到服务器。
可选的,将事件数据发送到服务器还包括:
获取配置文件中的字符替换规则,字符替换规则包括长字符串与短字符串的替换关系;
依据替换关系,将事件数据中符合字符替换规则的长字符串替换为短字符串,得到压缩事件数据;
将压缩事件数据发送到服务器。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据采集方法,其特征在于,应用于客户端设备,所述方法包括:
获得用户对所述客户端设备所显示的元素的操作指令;
确定所述操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息,如果是,则获取所述目标元素对应的事件数据;其中,目标元素的标识信息的获取方法与配置文件中元素的标识信息的生成方法相一致,所述标识信息包括目标元素的文本信息、目标元素所在页面的页面信息以及目标元素的上下文信息中的一种或多种;
将所述事件数据发送至服务器。
2.根据权利要求1所述的数据采集方法,其特征在于,还包括:
如果所述目标元素的标识信息不是所述配置文件中元素的标识信息,则确定所述目标元素的上下文信息;所述上下文信息用于表征所述目标元素所在页面中除所述目标元素的属性信息之外的其它信息;
将所述上下文信息发送至所述服务器。
3.根据权利要求1所述的数据采集方法,其特征在于,确定所述操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息之前,所述方法还包括:
接收用户的设置指令;
根据所述设置指令,展示与所述设置指令相对应的配置界面,所述配置界面中的元素与所述客户端设备所显示的元素相对应;
接收用户对所述配置界面中的元素的配置操作;
根据所述配置操作生成配置文件,所述配置文件中包括所述元素的标识信息;
将所述配置文件存储在所述客户端设备的存储空间中。
4.根据权利要求3所述的数据采集方法,其特征在于,还包括:
将所述配置文件上传到服务器中,以使所述服务器存储该配置文件。
5.根据权利要求1至4任意一项所述的数据采集方法,其特征在于,所述将所述事件数据发送至服务器包括:
获取所述客户端设备的连接状态;
判断所述连接是否为wifi连接;
若是,则将所述事件数据发送至所述服务器。
6.根据权利要求5所述的数据采集方法,其特征在于,所述将所述事件数据发送至所述服务器还包括:
获取所述配置文件中的字符替换规则,所述字符替换规则包括长字符串与短字符串的替换关系;
依据所述替换关系,将所述事件数据中符合所述字符替换规则的长字符串替换为短字符串,得到压缩事件数据;
将所述压缩事件数据发送到服务器。
7.一种数据采集装置,其特征在于,应用于客户端设备,所述采集装置包括:
指令获取模块,用于获得用户对所述客户端设备所显示的元素的操作指令;
第一执行模块,用于确定所述操作指令所操作的目标元素的标识信息是否为预先存储的配置文件中元素的标识信息,如果是,则获取所述目标元素对应的事件数据;其中,目标元素的标识信息的获取方法与配置文件中元素的标识信息的生成方法相一致,所述标识信息包括目标元素的文本信息、目标元素所在页面的页面信息以及目标元素的上下文信息中的一种或多种;
事件数据发送模块,用于将所述事件数据发送至服务器。
8.根据权利要求7所述的采集装置,其特征在于,还包括:
第二执行模块,用于如果所述目标元素的标识信息不是所述配置文件中元素的标识信息,则确定所述目标元素的上下文信息;所述上下文信息用于表征所述目标元素所在页面中除所述目标元素的属性信息之外的其它信息;
上下文信息发送模块,用于将所述上下文信息发送至所述服务器。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至6中任意一项所述的数据采集方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的数据采集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710880787.9A CN109561117B (zh) | 2017-09-26 | 2017-09-26 | 数据采集方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710880787.9A CN109561117B (zh) | 2017-09-26 | 2017-09-26 | 数据采集方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109561117A CN109561117A (zh) | 2019-04-02 |
CN109561117B true CN109561117B (zh) | 2022-02-25 |
Family
ID=65862036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710880787.9A Active CN109561117B (zh) | 2017-09-26 | 2017-09-26 | 数据采集方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109561117B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112198818B (zh) * | 2019-07-08 | 2022-05-13 | 浙江宇视科技有限公司 | 步进式驱动结构的控制方法、装置、设备及存储介质 |
CN110413933A (zh) * | 2019-08-05 | 2019-11-05 | 青岛聚好联科技有限公司 | 一种服务端采集埋点数据的方法及装置 |
CN110704270A (zh) * | 2019-08-20 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 零埋点数据采集方法、装置、电子设备及存储介质 |
CN110704709B (zh) * | 2019-08-27 | 2021-01-26 | 北京金堤科技有限公司 | 应用数据抓取方法和装置、存储介质、电子设备 |
CN110515679B (zh) * | 2019-08-28 | 2023-09-19 | 北京思维造物信息科技股份有限公司 | 数据采集方法、装置、设备及存储介质 |
CN112968933B (zh) * | 2021-01-29 | 2023-03-14 | 北京达佳互联信息技术有限公司 | 数据传输方法、装置、服务器及存储介质 |
CN113377631A (zh) * | 2021-05-25 | 2021-09-10 | 北京猿力教育科技有限公司 | 用户行为的回溯方法及装置 |
CN114677188B (zh) * | 2022-05-25 | 2022-08-26 | 国网浙江省电力有限公司 | 适用于无纸化凭证数据的全量采集方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102946319A (zh) * | 2012-09-29 | 2013-02-27 | 焦点科技股份有限公司 | 网络用户行为信息分析***及其分析方法 |
CN104834657A (zh) * | 2014-08-27 | 2015-08-12 | 腾讯科技(北京)有限公司 | 用户行为分析方法及服务器 |
CN105550184A (zh) * | 2014-10-31 | 2016-05-04 | 阿里巴巴集团控股有限公司 | 一种信息获取方法及装置 |
CN106202440A (zh) * | 2016-07-13 | 2016-12-07 | 华为技术有限公司 | 数据处理方法、装置及设备 |
CN106708899A (zh) * | 2015-11-17 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 自动埋点方法和装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001052141A1 (en) * | 2000-01-07 | 2001-07-19 | Mp3.Com, Inc. | System and method for providing access to electronic works |
US7562387B2 (en) * | 2001-09-07 | 2009-07-14 | International Business Machines Corporation | Method and apparatus for selective disabling of tracking of click stream data |
US20080027895A1 (en) * | 2006-07-28 | 2008-01-31 | Jean-Christophe Combaz | System for searching, collecting and organizing data elements from electronic documents |
CN104346374A (zh) * | 2013-07-31 | 2015-02-11 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及*** |
CN103927367A (zh) * | 2014-04-22 | 2014-07-16 | 上海数据分析与处理技术研究所 | 基于事件的微博采集***及方法 |
CN106547914B (zh) * | 2016-11-25 | 2020-08-18 | 国信优易数据有限公司 | 一种数据采集管理***及其方法 |
CN106933722B (zh) * | 2017-03-06 | 2019-12-31 | 腾云天宇科技(北京)有限公司 | 一种网页应用监控方法、服务器和*** |
-
2017
- 2017-09-26 CN CN201710880787.9A patent/CN109561117B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102946319A (zh) * | 2012-09-29 | 2013-02-27 | 焦点科技股份有限公司 | 网络用户行为信息分析***及其分析方法 |
CN104834657A (zh) * | 2014-08-27 | 2015-08-12 | 腾讯科技(北京)有限公司 | 用户行为分析方法及服务器 |
CN105550184A (zh) * | 2014-10-31 | 2016-05-04 | 阿里巴巴集团控股有限公司 | 一种信息获取方法及装置 |
CN106708899A (zh) * | 2015-11-17 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 自动埋点方法和装置 |
CN106202440A (zh) * | 2016-07-13 | 2016-12-07 | 华为技术有限公司 | 数据处理方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109561117A (zh) | 2019-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109561117B (zh) | 数据采集方法及装置 | |
CN107145489B (zh) | 一种基于云平台的客户端应用的信息统计方法和装置 | |
CN101635655B (zh) | 页面性能测试的方法、装置及*** | |
US20200357007A1 (en) | Page data acquisition method, apparatus, server, electronic device and computer readable medium | |
CN104113576A (zh) | 一种客户端的更新方法及装置 | |
CN102999314A (zh) | 立即延迟***工具 | |
CN106886545B (zh) | 页面展示方法、页面资源的缓存方法及装置 | |
CN105786839A (zh) | 一种应用数据获取方法及装置 | |
CN112817817B (zh) | 埋点信息查询方法、装置、计算机设备和存储介质 | |
CN109002282B (zh) | 一种在web页面开发中实现动画效果的方法和装置 | |
CN106919620B (zh) | 单页面处理方法及装置 | |
CN114528269A (zh) | 用于处理数据的方法、电子设备和计算机程序产品 | |
CN114528813A (zh) | 用于在线预览的文件转换管理方法、装置、设备及介质 | |
CN110716804A (zh) | 无用资源的自动删除方法、装置、存储介质及电子设备 | |
CN114547514A (zh) | 组件动态渲染方法、装置、设备及介质 | |
CN111061977A (zh) | 网站的更新方法、装置及*** | |
CN110929204B (zh) | 坑位数据归属确定方法、装置、计算机设备和存储介质 | |
CN112035205A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN109992614B (zh) | 数据获取方法、装置和服务器 | |
CN109068286B (zh) | 一种信息解析的方法、介质及设备 | |
CN108984221B (zh) | 一种多平台用户行为日志的采集方法和装置 | |
CN115905151A (zh) | 基于备份日志的流转信息查询方法、***和装置 | |
CN115757639A (zh) | 数据源同步方法、装置、电子设备及存储介质 | |
CN102694802B (zh) | 网络访问信息记录方法和装置 | |
CN110796505A (zh) | 一种业务对象推荐方法以及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100080 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Applicant after: Beijing Guoshuang Technology Co.,Ltd. Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A Applicant before: Beijing Guoshuang Technology Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |