CN113158118A - 页面埋点数据采集方法、装置及*** - Google Patents
页面埋点数据采集方法、装置及*** Download PDFInfo
- Publication number
- CN113158118A CN113158118A CN202110549997.6A CN202110549997A CN113158118A CN 113158118 A CN113158118 A CN 113158118A CN 202110549997 A CN202110549997 A CN 202110549997A CN 113158118 A CN113158118 A CN 113158118A
- Authority
- CN
- China
- Prior art keywords
- point data
- buried point
- request
- data collection
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013480 data collection Methods 0.000 claims abstract description 120
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000001960 triggered effect Effects 0.000 claims abstract description 29
- 238000009933 burial Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种页面埋点数据采集方法、装置及***，该方法包括：获取浏览器发送的请求；若所述请求为业务请求，则将所述业务请求转发到用于进行业务处理的WEB服务***；若所述请求为埋点数据收集请求，则将所述埋点数据收集请求转发到埋点采集***，以使所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，其中，所述浏览器在页面中的埋点被触发时，根据所触发的埋点的类型进行埋点数据采集，并根据采集的埋点数据生成所述埋点数据收集请求。本发明提供了一种不会对业务处理***造成影响的页面埋点数据采集方案。
Description
技术领域
本发明涉及数据采集技术领域，具体而言，涉及一种页面埋点数据采集方法、装置及***。
背景技术
随着互联网技术的高速发展，B/S架构***应用越来越多，在B/S架构***中，一般都是使用浏览器通过互联网域名地址访问B/S架构***的WEB服务器，服务器接收相关请求，进行处理并返回相应html报文，客户端浏览器接收返回报文，并整理相关资源，展示业务处理界面。
界面上一般都会图片、超链接、按钮、单选框、下拉框、复选框等页面元素，对WEB服务器进行再次请求前，操作人员在页面对相关元素的操作，服务器端是无感的，***运维人员也无法感知操作人员是否在页面操作中是否受阻，也无法对页面的UI设计的易用性进行量化定义。为了感知操作人员在页面的操作轨迹，对页面及页面元素进行埋点，是一种常见的技术手段。但是目前的埋点数据采集动作会对业务处理***造成一定的影响，现有技术缺少一种不会对业务处理***造成影响的页面埋点数据采集方法。
发明内容
本发明为了解决上述背景技术中的技术问题，提出了一种页面埋点数据采集方法、装置及***。
为了实现上述目的，根据本发明的一个方面，提供了一种页面埋点数据采集方法，该方法包括：
获取浏览器发送的请求；
若所述请求为业务请求，则将所述业务请求转发到用于进行业务处理的WEB服务***；
若所述请求为埋点数据收集请求，则将所述埋点数据收集请求转发到埋点采集***，以使所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，其中，所述浏览器在页面中的埋点被触发时，根据所触发的埋点的类型进行埋点数据采集，并根据采集的埋点数据生成所述埋点数据收集请求。
可选的，所述埋点采集***包括：HTTP服务器；
所述将所述埋点数据收集请求转发到埋点采集***，具体包括：
将所述埋点数据收集请求转发到所述HTTP服务器，以使所述HTTP服务器将所述埋点数据收集请求所请求的资源发送到所述浏览器，其中，所述埋点数据收集请求为HTTP请求，所述埋点数据收集请求用于请求所述HTTP服务器中的目标资源。
可选的，所述埋点采集***还包括：应用服务器以及数据库；
所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，具体包括：
所述HTTP服务器获取所述埋点数据收集请求中的埋点数据，根据所述埋点数据生成一条结构化日志，并将生成的结构化日志写入到预设的结构化日志文件中；所述应用服务器对所述结构化日志文件进行检测，若所述结构化日志文件中存在新增的结构化日志，对该新增的结构化日志进行格式化解析后写入所述数据库中。
可选的，所述埋点包括：页面埋点；在所述页面埋点被触发时所述浏览器采集的埋点数据为页面信息。
可选的，所述埋点包括：控件埋点；在所述控件埋点被触发时所述浏览器采集的埋点数据为控件信息。
为了实现上述目的，根据本发明的另一方面，提供了一种页面埋点数据采集装置，该装置包括：
请求获取模块，用于获取浏览器发送的请求；
第一转发模块，用于若所述请求为业务请求，则将所述业务请求转发到用于进行业务处理的WEB服务***；
第二转发模块，用于若所述请求为埋点数据收集请求，则将所述埋点数据收集请求转发到埋点采集***，以使所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，其中，所述浏览器在页面中的埋点被触发时，根据所触发的埋点的类型进行埋点数据采集，并根据采集的埋点数据生成所述埋点数据收集请求。
可选的，所述埋点采集***包括：HTTP服务器；
所述第二转发模块，具体用于将所述埋点数据收集请求转发到所述HTTP服务器，以使所述HTTP服务器将所述埋点数据收集请求所请求的资源发送到所述浏览器，其中，所述埋点数据收集请求为HTTP请求，所述埋点数据收集请求用于请求所述HTTP服务器中的目标资源。
可选的，所述埋点采集***还包括：应用服务器以及数据库；
所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，具体包括：
所述HTTP服务器获取所述埋点数据收集请求中的埋点数据，根据所述埋点数据生成一条结构化日志，并将生成的结构化日志写入到预设的结构化日志文件中；所述应用服务器对所述结构化日志文件进行检测，若所述结构化日志文件中存在新增的结构化日志，对该新增的结构化日志进行格式化解析后写入所述数据库中。
为了实现上述目的，根据本发明的另一方面，提供了一种页面埋点数据采集***，该***包括：
转发处理***以及埋点采集***；
所述转发处理***，用于接收浏览器发送的请求，并在所述请求为业务请求时将所述业务请求转发到用于进行业务处理的WEB服务***，以及在所述请求为埋点数据收集请求时将所述埋点数据收集请求转发到所述埋点采集***，其中，所述浏览器在页面中的埋点被触发时，根据所触发的埋点的类型进行埋点数据采集，并根据采集的埋点数据生成所述埋点数据收集请求；
所述埋点采集***，用于将所述埋点数据收集请求中的埋点数据存储到本地。
可选的，所述埋点采集***包括：HTTP服务器；
所述转发处理***，具体用于将所述埋点数据收集请求转发到所述HTTP服务器；
所述HTTP服务器，用于将所述埋点数据收集请求所请求的资源发送到所述浏览器，其中，所述埋点数据收集请求为HTTP请求，所述埋点数据收集请求用于请求所述HTTP服务器中的目标资源。
可选的，所述埋点采集***还包括：应用服务器以及数据库；
所述HTTP服务器，还用于获取所述埋点数据收集请求中的埋点数据，根据所述埋点数据生成一条结构化日志，并将生成的结构化日志写入到预设的结构化日志文件中；
所述应用服务器，用于对所述结构化日志文件进行检测，若所述结构化日志文件中存在新增的结构化日志，对该新增的结构化日志进行格式化解析后写入所述数据库中。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述页面埋点数据采集方法中的步骤。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述页面埋点数据采集方法中的步骤。
本发明的有益效果为：本发明在获取到浏览器发送的请求时，若请求为业务请求则将所述业务请求转发到用于进行业务处理的WEB服务***，若请求为埋点数据收集请求，则将所述埋点数据收集请求转发到埋点采集***，以使所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，可见，本发明通过设置一个独立于WEB服务***之外的埋点采集***来进行埋点数据采集，埋点采集***的工作完全不会对WEB服务***正常业务处理造成任何影响，由此解决了目前的埋点数据采集动作会对业务处理造成一定的影响的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例页面埋点数据采集方法的第一流程图；
图2是本发明实施例埋点采集***运行流程图；
图3是本发明实施例页面埋点数据采集方法的应用场景图；
图4是本发明实施例页面埋点数据采集装置的结构框图；
图5是本发明实施例计算机设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要说明的是，本发明可以应用于金融领域，也可以应用于其他技术领域。
本发明提供了一种高效采集B/S架构***页面的埋点数据的方法及***，通过本发明不仅可以实现客户端操作***版本及浏览器版本等设置信息采集，而且支持对操作人员浏览过页面、登入时间、登出时间等信息记录，页面元素的操作行为也能高效精准采集，当采集***异常时，也不会对业务正常交互产生负面影响。
本发明通过在浏览器页面进行页面埋点和控件埋点，操作员触发埋点，浏览器通过异步方式发送收集埋点数据，利用转发处理***对请求链接的上下文根的识别，将相关请求转发至埋点采集***中的HTTP服务器，HTTP服务器对收集请求进行结构化日志打印，并迅速应答，再由埋点采集***中的后台***监控日志文件，进行准实时日志记录采集，并解析入库，从而实现高效且无副作用的埋点数据采集。
基于本发明的一个方面，本发明提供一种页面埋点数据采集***，本发明的页面埋点数据采集***包括：转发处理***以及埋点采集***。
所述转发处理***，用于接收浏览器发送的请求，并在所述请求为业务请求时将所述业务请求转发到用于进行业务处理的WEB服务***，以及在所述请求为埋点数据收集请求时将所述埋点数据收集请求转发到所述埋点采集***。其中，所述浏览器在页面中的埋点被触发时，根据所触发的埋点的类型进行埋点数据采集，并根据采集的埋点数据生成所述埋点数据收集请求。
所述埋点采集***，用于将所述埋点数据收集请求中的埋点数据存储到本地。
本发明通过设置一个独立于WEB服务***之外的埋点采集***来进行埋点数据采集，埋点采集***的工作完全不会对WEB服务***正常业务处理造成任何影响，由此解决了目前的埋点数据采集动作会对业务处理造成一定的影响的技术问题。
图3是本发明实施例页面埋点数据采集方法的应用场景图，如图3所示，本发明的页面埋点数据采集***的应用场景中包含：浏览器、本发明的页面埋点数据采集***(转发处理***以及埋点采集***)以及WEB服务***。
浏览器，具体为客户端浏览器，主要作用于操作人员进行业务界面操作，以及与服务器端进行HTTP方式链接和数据交互。
转发处理***，包含反向代理服务器，主要是通过反向代理服务器对浏览器发起的请求进行识别，通过对请求链接的上下文根进行判断，将业务请求转发到业务处理的WEB服务***，将埋点数据收集请求转发到埋点采集***。
WEB服务***，主要是接收业务请求，并进行事务处理的应用服务器***。
埋点采集***，主要是由HTTP服务器、后台服务器、数据库组成，HTTP服务器建立HTTP服务功能，在接收埋点数据收集请求后，进行结构化日志生成并输入到磁盘存储，再由后台服务器的进程对日志文件的侧面监听，准实时采集新增记录，并解析处理后，***数据库。
在本发明一个实施例中，所述埋点包括页面埋点，在所述页面埋点被触发时所述采集的埋点数据为页面信息。在本发明一个实施例中，所述页面信息具体可以包括：产品代码、产品名称、当前栏目编号、当前栏目中文名称、当前页面编号、当前页面中文名称、客户信息、浏览器版本、屏幕分辨率、访问来源信息、访问日期以及访问时间等。
在本发明一个实施例中，本发明预先对相关页面进行页面信息的设置，在页面设置后，增加触发页面信息收集请求方法，即在页面中设置埋点，在埋点被触发时浏览器自动对预先设置的页面信息进行采集。
在本发明一个实施例中，所述埋点还包括控件埋点，在所述控件埋点被触发时所述浏览器采集的埋点数据为控件信息。在本发明一个实施例中，所述控件信息具体可以包括：控件编号、控件中文名称以及控件关键字等。
在本发明一个实施例中，本发明预先对页面上的控件元素进行控件信息设置，在操作人员触发相关控件时，增加控件信息的收集，在与业务处理服务器交互前，异步方式发送埋点数据收集请求。
如图3所示，在本发明一个实施例中，所述埋点采集***包括：HTTP服务器。
所述转发处理***，具体用于将所述埋点数据收集请求转发到所述HTTP服务器。
所述HTTP服务器，用于将所述埋点数据收集请求所请求的资源发送到所述浏览器，其中，所述埋点数据收集请求为HTTP请求，所述埋点数据收集请求用于请求所述HTTP服务器中的目标资源。
在本发明一个实施例中，所述HTTP服务器部署HTTP服务，并提供所述目标资源，埋点数据收集请求实际是对HTTP服务器的目标资源的请求，埋点数据收集请求中的请求参数为采集的埋点数据，由此，埋点数据通过埋点数据收集请求一起上送至HTTP服务器进行处理。
在本发明一个实施例中，所述目标资源可以为1像素点图片资源。
在本发明一个实施例中，所述HTTP服务器将所述埋点数据收集请求所请求的资源发送到所述浏览器，所述浏览器被配置为仅接收所述HTTP服务器发送的资源，但不对HTTP服务器发送的资源进行处理。
本发明利用HTTP服务器对静态资源的高效处理能力，对资源请求的同时，对埋点数据进行收集，显著的提高了埋点数据收集的效率，高效的解决了采集信息与服务器频繁交互资源消耗问题。
如图3所示，在本发明一个实施例中，所述埋点采集***还包括：应用服务器以及数据库。
所述HTTP服务器，还用于获取所述埋点数据收集请求中的埋点数据，根据所述埋点数据生成一条结构化日志，并将生成的结构化日志写入到预设的结构化日志文件中。
所述应用服务器，用于对所述结构化日志文件进行检测，若所述结构化日志文件中存在新增的结构化日志，对该新增的结构化日志进行格式化解析后写入所述数据库中。
在本发明一个实施例中，HTTP服务器接收到目标资源的请求时，迅速返回目标资源，并对请求报文及上送参数进行结构化的日志处理，生成一条结构化的日志，并输入到磁盘中的结构化日志文件中存储。
在本发明一个实施例中，后台***实时监控磁盘中的结构化日志文件，发现新增的结构化日志后，对新增的结构化日志进行准实时的采集。后台***对采集到的新增的结构化日志，进行格式化解析，解析成原始的埋点数据，并链接数据库，将埋点数据***到预设的相关表记录。
基于同一发明构思，本发明另一方面还提供了一种页面埋点数据采集方法。由于页面埋点数据采集方法解决问题的原理与页面埋点数据采集***相似，因此页面埋点数据采集方法的实施例可以参见页面埋点数据采集***的实施例，重复之处不再赘述。
图1是本发明实施例页面埋点数据采集方法的流程图，实施主体为上述页面埋点数据采集***中的转发处理***，如图1所示，本实施例的页面埋点数据采集方法包括步骤S101至步骤S103。
步骤S101，获取浏览器发送的请求。
步骤S102，若所述请求为业务请求，则将所述业务请求转发到用于进行业务处理的WEB服务***。
步骤S103，若所述请求为埋点数据收集请求，则将所述埋点数据收集请求转发到埋点采集***，以使所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，其中，所述浏览器在页面中的埋点被触发时，根据所触发的埋点的类型进行埋点数据采集，并根据采集的埋点数据生成所述埋点数据收集请求。
在本发明一个实施例中，所述埋点采集***包括：HTTP服务器。上述步骤S103中的将所述埋点数据收集请求转发到埋点采集***，具体包括：
将所述埋点数据收集请求转发到所述HTTP服务器，以使所述HTTP服务器将所述埋点数据收集请求所请求的资源发送到所述浏览器，其中，所述埋点数据收集请求为HTTP请求，所述埋点数据收集请求用于请求所述HTTP服务器中的目标资源。
在本发明一个实施例中，所述埋点采集***还包括：应用服务器以及数据库。如图2所示，上述步骤S103中的所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，具体包括步骤S201和步骤S202。
步骤S201，所述HTTP服务器获取所述埋点数据收集请求中的埋点数据，根据所述埋点数据生成一条结构化日志，并将生成的结构化日志写入到预设的结构化日志文件中；
步骤S202，所述应用服务器对所述结构化日志文件进行检测，若所述结构化日志文件中存在新增的结构化日志，对该新增的结构化日志进行格式化解析后写入所述数据库中。
由以上实施例可见看出，本发明能够对浏览器界面的页面及控件元素信息进行高效收集，实现了至少以下有益效果：
1、本发明利用HTTP服务器对静态资源的高效处理能力，对图片资源请求的同时，对埋点数据进行收集，高效的解决了采集信息与服务器频繁交互资源消耗问题。
2、本发明通过异步请求的发送方式，即便在埋点数据采集***出现***性故障时，也不会对正常业务处理***造成影响。
3、本发明通过对页面进行规范化埋点和数据采集，可以夯实产品的数据基础，成为客户行为分析、精准营销、客户360度全方位画像的重要数据来源。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
基于同一发明构思，本发明实施例还提供了一种页面埋点数据采集装置，可以用于实现上述实施例所描述的页面埋点数据采集方法，如下面的实施例所述。由于页面埋点数据采集装置解决问题的原理与页面埋点数据采集方法相似，因此页面埋点数据采集装置的实施例可以参见页面埋点数据采集方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是本发明实施例页面埋点数据采集装置的结构框图，如图4所示，本发明实施例页面埋点数据采集装置包括：
请求获取模块1，用于获取浏览器发送的请求；
第一转发模块2，用于若所述请求为业务请求，则将所述业务请求转发到用于进行业务处理的WEB服务***；
第二转发模块3，用于若所述请求为埋点数据收集请求，则将所述埋点数据收集请求转发到埋点采集***，以使所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，其中，所述浏览器在页面中的埋点被触发时，根据所触发的埋点的类型进行埋点数据采集，并根据采集的埋点数据生成所述埋点数据收集请求。
在本发明一个实施例中，所述埋点采集***包括：HTTP服务器。
在本发明一个实施例中，所述第二转发模块，具体用于将所述埋点数据收集请求转发到所述HTTP服务器，以使所述HTTP服务器将所述埋点数据收集请求所请求的资源发送到所述浏览器，其中，所述埋点数据收集请求为HTTP请求，所述埋点数据收集请求用于请求所述HTTP服务器中的目标资源。
在本发明一个实施例中，所述埋点采集***还包括：应用服务器以及数据库。
在本发明一个实施例中，所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，具体包括：
所述HTTP服务器获取所述埋点数据收集请求中的埋点数据，根据所述埋点数据生成一条结构化日志，并将生成的结构化日志写入到预设的结构化日志文件中；所述应用服务器对所述结构化日志文件进行检测，若所述结构化日志文件中存在新增的结构化日志，对该新增的结构化日志进行格式化解析后写入所述数据库中。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图5所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。
上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述页面埋点数据采集方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.一种页面埋点数据采集方法，其特征在于，包括：
获取浏览器发送的请求；
若所述请求为业务请求，则将所述业务请求转发到用于进行业务处理的WEB服务***；
若所述请求为埋点数据收集请求，则将所述埋点数据收集请求转发到埋点采集***，以使所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，其中，所述浏览器在页面中的埋点被触发时，根据所触发的埋点的类型进行埋点数据采集，并根据采集的埋点数据生成所述埋点数据收集请求。
2.根据权利要求1所述的页面埋点数据采集方法，其特征在于，所述埋点采集***包括：HTTP服务器；
所述将所述埋点数据收集请求转发到埋点采集***，具体包括：
将所述埋点数据收集请求转发到所述HTTP服务器，以使所述HTTP服务器将所述埋点数据收集请求所请求的资源发送到所述浏览器，其中，所述埋点数据收集请求为HTTP请求，所述埋点数据收集请求用于请求所述HTTP服务器中的目标资源。
3.根据权利要求2所述的页面埋点数据采集方法，其特征在于，所述埋点采集***还包括：应用服务器以及数据库；
所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，具体包括：
所述HTTP服务器获取所述埋点数据收集请求中的埋点数据，根据所述埋点数据生成一条结构化日志，并将生成的结构化日志写入到预设的结构化日志文件中；所述应用服务器对所述结构化日志文件进行检测，若所述结构化日志文件中存在新增的结构化日志，对该新增的结构化日志进行格式化解析后写入所述数据库中。
4.根据权利要求1所述的页面埋点数据采集方法，其特征在于，所述埋点包括：页面埋点；在所述页面埋点被触发时所述浏览器采集的埋点数据为页面信息。
5.根据权利要求1所述的页面埋点数据采集方法，其特征在于，所述埋点包括：控件埋点；在所述控件埋点被触发时所述浏览器采集的埋点数据为控件信息。
6.一种页面埋点数据采集装置，其特征在于，包括：
请求获取模块，用于获取浏览器发送的请求；
第一转发模块，用于若所述请求为业务请求，则将所述业务请求转发到用于进行业务处理的WEB服务***；
第二转发模块，用于若所述请求为埋点数据收集请求，则将所述埋点数据收集请求转发到埋点采集***，以使所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，其中，所述浏览器在页面中的埋点被触发时，根据所触发的埋点的类型进行埋点数据采集，并根据采集的埋点数据生成所述埋点数据收集请求。
7.根据权利要求6所述的页面埋点数据采集装置，其特征在于，所述埋点采集***包括：HTTP服务器；
所述第二转发模块，具体用于将所述埋点数据收集请求转发到所述HTTP服务器，以使所述HTTP服务器将所述埋点数据收集请求所请求的资源发送到所述浏览器，其中，所述埋点数据收集请求为HTTP请求，所述埋点数据收集请求用于请求所述HTTP服务器中的目标资源。
8.根据权利要求7所述的页面埋点数据采集装置，其特征在于，所述埋点采集***还包括：应用服务器以及数据库；
所述埋点采集***将所述埋点数据收集请求中的埋点数据存储到本地，具体包括：
所述HTTP服务器获取所述埋点数据收集请求中的埋点数据，根据所述埋点数据生成一条结构化日志，并将生成的结构化日志写入到预设的结构化日志文件中；所述应用服务器对所述结构化日志文件进行检测，若所述结构化日志文件中存在新增的结构化日志，对该新增的结构化日志进行格式化解析后写入所述数据库中。
9.一种页面埋点数据采集***，其特征在于，包括：转发处理***以及埋点采集***；
所述转发处理***，用于接收浏览器发送的请求，并在所述请求为业务请求时将所述业务请求转发到用于进行业务处理的WEB服务***，以及在所述请求为埋点数据收集请求时将所述埋点数据收集请求转发到所述埋点采集***，其中，所述浏览器在页面中的埋点被触发时，根据所触发的埋点的类型进行埋点数据采集，并根据采集的埋点数据生成所述埋点数据收集请求；
所述埋点采集***，用于将所述埋点数据收集请求中的埋点数据存储到本地。
10.根据权利要求9所述的页面埋点数据采集***，其特征在于，所述埋点采集***包括：HTTP服务器；
所述转发处理***，具体用于将所述埋点数据收集请求转发到所述HTTP服务器；
所述HTTP服务器，用于将所述埋点数据收集请求所请求的资源发送到所述浏览器，其中，所述埋点数据收集请求为HTTP请求，所述埋点数据收集请求用于请求所述HTTP服务器中的目标资源。
11.根据权利要求10所述的页面埋点数据采集***，其特征在于，所述埋点采集***还包括：应用服务器以及数据库；
所述HTTP服务器，还用于获取所述埋点数据收集请求中的埋点数据，根据所述埋点数据生成一条结构化日志，并将生成的结构化日志写入到预设的结构化日志文件中；
所述应用服务器，用于对所述结构化日志文件进行检测，若所述结构化日志文件中存在新增的结构化日志，对该新增的结构化日志进行格式化解析后写入所述数据库中。
12.根据权利要求9所述的页面埋点数据采集***，其特征在于，所述埋点包括：页面埋点；在所述页面埋点被触发时所述浏览器采集的埋点数据为页面信息。
13.根据权利要求9所述的页面埋点数据采集***，其特征在于，所述埋点包括：控件埋点；在所述控件埋点被触发时所述浏览器采集的埋点数据为控件信息。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的方法。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求1至5任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110549997.6A CN113158118A (zh) | 2021-05-20 | 2021-05-20 | 页面埋点数据采集方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110549997.6A CN113158118A (zh) | 2021-05-20 | 2021-05-20 | 页面埋点数据采集方法、装置及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113158118A true CN113158118A (zh) | 2021-07-23 |
Family
ID=76876698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110549997.6A Pending CN113158118A (zh) | 2021-05-20 | 2021-05-20 | 页面埋点数据采集方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158118A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115022388A (zh) * | 2022-05-31 | 2022-09-06 | 济南浪潮数据技术有限公司 | 一种数据采集方法、装置、设备及介质 |
| CN115277409A (zh) * | 2022-07-20 | 2022-11-01 | 杭州米络星科技(集团)有限公司 | 埋点数据实时采集和上报方法及装置、获取***和终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469185A (zh) * | 2016-08-29 | 2017-03-01 | 浪潮电子信息产业股份有限公司 | 一种网站统计中进行数据收集的方法 |
| CN108156006A (zh) * | 2016-12-05 | 2018-06-12 | 阿里巴巴集团控股有限公司 | 一种埋点数据上报方法、装置及电子设备 |
| CN110489699A (zh) * | 2019-08-16 | 2019-11-22 | 南京云帐房网络科技有限公司 | 一种异步数据采集方法及*** |
| CN112416728A (zh) * | 2020-11-23 | 2021-02-26 | 平安普惠企业管理有限公司 | 埋点数据获取方法、装置、客户端设备及可读存储介质 |
-
2021
- 2021-05-20 CN CN202110549997.6A patent/CN113158118A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469185A (zh) * | 2016-08-29 | 2017-03-01 | 浪潮电子信息产业股份有限公司 | 一种网站统计中进行数据收集的方法 |
| CN108156006A (zh) * | 2016-12-05 | 2018-06-12 | 阿里巴巴集团控股有限公司 | 一种埋点数据上报方法、装置及电子设备 |
| CN110489699A (zh) * | 2019-08-16 | 2019-11-22 | 南京云帐房网络科技有限公司 | 一种异步数据采集方法及*** |
| CN112416728A (zh) * | 2020-11-23 | 2021-02-26 | 平安普惠企业管理有限公司 | 埋点数据获取方法、装置、客户端设备及可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115022388A (zh) * | 2022-05-31 | 2022-09-06 | 济南浪潮数据技术有限公司 | 一种数据采集方法、装置、设备及介质 |
| CN115277409A (zh) * | 2022-07-20 | 2022-11-01 | 杭州米络星科技(集团)有限公司 | 埋点数据实时采集和上报方法及装置、获取***和终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107895009B (zh) | 一种基于分布式的互联网数据采集方法及*** | |
| CA2656539C (en) | Method and apparatus for monitoring and synchronizing user interface events with network data | |
| CN111901192B (zh) | 一种页面访问数据的统计方法及装置 | |
| CN110688598B (zh) | 业务参数采集方法、装置、计算机设备和存储介质 | |
| CN105243159A (zh) | 一种基于可视化脚本编辑器的分布式网络爬虫*** | |
| CN108334641B (zh) | 采集用户行为数据的方法、***、电子设备、存储介质 | |
| CN104182506A (zh) | 日志管理方法 | |
| CN105490854A (zh) | 实时日志收集方法、***和应用服务器集群 | |
| Srivastava et al. | Analysis of data extraction and data cleaning in web usage mining | |
| CN103309884A (zh) | 用户行为数据采集方法及*** | |
| CN113158118A (zh) | 页面埋点数据采集方法、装置及*** | |
| CN111898036B (zh) | 一种行为数据收集处理***及方法 | |
| CN105808221A (zh) | 一种卡片式桌面的实现方法和装置 | |
| CN112631879A (zh) | 数据采集方法、装置、计算机可读介质及电子设备 | |
| CN112069384A (zh) | 一种埋点数据处理方法、服务器及可读存储介质 | |
| CN113469866A (zh) | 数据处理方法、装置和服务器 | |
| CN109862074B (zh) | 一种数据采集方法、装置、可读介质及电子设备 | |
| CN115858488A (zh) | 基于数据治理的平行迁移方法、装置及可读介质 | |
| CN111431767A (zh) | 多浏览器资源同步方法、装置、计算机设备和存储介质 | |
| CN110737645A (zh) | 一种不同***间数据迁移方法、数据迁移***及相关设备 | |
| CN113885860A (zh) | 一种自动配置管理页面生成接口服务的方法及设备 | |
| CN108108381B (zh) | 页面的监测方法及装置 | |
| CN112187509A (zh) | 多架构云平台执行日志管理方法、***、终端及存储介质 | |
| JP2020068019A (ja) | 情報分析装置、情報分析方法、情報分析システムおよびプログラム | |
| CN115563423A (zh) | 数据采集方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |