CN104951529A - 一种针对网站日志的交互式分析方法 - Google Patents

一种针对网站日志的交互式分析方法 Download PDF

Info

Publication number
CN104951529A
CN104951529A CN201510333131.6A CN201510333131A CN104951529A CN 104951529 A CN104951529 A CN 104951529A CN 201510333131 A CN201510333131 A CN 201510333131A CN 104951529 A CN104951529 A CN 104951529A
Authority
CN
China
Prior art keywords
data
database
user
server
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510333131.6A
Other languages
English (en)
Other versions
CN104951529B (zh
Inventor
邵明路
滕晓程
陈茂榕
马成平
倪俊辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Focus Technology Co Ltd
Original Assignee
Southeast University
Focus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University, Focus Technology Co Ltd filed Critical Southeast University
Priority to CN201510333131.6A priority Critical patent/CN104951529B/zh
Publication of CN104951529A publication Critical patent/CN104951529A/zh
Application granted granted Critical
Publication of CN104951529B publication Critical patent/CN104951529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

针对网站日志的交互式分析方法，采用日志可视化数据处理***的可视化分析***，包括三大组件，数据预处理器、数据服务器和可视化界面组件模块，采用组件分离策略，即***的每一个组件都能部署在一个单体机器或集群上；数据预处理器对数据进行过滤、清洗、提取，基于原始数据执行简单的数据挖掘操作；数据预处理器基于MapReduce范式进行编写，对来自日志服务器的数据进行加工处理；执行这一过程会将数据切分为以文档为单位的子数据集并将它们送往目标数据库中；在***架构体系中，数据库起到的是一个中转站的作用，用于存储中间文件，即会话文件。

Description

一种针对网站日志的交互式分析方法
一、技术领域
本发明属于计算机大规模数据分析技术领域，具体涉及一种针对网站日志的交互式分析技术。
二、背景技术
互联网的飞速发展使得人们的学习与工作越来越依赖于网络，尤其在电子商务和金融领域，传统的卖场交易模式很大程度上受到了在线交易的影响。像淘宝、京东这类巨型电子商务网站、以及12306这类突发流量巨大的在线交易网站的出现，不仅考验着传统的网站架构技术，还考验着商家能否及时有效的应对网站不同群体的需求变化。对这些大型电商网站而言，访问量的增长使得日志***每天都会产生大量的访问记录，如何更加快速乃至实时的了解用户的访问行为模式和浏览偏好信息，如何帮助企业改善目标群体的使用体验，成为越来越受到关注的课题。数据挖掘与交互式可视化技术为这一课题提供了行之有效的解决思路。
对于大型电商网站而言，挖掘分析站点的日志数据能够获得网站目标群体的频繁访问路径模式和浏览偏好等信息。因此通过设计基于Web日志数据的可视化分析***，有助于帮助网站管理人员以更加直观简易的方式从日志数据中获得网站的实际运行动态，为网站的管理和优化提供数据支持。
目前针对大规模数据集的分析与可视化工作，近年来有许多学者展开了对此问题的研究，Shneiderman首先提出了那条著名的数据分析守则“首先看概况，缩放和过滤，然后按照需要寻找细节”。遵从这一准则，如果能有效展现数据的全局视图、通过交互操作放缩数据集、以及利用合理的数据分析方法，那么数据分析将会变得更加容易。但是，对于大规模数据集而言，很难友好的在单机环境下操作和可视化这些数据。针对这一问题有很多的解决方案，例如Gephi是一个开源的数据可视化平台，其使用了基于GPU的图形渲染方案，其能渲染百万级别的网络图，但其缺点是只能在单机环境下运行。另一种解决方案是，无需展现数据的全局视图，而是通过数据分析手段展现一个过滤后的子图。Andrienko等人提出并实现了一套工程化的工具包用于支持大规模时移数据集的可视化探索和分析工作。
现有的日志可视化数据处理***很多不足。主要有：
1)在数据处理能力方面，面对大规模数据集而言，传统的技术方案，很难友好的在单机环境下操作和可视化这些数据，至少也需要高性能服务器的支持；2)在交互式分析方面，传统技术方案往往只是给出统计图表，用户只能被动地接受统计出来的硬生生的图表，在交互式分析上不是很友好。
三、发明内容
本发明目的是，提出一种针对网站日志的交互式分析方法，尤其是日志可视化数据处理***；解决现有的日志可视化数据处理***的不足。面对大规模数据集而言，能友好的在单机环境下操作和可视化这些数据；本发明借助于Hadoop集群，可以在廉价服务器上实现对海量日志数据的处理，并且易于扩展。同时，本方案采用组件分离的策略，能比较好的支持分布式环境。本发明方案中实现了几种综合几种通用的交互操作，允许用户与可视化结果进行交互，实现用户过滤、刷新、和探索数据集的目的。
本发明的技术方案是：针对网站日志的交互式分析方法，采用日志可视化数据处理***的可视化分析***，包括三大组件，数据预处理器、数据服务器和可视化界面组件模块，采用了组件分离策略，即***的每一个组件都能部署在一个单体机器或集群上；
数据预处理器(如图2)对数据进行过滤、清洗、提取，基于原始数据执行简单的数据挖掘操作；数据预处理器基于MapReduce范式进行编写，对来自日志服务器的数据进行加工处理；数据预处理分为两部分，第一部分是直接从日志中获得的数据，经过MapReduce处理后直接送入数据库；第二部分需要生成一会话为单位的临时文件，基于这个临时文件得到其他数据并送入数据库；执行这一过程会将数据切分为以文档为单位的子数据集并将它们送往目标数据库中；在***架构体系中，数据库起到的是一个中转站的作用，用于存储中间文件，即会话文件；
具体工作过程是：
(1)将日志文件从日志服务器中导出，然后上传到分布式文件***HDFS中；
(2)编写MapReduce程序，实现对日志数据的预处理，以及相关指标的统计和数据挖掘算法，并将处理得到的结果存入数据库；为提高速度，数据量比较大时先将结果写入分布式文件***，然后再导入到数据库中；
(3)数据服务器部分利用Java编写核心业务逻辑，将前端用户的操作解释为对数据库中文档的数据检索、聚集和挖掘操作，数据服务器模块是通过REST接口向外提供服务的；
(4)可视化界面通过RESTAPI调用不同的数据获取程序，将得到的数据送给合适的图形控件来展示。传送到前端的数据集示例(主要以JSON格式)：
可视化界面部分利用JavaScript和HTML来编写实现交互分析界面，并向数据服务器端发送控制指令，然后接收数据(JSON格式)交给对应图形控件展示，整个交互可视化分析过程如图4。
图2将日志文件从日志服务器中导出，然后上传到分布式文件***HDFS中；
图3编写MapReduce程序，主要功能是实现对日志数据的预处理，以及相关指标的统计和数据挖掘算法，并将处理得到的结果存入数据库。为提高速度，数据量比较大时可以先将结果写入分布式文件***，然后再导入到数据库中；
(3)数据服务器部分主要是利用Java编写核心业务逻辑，将前端用户的操作解释为对数据库中文档的数据检索、聚集和挖掘操作，数据服务器模块是通过REST接口向外提供服务的。可视化界面通过RESTAPI调用不同的数据获取程序，将得到的数据送给合适的图形控件来展示。
传送到前端的数据集示例(主要以JSON格式)：
[{"name":"www.made-in-china.com/productdirectory.do","dup":884},{"name":"www.made-in-china.com/","dup":583},{"name":"tcsourcing.made-in-china.com/buying-requests-Manufacturing-Processing-Machinery.html","dup":187},{"name":"www.made-in-china.com/companysearch.do","dup":121}]
整个交互可视化分析过程如图4。
数据服务器模块是可视化分析***的核心组件，主要负责向客户端提供数据服务，服务是通过REST接口提供的。数据服务器(如图3)实现了可视化分析的核心业务逻辑，主要包括默认数据集的读取和处理操作，在交互分析时，前端的用户操作会被解释为针对文档的数据检索、聚集、和挖掘操作。需要说明的是，数据服务器并不直接和预处理器打交道，而是直接操作数据库中的数据。为了实现用户的交互式数据分析，本发明方案分离了控制流和数据流，数据服务器发送控制指令给预处理器，预处理器接收到来自数据服务器的控制指令后执行相应的操作，并将数据处理的结果送往数据库。数据服务器则从数据库获取更新后的数据文档，以用于进一步的数据计算与组装工作。
可视化界面模块是本可视化分析***的客户端，用于向用户提供交互式分析接口。可视化界面模块是可视化分析***中最直接被用户感知的部分，客户端发送请求给数据服务组件，数据服务组件执行相应操作并将分析结果进行组装，并以文档的形式返回给可视化界面，可视化界面基于返回的文档选择合适的可视化图形进行展示。可视化界面允许用户交互行为(如图4)，从而提供探索式数据分析服务，用户可以使用选择、查询、缩放等一系列动作与数据集进行交互。
大多数的可视化工具包集成了这三个功能于一体，但这些工具包大多只能在单机环境下运行，这使得可视化分析很大程度上依赖于单机处理能力。因此，在本发明方案的设计中，采用了组件分离策略，也就是说，***的每一个组件都可以部署在一个单体机器或集群上，这样的设计方法有利于在分布式环境下部署可视化分析***，并且不依赖于单机处理能力。比如，用户可以将数据预处理组件部署在一个Hadoop集群上进行数据清洗和挖掘操作，并且连接到一个数据库集群来提供数据存储服务。
交互式分析方法可以用图4所描述的分析循环进行表示，其主要包括三个阶段：针对数据集的过滤与获取，数据的可视化，用户的交互，而这三个步骤又构成了一个大循环，循环的作用是让用户在与可视化结果交互的过程中不断的获取数据全局或侧面信息，在循环内部用户通过提出假设，利用可视化结果展开分析，最终验证假设。
为了高效及时的分析和使用大规模日志数据集，数据可视化***的设计需要遵循一定的设计原则。本发明的考虑是，所有原则都基于一个核心要素——时间，即确保用户在可以忍受的时间内获取到需要展示的信息。在数据可视化过程中，把握低价值高冗余数据中的有效信息对于快速响应起到非常关键的作用。
针对网站日志的交互式分析方法，为了能便于分析者有效及时的分析和使用大规模日志数据集，实现对海量日志数据的处理，并且易于扩展。同时，采用组件分离的策略，能比较好的支持分布式环境。
***设计体现在如下的三个方面：(1)可视化结果需要在用户可忍受的时间内显示出来，使得用户能获得及时的结果反馈。(2)支持用户对数据的查询操作，用户定义的查询会转为对数据集的查询与可视化结果的重新构建。(3)提供交互式可视化分析界面，允许用户在交互过程中获得全局和局部两种视图，以获得数据集中不同侧面的可视化展示。
本发明的有益效果：本发明方案中借助于Hadoop集群，可以在低成本(廉价)服务器上实现对海量日志数据的处理，并且易于扩展。同时，本发明方案采用组件分离的策略，能比较好的支持分布式环境。本发明方案实现了几种通用的交互操作，允许用户与可视化结果进行交互，实现用户过滤、刷新、和探索数据集的目的。
四、附图说明
图1***架构图；
图2数据预处理流程图(日志预处理并存入数据库)；
图3数据服务器(数据库与可视化界面的交互)；
图4交互可视化分析图。
五、具体实施方式
以下结合实例和说明书附图，详细说明本发明的实施过程。
首先，如图2：
(1)把日志文件从日志服务器中导出，然后上传到分布式文件***HDFS中；
(2)编写MapReduce程序，主要功能是实现对日志数据的预处理，以及相关指标的统计和数据挖掘算法，并将处理得到的结果存入数据库。(为提高速度，数据量比较大时可以先将结果写入分布式文件***，然后再导入到数据库中)。
处理前的日志数据：
1.0.181.143201408102014-08-102014-08-1015:18:25--host1213
GET
/product/lqpmcaUVqotH/China-My6812-24V100W-Electric-Bike-Electric-Scooter-Belt-Driven-Motor.html https://www.***.co.th/
处理后的日志数据存入数据库中如下：
第二，如图3
(3)数据服务器部分主要是利用Java编写核心业务逻辑，将前端用户的操作解释为对数据库中文档的数据检索、聚集和挖掘操作，数据服务器模块是通过REST接口向外提供服务的。可视化界面通过RESTAPI调用不同的数据获取程序，将得到的数据送给合适的图形控件来展示。
传送到前端的数据集示例(主要以JSON格式)：
[{"name":"www.made-in-china.com/productdirectory.do","dup":884},{"name":"www.made-in-china.com/","dup":583},{"name":"tcsourcing.made-in-china.com/buying-requests-Manufacturing-Processing-Machinery.html","dup":187},{"name":"www.made-in-china.com/companysearch.do","dup":121}]
(4)可视化界面部分主要利用JavaScript和HTML来编写实现交互分析界面，并向数据服务器端发送控制指令，然后接收数据(JSON格式)交给对应图形控件展示，整个交互可视化分析过程如图4中细化了一些具体操作。
可视化界面借助于各种图形控件实现的(比如饼状图，列表等)，作用是数据可视化和提供一些数据操作。

Claims (7)

1.针对网站日志的交互式分析方法，其特征是采用日志可视化数据处理***的可视化分析***，包括三大组件，数据预处理器、数据服务器和可视化界面组件模块，采用了组件分离策略，即***的每一个组件都能部署在一个单体机器或集群上；
数据预处理器对数据进行过滤、清洗、提取，基于原始数据执行简单的数据挖掘操作；数据预处理器基于MapReduce范式进行编写，对来自日志服务器的数据进行加工处理；数据预处理分为两部分，第一部分是直接从日志中获得的数据，经过MapReduce处理后直接送入数据库；第二部分需要生成一会话为单位的临时文件，基于这个临时文件得到其他数据并送入数据库；执行这一过程会将数据切分为以文档为单位的子数据集并将它们送往目标数据库中；在***架构体系中，数据库起到的是一个中转站的作用，用于存储中间文件，即会话文件；
具体工作过程是：
(1)将日志文件从日志服务器中导出，然后上传到分布式文件***HDFS中；
(2)编写MapReduce程序，实现对日志数据的预处理，以及相关指标的统计和数据挖掘算法，并将处理得到的结果存入数据库；为提高速度，数据量比较大时先将结果写入分布式文件***，然后再导入到数据库中；
(3)数据服务器部分利用Java编写核心业务逻辑，将前端用户的操作解释为对数据库中文档的数据检索、聚集和挖掘操作，数据服务器模块是通过REST接口向外提供服务的；
(4)可视化界面通过RESTAPI调用不同的数据获取程序，将得到的数据送给合适的图形控件来展示。
2.根据权利要求1所述的交互式分析方法，其特征是(4)中可视化界面部分利用JavaScript和HTML来编写实现交互分析界面，并向数据服务器端发送控制指令，然后接收数据交给对应图形控件展示。
3.根据权利要求1所述的交互式分析方法，其特征是数据服务器模块是可视化分析***的核心组件，负责向客户端提供数据服务，服务是通过REST接口提供的；数据服务器实现了可视化分析的核心业务逻辑，包括默认数据集的读取和处理操作；在交互分析时，前端的用户操作会被解释为针对文档的数据检索、聚集、和挖掘操作。
4.根据权利要求1所述的交互式分析方法，其特征是为了实现用户的交互式数据分析，分离了控制流和数据流，数据服务器发送控制指令给预处理器，预处理器接收到来自数据服务器的控制指令后执行相应的操作，并将数据处理的结果送往数据库；数据服务器则从数据库获取更新后的数据文档，以用于数据计算与组装工作。
5.根据权利要求1所述的交互式分析方法，其特征是可视化界面模块是本可视化分析***的客户端，用于向用户提供交互式分析接口。可视化界面模块是可视化分析***中最直接被用户感知的部分，客户端发送请求给数据服务组件，数据服务组件执行相应操作并将分析结果进行组装，并以文档的形式返回给可视化界面，可视化界面基于返回的文档选择合适的可视化图形进行展示；用户使用选择、查询、缩放等一系列动作与数据集进行交互。
6.根据权利要求1所述的交互式分析方法，其特征是，采用了组件分离策略，***的每一个组件都部署在一个单体机器或集群上，用户将数据预处理组件部署在一个Hadoop集群上进行数据清洗和挖掘操作，并且连接到一个数据库集群来提供数据存储服务。
7.根据权利要求1所述的交互式分析方法，其特征是，交互式分析方法包括三个阶段：针对数据集的过滤与获取，数据的可视化，用户的交互，而这三个步骤又构成了一个大循环，循环的作用是让用户在与可视化结果交互的过程中不断的获取数据全局或侧面信息，在循环内部用户通过提出假设，利用可视化结果展开分析，最终验证假设。
CN201510333131.6A 2015-06-16 2015-06-16 一种针对网站日志的交互式分析方法 Active CN104951529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510333131.6A CN104951529B (zh) 2015-06-16 2015-06-16 一种针对网站日志的交互式分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510333131.6A CN104951529B (zh) 2015-06-16 2015-06-16 一种针对网站日志的交互式分析方法

Publications (2)

Publication Number Publication Date
CN104951529A true CN104951529A (zh) 2015-09-30
CN104951529B CN104951529B (zh) 2016-08-17

Family

ID=54166187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510333131.6A Active CN104951529B (zh) 2015-06-16 2015-06-16 一种针对网站日志的交互式分析方法

Country Status (1)

Country Link
CN (1) CN104951529B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589786A (zh) * 2015-12-10 2016-05-18 浪潮(北京)电子信息产业有限公司 一种Windows日志的管理方法及装置
CN106777079A (zh) * 2016-12-13 2017-05-31 苏州蜗牛数字科技股份有限公司 一种日志数据可视化分析***及方法
CN107305521A (zh) * 2016-04-20 2017-10-31 百度在线网络技术（北京）有限公司 日志记录方法和装置
CN107958022A (zh) * 2017-11-06 2018-04-24 余帝乾 一种万维网日志挖掘的方法
CN108509426A (zh) * 2018-04-11 2018-09-07 焦点科技股份有限公司 一种深度多维度流量语义分析方法
CN109522357A (zh) * 2018-11-28 2019-03-26 北京锐安科技有限公司 一种数据处理方法、装置、服务器及存储介质
CN110781237A (zh) * 2019-07-01 2020-02-11 厦门美域中央信息科技有限公司 一种基于人工智能的信息可视化分析***
CN111176662A (zh) * 2020-01-20 2020-05-19 厦门靠谱云股份有限公司 可在分布式与单体环境自由组装部署的架构实现方法及部署方法
CN112131190A (zh) * 2020-09-15 2020-12-25 北京值得买科技股份有限公司 全网电商数据自动管理***以及设备
CN113254423A (zh) * 2021-06-09 2021-08-13 中航机载***共性技术有限公司 一种体系文件的生成方法、装置、设备及介质
US11113138B2 (en) 2018-01-02 2021-09-07 Carrier Corporation System and method for analyzing and responding to errors within a log file
CN117033365A (zh) * 2023-10-07 2023-11-10 江苏春花秋月数字科技有限公司 一种基于可视化分析图的ui数据处理方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101192227A (zh) * 2006-11-30 2008-06-04 阿里巴巴公司 一种基于分布式计算网络的日志文件分析方法和***
CN102780726A (zh) * 2011-05-13 2012-11-14 中兴通讯股份有限公司 一种基于web平台的日志分析方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101192227A (zh) * 2006-11-30 2008-06-04 阿里巴巴公司 一种基于分布式计算网络的日志文件分析方法和***
CN102780726A (zh) * 2011-05-13 2012-11-14 中兴通讯股份有限公司 一种基于web平台的日志分析方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐娟娟: "基于NoSQL的Web日志分析***的设计", 《中国优秀硕士学位论文全文数据库》 *
马勇等: "基于Aprior算法的Web日志分析方法", 《信息网络安全》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589786A (zh) * 2015-12-10 2016-05-18 浪潮(北京)电子信息产业有限公司 一种Windows日志的管理方法及装置
CN107305521A (zh) * 2016-04-20 2017-10-31 百度在线网络技术（北京）有限公司 日志记录方法和装置
CN106777079A (zh) * 2016-12-13 2017-05-31 苏州蜗牛数字科技股份有限公司 一种日志数据可视化分析***及方法
CN107958022A (zh) * 2017-11-06 2018-04-24 余帝乾 一种万维网日志挖掘的方法
US11113138B2 (en) 2018-01-02 2021-09-07 Carrier Corporation System and method for analyzing and responding to errors within a log file
CN108509426A (zh) * 2018-04-11 2018-09-07 焦点科技股份有限公司 一种深度多维度流量语义分析方法
CN109522357A (zh) * 2018-11-28 2019-03-26 北京锐安科技有限公司 一种数据处理方法、装置、服务器及存储介质
CN110781237A (zh) * 2019-07-01 2020-02-11 厦门美域中央信息科技有限公司 一种基于人工智能的信息可视化分析***
CN111176662B (zh) * 2020-01-20 2020-12-01 厦门靠谱云股份有限公司 可在分布式与单体环境自由组装部署的架构实现方法及部署方法
CN111176662A (zh) * 2020-01-20 2020-05-19 厦门靠谱云股份有限公司 可在分布式与单体环境自由组装部署的架构实现方法及部署方法
CN112131190A (zh) * 2020-09-15 2020-12-25 北京值得买科技股份有限公司 全网电商数据自动管理***以及设备
CN113254423A (zh) * 2021-06-09 2021-08-13 中航机载***共性技术有限公司 一种体系文件的生成方法、装置、设备及介质
CN113254423B (zh) * 2021-06-09 2022-02-11 中航机载***共性技术有限公司 一种体系文件的生成方法、装置、设备及介质
CN117033365A (zh) * 2023-10-07 2023-11-10 江苏春花秋月数字科技有限公司 一种基于可视化分析图的ui数据处理方法及***
CN117033365B (zh) * 2023-10-07 2023-12-22 江苏春花秋月数字科技有限公司 一种基于可视化分析图的ui数据处理方法及***

Also Published As

Publication number Publication date
CN104951529B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN104951529A (zh) 一种针对网站日志的交互式分析方法
Zheng et al. Real-time intelligent big data processing: technology, platform, and applications
CN110489459A (zh) 一种基于大数据平台的企业级业数融合数据分析***
Gürcan et al. Real-time processing of big data streams: Lifecycle, tools, tasks, and challenges
Chitraa et al. A novel technique for sessions identification in web usage mining preprocessing
CN105677842A (zh) 基于Hadoop大数据处理技术的日志分析***
CN102724059A (zh) 基于MapReduce的网站运行状态监控与异常检测
CN102122291A (zh) 一种基于树形日志模式分析的博客好友推荐方法
Anitha A new web usage mining approach for next page access prediction
CN105610616A (zh) 基于icp活跃度的接入网单个ip平均流量统计方法及***
CN103440328B (zh) 一种基于鼠标行为的用户分类方法
CN107704620B (zh) 一种档案管理的方法、装置、设备和存储介质
Gaurav et al. An outline on big data and big data analytics
Li et al. Survey of recent research progress and issues in big data
Maske et al. A real time processing and streaming of wireless network data using storm
Wu et al. Research on data sharing architecture for ecological monitoring using Iot streaming data
Verma et al. Comprehensive survey of framework for web personalization using web mining
Tolem et al. A theoretical study on advances in streaming analytics
Amen et al. Sketch of big data real-time analytics model
Mary et al. Performance enhancement in session identification
Li et al. Research of network data mining based on reliability source under big data environment
Razdan The next page access prediction using makov model
CN107145542A (zh) 从url中高效提取用户客户端id的方法和***
Liu A public opinion monitoring system based on big data technology
Gomes et al. Evaluating the tools to analyze the data from the ParticipACT Brazil Project: A test with Elasticseach Tools Ecosystem with Twitter data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant