CN111858278A - 基于大数据处理的日志分析方法、***及可读存储装置 - Google Patents

基于大数据处理的日志分析方法、***及可读存储装置 Download PDF

Info

Publication number
CN111858278A
CN111858278A CN202010651841.4A CN202010651841A CN111858278A CN 111858278 A CN111858278 A CN 111858278A CN 202010651841 A CN202010651841 A CN 202010651841A CN 111858278 A CN111858278 A CN 111858278A
Authority
CN
China
Prior art keywords
data
log
analysis method
processing
log analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010651841.4A
Other languages
English (en)
Inventor
杨勋
胡建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guolian Video Information Technology Co ltd
Original Assignee
Beijing Guolian Video Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guolian Video Information Technology Co ltd filed Critical Beijing Guolian Video Information Technology Co ltd
Priority to CN202010651841.4A priority Critical patent/CN111858278A/zh
Publication of CN111858278A publication Critical patent/CN111858278A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种基于大数据处理的日志分析方法、***及可读存储装置，所述日志分析方法包括以下步骤：S1：日志收集服务BLS从日志源收集日志；S2：通过对日志进行数据冷处理和数据热处理；S3：通过BMR进行大数据分布式计算、处理、分析和报告；S4：经过BMR处理好的数据写入数据仓库或由BOS中的数据结合机器学习BML进行用户行为预测分析操作，通过日志分析***能够看到用户的主要来源、喜好网站上的哪些内容，以及用户的忠诚度等。通过分析用户行为日志，本发明能对网站的布局、功能进一步的优化，以提高用户的体验等。通过分析结果，进行推广预算的划分，以及重点优化用户群体的倾向点等。

Description

基于大数据处理的日志分析方法、***及可读存储装置
【技术领域】
本发明涉及大数据处理技术领域，尤其涉及基于大数据处理的日志分析方法、***及可读存储装置。
【背景技术】
在互联网的应用中，日志是个非常重要的数据，因为互联网项目往往是要求7*24不间断运行的，所以能获取到监控***运行的相关日志数据并进行分析就显得很有必要。日志分析***是面向分析的集成化数据环境，为企业决策制定过程，提供***数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。在大数据时代，日志数据是每个公司、组织或机构运营情况的明确记录，也是用户在公司产品过程中使用痕迹的最直接，最易获得、覆盖面最广的数据来源之一。日志的采集和分析往往采用大数据的技术处理。
因此，有必要研究基于大数据处理的日志分析方法、***及可读存储装置来应对现有技术的不足，以解决或减轻上述一个或多个问题。
【发明内容】
有鉴于此，本发明提供了基于大数据处理的日志分析方法、***及可读存储装置，通过日志分析能够看到用户的主要来源、喜好网站上的哪些内容，以及用户的忠诚度，对网站的布局、功能进一步的优化，以提高用户的体验。
一方面，本发明提供一种日志分析方法，所述日志分析方法包括以下步骤：
S1：日志收集服务，BLS从日志源收集日志；
S2：对日志分别进行数据冷处理和数据热处理；
S3：通过BMR对处理后的数据进行大数据分布式计算，并进行分析；
S4：经过BMR计算后的数据写入数据仓库或由BOS中的数据结合机器学习BML进行用户行为预测分析操作；
S5：应用和展示分析结果，将数据热处理的结果提供警报给运维人员；将冷数据处理的结果通过BI工具进行展示。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2中数据冷处理具体为：将日志写入对象存储BOS进行存储或者写入HBase集群，之后接入Hive或Spark SQL集群进行分析处理。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2中数据热处理具体为：将日志输入消息服务Kafka，作为消息队列，投递到流式计算BSC，对日志数据进行实时计算处理，再将处理后的数据写入到Kafka。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述BMR为全托管的Hadoop/Spark集群。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S1具体为:通过BLS进行托管式日志收集服务，用户需配置源地址、目的地址和收集规则。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3具体包括：
所述S3具体包括：
S31：数据清洗，使用分布式计算框架对数据进行清洗，清洗完之后的数据存放在数据仓库或者保留在计算框架内；
S32：使用Spark、Hive、MapReduce或Flink框架，对清洗后的数据进行业务统计，并根据大数据内容进行分析。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分布式计算框架包括Spark、Hive和MapReduce。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S5中BI工具展示结果包括饼图、柱状图、地图和折线图。
如上所述的方面和任一可能的实现方式，进一步提供一种基于大数据处理的日志分析装置，所述装置包括
日志收集模块，用于从日志源收集日志；
处理分析模块，用于对日志进行数据清洗、冷处理和热处理，并对处理结果进行存储和预测分析；
应用展示模块，通过存储的处理结果进行警报，并将预测分析结果进行BI工具展示。
如上所述的方面和任一可能的实现方式，进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志分析的处理程序，所述日志分析方法的处理程序被处理器执行时实现如任一项所述的日志分析方法的步骤。
如上所述的方面和任一可能的实现方式，进一步提供一种基于大数据处理的日志分析方法的应用，所述日志分析方法用于电子银行、通信运营商或电商运营平台。
与现有技术相比，本发明可以获得包括以下技术效果：
本发明所述***支持冷、热数据的离线、实时处理；支持多数据源、复杂数据结构的处理和复杂画像的构建。通过日志分析***能够看到用户的主要来源、喜好网站上的哪些内容，以及用户的忠诚度等。通过分析用户行为日志，能对网站的布局、功能进一步的优化，以提高用户的体验等。通过分析结果，进行推广预算的划分，以及重点优化用户群体的倾向点等。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一个实施例提供的日志分析方法的流程图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
本发明提供一种基于大数据处理的日志分析方法，如图1所示，所述日志分析方法包括以下步骤：
S1：日志收集服务BLS从日志源收集日志；
S2：通过对日志进行数据冷处理和数据热处理；
S3：通过BMR进行大数据分布式计算、处理、分析和报告；
S4：经过BMR处理好的数据写入数据仓库或由BOS中的数据结合机器学习BML进行用户行为预测分析操作；
S5：应用和展示分析结果，将数据热处理的结果提供警报给运维人员；将冷数据通过BI工具进行展示。
所述S2中数据冷处理具体为：将日志写入对象存储BOS进行存储或者写入HBase集群，之后接入Hive或SparkSQL集群进行分析处理。
所述S2中数据热处理具体为：将日志接入消息服务Kafka作为消息队列，投递到流式计算BSC对日志数据进行实时计算处理，再将处理后的数据写入到Kafka。
所述BMR为全托管的Hadoop/Spark集群，所述S1具体为:通过BLS进行托管式日志收集服务，用户需配置源地址、目的地址和收集规则。
所述S3具体包括：
S31：数据清洗，使用分布式计算框架对数据进行清洗，清洗完之后的数据存放在数据仓库或者保留在计算框架内；
S32：使用Spark、Hive、MapReduce或Flink框架，对清洗后的数据进行业务统计，并根据大数据内容进行分析。
所述分布式计算框架包括Spark、Hive和MapReduce。所述S5中BI工具展示结果包括饼图、柱状图、地图和折线图。
一种基于大数据处理的日志分析装置，所述装置包括
日志收集模块，用于从日志源收集日志；
处理分析模块，用于对日志进行数据清洗、冷处理和热处理，并对处理结果进行存储和预测分析；
应用展示模块，通过存储的处理结果进行警报，并将预测分析结果进行BI工具展示。
一种计算机可读存储介质，所述计算机可读存储介质上存储有日志分析的处理程序，所述日志分析方法的处理程序被处理器执行时实现如任一项所述的日志分析方法的步骤。
本发明针对用户在日常生活中越来越依赖于运营商提供的通信服务，导使得运营商手中留存了大量的用户数据。基于大数据激活这部分数据潜在价值。运营商期望从留存的用户日志数据挖掘出特定方向的隐藏信息价值，如：用户行为预测，营销结果监测，信贷风险防控，地产选址，人口迁徙分布，交通运输规划，商业舆情等信息。针对运营商以上的需求痛点，本发明提供了基于日志的数据挖掘分析服务。
在保证用户隐私的情况下，使用运营商日志数据，结合运营商的DPI***，计费***及其他数据。构建用户习惯，活动路径，消费场景等上百的一级维度分类，近千的二级维度分类，用于构建用户画像，并使用特定方式进行用户画像的不同维度的不同时间粒度的校准，逐步丰满用户画像。保证提供特定用户特定服务的精准程度。
本发明的工作原理如下：
大数据处理的日志分析***分为五大模块。
数据采集：使用Flume对数据进行采集，将web日志写入BLS的HDFS。
数据清洗：使用Spark、Hive、MapReduce或者其他的一些分布式计算框架，清洗完之后的数据存放在数据仓库或者Hive、SparkSQL里。
数据处理：按照需要进行相应业务的统计和分析(使用Spark、Hive、MapReduce、Flink等框架)。
数据处理结果入库：结果存放到RDBMS、NoSQL等数据库。
数据的可视化：通过图形化展示的方式展现出来：饼图、柱状图、地图、折线图。
本发明所述***支持冷、热数据的离线、实时处理；支持多数据源、复杂数据结构的处理和复杂画像的构建。通过日志分析***能够看到用户的主要来源、喜好网站上的哪些内容，以及用户的忠诚度等。通过分析用户行为日志，本发明能对网站的布局、功能进一步的优化，以提高用户的体验等。通过分析结果，进行推广预算的划分，以及重点优化用户群体的倾向点等。
本发明基于大数据处理的日志分析***和方法同时实现热数据处理与冷数据处理，包括日志收集、处理与分析、应用与展示三个模块。
在日志收集模块，日志收集服务BLS从日志源(如服务器)收集日志。BLS是托管式日志收集服务，用户只需配置源地址、目的地址、收集规则等简单信息即可实现日志的高可靠、高可用收集。
收集到的日志即可接入日志处理模块。一方面对于热数据处理场景，可以将日志接入消息服务Kafka作为消息队列，投递到流式计算BSC对日志数据进行实时计算处理，再将处理后的数据写入到Kafka。另一方面对于冷数据处理场景，可以将日志先写入对象存储BOS进行存储，或者直接写入HBase集群，之后接入Hive、SparkSQL集群进行分析处理。BMR是全托管的Hadoop/Spark集群，借助大数据分布式计算技术，专注于大数据处理、分析、报告。经过BMR处理好的数据可以写入数据仓库。同时也可直接由BOS中的数据结合机器学习BML进行用户行为预测等分析操作。
在应用与展示模块，热数据经过处理可以提供警报给运维人员；冷数据可通过BI工具进行展示。
本发明所述日志分析方法可以用于银行、通信运营商和电商运营平台。
以上对本申请实施例所提供的基于大数据处理的日志分析方法、***及可读存储装置，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。

Claims (10)

1.一种基于大数据处理的日志分析方法，其特征在于，所述日志分析方法包括以下步骤：
S1：日志收集服务，BLS从日志源收集日志；
S2：对日志分别进行数据冷处理和数据热处理；
S3：通过BMR对处理后的数据进行大数据分布式计算，并进行分析；
S4：经过BMR计算后的数据写入数据仓库或由BOS中的数据结合机器学习BML进行用户行为预测分析操作；
S5：应用和展示分析结果，将数据热处理的结果提供警报给运维人员；将冷数据处理的结果通过BI工具进行展示。
2.根据权利要求1所述的日志分析方法，其特征在于，所述S2中数据冷处理具体为：将日志写入对象存储BOS进行存储或者写入HBase集群，之后接入Hive或Spark SQL集群进行分析处理。
3.根据权利要求1所述的日志分析方法，其特征在于，所述S2中数据热处理具体为：将日志输入消息服务Kafka，作为消息队列，投递到流式计算BSC，对日志数据进行实时计算处理，再将处理后的数据写入到Kafka。
4.根据权利要求1所述的日志分析方法，其特征在于，所述S1具体为:通过BLS进行托管式日志收集服务，用户需配置源地址、目的地址和收集规则。
5.根据权利要求1所述的日志分析方法，其特征在于，所述S3具体包括：
S31：数据清洗，使用分布式计算框架对数据进行清洗，清洗完之后的数据存放在数据仓库或者保留在计算框架内；
S32：使用Spark、Hive、MapReduce或Flink框架，对清洗后的数据进行业务统计，并根据大数据内容进行分析。
6.根据权利要求1所述的日志分析方法，其特征在于，所述分布式计算框架包括Spark、Hive和MapReduce。
7.根据权利要求1所述的日志分析方法，其特征在于，所述S5中BI工具展示结果包括饼图、柱状图、地图和折线图。
8.一种基于大数据处理的日志分析装置，包括上述权利要求1-7之一所述的日志分析方法，其特征在于，所述装置包括
日志收集模块，用于从日志源收集日志；
处理分析模块，用于对日志进行数据清洗、冷处理和热处理，并对处理结果进行存储和预测分析；
应用展示模块，通过存储的处理结果进行警报，并将预测分析结果进行BI工具展示。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志分析的处理程序，所述日志分析方法的处理程序被处理器执行时实现如权利要求1至7中任一项所述的日志分析方法的步骤。
10.一种基于大数据处理的日志分析方法的应用，基于权利要求1至7中任一项所述的日志分析方法的步骤，其特征在于，所述日志分析方法用于电子银行、通信运营商或电商运营平台。
CN202010651841.4A 2020-07-08 2020-07-08 基于大数据处理的日志分析方法、***及可读存储装置 Pending CN111858278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010651841.4A CN111858278A (zh) 2020-07-08 2020-07-08 基于大数据处理的日志分析方法、***及可读存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010651841.4A CN111858278A (zh) 2020-07-08 2020-07-08 基于大数据处理的日志分析方法、***及可读存储装置

Publications (1)

Publication Number Publication Date
CN111858278A true CN111858278A (zh) 2020-10-30

Family

ID=73153153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010651841.4A Pending CN111858278A (zh) 2020-07-08 2020-07-08 基于大数据处理的日志分析方法、***及可读存储装置

Country Status (1)

Country Link
CN (1) CN111858278A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094250A (zh) * 2021-05-12 2021-07-09 成都新希望金融信息有限公司 日志预警方法、装置、电子设备及存储介质
CN113518365A (zh) * 2021-04-29 2021-10-19 北京红山信息科技研究院有限公司 一种数据关联方法、装置、服务器及存储介质
CN113836431A (zh) * 2021-10-19 2021-12-24 中国平安人寿保险股份有限公司 基于用户时长的用户推荐方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017071134A1 (zh) * 2015-10-28 2017-05-04 北京汇商融通信息技术有限公司 分布式跟踪***
CN107577805A (zh) * 2017-09-26 2018-01-12 华南理工大学 一种面向日志大数据分析的业务服务***
CN110489453A (zh) * 2019-07-02 2019-11-22 广东工业大学 基于大数据日志分析的用户游戏实时推荐方法及***
CN110690984A (zh) * 2018-07-05 2020-01-14 上海宝信软件股份有限公司 基于Spark的大数据网络日志采集分析和预警的方法、***
US20200160230A1 (en) * 2018-11-19 2020-05-21 International Business Machines Corporation Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017071134A1 (zh) * 2015-10-28 2017-05-04 北京汇商融通信息技术有限公司 分布式跟踪***
CN107577805A (zh) * 2017-09-26 2018-01-12 华南理工大学 一种面向日志大数据分析的业务服务***
CN110690984A (zh) * 2018-07-05 2020-01-14 上海宝信软件股份有限公司 基于Spark的大数据网络日志采集分析和预警的方法、***
US20200160230A1 (en) * 2018-11-19 2020-05-21 International Business Machines Corporation Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs
CN110489453A (zh) * 2019-07-02 2019-11-22 广东工业大学 基于大数据日志分析的用户游戏实时推荐方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
杨潇黎;蒋廷耀;金鑫;罗神;: "分布式web日志处理平台的研究与实现", 信息通信, no. 03 *
田晓旭: "【技术分享】百度开放云张琪：大数据时代的数据仓储", pages 4 - 13, Retrieved from the Internet <URL:https://mp.weixin.qq.com/s/iHEAYUqEG5RXdwaOOnrjdA> *
马延超;王超;李尚同;: "基于大数据技术的日志统计与分析***研究", 电脑知识与技术, no. 34 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113518365A (zh) * 2021-04-29 2021-10-19 北京红山信息科技研究院有限公司 一种数据关联方法、装置、服务器及存储介质
CN113518365B (zh) * 2021-04-29 2023-11-17 北京红山信息科技研究院有限公司 一种数据关联方法、装置、服务器及存储介质
CN113094250A (zh) * 2021-05-12 2021-07-09 成都新希望金融信息有限公司 日志预警方法、装置、电子设备及存储介质
CN113094250B (zh) * 2021-05-12 2023-08-18 成都新希望金融信息有限公司 日志预警方法、装置、电子设备及存储介质
CN113836431A (zh) * 2021-10-19 2021-12-24 中国平安人寿保险股份有限公司 基于用户时长的用户推荐方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US10218808B2 (en) Scripting distributed, parallel programs
US10235430B2 (en) Systems, methods, and apparatuses for detecting activity patterns
CN108509485B (zh) 数据的预处理方法、装置、计算机设备和存储介质
CN111858278A (zh) 基于大数据处理的日志分析方法、***及可读存储装置
CN107315776A (zh) 一种基于云计算的数据管理***
US9009850B2 (en) Database management by analyzing usage of database fields
Schintler et al. Encyclopedia of big data
CN110300084B (zh) 基于ip地址的画像方法和装置，电子设备，可读介质
US9910858B2 (en) System and method for providing contextual analytics data
US20170337568A1 (en) Data processing method, system and computer device based on electronic payment behaviors
Höpken et al. Tourism knowledge destination
US20170046376A1 (en) Method and system for monitoring data quality and dependency
CN114218309A (zh) 数据处理方法、***和计算机设备
Imran et al. Data provenance
CN105404974A (zh) 一种数据资产化方法、装置及管理平台
Pospiech et al. A descriptive big data model using grounded theory
Altalhi et al. Developing a framework and algorithm for scalability to evaluate the performance and throughput of CRM systems
CN108170561B (zh) 一种容灾备份方法、装置及***
Hogan Data center
CN116302867A (zh) 行为数据分析方法、装置、计算机设备、介质和程序产品
US20150081356A1 (en) Dynamic multi-dimensional business reports
US9361379B1 (en) Systems and methods providing recommendation data
CN111143328A (zh) 一种敏捷商业智能数据构建方法、***、设备、存储介质
US20160283948A1 (en) End user trend identification to identify information gaps
Zhang Data Synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination