CN110489464B - 探索式图融合可视化方法和装置 - Google Patents

探索式图融合可视化方法和装置 Download PDF

Info

Publication number
CN110489464B
CN110489464B CN201910589334.XA CN201910589334A CN110489464B CN 110489464 B CN110489464 B CN 110489464B CN 201910589334 A CN201910589334 A CN 201910589334A CN 110489464 B CN110489464 B CN 110489464B
Authority
CN
China
Prior art keywords
data
log
fusion
field
selecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910589334.XA
Other languages
English (en)
Other versions
CN110489464A (zh
Inventor
鄂海红
宋美娜
孙美杰
陈沅星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910589334.XA priority Critical patent/CN110489464B/zh
Publication of CN110489464A publication Critical patent/CN110489464A/zh
Application granted granted Critical
Publication of CN110489464B publication Critical patent/CN110489464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种探索式图融合可视化方法和装置，其中，方法包括以下步骤：发送HTTP请求，以从日志推送平台采集数据，得到多维日志数据；对多维日志数据进行预处理，并存储至数据库；获取当前用户的查询条件，以从数据库中查询预处理后的日志数据，并根据筛选条件对预处理后的日志数据进行筛选，以对日志数据进行初步展示，及实现日志探索式可视化融合。该方法极大提高了日志分析精准度、全面度，并可以对企业决策提供一定帮助。

Description

探索式图融合可视化方法和装置
技术领域
本发明涉及日志数据分析技术领域，特别涉及一种探索式图融合可视化方法和装置。
背景技术
随着互联网应用技术的飞速发展，各种服务器和网络设备产生的数据量正呈现出***式的增长。日志数据的复杂化、规模化及日志格式的文本化，无序化使得分析者很难从中洞察到有用信息，更不能从多源中的日志数据中针对某一指标作对比分析，因此，如何同时多源中的海量日志数据进行对比分析、处理及可视化的技术正在成为当前研究的技术热点,能够将探索式图融合技术应用到时序日志数据中显得尤为重要。
企事业单位通常在网络的出入口处安装多种网络安全设备来记录各种网络事件以保障内部网络的安全。设备日志数据的多源异构性，时空关联性，海量性使得数据分析者或者是运维人员很难全面感知某一指标的态势，从而无法做出精准的网络决策，预测分析及风险控制。此外，通过对业界商业智能可视化平台的对标分析，普遍具有部署操作门槛高，数据源接入复杂不稳定，数据多维筛选能力弱，导致对多源数据展示不灵活甚至不提供多源数据展示功能。
相关技术，比如，一种面向异构存储多源数据管理及可视化***的数据查询方法，提供一种面向异构存储的多源数据管理及可视化***，该***包括存储层，用于存储结构化数据和非结构化数据；服务层用于对存储数据进行抽取、加工、融合和抽象；应用层通过可视化的方式实现异构数据源的可视化连表查询，查询结果通过可视化技术对业务数据进行再组织形成特定场景使用的专有数据。再比如，一种用于检测日志收集稳定性的可视化展示方法及***，该***包括获取用户终端的日志数据，并根据日志数据构建日志文件；基于日志文件构建数据表；获取检测时间段；根据数据表,计算获取检测时间段的检测数据；可视化展示检测数据，且还公开了一种用于检测日志收集稳定性的可视化展示***。
然而，在已有的日志数据可视化***中，大多都是通过配置的方式获取用户终端的日志数据，形成日志数据表格，而且配置方式参差不齐，大部分只支持单个设备的日志接入，即使是支持多个设备的日志接入，步骤也较繁琐，可视化部分也都只是表格式的简单展示，不利于对日志中某一指标态势的快速查看与分析。而且多源日志融合只支持到文件层面，没有细化到多源日志中某一具体指标的原子级融合，因此并不能根据日志得到精准结果，不利于分析者做出决策。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种探索式图融合可视化方法，该方法极大提高了日志分析精准度、全面度，并可以对企业决策提供一定帮助。
本发明的另一个目的在于提出一种探索式图融合可视化装置。
为达到上述目的，本发明一方面实施例提出了一种探索式图融合可视化方法，发送HTTP请求，以从日志推送平台采集数据，得到多维日志数据；对所述多维日志数据进行预处理，并存储至数据库；获取当前用户的查询条件，以从所述数据库中查询预处理后的日志数据，并根据筛选条件对所述预处理后的日志数据进行筛选，以对所述日志数据进行初步展示，及实现日志探索式可视化融合。
本发明实施例的探索式图融合可视化方法，不仅可以对比分析同源的不同日志指标或同一日志指标的不同聚合维度，支持多指标项融合；也能够同时展示不同源的同一个或多个日志指标态势，支持多源融合；并且提供三大类统计图表：基础统计图表、融合统计图表、单值统计图表来满足日志数据的展示特性，并在展示过程中提供良好的交互性，从而极大提高了日志分析精准度、全面度，并可以对企业决策提供一定帮助。
另外，根据本发明上述实施例的探索式图融合可视化方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述从日志推送平台采集数据，包括：启动数据源收集日志的服务，以从多个维度进行数据收集；采集日志文件数据和***服务指标及模块指标，并更新数据。
进一步地，在本发明的一个实施例中，所述对所述多维日志数据进行预处理，包括：根据预设转换策略对所述多维日志数据进行数据转换；和/或，删除所述多维日志数据中无效数据；和/或，对所述多维日志数据中满足预设条件的数据增加标签；和/或，根据预设需求将所述多维日志数据中满足统计的数据进行统计，并计入数据库；和/或，检测所述多维日志数据的异常数据。
进一步地，在本发明的一个实施例中，所述实现日志探索式可视化融合，包括：根据所述日志数据对多源情况下同一指标项的可视化展示；根据所述日志数据对同源条件下多个指标项的可视化展示；通过视图类别融合支持柱状图、折线图、饼图、地图之间的两两动态组合展示。
进一步地，在本发明的一个实施例中，还包括：接收当前用户的操作指令；根据所述操作指令进行自由定制，以实现可视化监控。
为达到上述目的，本发明另一方面实施例提出了一种探索式图融合可视化装置，包括：数据采集模块，用于发送HTTP请求，以从日志推送平台采集数据，得到多维日志数据；数据处理模块，用于对所述多维日志数据进行预处理，并存储至数据库；数据可视化融合模块，用于获取当前用户的查询条件，以从所述数据库中查询预处理后的日志数据，并根据筛选条件对所述预处理后的日志数据进行筛选，以对所述日志数据进行初步展示，及实现日志探索式可视化融合。
本发明实施例的探索式图融合可视化装置，不仅可以对比分析同源的不同日志指标或同一日志指标的不同聚合维度，支持多指标项融合；也能够同时展示不同源的同一个或多个日志指标态势，支持多源融合；并且提供三大类统计图表：基础统计图表、融合统计图表、单值统计图表来满足日志数据的展示特性，并在展示过程中提供良好的交互性，从而极大提高了日志分析精准度、全面度，并可以对企业决策提供一定帮助。
另外，根据本发明上述实施例的探索式图融合可视化装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述数据采集模块进一步用于启动数据源收集日志的服务，以从多个维度进行数据收集，并采集日志文件数据和***服务指标及模块指标，并更新数据。
进一步地，在本发明的一个实施例中，所述数据处理模块进一步用于根据预设转换策略对所述多维日志数据进行数据转换；和/或，删除所述多维日志数据中无效数据；和/或，对所述多维日志数据中满足预设条件的数据增加标签；和/或，根据预设需求将所述多维日志数据中满足统计的数据进行统计，并计入数据库；和/或，检测所述多维日志数据的异常数据。
进一步地，在本发明的一个实施例中，所述数据可视化融合模块进一步用于根据所述日志数据对多源情况下同一指标项的可视化展示，根据所述日志数据对同源条件下多个指标项的可视化展示，通过视图类别融合支持柱状图、折线图、饼图、地图之间的两两动态组合展示。
进一步地，在本发明的一个实施例中，还包括：可视化监控模块，用于接收当前用户的操作指令，并根据所述操作指令进行自由定制，以实现可视化监控。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的探索式图融合可视化方法的流程图；
图2为根据本发明一个具体实施例的探索式图融合可视化方法的流程图；
图3为根据本发明实施例的探索式视图融合类别流程图；
图4为根据本发明实施例的探索式视图融合类别；
图5为根据本发明实施例的多指标项融合流程图；
图6为根据本发明实施例的动态类图融合流程图；
图7为根据本发明实施例的探索式图融合可视化装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的探索式图融合可视化方法和装置，首先将参照附图描述根据本发明实施例提出的探索式图融合可视化方法。
图1是本发明一个实施例的探索式图融合可视化方法的流程图。
如图1所示，该探索式图融合可视化方法包括以下步骤：
在步骤S101中，发送HTTP请求，以从日志推送平台采集数据，得到多维日志数据。
可以理解的是，如图2所示，在进行数据采集时，本发明实施例提供收集器管理功能，支持自定义标签式生成脚本，于待收集数据的节点上执行该脚本，实现添加数据收集管理器功能，负责管理日志文件收集器和***监控指标收集器，并提供启动、停止功能实现对收集器的全生命周期管理。
进一步地，在本发明的一个实施例中，从日志推送平台采集数据，包括：启动数据源收集日志的服务，以从多个维度进行数据收集；采集日志文件数据和***服务指标及模块指标，并更新数据。
具体而言，如图2所示，本发明实施例通过发送HTTP请求到日志推送平台进行数据采集，主要包括：
(1)日志收集管理器：本发明实施例设计了运行脚本添加收集器管理器的方式，通过添加有实际意义的、具有区别性的标签生成自定义脚本，于待收集数据的节点上执行，启动数据源收集日志的服务并提供从多个维度进行数据收集，包括对HTTP请求数据、多台服务器数据、***监控数据、日志文件数据、各种模块数据(Kafka、k8s、Elasticsearch等)的收集。收集器管理器负责管理日志文件收集器和***监控指标收集器，并提供启动、停止功能实现对收集器的全生命周期管理。
(2)日志文件收集器：是对普通日志文件的收集，通过配置数据源，包括对日志路径、类型、字段、是否启动、匹配模式、合并方式等字段的配置；配置目的地，包括对host地址、索引、ES版本号的配置；确认并添加收集器：填写名称、描述、类型并提供对beat信息的修改完成对日志数据的收集配置，配置完成后将其分发至指定日志收集器管理器进行日志文件收集器启动并开始进行日志收集。此时，节点日志文件数据发生变化后就会通过收集器管理器推送至日志文件收集器，实现数据更新。
(3)***服务指标收集器，是对***服务指标及模块指标的收集，通过配置***信息，选择监控信息类别；配置发送方式，提供三类发送数据目的地，包括Elasticsearch服务，Kafka，本地文件；配置确认并发送收集器，填写名称、描述并提供对module信息、beat信息的修改完成***监控数据的收集配置，配置完成后将其分发至指定日志收集器管理器进行***服务指标收集器启动并开始进行***服务指标收集。此后，节点***服务指标数据发生变化后就会通过收集器管理器推送至***服务指标收集器，实现数据更新。
在步骤S102中，对多维日志数据进行预处理，并存储至数据库。
可以理解的是，如图2所示，本发明实施例对收集好的日志数据进行数据清洗，处理缺失值以及进行纠错校验，保证数据一致性。
进一步地，在本发明的一个实施例中，对多维日志数据进行预处理，包括：根据预设转换策略对多维日志数据进行数据转换；和/或，删除多维日志数据中无效数据；和/或，对多维日志数据中满足预设条件的数据增加标签；和/或，根据预设需求将多维日志数据中满足统计的数据进行统计，并计入数据库；和/或，检测多维日志数据的异常数据。
具体而言，如图2所示，对数据处理分为数据转换、数据删除、数据增强、数据统计和数据异常检测，具体地：
(1)数据转换，包括时间转换、地理位置转换以及按照功能需求进行自定义数据转换；(2)数据删除，包括对重复数据、无用数据的处理；(3)数据增强，指为某类数据增加Tag标签；(4)数据统计，根据需求，如指标增量，统计相应指标数据，计入数据库；(5)数据异常检测，包括检测服务器基础信息是否异常，检测各个基础***(如：kafka)是否异常，检测运行***的堆栈异常，检测业务日志的数据异常等。
在步骤S103中，获取当前用户的查询条件，以从数据库中查询预处理后的日志数据，并根据筛选条件对预处理后的日志数据进行筛选，以对日志数据进行初步展示，及实现日志探索式可视化融合。
可以理解的是，如图2所示，本发明实施例针对处理完成的日志数据提供三个维度上的探索式图融合可视化：多数据源中针对同一或多个日志指标项的可视化融合，同一数据源中针对多个日志指标项或同一日志指标项的不同聚合维度的可视化融合和动态视图类别融合。对纷繁复杂的日志数据提供了强大、灵活的探索式分析及展示功能。
进一步地，在本发明的一个实施例中，实现日志探索式可视化融合，包括：根据日志数据对多源情况下同一指标项的可视化展示；根据日志数据对同源条件下多个指标项的可视化展示；通过视图类别融合支持柱状图、折线图、饼图、地图之间的两两动态组合展示。
具体而言，如图2所示，本发明实施例通过用户选择想要进行数据分析的日志源，字段类型，监测时间段及自定义数据条数获取查询条件，将其传递给相应的接口，从而按照需求查询数据库得到数据处理后的日志数据，并对其提供强大的日志筛选功能，筛选规则如下：
Figure BDA0002115590300000051
Figure BDA0002115590300000061
Figure BDA0002115590300000071
其中，父级条件：must代表必须包含此条件，must_not代表必须排除此条件，should代表可以包含此条件；子级条件：equal代表严格等于，gte代表大于等于，lte代表小于等于，regexp代表正则表达式；支持任意组合，层级嵌套。
将按照特定业务场景，如用户行为分析指标、大数据集群指标、AI计算平台指标、k8s集群指标等筛选过后的日志进行初步二维表格展示，以便用户对日志数据的初步感知，并提供支持日志探索式可视化融合功能。
进一步地，如图3所示，探索式图融合分为多源融合、多指标项融合和动态类图融合，具体地：
多源数据可视化融合为数据分析者提供对多源情况下同一指标项的可视化展示，利于对比观测，在实际的生产环境中，利于对某大数据集群下某一具体指标的各节点对比分析；同时也为数据分析者提供对多源情况下不同指标项的可视化展示，利于多源相关性观测分析。如图4所示，步骤如下：
1、分析者通过选择想要分析的日志字段(如system.process.memory.size)，聚合指标(如计数、求和、最大值、最小值、平均值)，填写自定义图例名称，配置筛选规则(如host.name must equal master代表数据来源必须为服务器master)
2、点击添加字段，配置下一个日志字段，日志字段名可与步骤一相同，选择聚合指标(如计数、求和、最大值、最小值、平均值)，填写自定义图例名称，配置筛选规则(如host.name must equal slave1代表数据来源必须为服务器slave1)。主要分为两种场景：不同源下的同一日志字段可视；不同源下的不同日志字段可视。
3、基于Y轴维度的配置重复上述步骤。
4、基于X轴度量的配置：填写自定义坐标间隔，选择间隔维度(如秒、分、时)、自动显示日志条数。
5、将上述所有查询条件转换为数据对象，将其传递给相应的接口，查询数据库得到生成图表的原始数据，通过数据转换模型的处理形成统一格式的可视化数据结构，再通过视图转换模型进行数据向视图的转换，最终渲染呈现给用户。
多指标项可视化融合为数据分析者提供对同源条件下多个指标项的可视化展示，利于对相关联指标的同时观测，在实际的生产环境中，利于对某大数据集群下不同具体指标的同一节点对比分析；同时为数据分析者提供对同源条件下同一指标项的不同聚合指标维度的可视化展示，利于对比观测分析，如内存(master_hdfs_memory)在指定时间间隔的最大使用量、最小使用量、平均使用量的对比分析。如图5所示，步骤如下：
1、分析者通过选择想要分析的日志字段(如system.process.memory.size)，聚合指标(如计数、求和、最大值、最小值、平均值)，填写自定义图例名称，配置筛选规则(如host.name must equal master代表主机名称必须为master)
2、点击添加字段，配置下一个想要分析的日志字段(如system.process.cpu.total.value)，选择聚合指标(如计数、求和、最大值、最小值、平均值)，填写自定义图例名称，配置筛选规则(如host.name must equal master代表主机名称必须为master)。主要分为两种场景：不同聚合指标维度下的同一日志字段；同一聚合指标维度下的不同日志字段。
3、基于Y轴维度的配置重复上述步骤
4、基于X轴度量的配置：填写自定义坐标间隔，选择间隔维度(如秒、分、时)、自动显示日志条数
5、将上述所有查询条件转换为数据对象，将其传递给相应的接口，查询数据库得到生成图表的原始数据，通过数据转换模型的处理形成统一格式的可视化数据结构，再通过视图转换模型进行数据向视图的转换，最终渲染呈现给用户。
动态类图融合主要是通过视图类别融合为数据分析者提供视觉上的便利，支持柱状图、折线图、饼图、地图之间的两两动态组合。组合类型可以是柱折融合图、地图柱形融合图、地图饼状融合图等，具体类型依据日志指标数据维度确定。如图6所示，步骤如下：
1、分析者通过选择想要分析的日志字段，聚合指标(如计数、求和、最大值、最小值、平均值)，填写自定义图例名称，选择与此日志字段维度相匹配的图表类型，配置筛选规则(如host.name must equal master代表主机名称必须为master或其他)
2、点击添加字段，配置下一个想要分析的日志字段，选择聚合指标(如计数、求和、最大值、最小值、平均值)，填写自定义图例名称，选择与此日志字段维度相匹配的图表类型，配置筛选规则(如host.name must equal master代表主机名称必须为master或其他)。
3、基于X轴度量的配置：填写自定义坐标间隔，选择间隔维度(如秒、分、时)、自动显示日志条数
5、将上述所有查询条件转换为数据对象，将其传递给相应的接口，查询数据库得到生成图表的原始数据，通过数据转换模型的处理形成统一格式的可视化数据结构，再通过视图转换模型进行数据向视图的转换，最终渲染呈现给用户。
在上述可视化融合实现过程中，通过数据转换模型解决了由于多源或者同源情况下指标不同引起的数据不统一问题。在Echarts中的一个图表中展示多类数据的前提是维度与度量的数据条目需要保持一致性且要统一处理成ARRAY格式，但是在多源或者多指标的情况下，数据条目存在很大的随机性，本专利解决了数据条目及格式一致性技术问题。方案如下：
1、在多源同一或不同日志指标或同源不同日志指标场景下会出现数据条目及格式不一致性，通过将相应查询条件传给相应API，API中返回以图例名称为唯一标识的不同日志指标数据，同时前端会维护一个动态图例名称数组，即动态添加日志字段时填写的自定义图例名称，这样日志数据就形成了一种以图例名称为唯一标识的前后端映射关系。
2、维度轴数据一致性：遍历API返回每一条日志数据及图例名称数组，维护一个数据对象，对象中属性以图例名称为KEY，以该图例名称下所有日志数据组成的数组为VALUE。如果某一图例名称下的一条日志数据为undefined，则将其赋值为当前日志数据的前两条日志数据的平均值。
3、度量轴数据一致性：维度与度量的数据需要严格的一一对应关系才能表达正确的语义，度量级数据维护一个数组，存放与维度轴数据顺序严格对应的时序类数据。
4、达到数据条目及格式一致性效果，获得可视化数据结构。
数据源输入如下：
Figure BDA0002115590300000091
Figure BDA0002115590300000101
一致性输出如下：
Figure BDA0002115590300000102
进一步地，在上述可视化融合实现过程中，通过视图转换模型连接了可视化数据结构和可视化Option，通过调用自研的Dchart插件来完成。该插件抽象参数包含选择器，数据，图表类型，是否实时等，支持图表类型包含多值图(折线图、柱状图、散点图、堆叠图、饼图、环形图)，单值图(百分比图、文字&数字图)，融合图(柱饼融合图、柱折融合图，折饼融合图)和表格。每个作图函数(子函数)包括获取图表存放容器DOM，初始化Echarts实例，设置自定义Option，将自定义Option通过setOption API传给Echarts实例，返回自定义Option。父函数中使用switch语法，通过判断图表类型来分别调用每个作图函数。其中，表1为图表类型表，伪代码如下：
Figure BDA0002115590300000103
Figure BDA0002115590300000111
表1
Figure BDA0002115590300000112
Figure BDA0002115590300000121
探索式图融合技术结合了数据计算、数据筛选、数据可视化、图表可配置等功能。数据计算指为日志指标提供计数、平均值、求和、最大值、最小值等聚合计算功能，使用其聚合后的值作为生成图表的数据，观察计算日志指标的相关性。数据筛选是对日志数据提供强大的筛选机制，通过选择日志指标、父级规则(如must、must_not、should)，子级规则(equal、gte、lte、regexp)，填写具体筛选条件，然后转换为JSON格式的筛选规则作为参数传给相应API，从而更改生成图表的数据源。数据可视化支持在符合数据维度特性的基础统计图表、融合统计图表、单值统计图三大类图表中自由选择，并支持图表与Table之间切换。图表可配置支持对不同Y轴值颜色的更改、更改坐标轴名称、图例名称等，使生成的图表更加简单、明了、美观。
上述探索式图融合技术基本是由点击、选择等交互式操作实现，极大的降低了用户对日志数据可视分析的门槛，生成数据图表的类型也可以根据智能推荐自由切换，极大的提高了用户进行数据分析的效率。
进一步地，在本发明的一个实施例中，本发明实施例的方法还包括：接收当前用户的操作指令；根据操作指令进行自由定制，以实现可视化监控。
可以理解的是，如图2所示，本发明实施例将数据可视化融合中生成的日志态势图添加到指定文件夹下的指定日志报告中，提供自由排版、实时刷新、数据源迁移、动态轮播等功能。
具体而言，如图2所示，可视化监控为分析者提供态势图自由定制机制，分析者可以通过拖拽进行态势图重排及自由伸缩，点击保存将拖拽后的位置信息通过参数形式传给相应接口，实现布局持久化；基于数据源可迁移的原理提供了模版机制，通过选择不同的日志索引，进行展示数据的切换，不需要重新作图以实现复用，提高效率；对于每一个态势图支持数据动态轮播，实现动态性，在轮播过程中将数据进行浮层展示，利于用户观察；提供对每一个态势图的精确可编辑功能，可根据分析者的审美形成风格各异的日志监控报告。
综上，本发明实施例在现有的可视化***的基础上，基于探索式图融合技术，将探索式分析技术与数据可视化技术相结合，以普通用户的思维设计了极简的交互方式，操作门槛低，非技术人员也可即学即用。本发明实施例从获取日志数据源、到日志指标的探索式、图融合可视化、再到添加至日志报告，具体地：与日志源建立数据传输通道；添加日志收集器并分发到收集器管理器；获取收集器索引，类型，监测时间段等用于对日志数据进行分析；日志源之间多源融合分析，同一日志源指标之间融合分析；可视化作图，添加至日志报告。
也就是说，本发明实施例通过友好极简的交互方式，符合大部分用户的行为习惯。在日志收集器分发至多个或者单个收集器管理器后，通过选择日志索引，日志类型，监测时间段等检索条件将所有日志数据按照日志指标字段名进行二维表格展示，完成文件(分子)级别的多源数据融合并进行表格可视化，并且提供强大的文件级融合数据筛选机制；筛选出想要分析的数据后，通过配置多个Y轴实现多源或多指标项图融合，Y轴具体配置指标有日志数据字段、聚合指标、图例名称，针对每个Y轴维度上的数据提供日志指标字段(原子)级别融合数据筛选机制；X轴度量是时间的时序表示，具体配置指标有坐标间隔、间隔维度；最后选择适合数据维度特征的展示图形完成日志指标的探索式图融合可视化；并提供添加至日志报告功能。本发明实施例构建了一套兼具数据采集、数据处理、数据制图、日志报告的智能日志可视化流程，提供了一个可配置、可复用、可扩展的日志监测可视化解决方案，具有美感、灵活、多源的特点。
根据本发明实施例提出的探索式图融合可视化方法，不仅可以对比分析同源的不同日志指标或同一日志指标的不同聚合维度，支持多指标项融合；也能够同时展示不同源的同一个或多个日志指标态势，支持多源融合；并且提供三大类统计图表：基础统计图表、融合统计图表、单值统计图表来满足日志数据的展示特性，并在展示过程中提供良好的交互性，从而极大提高了日志分析精准度，全面度，并可以对企业决策提供一定帮助。
其次参照附图描述根据本发明实施例提出的探索式图融合可视化装置。
图7是本发明一个实施例的探索式图融合可视化装置的结构示意图
如图7所示，该探索式图融合可视化装置10包括：数据采集模块100、数据处理模块200和数据可视化融合模块300。
其中，数据采集模块100用于发送HTTP请求，以从日志推送平台采集数据，得到多维日志数据。数据处理模块200用于对多维日志数据进行预处理，并存储至数据库。数据可视化融合模块300用于获取当前用户的查询条件，以从数据库中查询预处理后的日志数据，并根据筛选条件对预处理后的日志数据进行筛选，以对日志数据进行初步展示，及实现日志探索式可视化融合。本发明实施例的装置10极大提高了日志分析精准度、全面度，并可以对企业决策提供一定帮助。
进一步地，在本发明的一个实施例中，数据采集模块100进一步用于启动数据源收集日志的服务，以从多个维度进行数据收集，并采集日志文件数据和***服务指标及模块指标，并更新数据。
进一步地，在本发明的一个实施例中，数据处理模块200进一步用于根据预设转换策略对多维日志数据进行数据转换；和/或，删除多维日志数据中无效数据；和/或，对多维日志数据中满足预设条件的数据增加标签；和/或，根据预设需求将多维日志数据中满足统计的数据进行统计，并计入数据库；和/或，检测多维日志数据的异常数据。
进一步地，在本发明的一个实施例中，数据可视化融合模块300进一步用于根据日志数据对多源情况下同一指标项的可视化展示，根据日志数据对同源条件下多个指标项的可视化展示，通过视图类别融合支持柱状图、折线图、饼图、地图之间的两两动态组合展示。
进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：可视化监控模块。其中，可视化监控模块用于接收当前用户的操作指令，并根据操作指令进行自由定制，以实现可视化监控。
需要说明的是，前述对探索式图融合可视化方法实施例的解释说明也适用于该实施例的探索式图融合可视化装置，此处不再赘述。
根据本发明实施例提出的探索式图融合可视化装置，不仅可以对比分析同源的不同日志指标或同一日志指标的不同聚合维度，支持多指标项融合；也能够同时展示不同源的同一个或多个日志指标态势，支持多源融合；并且提供三大类统计图表：基础统计图表、融合统计图表、单值统计图表来满足日志数据的展示特性，并在展示过程中提供良好的交互性，从而极大提高了日志分析精准度、全面度，并可以对企业决策提供一定帮助。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种探索式图融合可视化方法，其特征在于，包括以下步骤：
发送HTTP请求，以从日志推送平台采集数据，得到多维日志数据；
对所述多维日志数据进行预处理，并存储至数据库；以及
获取当前用户的查询条件，以从所述数据库中查询预处理后的日志数据，并根据筛选条件对所述预处理后的日志数据进行筛选，以对所述日志数据进行初步展示，及实现日志探索式可视化融合；
其中，所述实现日志探索式可视化融合，包括：多源融合、多指标项融合和动态融合；
其中，所述多源融合包括根据所述日志数据对多源情况下同一指标项的可视化展示，进一步包括：
步骤一，通过选择分析的日志字段、聚合指标，填写自定义图例名称，配置筛选规则；
步骤二，点击添加字段,配置下一个日志字段，字段名与步骤一相同，选择聚合指标，填写自定义图例名称，配置筛选规则；主要包括两种场景：不同源下的同一日志字段可视，不同源下的不同日志字段可视；
步骤三，基于Y轴维度的配置重复步骤一、步骤二；
步骤四，基于X轴度量的配置：填写自定义坐标间隔,选择间隔维度、自动显示日志条数；
步骤五，将上述所有查询条件转换为数据对象,将所述数据对象传递给相应的接口,查询数据库得到生成图表的原始数据,通过数据转换模型的处理形成统一格式的可视化数据结构,再通过视图转换模型进行数据向视图的转换,最终渲染呈现给用户；
其中，所述多指标项融合包括根据所述日志数据对同源条件下多个指标项的可视化展示，进一步包括：
步骤一，通过选择分析的日志字段、聚合指标，填写自定义图例名称，配置筛选规则；
步骤二，点击添加字段,配置下一个日志字段，字段名与步骤一相同，选择聚合指标，填写自定义图例名称，配置筛选规则；主要包括两种场景：不同聚合指标维度下的同一日志字段，同一聚合指标维度下的不同日志字段；
步骤三，基于Y轴维度的配置重复步骤一、步骤二；
步骤四，基于X轴度量的配置：填写自定义坐标间隔,选择间隔维度、自动显示日志条数；
步骤五，将上述所有查询条件转换为数据对象,将所述数据对象传递给相应的接口,查询数据库得到生成图表的原始数据,通过数据转换模型的处理形成统一格式的可视化数据结构,再通过视图转换模型进行数据向视图的转换,最终渲染呈现给用户；
其中，所述动态融合包括通过视图类别融合支持柱状图、折线图、饼图、地图之间的两两动态组合展示，进一步包括：
步骤一，通过选择分析的日志字段、聚合指标，填写自定义图例名称，选择与所述日志字段相匹配的图表类型，配置筛选规则；
步骤二，点击添加字段,配置下一个日志字段，字段名与步骤一相同，选择聚合指标，填写自定义图例名称，选择与所述日志字段相匹配的图表类型，配置筛选规则；
步骤三，基于Y轴维度的配置重复步骤一、步骤二；
步骤四，基于X轴度量的配置：填写自定义坐标间隔,选择间隔维度、自动显示日志条数；
步骤五，将上述所有查询条件转换为数据对象,将所述数据对象传递给相应的接口,查询数据库得到生成图表的原始数据,通过数据转换模型的处理形成统一格式的可视化数据结构,再通过视图转换模型进行数据向视图的转换,最终渲染呈现给用户。
2.根据权利要求1所述的方法，其特征在于，所述从日志推送平台采集数据，包括：
启动数据源收集日志的服务，以从多个维度进行数据收集；
采集日志文件数据和***服务指标及模块指标，并更新数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述多维日志数据进行预处理，包括：
根据预设转换策略对所述多维日志数据进行数据转换；
和/或，删除所述多维日志数据中无效数据；
和/或，对所述多维日志数据中满足预设条件的数据增加标签；
和/或，根据预设需求将所述多维日志数据中满足统计的数据进行统计，并计入数据库；
和/或，检测所述多维日志数据的异常数据。
4.根据权利要求1所述的方法，其特征在于，还包括：
接收当前用户的操作指令；
根据所述操作指令进行自由定制，以实现可视化监控。
5.一种探索式图融合可视化装置，其特征在于，包括：
数据采集模块，用于发送HTTP请求，以从日志推送平台采集数据，得到多维日志数据；
数据处理模块，用于对所述多维日志数据进行预处理，并存储至数据库；以及
数据可视化融合模块，用于获取当前用户的查询条件，以从所述数据库中查询预处理后的日志数据，并根据筛选条件对所述预处理后的日志数据进行筛选，以对所述日志数据进行初步展示，及实现日志探索式可视化融合；
其中，所述实现日志探索式可视化融合，包括：多源融合、多指标项融合和动态融合；
其中，所述多源融合包括根据所述日志数据对多源情况下同一指标项的可视化展示，进一步包括：
步骤一，通过选择分析的日志字段、聚合指标，填写自定义图例名称，配置筛选规则；
步骤二，点击添加字段,配置下一个日志字段，字段名与步骤一相同，选择聚合指标，填写自定义图例名称，配置筛选规则；主要包括两种场景：不同源下的同一日志字段可视，不同源下的不同日志字段可视；
步骤三，基于Y轴维度的配置重复步骤一、步骤二；
步骤四，基于X轴度量的配置：填写自定义坐标间隔,选择间隔维度、自动显示日志条数；
步骤五，将上述所有查询条件转换为数据对象,将所述数据对象传递给相应的接口,查询数据库得到生成图表的原始数据,通过数据转换模型的处理形成统一格式的可视化数据结构,再通过视图转换模型进行数据向视图的转换,最终渲染呈现给用户；
其中，所述多指标项融合包括根据所述日志数据对同源条件下多个指标项的可视化展示，进一步包括：
步骤一，通过选择分析的日志字段、聚合指标，填写自定义图例名称，配置筛选规则；
步骤二，点击添加字段,配置下一个日志字段，字段名与步骤一相同，选择聚合指标，填写自定义图例名称，配置筛选规则；主要包括两种场景：不同聚合指标维度下的同一日志字段，同一聚合指标维度下的不同日志字段；
步骤三，基于Y轴维度的配置重复步骤一、步骤二；
步骤四，基于X轴度量的配置：填写自定义坐标间隔,选择间隔维度、自动显示日志条数；
步骤五，将上述所有查询条件转换为数据对象,将所述数据对象传递给相应的接口,查询数据库得到生成图表的原始数据,通过数据转换模型的处理形成统一格式的可视化数据结构,再通过视图转换模型进行数据向视图的转换,最终渲染呈现给用户；
其中，所述动态融合包括通过视图类别融合支持柱状图、折线图、饼图、地图之间的两两动态组合展示，进一步包括：
步骤一，通过选择分析的日志字段、聚合指标，填写自定义图例名称，选择与所述日志字段相匹配的图表类型，配置筛选规则；
步骤二，点击添加字段,配置下一个日志字段，字段名与步骤一相同，选择聚合指标，填写自定义图例名称，选择与所述日志字段相匹配的图表类型，配置筛选规则；
步骤三，基于Y轴维度的配置重复步骤一、步骤二；
步骤四，基于X轴度量的配置：填写自定义坐标间隔,选择间隔维度、自动显示日志条数；
步骤五，将上述所有查询条件转换为数据对象,将所述数据对象传递给相应的接口,查询数据库得到生成图表的原始数据,通过数据转换模型的处理形成统一格式的可视化数据结构,再通过视图转换模型进行数据向视图的转换,最终渲染呈现给用户。
6.根据权利要求5所述的装置，其特征在于，所述数据采集模块进一步用于启动数据源收集日志的服务，以从多个维度进行数据收集，并采集日志文件数据和***服务指标及模块指标，并更新数据。
7.根据权利要求5所述的装置，其特征在于，所述数据处理模块进一步用于根据预设转换策略对所述多维日志数据进行数据转换；和/或，删除所述多维日志数据中无效数据；和/或，对所述多维日志数据中满足预设条件的数据增加标签；和/或，根据预设需求将所述多维日志数据中满足统计的数据进行统计，并计入数据库；和/或，检测所述多维日志数据的异常数据。
8.根据权利要求 5所述的装置，其特征在于，还包括：
可视化监控模块，用于接收当前用户的操作指令，并根据所述操作指令进行自由定制，以实现可视化监控。
CN201910589334.XA 2019-07-02 2019-07-02 探索式图融合可视化方法和装置 Active CN110489464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910589334.XA CN110489464B (zh) 2019-07-02 2019-07-02 探索式图融合可视化方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910589334.XA CN110489464B (zh) 2019-07-02 2019-07-02 探索式图融合可视化方法和装置

Publications (2)

Publication Number Publication Date
CN110489464A CN110489464A (zh) 2019-11-22
CN110489464B true CN110489464B (zh) 2022-05-31

Family

ID=68546394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910589334.XA Active CN110489464B (zh) 2019-07-02 2019-07-02 探索式图融合可视化方法和装置

Country Status (1)

Country Link
CN (1) CN110489464B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324582B (zh) * 2020-02-18 2023-05-02 支付宝（中国）网络技术有限公司 对业务处理行为进行可视化回溯处理方法及装置
CN111400565A (zh) * 2020-03-19 2020-07-10 北京三维天地科技股份有限公司 一种可视化拖拽在线数据处理方法和***
CN112148700A (zh) * 2020-10-12 2020-12-29 平安科技（深圳）有限公司 日志数据处理方法、装置、计算机设备和存储介质
CN112187550B (zh) * 2020-10-16 2022-09-30 温州职业技术学院 基于密度峰值多属性聚类的网络日志分析方法
CN113961518B (zh) * 2021-09-08 2022-09-23 北京百度网讯科技有限公司 日志的可视化展示方法、装置、电子设备及存储介质
CN114448672A (zh) * 2021-12-27 2022-05-06 奇安信科技集团股份有限公司 一种多源网络安全数据处理方法及装置
CN114549052A (zh) * 2022-01-20 2022-05-27 深圳市宝视佳科技有限公司 基于数据的精准营销方法、装置、设备与存储介质
CN114567498B (zh) * 2022-03-04 2024-02-02 科来网络技术股份有限公司 用于网络行为可视化的元数据提取和处理方法及***
CN114860734B (zh) * 2022-05-27 2022-11-15 河北省科学技术情报研究院(河北省科技创新战略研究院) 一种多源指标结构融合及场景还原的数据呈现的处理方法
CN115801262B (zh) * 2022-08-31 2023-07-18 重庆市规划和自然资源信息中心 一种基于ElasticSearch技术的相交运算算子空间检索方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2918243A1 (en) * 2013-06-28 2014-12-31 Life Technologies Corporation Methods and systems for visualizing data quality
CN109376532A (zh) * 2018-10-31 2019-02-22 云南电网有限责任公司 基于elk日志采集分析的电力网络安全监测方法及***
CN109542733A (zh) * 2018-12-05 2019-03-29 焦点科技股份有限公司 一种高可靠的实时日志收集及可视化检索方法
CN109902072A (zh) * 2019-02-21 2019-06-18 云南电网有限责任公司红河供电局 一种日志处理***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2918243A1 (en) * 2013-06-28 2014-12-31 Life Technologies Corporation Methods and systems for visualizing data quality
CN109376532A (zh) * 2018-10-31 2019-02-22 云南电网有限责任公司 基于elk日志采集分析的电力网络安全监测方法及***
CN109542733A (zh) * 2018-12-05 2019-03-29 焦点科技股份有限公司 一种高可靠的实时日志收集及可视化检索方法
CN109902072A (zh) * 2019-02-21 2019-06-18 云南电网有限责任公司红河供电局 一种日志处理***

Also Published As

Publication number Publication date
CN110489464A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110489464B (zh) 探索式图融合可视化方法和装置
US20200167350A1 (en) Loading queries using search points
US10394802B1 (en) Interactive location queries for raw machine data
US10798148B2 (en) Configuring nodes of distributed systems
US10997192B2 (en) Data source correlation user interface
US8255368B2 (en) Apparatus and method for positioning user-created data in OLAP data sources
US11151761B2 (en) Analysing Internet of Things
CN108460087A (zh) 探索式高维数据可视化装置及方法
US9547646B2 (en) User-created members positioning for OLAP databases
Van Ham et al. Honeycomb: Visual analysis of large scale social networks
WO2015039046A1 (en) Data flow exploration
CN109254901B (zh) 一种指标监测方法及***
CN103605651A (zh) 一种基于olap多维分析的数据处理展现方法
US9460129B2 (en) Method for tracking a schema in a schema-less database
CN109213747A (zh) 一种数据管理方法及装置
Xia et al. Dimscanner: A relation-based visual exploration approach towards data dimension inspection
WO2007075254A1 (en) Multi-dimensional aggregation on event streams
EP3561688A1 (en) Hierarchical tree data structures and uses thereof
Souza et al. Efficient runtime capture of multiworkflow data using provenance
CN115858526A (zh) 基于数据源格式不定的多维可视化的试验数据管理***
CN109558194B (zh) 一站式通用型行业报告可视化工具
US11308104B2 (en) Knowledge graph-based lineage tracking
Best et al. Atypical behavior identification in large-scale network traffic
CN110032560B (zh) 一种监控图表的生成方法和装置
Yaman et al. LinkedDataOps: quality oriented end-to-end geospatial linked data production governance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant