CN106021378A - 基于数据抽取、数据可视化的查询分析方法及*** - Google Patents
基于数据抽取、数据可视化的查询分析方法及*** Download PDFInfo
- Publication number
- CN106021378A CN106021378A CN201610311208.4A CN201610311208A CN106021378A CN 106021378 A CN106021378 A CN 106021378A CN 201610311208 A CN201610311208 A CN 201610311208A CN 106021378 A CN106021378 A CN 106021378A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- analysis
- visualization apparatus
- public resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013079 data visualisation Methods 0.000 title claims abstract description 71
- 238000004458 analytical method Methods 0.000 title claims abstract description 52
- 238000013075 data extraction Methods 0.000 title claims abstract description 10
- 238000007405 data analysis Methods 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 22
- 238000013500 data storage Methods 0.000 claims description 18
- 238000012800 visualization Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 8
- 238000005267 amalgamation Methods 0.000 claims description 7
- 238000013501 data transformation Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于数据抽取、数据可视化的查询分析方法及***,在查询分析方法中包括如下步骤:数据抽取步骤,抽取源端服务器的数据传输至数据分析设备;处理步骤,数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件,并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上。本发明的有益效果是:本发明采用直连或者网络连接的方式,连接本地和网络中的数据,经过标准格式转化,将数据转化成可视化的标准模式后进行数据分析、查询与数据挖掘,将非标准化格式的数据转换成统一规范的数据,能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及基于数据抽取、数据可视化的查询分析方法及***。
背景技术
传统的分析与查询不能简单快捷的进行分析,不能有效的整合异构数据。
在大数据和云计算的模式下,传统的分析***,无法跨异构数据来进行分析,无法将数据的价值更有效的释放出来,虽然某些特别的软件或者工具在部分特定情况下可以完成这项分析工作,但是其带来的工作是繁琐复杂的,并且工作量巨大,同时人员的精力与时间的消耗也是相当巨大的。
目前的查询***对于异构数据库无法进行查询分析以及挖掘。这种方式只能针对一种数据库进行分析查询与挖掘,不能够对异构的数据库进行分析。同时,只能在字段来罗列数据。想要得到想要的数据结论,可能需要大费周章的去梳理与整合数据。
发明内容
本发明提供了一种基于数据抽取、数据可视化的查询分析方法,包括如下步骤:
数据抽取步骤,抽取源端服务器的数据传输至数据分析设备;
处理步骤,数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件,并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上;
数据分析设备内置基于ODBC的融合数据库VizQL。
作为本发明的进一步改进,在所述处理步骤中,通过数据清洗步骤、数据集成步骤、数据归约步骤、数据变换步骤对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件;
在所述数据清洗步骤中,采用数据滤波的方式对数据进行去噪、去无关数据;
在所述数据集成步骤中,采用数据关联的方式,将多个数据源中的数据结合到一个一致的数据存储中;
在所述数据归约步骤中,在原有庞大数据集中获得一个精简的数据集合,并使这一精简数据集保持原有数据集的完整性;
在所述数据变换步骤中,利用数据统一标准的方式将原始数据转变成***可识别的数据。
作为本发明的进一步改进,在所述数据抽取步骤中,数据分析设备从源端服务器抽取的数据不加密、不压缩,通过加密通道将抽取的数据传输至数据分析设备。
作为本发明的进一步改进,在所述处理步骤中,数据可视化设备从数据分析设备的缓存中读取图形数据文件,并添加仪表盘索引后写入数据可视化设备的缓存中,然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
作为本发明的进一步改进,查询设备通过数据可视化设备或者公共资源设备进行查询分析;
当通过数据可视化设备进行数据查询分析时,数据可视化设备接收到查询设备的查询请求时,根据所要查询的内容,来判断仪表盘的位置,如果仪表盘在数据可视化设备的存储中,发送请求,从数据可视化设备中的存储中获取数据,将数据可视化设备的存储中的数据处理过后反馈给查询设备;
当通过公共资源设备进行数据查询分析时,数据分析设备发布仪表盘信息到公共资源设备,通过数据索引管理器,形成新的索引,公共资源设备接收到查询设备的查询请求时,利用搜索引擎,对索引进行筛选,通过筛选索引,检查公共资源设备的缓存,来过滤是否有符合条件的仪表盘信息,如果有,直接以图形、图表的方式反馈给查询设备,如果公共资源设备的缓存中没有符合条件的仪表盘,告知查询设备到数据可视化设备中进行查询。
本发明还公开了一种基于数据抽取、数据可视化的查询分析***,包括:
数据抽取模块,用于抽取源端服务器的数据传输至数据分析设备;
处理模块,用于数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件,并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上;
数据分析设备内置基于ODBC的融合数据库VizQL。
作为本发明的进一步改进,
在所述处理模块中,通过数据清洗模块、数据集成模块、数据归约模块、数据变换模块对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件;
在所述数据清洗模块中,采用数据滤波的方式对数据进行去噪、去无关数据;
在所述数据集成模块中,采用数据关联的方式,将多个数据源中的数据结合到一个一致的数据存储中;
在所述数据归约模块中,在原有庞大数据集中获得一个精简的数据集合,并使这一精简数据集保持原有数据集的完整性;
在所述数据变换模块中,利用数据统一标准的方式将原始数据转变成***可识别的数据。
作为本发明的进一步改进,在所述数据抽取模块中,数据分析设备从源端服务器抽取的数据不加密、不压缩,通过加密通道将抽取的数据传输至数据分析设备。
作为本发明的进一步改进,在所述处理模块中,数据可视化设备从数据分析设备的缓存中读取图形数据文件,并添加仪表盘索引后写入数据可视化设备的缓存中,然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
作为本发明的进一步改进,查询设备通过数据可视化设备或者公共资源设备进行查询分析;
当通过数据可视化设备进行数据查询分析时,数据可视化设备接收到查询设备的查询请求时,根据所要查询的内容,来判断仪表盘的位置,如果仪表盘在数据可视化设备的存储中,发送请求,从数据可视化设备中的存储中获取数据,将数据可视化设备的存储中的数据处理过后反馈给查询设备;
当通过公共资源设备进行数据查询分析时,数据分析设备发布仪表盘信息到公共资源设备,通过数据索引管理器,形成新的索引,公共资源设备接收到查询设备的查询请求时,利用搜索引擎,对索引进行筛选,通过筛选索引,检查公共资源设备的缓存,来过滤是否有符合条件的仪表盘信息,如果有,直接以图形、图表的方式反馈给查询设备,如果公共资源设备的缓存中没有符合条件的仪表盘,告知查询设备到数据可视化设备中进行查询。
本发明的有益效果是:本发明采用直连或者网络连接的方式,连接本地和网络中的数据,经过标准格式转化,将数据转化成可视化的标准模式后进行数据分析、查询与数据挖掘,将非标准化格式的数据转换成统一规范的数据,能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。
附图说明
图1是本发明的DAS支持的数据分析模块方框图;
图2是本发明的DAS数据抽取的流程示意图;
图3是本发明的DA S可视化数据格式转换的工作原理示意图;
图4是本发明基于数据查询分析的数据流向的框架流程图;
图5是本发明基于数据可视化的数据查询的工作原理;
图6是本发明基于数据可视化的数据流向的框架流程图;
图7是本发明的DAS、DVS以及数据可视化的工作原理图;
图8是本发明基于数据抽取、可视化处理以及数据查询分析的原理图。
具体实施方式
如图6所示,本发明公开了一种基于数据抽取、数据可视化的查询分析方法,包括如下步骤:
数据抽取步骤,抽取源端服务器的数据传输至数据分析设备;
处理步骤,数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件,并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上;
数据分析设备内置基于ODBC的融合数据库VizQL。
在本发明中包括:
数据分析设备,Data Analysis Server,简称DAS;
数据可视化设备,Data Visualization Server简称DVS;
公共资源设备,Public Server,简称Pub Server。
DAS通过开放的API接口技术抽取源端服务器(Data Sources Server)的数据(此过程中数据不加密,不压缩)。通过加密通道将抽取过来的数据传输至DAS,由DAS对数据进行标准化处理。
数据可视化的实现方式:
1.DAS利用开放的API接口(ODBC),通过IP或者光纤网络与Datasources Server相连。
2.DAS内置基于ODBC的融合数据库VizQL,将绝大多数异构数据以及数据文件库能够融合在一起,并以新的方式呈现数据。支持各类操作***的模块,包含微软操作***客户端模块,Linux操作***模块,IBM小型机AIX***,虚拟层模块如Vmware ESX模块,Hyper-V模块,Xenserver模块;各类数据库***的模块,包含Oracle模块,MS-SQL模块,PostgreSQL模块等;以及对SAP等CRM,ERP业务***的模块,和针对大数据的DFS/HDFS,NoSQL模块等;如图1所示,DAS支持的数据分析模块方框图。ODBC是开放数据库连接(Open Database Connectivity,ODBC)是微软公司开放服务结构(WOSA,Windows Open ServicesArchitecture)中有关数据库的一个组成部分,它建立了一组规范,并提供了一组对数据库访问的标准API(应用程序编程接口)。这些API利用SQL来完成其大部分任务。ODBC本身也提供了对SQL语言的支持,用户可以直接将SQL语句送给ODBC。开放数据库互连(ODBC)是Microsoft提出的数据库访问接口标准。开放数据库互连定义了访问数据库API的一个规范,这些API独立于不同厂商的DBMS,也独立于具体的编程语言(但是Microsoft的ODBC文档是用C语言描述的,许多实际的ODBC驱动程序也是用C语言写的。)ODBC规范后来被X/OPEN和ISO/IEC采纳,作为SQL标准的一部分,具体内容可以参看《ISO/IEC 9075-3:1995(E)Call-Level Interface(SQL/CLI)》等相关的标准文件。
3.DAS将通过IP地址和源端服务器的授权用户账号,连接源端服务器,在验证通过后,抽取待分析的数据内容。对数据进行统一规范化处理后,形成可视化呈现的新的数据文件,并做成仪表盘保存在本地或者发布到DVS以及PUB server上。如图2所示是DAS数据抽取的流程示意图。
4.源端服务器(Data Sources Server)接收到DAS抽取数据请求后,在Data Sources Server的缓存中整理数据,并对DAS开放权限,供其抽取。整个过程对数据不加密、不压缩。在抽取数据的同时,会在数据上做标识,来区分该数据是否已经被抽取,并在DAS的数据库中添加索引。由于源端数据(源端数据也就是源端服务器中的数据)的结构存在不同,故DAS发出抽取指令也不相同,利用的分析处理的模块也不相同。
5.DAS将所抽取的源端数据写至本地缓存或内存,按照缓存FIFO方式,将处于缓存/内存底端字节存储的数据移至本地。该磁盘将包含SSD,SAS,SATA等标准。
6.抽取后的数据在DAS的缓存(cache)中进行数据标准化转换,形成可呈现的图形数据文件,并将该数据文件根据情况存放在适当的位置(可以发布到DVS,也可以发布到PUB Server,同时也可以在本地进行保存)。如图3所示是DA S可视化数据格式转换的工作原理示意图。
7.DVS将缓存中接收到的数据按照FIFO方式写入后端外置存储(DataStorage)以供查询分析使用,支持绝大多数的主流存储。
以上的过程是对源端数据反向抽取以及对数据进行可视化处理,并保存发布可视化数据的方式。整个过程中,每次抽取,传输对数据均不加密,不压缩。但是,数据是在一个加密的通道中进行传输的。所以,在数据安全性上有绝对的保障。
本发明中还包括数据查询分析部分,图4是基于数据查询分析的数据流向的框架流程图:
查询设备既可以通过DVS来进行查询分析,也可以通过PUB Server来进行查询分析。
(一)通过DVS来进行数据查询与分析:
1.DVS接收到查询设备的查询请求时,根据所要查询的内容,来判断仪表盘的位置;
2.如果仪表盘在DVS的Data Storage中,发送请求,从Data Storage中获取数据;
3.将Data Storage中的数据处理过后反馈给查询设备。
(二)通过PUB Server来进行数据查询与分析
1.DAS发布仪表盘信息到PUB Server时,通过数据索引管理器,形成新的索引
2.PUB Server接收到查询设备的查询请求时,利用搜索引擎,对索引进行筛选
3.通过筛选索引,检查缓存,来过滤是否有符合条件的仪表盘信息,
如果有,直接以图形、图表的方式反馈给查询设备
如果缓存中没有符合条件的仪表盘,告知查询设备到DVS中进行查询。
基于数据可视化的数据查询的工作原理如图5所示,数据查询分析的实现方式:
1.当查询设备既可以连接DVS进行数据查询,也可以连接PUB Server进行数据查询。不管是DVS还是PUB Server在接收到查询设备的查询分析请求时,首先检查自己的缓存,看所要查询的数据是否在缓存中还有保留,有保留时,直接以数据库视图的方式将查询内容反馈给查询设备。
2.连接DVS进行数据查询时,当缓存中没有保留时,会自动把查询分析请求发给Data Storage。
2.1.Data Storage接收到数据调取请求时,根据索引对数据进行筛选,当有符合条件的仪表盘信息时,会将仪表盘数据反馈给DVS。经过筛选,发现没有符合条件的仪表盘信息时,告知DVS没有所要的仪表盘信息。
2.2.DVS在接收到Data Storage发来的反馈事件后,有3个可能操作:
A.在接收到反馈的图形、图表仪表盘时,直接将仪表盘反馈给查询设备。
B.在接收到的反馈信息是没有所要的仪表盘信息时,DVS会将该信息直接提交到查询设备,告知查询设备没有所需要的数据。
C.在接收到的反馈信息是没有所要的仪表盘信息时,DVS会向DAS发送发布请求,请求DAS将仪表盘发布到DVS中:
①.DAS在接收到DVS的发布请求时,检查缓存,缓存中如果有所需要的数据时,直接将仪表盘发布给DVS。
②.如果DAS的缓存中没有所要数据时,向DAS的Data Storage提出调取数据请求。
③.DAS的Data Storage根据索引检查Storage的所有内容,如果有所需要的数据,将直接写入DAS的缓存中,由DAS发布给DVS;如果没有所需内容时,告知DAS没有所需要数据,由DAS告知DVS没有所需要的数据,同时DVS将告知查询设备,无查询结果。
3.连接PUB Server进行数据查询时,当缓存中没有保留时,会自动把查询分析请求发给Data Storage。
3.1.Data Storage接收到数据调取请求时,根据索引对数据进行筛选,当有符合条件的仪表盘信息时,会将仪表盘数据反馈给PUB Server。经过筛选,发现没有符合条件的仪表盘信息时,告知PUB Server没有所要的仪表盘信息。
3.2.PUB Server在接收到Data Storage发来的反馈事件后,有3个可能操作:
A.在接收到反馈的图形、图表仪表盘时,直接将仪表盘反馈给查询设备。
B.在接收到的反馈信息是没有所要的仪表盘信息时,DVS会将该信息直接提交到查询设备,告知查询设备没有所需要的数据。
C.在接收到的反馈信息是没有所要的仪表盘信息时,PUB Server会向DAS发送发布请求,请求DAS将仪表盘发布到PUB Server中:
①.DAS在接收到PUB Server的发布请求时,检查缓存,缓存中如果有所需要的数据时,直接将仪表盘发布给PUB Server。
②.如果DAS的缓存中没有所要数据时,向DAS的Data Storage提出调取数据请求。
③.DAS的Data Storage根据索引检查Storage的所有内容,如果有所需要的数据,将直接写入DAS的缓存中,由DAS发布给PUB Server;如果没有所需内容时,告知DAS没有所需要数据,由DAS告知PUB Server没有所需要的数据,同时DVS将告知查询设备,无查询结果。
本发明还公开了一种基于数据抽取、数据可视化的查询分析***,包括:
数据抽取模块,用于抽取源端服务器的数据传输至数据分析设备;
处理模块,用于数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件,并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上;
数据分析设备内置基于ODBC的融合数据库VizQL。
在所述处理模块中,通过数据清洗模块、数据集成模块、数据归约模块、数据变换模块对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件;
在所述数据清洗模块中,采用数据滤波的方式对数据进行去噪、去无关数据;
在所述数据集成模块中,采用数据关联的方式,将多个数据源中的数据结合到一个一致的数据存储中;
在所述数据归约模块中,在原有庞大数据集中获得一个精简的数据集合,并使这一精简数据集保持原有数据集的完整性;
在所述数据变换模块中,利用数据统一标准的方式将原始数据转变成***可识别的数据。
在所述数据抽取模块中,数据分析设备从源端服务器抽取的数据不加密、不压缩,通过加密通道将抽取的数据传输至数据分析设备。
在所述处理模块中,数据可视化设备从数据分析设备的缓存中读取图形数据文件,并添加仪表盘索引后写入数据可视化设备的缓存中,然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
查询设备通过数据可视化设备或者公共资源设备进行查询分析;
当通过数据可视化设备进行数据查询分析时,数据可视化设备接收到查询设备的查询请求时,根据所要查询的内容,来判断仪表盘的位置,如果仪表盘在数据可视化设备的存储中,发送请求,从数据可视化设备中的存储中获取数据,将数据可视化设备的存储中的数据处理过后反馈给查询设备;
当通过公共资源设备进行数据查询分析时,数据分析设备发布仪表盘信息到公共资源设备,通过数据索引管理器,形成新的索引,公共资源设备接收到查询设备的查询请求时,利用搜索引擎,对索引进行筛选,通过筛选索引,检查公共资源设备的缓存,来过滤是否有符合条件的仪表盘信息,如果有,直接以图形、图表的方式反馈给查询设备,如果公共资源设备的缓存中没有符合条件的仪表盘,告知查询设备到数据可视化设备中进行查询。
本发明解决了数据分析繁琐复杂的问题,而传统的分析与查询不能简单快捷的进行分析,不能有效的整合异构数据,文本数据进行分析与查询,本发明采用直连或者网络连接的方式,连接本地和网络中的数据,经过标准格式转化模块,将数据转化成可视化的标准模式后进行数据分析、查询与数据挖掘。
本发明的另外一个特点是,通过本技术规范手段可以轻松解决异构数据的之间关联的问题。在大数据和云计算的模式下,传统的分析***,无法跨异构数据来进行分析,无法将数据的价值更有效的释放出来,虽然某些特别的软件或者工具在部分特定情况下可以完成这项分析工作,但是其带来的工作是繁琐复杂的,并且工作量巨大,同时人员的精力与时间的消耗也是相当巨大的。由于大数据异构性特点本质,本发明,将非标准化格式的数据转换成统一规范的数据,能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。
在整个的过程中,无论是抽取数据的过程,还是查询分析的过程,都是建立在开放的API接口上,并且,DAS、DVS以及PUB Server至少要有以下功能:
1.数据索引管理器:负责从DAS、DVS以及PUB Server更新索引信息。同时提供其他查询服务器所索要的索引信息。
2.数据共享访问接口:负责接管所有共享请求,实施授权监管,统一规范查验及其他访问规则实施。最后反馈所要的查询数据.
3.数据查询***引擎:搜寻何处可取的所要的数据。根据请求和数据共享服务的整体构架,其查询可能会转发至其他数据分析服务器或中央集成服务器。
4.数据提起器:基于查询引擎的查询结果获得所需数据的信息源描述,解析出数据的逻辑路径,据此连接到相应的应用***,通过API接口以获得相应原始数据。若有必要,最后提起所要数据片断。
5.数据转换器:所要数据提起完成后,如果其格式不是所要的,即讲数据转换成可视化的标准格式。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于数据抽取、数据可视化的查询分析方法,其特征在于,包括如下步骤:
数据抽取步骤,抽取源端服务器的数据传输至数据分析设备;
处理步骤,数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件,并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上;
数据分析设备内置基于ODBC的融合数据库VizQL。
2.根据权利要求1所述的查询分析方法,其特征在于,在所述处理步骤中,通过数据清洗步骤、数据集成步骤、数据归约步骤、数据变换步骤对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件;
在所述数据清洗步骤中,采用数据滤波的方式对数据进行去噪、去无关数据;
在所述数据集成步骤中,采用数据关联的方式,将多个数据源中的数据结合到一个一致的数据存储中;
在所述数据归约步骤中,在原有庞大数据集中获得一个精简的数据集合,并使这一精简数据集保持原有数据集的完整性;
在所述数据变换步骤中,利用数据统一标准的方式将原始数据转变成***可识别的数据。
3.根据权利要求1所述的查询分析方法,其特征在于:在所述数据抽取步骤中,数据分析设备从源端服务器抽取的数据不加密、不压缩,通过加密通道将抽取的数据传输至数据分析设备。
4.根据权利要求1所述的查询分析方法,其特征在于:在所述处理步骤中,数据可视化设备从数据分析设备的缓存中读取图形数据文件,并添加仪表盘索引后写入数据可视化设备的缓存中,然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
5.根据权利要求1至4任一项所述的查询分析方法,其特征在于:查询设备通过数据可视化设备或者公共资源设备进行查询分析;
当通过数据可视化设备进行数据查询分析时,数据可视化设备接收到查询设备的查询请求时,根据所要查询的内容,来判断仪表盘的位置,如果仪表盘在数据可视化设备的存储中,发送请求,从数据可视化设备中的存储中获取数据,将数据可视化设备的存储中的数据处理过后反馈给查询设备;
当通过公共资源设备进行数据查询分析时,数据分析设备发布仪表盘信息到公共资源设备,通过数据索引管理器,形成新的索引,公共资源设备接收到查询设备的查询请求时,利用搜索引擎,对索引进行筛选,通过筛选索引,检查公共资源设备的缓存,来过滤是否有符合条件的仪表盘信息,如果有,直接以图形、图表的方式反馈给查询设备,如果公共资源设备的缓存中没有符合条件的仪表盘,告知查询设备到数据可视化设备中进行查询。
6.一种基于数据抽取、数据可视化的查询分析***,其特征在于,包括:
数据抽取模块,用于抽取源端服务器的数据传输至数据分析设备;
处理模块,用于数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件,并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上;
数据分析设备内置基于ODBC的融合数据库VizQL。
7.根据权利要求6所述的查询分析***,其特征在于,在所述处理模块中,通过数据清洗模块、数据集成模块、数据归约模块、数据变换模块对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件;
在所述数据清洗模块中,采用数据滤波的方式对数据进行去噪、去无关数据;
在所述数据集成模块中,采用数据关联的方式,将多个数据源中的数据结合到一个一致的数据存储中;
在所述数据归约模块中,在原有庞大数据集中获得一个精简的数据集合,并使这一精简数据集保持原有数据集的完整性;
在所述数据变换模块中,利用数据统一标准的方式将原始数据转变成***可识别的数据。
8.根据权利要求6所述的查询分析***,其特征在于,在所述数据抽取模块中,数据分析设备从源端服务器抽取的数据不加密、不压缩,通过加密通道将抽取的数据传输至数据分析设备。
9.根据权利要求6所述的查询分析***,其特征在于,在所述处理模块中,数据可视化设备从数据分析设备的缓存中读取图形数据文件,并添加仪表盘索引后写入数据可视化设备的缓存中,然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
10.根据权利要求6至9任一项所述的查询分析***,其特征在于,查询设备通过数据可视化设备或者公共资源设备进行查询分析;
当通过数据可视化设备进行数据查询分析时,数据可视化设备接收到查询设备的查询请求时,根据所要查询的内容,来判断仪表盘的位置,如果仪表盘在数据可视化设备的存储中,发送请求,从数据可视化设备中的存储中获取数据,将数据可视化设备的存储中的数据处理过后反馈给查询设备;
当通过公共资源设备进行数据查询分析时,数据分析设备发布仪表盘信息到公共资源设备,通过数据索引管理器,形成新的索引,公共资源设备接收到查询设备的查询请求时,利用搜索引擎,对索引进行筛选,通过筛选索引,检查公共资源设备的缓存,来过滤是否有符合条件的仪表盘信息,如果有,直接以图形、图表的方式反馈给查询设备,如果公共资源设备的缓存中没有符合条件的仪表盘,告知查询设备到数据可视化设备中进行查询。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610311208.4A CN106021378B (zh) | 2016-05-11 | 2016-05-11 | 基于数据抽取、数据可视化的查询分析方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610311208.4A CN106021378B (zh) | 2016-05-11 | 2016-05-11 | 基于数据抽取、数据可视化的查询分析方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106021378A true CN106021378A (zh) | 2016-10-12 |
CN106021378B CN106021378B (zh) | 2019-07-05 |
Family
ID=57100522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610311208.4A Active CN106021378B (zh) | 2016-05-11 | 2016-05-11 | 基于数据抽取、数据可视化的查询分析方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106021378B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106528810A (zh) * | 2016-11-18 | 2017-03-22 | 党玉龙 | 一种融合异构数据便于快速大数据分析的方法 |
CN107273439A (zh) * | 2017-05-25 | 2017-10-20 | 李海磊 | 一种智能设备数据可视化方法及*** |
CN108062407A (zh) * | 2017-12-28 | 2018-05-22 | 成都飞机工业(集团)有限责任公司 | 一种项目可视化管控数据抽取方法 |
CN108228734A (zh) * | 2017-12-12 | 2018-06-29 | 上海天旦网络科技发展有限公司 | 一种数据可视化的***和方法 |
CN109145643A (zh) * | 2018-08-23 | 2019-01-04 | 安思瀚 | 一种基于私有云的个人多源数据管理方法与*** |
CN109557856A (zh) * | 2018-12-08 | 2019-04-02 | 深圳科安达电子科技股份有限公司 | 一种提速道岔运行数据可视化展示*** |
CN109753528A (zh) * | 2018-12-08 | 2019-05-14 | 深圳科安达电子科技股份有限公司 | 一种基于大数据的提速道岔可视化分析方法 |
CN109976729A (zh) * | 2019-05-05 | 2019-07-05 | 东北大学 | 一种存算显全局可配置的数据分析软件架构设计方法 |
CN110222113A (zh) * | 2019-06-20 | 2019-09-10 | 中国人民解放军陆军特种作战学院 | 一种数据提取处理可视化预警方法 |
CN110347386A (zh) * | 2019-06-28 | 2019-10-18 | 北京淇瑀信息科技有限公司 | 一种基于sql代码编辑的数据可视化分析的方法、装置和电子设备 |
CN111008211A (zh) * | 2019-12-06 | 2020-04-14 | 北京百分点信息科技有限公司 | 可视化接口的创建方法、装置、可读存储介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100070527A1 (en) * | 2008-09-18 | 2010-03-18 | Tianlong Chen | System and method for managing video, image and activity data |
CN102142027A (zh) * | 2011-02-23 | 2011-08-03 | 南京智尚丰软件有限公司 | 数据整合的适配方法 |
CN102495885A (zh) * | 2011-12-08 | 2012-06-13 | 中国信息安全测评中心 | 一种基于库联网引擎的信息安全数据整合方法 |
CN102930393A (zh) * | 2012-10-25 | 2013-02-13 | 海南电网公司 | 一种电网信息综合展示可视化*** |
-
2016
- 2016-05-11 CN CN201610311208.4A patent/CN106021378B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100070527A1 (en) * | 2008-09-18 | 2010-03-18 | Tianlong Chen | System and method for managing video, image and activity data |
CN102142027A (zh) * | 2011-02-23 | 2011-08-03 | 南京智尚丰软件有限公司 | 数据整合的适配方法 |
CN102495885A (zh) * | 2011-12-08 | 2012-06-13 | 中国信息安全测评中心 | 一种基于库联网引擎的信息安全数据整合方法 |
CN102930393A (zh) * | 2012-10-25 | 2013-02-13 | 海南电网公司 | 一种电网信息综合展示可视化*** |
Non-Patent Citations (1)
Title |
---|
冀正强: "基于Web数据分析的就业信息服务平台的设计实现", 《中国优秀硕士学位论文全文数据库·信息科技辑》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106528810A (zh) * | 2016-11-18 | 2017-03-22 | 党玉龙 | 一种融合异构数据便于快速大数据分析的方法 |
CN106528810B (zh) * | 2016-11-18 | 2021-07-13 | 党玉龙 | 一种融合异构数据便于快速大数据分析的方法 |
CN107273439B (zh) * | 2017-05-25 | 2021-06-04 | 北京君泊网络科技有限责任公司 | 一种智能设备数据可视化方法及*** |
CN107273439A (zh) * | 2017-05-25 | 2017-10-20 | 李海磊 | 一种智能设备数据可视化方法及*** |
CN108228734A (zh) * | 2017-12-12 | 2018-06-29 | 上海天旦网络科技发展有限公司 | 一种数据可视化的***和方法 |
CN108062407A (zh) * | 2017-12-28 | 2018-05-22 | 成都飞机工业(集团)有限责任公司 | 一种项目可视化管控数据抽取方法 |
CN109145643A (zh) * | 2018-08-23 | 2019-01-04 | 安思瀚 | 一种基于私有云的个人多源数据管理方法与*** |
CN109145643B (zh) * | 2018-08-23 | 2019-04-26 | 安思瀚 | 一种基于私有云的个人多源数据管理方法与*** |
CN109753528A (zh) * | 2018-12-08 | 2019-05-14 | 深圳科安达电子科技股份有限公司 | 一种基于大数据的提速道岔可视化分析方法 |
CN109557856A (zh) * | 2018-12-08 | 2019-04-02 | 深圳科安达电子科技股份有限公司 | 一种提速道岔运行数据可视化展示*** |
CN109976729A (zh) * | 2019-05-05 | 2019-07-05 | 东北大学 | 一种存算显全局可配置的数据分析软件架构设计方法 |
CN109976729B (zh) * | 2019-05-05 | 2021-10-22 | 东北大学 | 一种存算显全局可配置的数据分析软件架构设计方法 |
CN110222113A (zh) * | 2019-06-20 | 2019-09-10 | 中国人民解放军陆军特种作战学院 | 一种数据提取处理可视化预警方法 |
CN110347386A (zh) * | 2019-06-28 | 2019-10-18 | 北京淇瑀信息科技有限公司 | 一种基于sql代码编辑的数据可视化分析的方法、装置和电子设备 |
CN111008211A (zh) * | 2019-12-06 | 2020-04-14 | 北京百分点信息科技有限公司 | 可视化接口的创建方法、装置、可读存储介质及电子设备 |
CN111008211B (zh) * | 2019-12-06 | 2023-04-11 | 北京百分点科技集团股份有限公司 | 可视化接口的创建方法、装置、可读存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106021378B (zh) | 2019-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106021378A (zh) | 基于数据抽取、数据可视化的查询分析方法及*** | |
US10558515B2 (en) | Policy based dynamic data collection for problem analysis | |
CN111866121B (zh) | 一种大型起重机设备安全监控管理云平台 | |
CN110458678B (zh) | 一种基于hadoop校验的财务数据校验方法和*** | |
CN109523423B (zh) | 一种应用***生成方法、装置、设备及存储介质 | |
CN102932195A (zh) | 一种基于网络协议分析的业务分析监控方法及*** | |
CN112651126A (zh) | 一种基于bim的建筑工程施工优化***、方法、终端及存储介质 | |
CN111813751A (zh) | 应用***日志数据的处理方法、应用***、设备及介质 | |
CN106874114A (zh) | 快递业务管理软件*** | |
CN108710644A (zh) | 一种关于政务大数据处理方法 | |
CN107291957A (zh) | 一种基于数据信息互通的微型服务***及其实现方法 | |
CN113886485A (zh) | 数据处理方法、装置、电子设备、***和存储介质 | |
CN104766240A (zh) | 电子银行业务数据处理***及方法 | |
CN111221698A (zh) | 任务数据采集方法与装置 | |
CN113157779A (zh) | 数据图表生成方法与装置 | |
CN111625532A (zh) | 数据血缘关系处理方法、装置、计算机设备及存储介质 | |
CN114003634A (zh) | 基于es技术的大数据分析检索***及方法 | |
CN107783870A (zh) | 一种服务器兼容性测试结果管理方法与*** | |
CN105630997A (zh) | 一种数据并行处理方法、装置及设备 | |
CN105808742A (zh) | 一种影像池***及使用影像池的方法 | |
CN115344582A (zh) | 元数据的管理方法、装置、电子设备及计算机存储介质 | |
CN113407980B (zh) | 数据标注*** | |
CN115033625A (zh) | 一种企业业务数据对接方法、装置和电子设备 | |
CN111552956B (zh) | 一种用于后台管理的角色权限控制方法及装置 | |
CN204761477U (zh) | 安全预警装置分析*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20200807 Address after: 201, room 518057, building A, No. 1, front Bay Road, Qianhai, Shenzhen Guangdong cooperation zone (Shenzhen Qianhai business secretary Co., Ltd.) Patentee after: SHENZHEN NASH BIG DATA TECHNOLOGY Co.,Ltd. Address before: 518000 Guangdong city of Shenzhen province Futian District Rd No. 30 Huilong garden 13 Wen long 701 Patentee before: Lv Jun |