CN108197237A - 可视化数据采集到展现*** - Google Patents

Abstract

本发明提供一种可视化数据采集到展现***，包括：数据源定义模块、数据源连接配置模块、数据源连接模块、数据表目录获取模块、数据表预览模块、数据模型创建模块、数据采集配置模块、数据存储方式配置模块、执行模块和展现模块。优点为：可视化后端采集模块能够使用java技术在采集数据时，将A表和B表直接进行关联后得出关联后的融合数据，并且各种类型数据源之间都能够进行关联建模，适用范围广，操作简单，数据传输量小、消耗资源小以及使用简单方便。

Description

可视化数据采集到展现***

技术领域

本发明属于数据处理技术领域，具体涉及一种可视化数据采集到展现***。

背景技术

随着电子技术日新月异的发展，数据成为日常工作中不可缺少的重要部分,基本上每个***都是围绕着数据为中心而运行，保存数据只是其中最基本的环节，最重要的是如何对不同数据表进行关联分析，从而分析数据的走势，预测数据。

在目前的传统应用里面，来自不同数据源的两张数据表主要采用以下方法建立关联关系：例如，如果需要使数据库实例(类型)A的数据表A和数据库实例(类型)B的数据表B之间进行数据表字段之间的关联，必须将数据表A抽取到数据表B中，或者，将数据表B抽取到数据表A中，具有耗时长、操作繁琐、数据传输量大以及消耗资源大的不足。

发明内容

针对现有技术存在的缺陷，本发明提供一种可视化数据采集到展现***，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种可视化数据采集到展现***，包括：

数据源定义模块，用于定义不同类型的数据源；

数据源连接配置模块，用于设置每个所述数据源定义模块定义的数据源的连接配置信息，通过所述连接配置信息，可访问到对应的所述数据源；

数据源连接模块，用于根据所述数据源的连接配置信息，与所述数据源通过通信网络进行连接；

数据表目录获取模块，用于与所述数据源通过通信网络进行连接后，获取到所述数据源包含的所有数据表的数据表目录；所述数据表目录由多个数据表名称组成；

数据表预览模块，用于在获取到所述数据表目录后，对于每个所述数据表名称，向所述数据源发送携带有数据表名称的数据表预览请求；并接收所述数据源返回的对应的数据表，实现数据表预览功能；

数据模型创建模块，用于创建数据模型；具体的，用于对所述数据表目录获取模块获取到的多个数据表名称进行操作，选择需要建立表关联关系的至少两张数据表；配置表关联关系的类型；然后，获取选择到的每张数据表的表字段；再配置每个表字段的属性信息；所述属性信息包括表字段显示或隐藏的属性；然后，建立各张数据表之间表字段之间的关联性，表关联关系和表字段之间的关联性形成了最终的数据表之间的关联关系，即形成的数据模型；

数据采集配置模块，用于配置数据采集参数；所述数据采集参数包括数据采集起始时间以及数据采集频率；

数据存储方式配置模块，用于配置数据存储方式；

执行模块，用于按所述数据采集配置模块配置的数据采集起始时间以及数据采集频率，循环调用所述数据模型，获取所述数据模型中具有表关联关系的每张数据表名称，再获取所述数据模型中具有表字段之间的关联性的每张数据表的关联字段；再获取所述数据模型中表关联关系的类型以及表字段的属性信息；

根据所述数据表名称、关联字段、表关联关系的类型以及表字段的属性信息，向所述数据源发送查询对应数据表中对应未隐藏的目标表字段信息以及未隐藏的目标表字段具有的表记录信息，即查询对应数据表中经过筛选处理后的数据表信息；

然后，根据所述表关联关系的类型，将所述数据源返回的筛选处理后的各张数据表信息进行融合，得到融合后的数据表；并按所述数据存储方式配置模块配置的数据存储方式，存储融合后的数据表；

展现模块，用于将所述融合后的数据表进行分析，并显示分析结果。

优选的，所述数据源定义模块定义的不同类型的数据源，包括：文件类型数据源、web接口类型数据源、数据库类型数据源和数据服务类型数据源。

优选的，所述文件类型数据源包括：excel文件类型数据源和csv文件类型数据源；所述web接口类型数据源包括：webservice接口类型数据源、http接口类型数据源、Splunk接口类型数据源和RESTful接口类型数据源；所述数据库类型数据源包括：Oracle类型数据源、MySql类型数据源、SQLServer类型数据源、DB2类型数据源、PostgreSQL类型数据源、SyBase类型数据源、Informix类型数据源和H2类型数据源；所述数据服务类型数据源包括VBI数据接收服务类型数据源。

优选的，所述数据源连接配置模块所配置的各数据源的连接配置信息包括：

对于文件类型数据源，对所述文件类型数据源对应的文件进行解析，并将解析后的文件数据导入到数据库的一张新数据表中；所述数据源的连接配置信息包括：新数据表的名称以及存储所述新数据表的数据库地址；

对于web接口类型数据源，其连接配置信息包括：web接口类型数据源的连接地址信息；

对于数据库类型数据源，其连接配置信息包括：数据库名称、主机地址、端口号以及用于访问数据库的用户名和密码；

对于数据服务类型数据源，其连接配置信息包括：数据服务名称和数据服务地址信息。

优选的，所述表关联关系的类型包括：左连接、右连接和内连接。

优选的，所述数据存储方式包括：实时断面存储方式、每次覆盖存储方式、累积去重存储方式、累积不去重存储方式和累积并更新采集时间存储方式。

优选的，所述执行模块具体用于：

假设数据模型中具有表关联关系的每张数据表名称分别为数据表A和数据表B；数据表A中共有n个字段，n1个字段为未隐藏属性，n-n1个字段为隐藏属性；数据表B中共有m个字段，m1个字段为未隐藏属性，m-m1个字段为隐藏属性；数据模型中需要建立数据表A中未隐藏属性字段中字段C和数据表B中未隐藏属性字段中字段D之间的关联；数据表A中每个字段具有x个记录值；数据表B中每个字段具有y个记录值；假设当前配置的表关联关系为左连接；数据表A为当前数据表；数据表B为数据表A的左侧数据表；

则：当到达数据采集时间点时，执行模块向对应的数据源采集数据，获取数据表B的m1个未隐藏属性的字段以及每个未隐藏属性的字段的y个记录值，记为子表B；再获取数据表A的字段C对应的x个记录值；比对数据表B的字段D的y个记录值和数据表A的字段C的x个记录值，筛选得到与数据表B的字段D的记录值相等的数据表A的字段C的记录值，假设筛选得到的数据表A的字段C的记录值分别为第i行记录值和第j行记录值；然后，所述执行模块向对应的数据源发送查询数据表A的第i行所有未隐藏字段的记录值和第j行所有未隐藏字段的记录值，并接收数据源返回的查询结果，查询结果记为子表A；

然后，所述执行模块融合获取到的子表B和子表A，得到并存储融合后的数据表。

本发明提供的可视化数据采集到展现***具有以下优点：

可视化后端采集模块能够使用java技术在采集数据时，将A表和B表直接进行关联后得出关联后的融合数据，并且各种类型数据源之间都能够进行关联建模，适用范围广，操作简单，数据传输量小、消耗资源小以及使用简单方便。

附图说明

图1为本发明提供的可视化数据采集到展现***的工作流程示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

传统企业中，如果接口与接口关联出有联系的数据，或者是立即去取接口的数据，都会去针对这种接口进行定制开发，然后再对数据进行展示，展示的图形如果变化或者属性变化，还需要修改代码，耗时耗力。本发明能够抽象企业里面大部分类型的数据接口，使接口与接口之间的数据能够进行字段上的关联，并且，只需修改页面的展现属性，不需要修改代码，基本零代码，适合工作人员使用操作。

本发明提供一种可视化数据采集到展现***，参考图1，包括：

数据源定义模块，用于定义不同类型的数据源；不同类型的数据源包括但不限于：文件类型数据源、web接口类型数据源、数据库类型数据源和数据服务类型数据源。

其中，文件类型数据源包括但不限于：excel文件类型数据源和csv文件类型数据源；

所述web接口类型数据源包括但不限于：webservice接口类型数据源、http接口类型数据源、Splunk接口类型数据源和RESTful接口类型数据源；

所述数据库类型数据源包括但不限于：关系型数据库数据源和列式存储数据库；其中，关系型数据库数据源包括但不限于Oracle类型数据源、MySql类型数据源、SQLServer类型数据源、DB2类型数据源、PostgreSQL类型数据源、SyBase类型数据源、Informix类型数据源和H2类型数据源；

所述数据服务类型数据源包括但不限于VBI数据接收服务类型数据源。

数据源连接配置模块，用于设置每个所述数据源定义模块定义的数据源的连接配置信息，通过所述连接配置信息，可访问到对应的所述数据源；

例如，对于文件类型数据源，对所述文件类型数据源对应的文件进行解析，并将解析后的文件数据导入到数据库的一张新数据表中；所述数据源的连接配置信息包括：新数据表的名称以及存储所述新数据表的数据库地址；

对于web接口类型数据源，其连接配置信息包括：web接口类型数据源的连接地址信息；

对于数据库类型数据源，其连接配置信息包括：数据库名称、主机地址、端口号以及用于访问数据库的用户名和密码；

对于数据服务类型数据源，其连接配置信息包括：数据服务名称和数据服务地址信息。

数据源连接模块，用于根据所述数据源的连接配置信息，与所述数据源通过通信网络进行连接；

数据表目录获取模块，用于与所述数据源通过通信网络进行连接后，获取到所述数据源包含的所有数据表的数据表目录；所述数据表目录由多个数据表名称组成；

数据表预览模块，用于在获取到所述数据表目录后，对于每个所述数据表名称，向所述数据源发送携带有数据表名称的数据表预览请求；并接收所述数据源返回的对应的数据表，实现数据表预览功能；

数据模型创建模块，用于创建数据模型；具体的，用于对所述数据表目录获取模块获取到的多个数据表名称进行操作，选择需要建立表关联关系的至少两张数据表；配置表关联关系的类型，表关联关系的类型包括但不限于左连接、右连接和内连接；然后，获取选择到的每张数据表的表字段；再配置每个表字段的属性信息；所述属性信息包括表字段显示或隐藏的属性；此外，对于表字段，还可以选择修改字段需要显示的名称，并且指定字段索引；然后，建立各张数据表之间表字段之间的关联性，表关联关系和表字段之间的关联性形成了最终的数据表之间的关联关系，即形成的数据模型；

数据采集配置模块，用于配置数据采集参数；所述数据采集参数包括数据采集起始时间以及数据采集频率；

数据存储方式配置模块，用于配置数据存储方式；所述数据存储方式包括：实时断面存储方式、每次覆盖存储方式、累积去重存储方式、累积不去重存储方式和累积并更新采集时间存储方式。

执行模块，用于按所述数据采集配置模块配置的数据采集起始时间以及数据采集频率，循环调用所述数据模型，获取所述数据模型中具有表关联关系的每张数据表名称，再获取所述数据模型中具有表字段之间的关联性的每张数据表的关联字段；再获取所述数据模型中表关联关系的类型以及表字段的属性信息；

根据所述数据表名称、关联字段、表关联关系的类型以及表字段的属性信息，向所述数据源发送查询对应数据表中对应未隐藏的目标表字段信息以及未隐藏的目标表字段具有的表记录信息，即查询对应数据表中经过筛选处理后的数据表信息；

然后，根据所述表关联关系的类型，将所述数据源返回的筛选处理后的各张数据表信息进行融合，得到融合后的数据表；并按所述数据存储方式配置模块配置的数据存储方式，存储融合后的数据表；

执行模块与各数据源通信，获取到查询消息的方式可以为：执行模块通过jdbc连接所有的关系型数据库，并根据关系数据库不同生成不同的SQL语句取回数据，其它类型数据源单独取回数据，再按照SQL的思想进行相互关联。

所述执行模块具体用于：

假设数据模型中具有表关联关系的每张数据表名称分别为数据表A和数据表B；数据表A中共有n个字段，n1个字段为未隐藏属性，n-n1个字段为隐藏属性；数据表B中共有m个字段，m1个字段为未隐藏属性，m-m1个字段为隐藏属性；数据模型中需要建立数据表A中未隐藏属性字段中字段C和数据表B中未隐藏属性字段中字段D之间的关联；数据表A中每个字段具有x个记录值；数据表B中每个字段具有y个记录值；假设当前配置的表关联关系为左连接；数据表A为当前数据表；数据表B为数据表A的左侧数据表；其中，n、n1、m、m1均为自然数；

则：当到达数据采集时间点时，执行模块向对应的数据源采集数据，获取数据表B的m1个未隐藏属性的字段以及每个未隐藏属性的字段的y个记录值，记为子表B；再获取数据表A的字段C对应的x个记录值；比对数据表B的字段D的y个记录值和数据表A的字段C的x个记录值，筛选得到与数据表B的字段D的记录值相等的数据表A的字段C的记录值，假设筛选得到的数据表A的字段C的记录值分别为第i行记录值和第j行记录值；然后，所述执行模块向对应的数据源发送查询数据表A的第i行所有未隐藏字段的记录值和第j行所有未隐藏字段的记录值，并接收数据源返回的查询结果，查询结果记为子表A；

然后，所述执行模块融合获取到的子表B和子表A，得到并存储融合后的数据表。

在上述执行模块的原理描述过程中，是以左连接为例描述的。当然，实际应用中，还有右连接和内连接情况，其实现原理与左连接基本相同，如果为右连接，返回右表中的所有未隐藏属性的字段以及每个未隐藏属性的字段的记录值，形成一张子表1；对于左表，假设需要建立左表中字段a与右表中字段b之间的关联关系，则比对左表中字段a的记录值和右表中字段b的的记录值，筛选得到与右表中字段b的的记录值相等的字段a的记录值，例如，为第1个记录值；然后，向数据源获取左表中第一行所有未隐藏字段的记录值，形成一张子表2；再将子表2和子表1融合即可。

对于内连接情况，假设需要建立表A中字段a与表B中字段b之间的关联关系，首先仅获取表A中字段a的记录值，再获取表B中字段b的记录值，比对获得记录值相等的行，例如，表A中字段a的第2行记录值与表B中字段b的第3行记录值相等，则向数据源获得表A中第2行所有未隐藏字段的记录值，形成子表1；再获得表B中第3行所有未隐藏字段的记录值，形成子表2；再将子表2和子表1融合即可。

执行模块的执行原理可简单描述为：执行模块按照定时配置循环的对数据模型的内容进行解析，按照数据模型里面数据表对应的数据源信息，到对应的数据源中根据已有的规则进行采集数据，然后按照数据源与数据源的关联字段进行关联和数据过滤(根据主表和子表的关联字段进行循环比对，根据关联关系相等进行组合，最后合成一组数据)，加入筛选条件，返回的数据再根据模型中定义字段信息进行加工处理，最终把处理后的数据存放到一张独立的表里。

展现模块，用于将所述融合后的数据表进行分析，并显示分析结果。

在图1中，共描述了13个步骤，下面介绍各步骤：

步骤1：定义数据源，填写数据源的信息；

步骤2：定义数据源的连接配置信息；

步骤3：数据建模；

步骤4：定义数据模型；

步骤5-9：数据模型按照定时配置循环的对数据模型的内容进行解析，按照模型里面数据源表对应的数据源信息去各个数据源中根据已有的规则进行采集数据，然后按照数据源与数据源的关联字段进行关联和数据过滤(根据主表和子表的关联字段进行循环比对，根据关联关系相等的进行组合，最后合成一组数据)，加入筛选条件，返回的数据再根据模型中定义字段信息进行加工处理，最终把处理后的数据存放到一张独立的表里。

步骤10：定时调度任务，通过数据模型保存的调度任务信息，执行模块将自动按照调度任务信息定时去调用数据模型功能，定时返回数据信息存入数据库中，同时也会通知多维分析引擎去数据库查询这张保存的表，并按照画面中某个控件的查询条件进行查询。

步骤11：根据前端绑定的数据模型信息查询本地数据库中的数据，并推送到多维分析引擎，目前本地数据库只支持MySql和Oracle数据库。

步骤12：多维分析，多维分析是指放到一个两维以上的空间坐标上进行分析。主要是在画面中建立分析时，进行处理，包括对字段的转换，并通过ZMQ将数据推送到前端。

步骤13：ZMQ是一个传输层，是一个消息处理队列库，可在多个线程、内核和主机盒之间弹性伸缩。

ZMQ分为三个模式：应答模型、订阅发布模式和基于分布式处理，本发明使用订阅发布模式。发布端是单向只发送数据的，且不关心是否把全部的信息都发送给订阅端。如果发布端开始发布信息的时候，订阅端尚未连接成功，这些信息直接丢弃。不过，一旦订阅端连接成功，中间会保证没有信息丢失。同样，订阅端则只负责接收，而不能反馈。如果发布端和订阅端需要交互(比如要确认订阅者是否已经连接上)，则使用额外的socket采用请求回应模型满足这个需求。

本发明提供的可视化数据采集到展现***，在展现数据前，能够从各种实时接口、关系型数据库、文件、列式数据库等数据格式中获取数据，并初步加工数据，在建模时，对不同来源的数据之间进行数据建模，数据关联，条件过滤，然后进行多维分析或者通过数理统计将结果实时推送给PC大屏、WEB页面或者手机APP应用进行展示。

本发明提供的可视化数据采集到展现***，具有以下优点：

可视化后端采集模块能够使用java技术在采集数据时，将A表和B表直接进行关联后得出关联后的融合数据，并且各种类型数据源之间都能够进行关联建模，适用范围广，操作简单，数据传输量小、消耗资源小以及使用简单方便。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (7)

1.一种可视化数据采集到展现***，其特征在于，包括：

数据源定义模块，用于定义不同类型的数据源；

数据源连接配置模块，用于设置每个所述数据源定义模块定义的数据源的连接配置信息，通过所述连接配置信息，可访问到对应的所述数据源；

数据源连接模块，用于根据所述数据源的连接配置信息，与所述数据源通过通信网络进行连接；

数据表目录获取模块，用于与所述数据源通过通信网络进行连接后，获取到所述数据源包含的所有数据表的数据表目录；所述数据表目录由多个数据表名称组成；

数据表预览模块，用于在获取到所述数据表目录后，对于每个所述数据表名称，向所述数据源发送携带有数据表名称的数据表预览请求；并接收所述数据源返回的对应的数据表，实现数据表预览功能；

数据模型创建模块，用于创建数据模型；具体的，用于对所述数据表目录获取模块获取到的多个数据表名称进行操作，选择需要建立表关联关系的至少两张数据表；配置表关联关系的类型；然后，获取选择到的每张数据表的表字段；再配置每个表字段的属性信息；所述属性信息包括表字段显示或隐藏的属性；然后，建立各张数据表之间表字段之间的关联性，表关联关系和表字段之间的关联性形成了最终的数据表之间的关联关系，即形成的数据模型；

数据采集配置模块，用于配置数据采集参数；所述数据采集参数包括数据采集起始时间以及数据采集频率；

数据存储方式配置模块，用于配置数据存储方式；

执行模块，用于按所述数据采集配置模块配置的数据采集起始时间以及数据采集频率，循环调用所述数据模型，获取所述数据模型中具有表关联关系的每张数据表名称，再获取所述数据模型中具有表字段之间的关联性的每张数据表的关联字段；再获取所述数据模型中表关联关系的类型以及表字段的属性信息；

根据所述数据表名称、关联字段、表关联关系的类型以及表字段的属性信息，向所述数据源发送查询对应数据表中对应未隐藏的目标表字段信息以及未隐藏的目标表字段具有的表记录信息，即查询对应数据表中经过筛选处理后的数据表信息；

然后，根据所述表关联关系的类型，将所述数据源返回的筛选处理后的各张数据表信息进行融合，得到融合后的数据表；并按所述数据存储方式配置模块配置的数据存储方式，存储融合后的数据表；

展现模块，用于将所述融合后的数据表进行分析，并显示分析结果。

2.根据权利要求1所述的可视化数据采集到展现***，其特征在于，所述数据源定义模块定义的不同类型的数据源，包括：文件类型数据源、web接口类型数据源、数据库类型数据源和数据服务类型数据源。

3.根据权利要求2所述的可视化数据采集到展现***，其特征在于，所述文件类型数据源包括：excel文件类型数据源和csv文件类型数据源；所述web接口类型数据源包括：webservice接口类型数据源、http接口类型数据源、Splunk接口类型数据源和RESTful接口类型数据源；所述数据库类型数据源包括：Oracle类型数据源、MySql类型数据源、SQLServer类型数据源、DB2类型数据源、PostgreSQL类型数据源、SyBase类型数据源、Informix类型数据源和H2类型数据源；所述数据服务类型数据源包括VBI数据接收服务类型数据源。

4.根据权利要求3所述的可视化数据采集到展现***，其特征在于，所述数据源连接配置模块所配置的各数据源的连接配置信息包括：

对于文件类型数据源，对所述文件类型数据源对应的文件进行解析，并将解析后的文件数据导入到数据库的一张新数据表中；所述数据源的连接配置信息包括：新数据表的名称以及存储所述新数据表的数据库地址；

对于web接口类型数据源，其连接配置信息包括：web接口类型数据源的连接地址信息；

对于数据库类型数据源，其连接配置信息包括：数据库名称、主机地址、端口号以及用于访问数据库的用户名和密码；

对于数据服务类型数据源，其连接配置信息包括：数据服务名称和数据服务地址信息。

5.根据权利要求1所述的可视化数据采集到展现***，其特征在于，所述表关联关系的类型包括：左连接、右连接和内连接。

6.根据权利要求1所述的可视化数据采集到展现***，其特征在于，所述数据存储方式包括：实时断面存储方式、每次覆盖存储方式、累积去重存储方式、累积不去重存储方式和累积并更新采集时间存储方式。

7.根据权利要求1所述的可视化数据采集到展现***，其特征在于，所述执行模块具体用于：

假设数据模型中具有表关联关系的每张数据表名称分别为数据表A和数据表B；数据表A中共有n个字段，n1个字段为未隐藏属性，n-n1个字段为隐藏属性；数据表B中共有m个字段，m1个字段为未隐藏属性，m-m1个字段为隐藏属性；数据模型中需要建立数据表A中未隐藏属性字段中字段C和数据表B中未隐藏属性字段中字段D之间的关联；数据表A中每个字段具有x个记录值；数据表B中每个字段具有y个记录值；假设当前配置的表关联关系为左连接；数据表A为当前数据表；数据表B为数据表A的左侧数据表；

则：当到达数据采集时间点时，执行模块向对应的数据源采集数据，获取数据表B的m1个未隐藏属性的字段以及每个未隐藏属性的字段的y个记录值，记为子表B；再获取数据表A的字段C对应的x个记录值；比对数据表B的字段D的y个记录值和数据表A的字段C的x个记录值，筛选得到与数据表B的字段D的记录值相等的数据表A的字段C的记录值，假设筛选得到的数据表A的字段C的记录值分别为第i行记录值和第j行记录值；然后，所述执行模块向对应的数据源发送查询数据表A的第i行所有未隐藏字段的记录值和第j行所有未隐藏字段的记录值，并接收数据源返回的查询结果，查询结果记为子表A；

然后，所述执行模块融合获取到的子表B和子表A，得到并存储融合后的数据表。