CN115168396A - 一种基于时空体系的综合智能平台数据管理方法及*** - Google Patents

一种基于时空体系的综合智能平台数据管理方法及*** Download PDF

Info

Publication number
CN115168396A
CN115168396A CN202210837660.XA CN202210837660A CN115168396A CN 115168396 A CN115168396 A CN 115168396A CN 202210837660 A CN202210837660 A CN 202210837660A CN 115168396 A CN115168396 A CN 115168396A
Authority
CN
China
Prior art keywords
data
sql
sql statement
source
intelligent platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210837660.XA
Other languages
English (en)
Inventor
张迪
张开婷
崔闰虎
王欣
***
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quantutong Position Network Co ltd
Original Assignee
Quantutong Position Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quantutong Position Network Co ltd filed Critical Quantutong Position Network Co ltd
Priority to CN202210837660.XA priority Critical patent/CN115168396A/zh
Publication of CN115168396A publication Critical patent/CN115168396A/zh
Priority to PCT/CN2022/137527 priority patent/WO2024011829A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于时空体系的综合智能平台数据管理方法，涉及多源异构数据融合技术领域。该方法包括：存储业务数据；获取用户配置的数据源，并添加到数据汇聚列表中；选取数据汇聚列表中的可用数据表；对数据汇聚列表中对应的可用数据表进行关联；保存关联的可用数据表的可视化视图，生成SQL语句；将SQL语句发送给预设的SQL解析器；对SQL语句进行解析，分割成SQL语句序列；调用SQL语句序列中的目标SQL语句，对与目标SQL语句连接的数据源进行查询；对查询到的数据进行关联并显示。本发明对多源异构数据源提供统一的访问接口，使用户无需在多个数据库存储***间导入导出数据，提高了异构数据源的维护效率，实现多源异构数据的一站式管理。

Description

一种基于时空体系的综合智能平台数据管理方法及***
技术领域
本发明涉及多源异构数据融合技术领域，尤其涉及一种基于时空体系的综合智能平台数据管理方法及***。
背景技术
在目前的大数据时代，数据呈现出越来越明显的大量、低价值密度、多样、高速及真实的特性，这使得从海量的数据中获取需要的信息愈发困难，大量的数据也给其存储和传输带来诸多问题。
现有的多源异构数据存储***无法做到针对多源异构数据高效地进行汇聚、融合和分析，没有从数据的角度有针对性地进行处理工作，其没有建立起一套统一的数据处理体系，无法做到对数据的高效汇聚、融合与管理。
发明内容
本发明所要解决的是现有的多源异构数据存储***无法做到针对多源异构数据高效地进行汇聚、融合和分析的问题，为了解决上述技术问题，本发明提供了一种基于时空体系的综合智能平台数据管理方法及***。
第一个方面，提供了一种基于时空体系的综合智能平台数据管理方法，包括：
对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中；
获取用户在数据源管理页面中配置的至少一个数据源，以及每个所述数据源的IP地址、端口和类型，并将配置的所有所述数据源添加到数据汇聚列表中；
获取用户输入的切换指令，根据所述切换指令选取所述数据汇聚列表中的可用数据表；
获取用户输入的关联指令，根据所述关联指令对所述数据汇聚列表中对应的可用数据表进行关联；
保存关联的可用数据表的可视化视图，生成所述可视化视图的SQL语句；
获取用户输入的查询指令，将所述SQL语句发送给预设的SQL解析器；
通过所述SQL解析器对所述SQL语句进行解析，将解析后的所述SQL语句分割成SQL语句序列；
通过预设的SQL执行引擎逐条调用所述SQL语句序列中的目标SQL语句，通过预设的异构数据源连接器对与所述目标SQL语句连接的数据源进行查询；
对查询到的数据源中的数据进行关联，将关联的数据发送给前端的显示页面进行显示。
在第一个方面的一种可能实现中，将关联的数据发送给前端的显示页面进行显示，具体包括：
将关联的数据发送给前端；
所述前端根据关联的数据的格式，调用对应的显示组件在显示页面显示所述关联的数据。
在第一个方面的一种可能实现中，前端根据关联的数据的格式，调用对应的显示组件在显示页面显示所述关联的数据，具体包括：
当所述关联的数据为二维地图数据时，所述前端通过二维数据可视化组件对所述关联的数据进行展示；
当所述关联的数据为三维模型数据时，所述前端通过WebGL组件对所述关联的数据进行展示。
在第一个方面的一种可能实现中，对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中，具体包括：
对原始数据进行抽取加工，形成业务数据；
根据所述业务数据的格式，将所述业务数据存储在MySQL存储数据库、PostgreSQL存储数据库、HIVE存储数据库或Cassandra存储数据库中。
在第一个方面的一种可能实现中，通过所述SQL解析器对所述SQL语句进行解析，将解析后的所述SQL语句分割成SQL语句序列，具体包括：
通过所述SQL解析器判断所述SQL语句是否合法，当所述SQL语句合法时，将所述SQL语句转换为可执行的SQL语句序列。
第二个方面，提供了一种基于时空体系的综合智能平台数据管理***，包括：数据采集单元、指令获取单元、数据处理单元、SQL解析单元、数据查询单元和数据关联单元，其中：
所述数据采集单元用于对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中；
所述指令获取单元用于获取用户在数据源管理页面中配置的至少一个数据源，以及每个所述数据源的IP地址、端口和类型，并将配置的所有所述数据源添加到数据汇聚列表中；
所述指令获取单元还用于获取用户输入的切换指令，根据所述切换指令选取所述数据汇聚列表中的可用数据表；
所述指令获取单元还用于获取用户输入的关联指令，根据所述关联指令对所述数据汇聚列表中对应的可用数据表进行关联；
所述数据处理单元用于保存关联的可用数据表的可视化视图，生成所述可视化视图的SQL语句；
所述指令获取单元还用于获取用户输入的查询指令，将所述SQL语句发送给预设的SQL解析器；
所述SQL解析单元用于通过所述SQL解析器对所述SQL语句进行解析，将解析后的所述SQL语句分割成SQL语句序列；
所述数据查询单元用于通过预设的SQL执行引擎逐条调用所述SQL语句序列中的目标SQL语句，通过预设的异构数据源连接器对与所述目标SQL语句连接的数据源进行查询；
所述数据关联单元用于对查询到的数据源中的数据进行关联，将关联的数据发送给前端的显示页面进行显示。
在第二方面的一种可能实现中，所述数据关联单元具体用于将关联的数据发送给前端，以使所述前端根据关联的数据的格式，调用对应的显示组件在显示页面显示所述关联的数据。
在第二方面的一种可能实现中，所述数据关联单元具体用于当所述关联的数据为二维地图数据时，所述前端通过二维数据可视化组件对所述关联的数据进行展示；当所述关联的数据为三维模型数据时，所述前端通过WebGL组件对所述关联的数据进行展示。
在第二方面的一种可能实现中，所述数据采集单元具体用于对原始数据进行抽取加工，形成业务数据；根据所述业务数据的格式，将所述业务数据存储在MySQL存储数据库、PostgreSQL存储数据库、HIVE存储数据库或Cassandra存储数据库中。
在第二方面的一种可能实现中，所述SQL解析单元具体用于调用所述SQL解析器判断所述SQL语句是否合法，当所述SQL语句合法时，将所述SQL语句转换为可执行的SQL语句序列。
上述各方面的方案中，通过数据整合、空间化、统一时空基准、标准规范建设等步骤将原先分散异构的数据统一汇聚管理，对多源异构数据源提供统一的访问接口，允许访问各种各样的数据，使用户无需在多个数据库存储***间导入导出数据，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明数据管理方法的实施例提供的流程示意图；
图2为本发明数据管理方法的其他实施例提供的地铁服务平台结构示意图；
图3为本发明数据管理***的实施例提供的***架构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
本发明通过将基础时空数据、专题数据、动态位置数据、感知数据等分散、异构的应用和信息资源进行聚合，通过统一的访问入口，实现结构化数据资源、非结构化文档和互联网资源、各种应用***跨数据库、跨***平台的无缝接入和集成，提供一个支持信息访问、传递、以及协作的集成化环境，实现个性化业务应用的高效开发、集成、部署与管理；并根据每个用户的特点、喜好和角色的不同，为特定用户提供量身定做的访问关键业务信息的安全通道和个性化应用界面。
下面结合具体实例说明。
如图1所示，为本发明数据管理方法的实施例提供的流程示意图，该基于时空体系的综合智能平台数据管理方法，包括：
S1，对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中；
应理解，存储过程的实现以开源Hadoop技术为基础，Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。Hadoop为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集，并且支持在单台计算机到几千台计算机之间进行扩展。Hadoop使用Java开发，所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件***(Hadoop DFS，HDFS)和MapReduce。
原始数据的抽取和采集可以通过数据抽取工具从原有业务***数据库抽取、手动数据文件导入或由采集设备直接写入相应存储数据库中。
采集的原始数据为异构数据，例如，可以为来自不同业务***的结构化数据和非结构化数据。
此外，数据层可存取多种类型的数据，且对原有服务器硬件配置无特殊要求，极大化利用原有设备，减小设备投入。包括但不限于：
1、三维数据，主要为各种地理数据源。
2、设备数据，各设备运行所产生的数据。
3、人员数据，***所在项目的使用及维护人员的各种数据。
4、定位数据，定位设备所采集到的数据。
应理解，数据层中的各类数据库均以分布式部署在服务器集群中，数据库各自独立存在互不相通；结构化数据、非结构化数据等元数据可以是数据抽取工具从原有业务***数据库抽取过来，可以是手动数据文件导入，也可是由采集设备直接写入响应存储数据库中。
S2，获取用户在数据源管理页面中配置的至少一个数据源，以及每个数据源的IP地址、端口和类型，并将配置的所有数据源添加到数据汇聚列表中；
S3，获取用户输入的切换指令，根据切换指令选取数据汇聚列表中的可用数据表；
S4，获取用户输入的关联指令，根据关联指令对数据汇聚列表中对应的可用数据表进行关联；
S5，保存关联的可用数据表的可视化视图，生成可视化视图的SQL语句；
S6，获取用户输入的查询指令，将SQL语句发送给预设的SQL解析器；
应理解，本发明的服务组件可以包括异构数据源连接器、SQL执行引擎、SQL解析器、JDBC服务和SHELL服务，其中：
异构数据源连接器用于在平台和异构数据源之间建立统一的访问连接，通过配置数据源IP地址、端口号和数据源类型，调用底层不同的数据源连接协议，与数据源之间建立数据传输通道，对数据源进行访问和操作；
SQL执行引擎用于执行SQL解析器解析出的SQL语句操作序列，并返回查询的结果集；
SQL解析器用于判断SQL语句是否合法以及将SQL语句序列转换为一个可执行的操作序列；
JDBC服务用于对应用层提供标准的符合JDBC规范的直接访问的接口服务，前台展示页面通过JDBC服务实现与后台数据的交互；
SHELL服务用于对用户提供SQL语句操作查询的服务，用户以SHELL命令行方式直接进行数据库查询操作。
S7，通过SQL解析器对SQL语句进行解析，将解析后的SQL语句分割成SQL语句序列；
S8，通过预设的SQL执行引擎逐条调用SQL语句序列中的目标SQL语句，通过预设的异构数据源连接器对与目标SQL语句连接的数据源进行查询；
S9，对查询到的数据源中的数据进行关联，将关联的数据发送给前端的显示页面进行显示。
应理解，前端为应用层，可以包括可视化服务、***管理、数据关联、报表统计、定时任务调度、数据审计、日志管理和二次接口服务。
应理解，本发明依托于数据综合服务平台实现多源异构数据的管理和查询，如图2所示，以地铁北斗定位为例，给出了示例性的数据综合服务平台，包括地铁北斗定位数据中台、地铁北斗定位服务中台、地铁北斗定位一张图应用和地铁北斗定位移动一张图应用，以地铁北斗定位数据中台为例，包括数据汇聚***和数据管理***，可以分别实现数据的采集和汇聚，具体步骤参考上述步骤，不再赘述。
本实施例提供的方法，通过数据整合、空间化、统一时空基准、标准规范建设等步骤将原先分散异构的数据统一汇聚管理，对多源异构数据源提供统一的访问接口，允许访问各种各样的数据，使用户无需在多个数据库存储***间导入导出数据，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理。
可选地，在一些可能的实施方式中，将关联的数据发送给前端的显示页面进行显示，具体包括：
将关联的数据发送给前端；
前端根据关联的数据的格式，调用对应的显示组件在显示页面显示关联的数据。
可选地，在一些可能的实施方式中，前端根据关联的数据的格式，调用对应的显示组件在显示页面显示关联的数据，具体包括：
当关联的数据为二维地图数据时，前端通过二维数据可视化组件对关联的数据进行展示；
当关联的数据为三维模型数据时，前端通过WebGL组件对关联的数据进行展示。
可选地，在一些可能的实施方式中，对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中，具体包括：
对原始数据进行抽取加工，形成业务数据；
根据业务数据的格式，将业务数据存储在MySQL存储数据库、PostgreSQL存储数据库、HIVE存储数据库或Cassandra存储数据库中。
可选地，在一些可能的实施方式中，通过SQL解析器对SQL语句进行解析，将解析后的SQL语句分割成SQL语句序列，具体包括：
通过SQL解析器判断SQL语句是否合法，当SQL语句合法时，将SQL语句转换为可执行的SQL语句序列。
本发明还提供一种基于时空体系的综合智能平台数据管理***，包括：数据采集单元、指令获取单元、数据处理单元、SQL解析单元、数据查询单元和数据关联单元，其中：
数据采集单元用于对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中；
指令获取单元用于获取用户在数据源管理页面中配置的至少一个数据源，以及每个数据源的IP地址、端口和类型，并将配置的所有数据源添加到数据汇聚列表中；
指令获取单元还用于获取用户输入的切换指令，根据切换指令选取数据汇聚列表中的可用数据表；
指令获取单元还用于获取用户输入的关联指令，根据关联指令对数据汇聚列表中对应的可用数据表进行关联；
数据处理单元用于保存关联的可用数据表的可视化视图，生成可视化视图的SQL语句；
指令获取单元还用于获取用户输入的查询指令，将SQL语句发送给预设的SQL解析器；
SQL解析单元用于通过SQL解析器对SQL语句进行解析，将解析后的SQL语句分割成SQL语句序列；
数据查询单元用于通过预设的SQL执行引擎逐条调用SQL语句序列中的目标SQL语句，通过预设的异构数据源连接器对与目标SQL语句连接的数据源进行查询；
数据关联单元用于对查询到的数据源中的数据进行关联，将关联的数据发送给前端的显示页面进行显示。
如图2所示，提供了一种示例性的***结构架构示意图，可以分为应用层、支撑平台层、数据层和支撑层。
其中，支撑平台层是支撑整个***的核心，其目的在于通过数据整合、空间化、统一时空基准、标准规范建设等步骤，统一汇聚管理多源异构数据，包括服务中台和数据中台两个部分。
服务中台包含两个子模块：目录服务***及服务引擎***。
目录服务***以目录服务为核心、功能分为服务注册、服务发现、服务申请及服务审核。该模块可对于数据源服务进行增删改查等操作。
服务引擎***是以可访问及操作数据为驱动的数据服务支撑引擎。该模块将数据存储设施中的数据以数据源的形式调用，同时提供一定的数据预处理能力，如矢量切片服务，对于三维模型数据的轻量化操作。提供的数据服务包括：基础时空数据、公共专题数据、动态位置数据及时空感知数据。本发明通过定制模块化的多源异构数据自适应可视化***实现了对于多源异构数据的可视化效果，涵盖传统的数据格式及目前主流的数据格式。
数据中台包含两个子模块：数据汇聚***及数据管理***。
数据汇聚***按照给定的数据分析框架，通过智能分析框架实现自动或半自动化数据汇聚。例如收集定位数据，采用定位标签配备定位基站的方式完成数据汇聚。
数据管理***可展现数据概况并对数据进行管理。借助大屏可视化数据展示技术，为相关人员决策提供参考。分为人员数据管理、基站数据管理、标签数据管理及地图数据管理。
应用层用于通过可视化技术对业务数据进行再组织形成特定场景使用的专用数据。
数据层可存取多种类型的数据，数据层中的各类数据库均以分布式部署在服务器集群中，数据库各自独立存在互不相通。
本实施例提供的***，通过数据整合、空间化、统一时空基准、标准规范建设等步骤将原先分散异构的数据统一汇聚管理，对多源异构数据源提供统一的访问接口，允许访问各种各样的数据，使用户无需在多个数据库存储***间导入导出数据，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理。
可选地，在一些可能的实施方式中，数据关联单元具体用于将关联的数据发送给前端，以使前端根据关联的数据的格式，调用对应的显示组件在显示页面显示关联的数据。
可选地，在一些可能的实施方式中，数据关联单元具体用于当关联的数据为二维地图数据时，前端通过二维数据可视化组件对关联的数据进行展示；当关联的数据为三维模型数据时，前端通过WebGL组件对关联的数据进行展示。
可选地，在一些可能的实施方式中，数据采集单元具体用于对原始数据进行抽取加工，形成业务数据；根据业务数据的格式，将业务数据存储在MySQL存储数据库、PostgreSQL存储数据库、HIVE存储数据库或Cassandra存储数据库中。
可选地，在一些可能的实施方式中，SQL解析单元具体用于调用SQL解析器判断SQL语句是否合法，当SQL语句合法时，将SQL语句转换为可执行的SQL语句序列。
应理解，上述实施方式为与在先方法实施方式对应的产品实施方式，关于产品实施方式的说明可以参考在先方法实施方式的说明，在此不再赘述。
应理解，在不违背本发明构思的前提下，本领域技术人员可以将上述实施方式进行任意组合，均在本发明的保护范围内。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于时空体系的综合智能平台数据管理方法，其特征在于，包括：
对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中；
获取用户在数据源管理页面中配置的至少一个数据源，以及每个所述数据源的IP地址、端口和类型，并将配置的所有所述数据源添加到数据汇聚列表中；
获取用户输入的切换指令，根据所述切换指令选取所述数据汇聚列表中的可用数据表；
获取用户输入的关联指令，根据所述关联指令对所述数据汇聚列表中对应的可用数据表进行关联；
保存关联的可用数据表的可视化视图，生成所述可视化视图的SQL语句；
获取用户输入的查询指令，将所述SQL语句发送给预设的SQL解析器；
通过所述SQL解析器对所述SQL语句进行解析，将解析后的所述SQL语句分割成SQL语句序列；
通过预设的SQL执行引擎逐条调用所述SQL语句序列中的目标SQL语句，通过预设的异构数据源连接器对与所述目标SQL语句连接的数据源进行查询；
对查询到的数据源中的数据进行关联，将关联的数据发送给前端的显示页面进行显示。
2.根据权利要求1所述的基于时空体系的综合智能平台数据管理方法，其特征在于，将关联的数据发送给前端的显示页面进行显示，具体包括：
将关联的数据发送给前端；
所述前端根据关联的数据的格式，调用对应的显示组件在显示页面显示所述关联的数据。
3.根据权利要求2所述的基于时空体系的综合智能平台数据管理方法，其特征在于，前端根据关联的数据的格式，调用对应的显示组件在显示页面显示所述关联的数据，具体包括：
当所述关联的数据为二维地图数据时，所述前端通过二维数据可视化组件对所述关联的数据进行展示；
当所述关联的数据为三维模型数据时，所述前端通过WebGL组件对所述关联的数据进行展示。
4.根据权利要求1所述的基于时空体系的综合智能平台数据管理方法，其特征在于，对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中，具体包括：
对原始数据进行抽取加工，形成业务数据；
根据所述业务数据的格式，将所述业务数据存储在MySQL存储数据库、PostgreSQL存储数据库、HIVE存储数据库或Cassandra存储数据库中。
5.根据权利要求1所述的基于时空体系的综合智能平台数据管理方法，其特征在于，通过所述SQL解析器对所述SQL语句进行解析，将解析后的所述SQL语句分割成SQL语句序列，具体包括：
通过所述SQL解析器判断所述SQL语句是否合法，当所述SQL语句合法时，将所述SQL语句转换为可执行的SQL语句序列。
6.一种基于时空体系的综合智能平台数据管理***，其特征在于，包括：数据采集单元、指令获取单元、数据处理单元、SQL解析单元、数据查询单元和数据关联单元，其中：
所述数据采集单元用于对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中；
所述指令获取单元用于获取用户在数据源管理页面中配置的至少一个数据源，以及每个所述数据源的IP地址、端口和类型，并将配置的所有所述数据源添加到数据汇聚列表中；
所述指令获取单元还用于获取用户输入的切换指令，根据所述切换指令选取所述数据汇聚列表中的可用数据表；
所述指令获取单元还用于获取用户输入的关联指令，根据所述关联指令对所述数据汇聚列表中对应的可用数据表进行关联；
所述数据处理单元用于保存关联的可用数据表的可视化视图，生成所述可视化视图的SQL语句；
所述指令获取单元还用于获取用户输入的查询指令，将所述SQL语句发送给预设的SQL解析器；
所述SQL解析单元用于通过所述SQL解析器对所述SQL语句进行解析，将解析后的所述SQL语句分割成SQL语句序列；
所述数据查询单元用于通过预设的SQL执行引擎逐条调用所述SQL语句序列中的目标SQL语句，通过预设的异构数据源连接器对与所述目标SQL语句连接的数据源进行查询；
所述数据关联单元用于对查询到的数据源中的数据进行关联，将关联的数据发送给前端的显示页面进行显示。
7.根据权利要求6所述的基于时空体系的综合智能平台数据管理***，其特征在于，所述数据关联单元具体用于将关联的数据发送给前端，以使所述前端根据关联的数据的格式，调用对应的显示组件在显示页面显示所述关联的数据。
8.根据权利要求7所述的基于时空体系的综合智能平台数据管理***，其特征在于，所述数据关联单元具体用于当所述关联的数据为二维地图数据时，所述前端通过二维数据可视化组件对所述关联的数据进行展示；当所述关联的数据为三维模型数据时，所述前端通过WebGL组件对所述关联的数据进行展示。
9.根据权利要求6所述的基于时空体系的综合智能平台数据管理***，其特征在于，所述数据采集单元具体用于对原始数据进行抽取加工，形成业务数据；根据所述业务数据的格式，将所述业务数据存储在MySQL存储数据库、PostgreSQL存储数据库、HIVE存储数据库或Cassandra存储数据库中。
10.根据权利要求6所述的基于时空体系的综合智能平台数据管理***，其特征在于，所述SQL解析单元具体用于调用所述SQL解析器判断所述SQL语句是否合法，当所述SQL语句合法时，将所述SQL语句转换为可执行的SQL语句序列。
CN202210837660.XA 2022-07-15 2022-07-15 一种基于时空体系的综合智能平台数据管理方法及*** Pending CN115168396A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210837660.XA CN115168396A (zh) 2022-07-15 2022-07-15 一种基于时空体系的综合智能平台数据管理方法及***
PCT/CN2022/137527 WO2024011829A1 (zh) 2022-07-15 2022-12-08 一种基于时空体系的综合智能平台数据管理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210837660.XA CN115168396A (zh) 2022-07-15 2022-07-15 一种基于时空体系的综合智能平台数据管理方法及***

Publications (1)

Publication Number Publication Date
CN115168396A true CN115168396A (zh) 2022-10-11

Family

ID=83494396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210837660.XA Pending CN115168396A (zh) 2022-07-15 2022-07-15 一种基于时空体系的综合智能平台数据管理方法及***

Country Status (2)

Country Link
CN (1) CN115168396A (zh)
WO (1) WO2024011829A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312281A (zh) * 2023-06-30 2023-12-29 江苏中科西北星信息科技有限公司 一种多源异构数据自动融合方法、***、设备及存储介质
WO2024011829A1 (zh) * 2022-07-15 2024-01-18 全图通位置网络有限公司 一种基于时空体系的综合智能平台数据管理方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化***的数据查询方法
CN107229695A (zh) * 2017-05-23 2017-10-03 深圳大学 多平台航空电子大数据***及方法
CN111680025B (zh) * 2020-06-17 2022-03-22 珠海市测绘院 面向自然资源多源异构数据时空信息智能同化的方法及***
CN114379608A (zh) * 2021-12-13 2022-04-22 中铁南方投资集团有限公司 一种城市轨道交通工程的多源异构数据集成处理方法
CN115168396A (zh) * 2022-07-15 2022-10-11 全图通位置网络有限公司 一种基于时空体系的综合智能平台数据管理方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024011829A1 (zh) * 2022-07-15 2024-01-18 全图通位置网络有限公司 一种基于时空体系的综合智能平台数据管理方法及***
CN117312281A (zh) * 2023-06-30 2023-12-29 江苏中科西北星信息科技有限公司 一种多源异构数据自动融合方法、***、设备及存储介质
CN117312281B (zh) * 2023-06-30 2024-05-24 江苏中科西北星信息科技有限公司 一种多源异构数据自动融合方法、***、设备及存储介质

Also Published As

Publication number Publication date
WO2024011829A1 (zh) 2024-01-18

Similar Documents

Publication Publication Date Title
CN105045820B (zh) 一种处理海量级数据的视频图像信息的方法及数据库***
CN115168396A (zh) 一种基于时空体系的综合智能平台数据管理方法及***
CN108536778B (zh) 一种数据应用共享平台及方法
CN109522357A (zh) 一种数据处理方法、装置、服务器及存储介质
CN112685433B (zh) 元数据更新方法、装置、电子设备及计算机可读存储介质
CN106095796A (zh) 分布式数据存储方法、装置及***
CN109241384B (zh) 一种科研信息的可视化方法及装置
CN103390018B (zh) 一种基于SDD的Web服务数据建模与搜索方法
CN109710767B (zh) 多语种大数据服务平台
WO2024012221A1 (zh) 基于版式数据流文件底板创建虚拟服务共享池的方法
CN111898007A (zh) 一种变电站的三维场景模型构建***及方法
CN102222112B (zh) 资源管理装置和资源管理方法
CN111143468B (zh) 基于mpp分布式技术的多数据库数据管理方法
CN113987626A (zh) 一种可扩展的建筑全生命期bim建模方法
CN109471957A (zh) 一种基于统一标签的元数据转换方法及装置
CN116737113B (zh) 面向海量科学数据的元数据目录管理***及方法
CN114443599A (zh) 数据同步方法、装置、电子设备及存储介质
KR20100132752A (ko) 데이터베이스 분산을 통한 서비스 성능 향상을 위한 질의 데이터 분산 처리시스템
CN112860653A (zh) 一种政务信息资源目录管理方法和***
CN116028574A (zh) 政府全生命周期大数据管理***及其方法
CN113590651B (zh) 一种基于hql的跨集群数据处理***及方法
CN118349559A (zh) 一种基于三维时空体系的数字孪生平台数据管理方法及***
CN111563123B (zh) 一种hive仓库元数据实时同步方法
Barbosa et al. Applying data warehousing and big data techniques to analyze internet performance
CN114596046A (zh) 一种基于业务中台及数据中台的统一数字模型的集成平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination