CN113792098B - 基于数据库sql图形化的大数据可视化方法、***及介质 - Google Patents

基于数据库sql图形化的大数据可视化方法、***及介质 Download PDF

Info

Publication number
CN113792098B
CN113792098B CN202110883103.7A CN202110883103A CN113792098B CN 113792098 B CN113792098 B CN 113792098B CN 202110883103 A CN202110883103 A CN 202110883103A CN 113792098 B CN113792098 B CN 113792098B
Authority
CN
China
Prior art keywords
data
big data
screening
database
sql
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110883103.7A
Other languages
English (en)
Other versions
CN113792098A (zh
Inventor
郑德高
孙娟
李鹏飞
马璇
杨娜娜
林辰辉
华沅
张永波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy Of Urban Planning & Design
Original Assignee
China Academy Of Urban Planning & Design
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy Of Urban Planning & Design filed Critical China Academy Of Urban Planning & Design
Priority to CN202110883103.7A priority Critical patent/CN113792098B/zh
Publication of CN113792098A publication Critical patent/CN113792098A/zh
Application granted granted Critical
Publication of CN113792098B publication Critical patent/CN113792098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/2448—Query languages for particular applications; for extensibility, e.g. user defined types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种基于数据库SQL图形化的大数据可视化方法、***及介质，获取至少一种类型的规划大数据；设定规划大数据的筛选规则，规划大数据通过筛选规则筛选，并通过数据表结构整理后，得到表结构数据库；设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件；通过图形交互界面设定筛选条件，并结合筛选条件编译形成完整的SQL语句；表结构数据库执行SQL语句进行查询，得到相应的汇总数据；将汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。本申请将数据库的语句根据常用业务逻辑转换为图形表达，大大降低了大数据分析的门槛，并结合可视化平台，实现了快速将分析结果转换为所需的图形表达。

Description

基于数据库SQL图形化的大数据可视化方法、***及介质
技术领域
本申请属于数据库技术领域，具体地，涉及一种基于数据库SQL图形化的大数据可视化方法、***及介质。
背景技术
近年来随着大数据的兴起，规划大数据因其便利性、更加直观、可以更加准确的反映城市的真实情况，成为规划人员在分析城市问题、编制规划方案时的重要分析维度。规划大数据主要包括反映人口或人群特征的LBS或手机信令数据、企业信息服务商提供的企业数据、地图服务商提供的POI等地图数据。
规划人员在对这些大数据进行分析时，需要掌握GIS或者SQL及python等可视化技术，因此形成了一定门槛。且，当前已有的技术服务，大多围绕固定数据的可视化展示，分析功能不足，尚未形成满足规划人员低门槛使用的从大数据到可视化出图的全流程线产品。
其中，结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库***。基于位置的服务LBS(Location Based Services)，是利用各类型的定位技术来获取定位设备当前的所在位置，通过移动互联网向定位设备提供信息资源和基础服务。POI是“Point of Interest”的缩写，中文可以翻译为“兴趣点”，在地理信息***中，一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。
发明内容
本发明提出的基于数据库SQL图形化的大数据可视化方法、***及介质，将数据库的语句根据常用业务逻辑转换为图形表达，大大降低了大数据分析的门槛，并结合可视化平台，实现了快速将分析结果转换为所需的图形表达。
根据本申请实施例的第一个方面，提供了一种基于数据库SQL图形化的大数据可视化方法，包括以下步骤：
获取至少一种类型的规划大数据，规划大数据包括用户地理位置、用户特征以及用户行为；
设定规划大数据的筛选规则，至少一种类型的规划大数据通过筛选规则筛选，并通过数据表结构整理后，得到表结构数据库；设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件；
通过图形交互界面设定筛选条件，并结合筛选条件编译形成完整的SQL语句；
表结构数据库执行SQL语句进行查询，得到相应的汇总数据；
将汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。
在本申请一些实施方式中，规划大数据包括基于位置的服务数据、手机信令数据、企业数据和/或地图数据。
在本申请一些实施方式中，表结构数据库包括一个坐标位置的数据表以及两个坐标位置的数据表；筛选条件包括：以用户地理位置、用户特征和/或用户行为定义的不同字段属性筛选条件。
在本申请一些实施方式中，通过图形交互界面设定筛选条件，并结合筛选条件编译形成完整的SQL语句，具体包括：
用户通过图形交互界面设定筛选条件；
根据筛选条件的坐标编译select语句以及group by语句；根据筛选规则的属性字段编译where语句；
根据where语句、select语句以及group by语句整合成完整的SQL语句。
在本申请一些实施方式中，表结构数据库根据SQL语句进行查询，得到相应的汇总数据，具体包括：
得到一个坐标位置下对应的汇总数据和/或两个坐标位置下对应的汇总数据。
在本申请一些实施方式中，将汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据，具体包括：
将汇总数据根据不同的地图服务商地图，通过坐标转换选择不同的坐标，得到不同地图坐标下汇总数据；
将不同地图坐标下汇总数据导入可视化工具，得到不同图形化的可视化数据。
在本申请一些实施方式中，得到不同图形化的可视化数据之后，还包括数据过滤和/或数据汇总，得到数据过滤和/或数据汇总后的图形化的可视化数据；
其中，数据过滤包括：将汇总数据的地理位置坐标值以及汇总值进行筛选，或者通过地理空间分析库，将汇总数据的地理位置坐标值按照地理空间选择后得到新的地理位置坐标值进行筛选；
其中，数据汇总包括：将汇总数据的地理位置坐标值以及汇总值进行各类汇总计算，或者通过地理空间分析库，将汇总数据的地理位置坐标值进行相应地理空间过滤后得到新的坐标值进行筛选。
根据本申请实施例的第二个方面，一种基于数据库SQL图形化的大数据可视化***，具体包括：
大数据获取模块：用于获取至少一种类型的规划大数据，规划大数据包括用户地理位置、用户特征以及用户行为；
表结构数据库模块：用于设定规划大数据的筛选规则，至少一种类型的规划大数据通过筛选规则筛选，并通过数据表结构整理后，得到表结构数据库；设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件；
SQL语句编译模块：用于通过图形交互界面设定筛选条件，并结合筛选条件编译形成完整的SQL语句；
数据库查询模块：用于表结构数据库执行SQL语句进行查询，得到相应的汇总数据；
大数据可视化模块：用于将汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。
根据本申请实施例的第三个方面，提供了一种基于数据库SQL图形化的大数据可视化设备，包括：
存储器：用于存储可执行指令；以及
处理器:用于与存储器连接以执行可执行指令从而完成基于数据库SQL图形化的大数据可视化方法。
根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现基于数据库SQL图形化的大数据可视化方法。
采用本申请的基于数据库SQL图形化的大数据可视化方法、***及介质，获取至少一种类型的规划大数据，规划大数据包括用户地理位置、用户特征以及用户行为；设定规划大数据的筛选规则，至少一种类型的规划大数据通过筛选规则筛选，并通过数据表结构整理后，得到表结构数据库；设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件；通过图形交互界面设定筛选条件，并结合筛选条件编译形成完整的SQL语句；表结构数据库执行SQL语句进行查询，得到相应的汇总数据；将汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。
本申请将数据库的语句根据常用业务逻辑转换为图形表达，大大降低了大数据分析的门槛，并结合可视化平台，实现了快速将分析结果转换为所需的图形表达。本申请解决了从大数据SQL使用到可视化展示的流程线，同时为打通整条流程线，构建了数据的传输标准与转换算法，为规划人员、或有大数据分析需求的人群，提供方便、直观、高效的大数据分析平台解决方案。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请实施例的基于数据库SQL图形化的大数据可视化方法的步骤示意图；
图2中示出了根据本申请的基于数据库SQL图形化的大数据可视化方法的平台开发以及用户使用逻辑流程图；
图3中示出了根据本申请实施例的基于数据库SQL图形化的大数据可视化***的结构示意图；
图4中示出了根据本申请实施例的基于数据库SQL图形化的大数据可视化设备的结构示意图。
具体实施方式
在实现本申请的过程中，发明人发现在对规划大数据进行分析时，需要掌握GIS或者SQL及python等可视化技术，因此形成了一定门槛。且，当前已有的技术服务，大多围绕固定数据的可视化展示，分析功能不足，尚未形成满足规划人员低门槛使用的从大数据到可视化出图的全流程线产品。
因此，为了面向广大规划人员的大数据分析需求，本申请在众多大数据的实践经验基础上，整合形成常用分析的技术路线与流程图。具体通过web端的UI交互，可方便的对大数据进行计算、分析，同时可便捷的将分析结果导入到可视化平台，按需要调整表达，形成相应的规划分析图纸。
本申请技术核心是在当前一般可视化平台的基础上，重点强化与数据库的衔接。将数据库的语句根据常用业务逻辑转换为图形表达，大大降低了大数据分析的门槛。同时，结合可视化平台，对可视化给予定制化的调整空间，便于规划人员快速将分析结果转换为所需的图形表达。
具体的，
获取至少一种类型的规划大数据，规划大数据包括用户地理位置、用户特征以及用户行为；设定规划大数据的筛选规则，至少一种类型的规划大数据通过筛选规则筛选，并通过数据表结构整理后，得到表结构数据库；设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件；通过图形交互界面设定筛选条件，并结合筛选条件编译形成完整的SQL语句；表结构数据库执行SQL语句进行查询，得到相应的汇总数据；将汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。
本申请将数据库的语句根据常用业务逻辑转换为图形表达，大大降低了大数据分析的门槛，并结合可视化平台，实现了快速将分析结果转换为所需的图形表达。解决了从大数据SQL使用到可视化展示的流程线，同时为打通整条流程线，构建了数据的传输标准与转换算法，为规划人员、或有大数据分析需求的人群，提供方便、直观、高效的大数据分析平台解决方案。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
图1中示出了根据本申请实施例的基于数据库SQL图形化的大数据可视化方法的步骤示意图。
如图1所示，本申请实施例的基于数据库SQL图形化的大数据可视化方法，具体包括以下步骤：
根据本申请实施例的第一个方面，提供了一种基于数据库SQL图形化的大数据可视化方法，具体包括以下步骤：
S101：获取至少一种类型的规划大数据，规划大数据包括用户地理位置、用户特征以及用户行为。
其中，规划大数据包括基于位置的服务数据、手机信令数据、企业数据和/地图数据。
具体常用规划大数据的类型：一是以人口、人群等为代表的LBS或手机信令数据，二是企业信息服务商的企业数据，三是地图服务商提供的兴趣点POI等地图数据。
S102：设定规划大数据的筛选规则，至少一种类型的规划大数据通过筛选规则筛选，并通过数据表结构整理后，得到表结构数据库；设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件。
其中，表结构数据库包括单坐标的数据表以及双坐标的数据表；筛选条件包括：以所述用户地理位置、用户特征和/或用户行为定义的不同字段属性筛选条件。
本实施例中，按照规划大数据常用类型与使用思路，整体设计框架将以上数据整合为两种类型的数据结构：一种是单坐标的数据表，主要包括各类不同字段属性的单个坐标的表结构；另一种是双坐标的数据表，主要包括各类不同字段属性的两个位置坐标以及存在对应关系的表结构。
S103：通过图形交互界面设定筛选条件，并结合筛选条件编译形成完整的SQL语句。
具体的，首先，用户通过图形交互界面设定筛选条件；其次，根据筛选条件的坐标编译select语句以及group by语句；根据筛选规则的属性字段编译where语句；最后，根据where语句、select语句以及group by语句整合成完整的SQL语句。
S104：表结构数据库执行SQL语句进行查询，得到相应的汇总数据。
本实施例中，具体包括：表结构数据库执行SQL语句进行查询后，得到一个坐标位置下对应的汇总数据和/或两个坐标位置下对应的汇总数据。
S105：将汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。
具体的，包括：
首先，将汇总数据根据不同的地图服务商地图，通过坐标转换选择不同的坐标，得到不同地图坐标下汇总数据；
然后，将不同地图坐标下汇总数据导入可视化工具，得到不同图形化的可视化数据。
在本申请一些实施方式中，得到不同图形化的可视化数据之后，还包括数据过滤和/或数据汇总，得到数据过滤和/或数据汇总后的图形化的可视化数据；
其中，数据过滤包括：将汇总数据的地理位置坐标值以及汇总值进行筛选，或者通过地理空间分析库，将汇总数据的地理位置坐标值按照地理空间选择后得到新的地理位置坐标值进行筛选；
其中，数据汇总包括：将汇总数据的地理位置坐标值以及汇总值进行各类汇总计算，或者通过地理空间分析库，将汇总数据的地理位置坐标值进行相应地理空间过滤后得到新的坐标值进行筛选。
可选的，本申请在与用户交互过程时增加用户管理功能，建立用户白名单，控制访问权限。同时，根据用户信息、使用时运行的SQL语句、SQL查询状态等进行记录，对平台的运行情况及用户使用情况进行统计，便于***维护与功能完善。
图2中示出了根据本申请的基于数据库SQL图形化的大数据可视化方法的平台开发以及用户使用逻辑流程图。
为了进一步说明本申请技术方案，如图2所示，主要包括以下逻辑流程。
1)首先，明确数据库结构，得到表结构数据库。
常用规划大数据的类型：一是以人口、人群等为代表的LBS或手机信令数据，二是企业信息服务商的企业数据，三是地图服务商提供的兴趣点POI等地图数据。
按照规划大数据常用类型与使用思路，整体设计框架将以上数据整合为两种类型的数据结构：一种是单坐标的数据表，主要包括各类不同字段属性的单个坐标的表结构；另一种是双坐标的数据表，主要包括各类不同字段属性的两个坐标、存在对应关系的表结构。
2)搭建基于web端的平台
基于web端开发，搭建数据分析的平台，包括后端接入数据库，如MySQL、PostgreSQL等开源常用数据库。按照第一步明确的数据库结构整合导入数据，同时实现平台调用数据库。
结合前端导入可视化的工具，如开源的ECharts、L7等，以及接入地图服务商的API。整体实现基于web端的平台搭建。
3)数据库的定制化交互设计
单独设计UI界面，实现SQL语句的可视化操作，构建对不同数据的筛选功能界面。
具体操作时，交互设计步骤一：明确分析数据对应的库表，作为SQL语句的from的字段。
交互设计步骤二：围绕不同数据构建相应的筛选条件。
以“字段”“条件”“值”三项为基础、以“且、或”为关系、构建复合筛选条件，如“年龄＞18岁”“且”“居住在上海”。
因为不同类型数据的字段属性与筛选条件存在一定差异，具体举例如下。
(1)如人群数据，可按数据获取时间、人群所在的城市、人群的精度、人群的特征(年龄、性别、工作等)等不同属性进行筛选，人群数据的筛选条件可包含“大于”“大于等于”“小于”“小于等于”“等于”“包含”，分别对应SQL语句中的“＞”“≥”“＜”“≤”“＝”“like”，将语句编译成SQL中where的筛选条件。
如“数据时间＝2018年”“人群年龄≥18岁”“人群所在的城市＝上海,无锡”等。
(2)如企业数据，可按企业注册或经营时间、企业注册区县、企业行业类型、企业的注册地址或经营地址、企业的经营状态等不同属性进行筛选，企业数据的筛选条件同样可结合“大于”“大于等于”“小于”“小于等于”“等”“包含”等关系，编译成相应SQL语句中的where筛选条件。
如“企业注册时间≤2020年”“企业行业类型＝制造业”“企业注册地址like长宁路”等。
(3)如地图POI数据，可按POI的类型、POI所处的城市或区县等属性进行筛选，地图数据的筛选条件同样可结合“大于”“大于等于”“小于”“小于等于”“等”“包含”等关系，编译成相应SQL语句中的where筛选条件。
如“POI类型＝酒店”“POI类型like科研机构”等。
交互设计步骤三：在where筛选条件确定后，增加SQL的汇总功能对数据进行汇总计算，即SQL的group by语句增加汇总字段，可选的，将库表中的所有属性列出、用户可自由定制汇总条件。其中常用的是单坐标数据，可按单坐标的两个值进行汇总，双坐标数据、则建议以双坐标的四个值进行汇总。
交互设计步骤四：SQL中的select语句由单坐标的两个值或双坐标的四个值，再增加汇总计算的字段，如汇总计算的sum()函数等。
通过以上四个步骤的部分共同组成了一条完整的SQL语句，完成后即可向数据库发布执行命令。
4)结果导入可视化平台
执行SQL语句后，得到单坐标或双坐标及其对应的汇总数据，根据地图服务商地图通过坐标转换选择合适的坐标，百度地图转换成百度坐标、高德地图转换成火星坐标，然后将数据导入到可视化前端。
其中，单坐标数据的坐标值明确空间位置、汇总值作为展示数据，可渲染为热力图、气泡图、散点图或亮度图等不同类型，具体可根据需求进行选择。双坐标数据的两个坐标值可关联成线，适合渲染为飞线图，以汇总值作为线的属性值。
不同图形可根据汇总值进行调整，将汇总值渲染为点或线的粗细度或不同颜色，从而根据不同业务场景需要以及个人偏好实现不同的图形表达。
5)数据过滤与数据汇总功能
在数据进入前端可视化平台后，可根据需求，增加数据过滤与汇总功能。
ⅰ)数据过滤包括两种方式。一是按数值的过滤，主要是围绕坐标值和汇总值进行筛选，如对汇总值过大或过小的数值进行筛选，即时反馈到图形的可视化上。
二是按空间的过滤，需要引入地理空间分析库，如Turf.js等，实现对坐标值与地理空间选择的交互。具体而言，手动绘制面域空间，通过地理空间分析库，对绘制的面域空间与坐标数据进行空间分析，判断坐标数据是否在面域空间内，从而实现空间的过滤功能。最后过滤后的数据也可即时反馈到图形可视化上。
ⅱ)数据汇总功能，一是对数据、如汇总值进行各类计算，如汇总求和得到数据的总和。
二是结合空间上的交互，对手动绘制的面域空间，通过地理空间分析库，对面域空间与坐标数据进行空间分析，判断坐标数据是否在面域空间内，实现空间的过滤，从而得到绘制面域范围内的数据，并可对数据进行各类计算、如汇总求和等。
6)根据数据库搭建管理后台
平台可引入用户管理功能，建立用户白名单，控制访问权限。同时也可根据用户信息、及在使用时运行的SQL语句、SQL查询状态等进行记录，对平台的运行情况及用户使用情况进行统计，便于***维护与功能完善。
采用本实施例的基于数据库SQL图形化的大数据可视化方法，获取至少一种类型的规划大数据，规划大数据包括用户地理位置、用户特征以及用户行为；设定规划大数据的筛选规则，至少一种类型的规划大数据通过筛选规则筛选，并通过数据表结构整理后，得到表结构数据库；设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件；通过图形交互界面设定筛选条件，并结合筛选条件编译形成完整的SQL语句；表结构数据库执行SQL语句进行查询，得到相应的汇总数据；将汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。
本申请将数据库的语句根据常用业务逻辑转换为图形表达，大大降低了大数据分析的门槛，并结合可视化平台，实现了快速将分析结果转换为所需的图形表达。本申请解决了从大数据SQL使用到可视化展示的流程线，同时为打通整条流程线，构建了数据的传输标准与转换算法，为规划人员、或有大数据分析需求的人群，提供方便、直观、高效的大数据分析平台解决方案。
实施例2
本实施例提供了一种基于数据库SQL图形化的大数据可视化***，对于本实施例的基于数据库SQL图形化的大数据可视化***中未披露的细节，请参照其它实施例中的基于数据库SQL图形化的大数据可视化方法的具体实施内容。
图3中示出了根据本申请实施例的基于数据库SQL图形化的大数据可视化***的结构示意图。
如图3所示，本申请实施例的基于数据库SQL图形化的大数据可视化***，具体包括大数据获取模块10、表结构数据库模块20、SQL语句编译模块30、数据库查询模块40以及大数据可视化模块50。
具体的，
大数据获取模块10：用于获取至少一种类型的规划大数据，规划大数据包括用户地理位置、用户特征以及用户行为。
其中，规划大数据包括基于位置的服务数据、手机信令数据、企业数据和/地图数据。
具体常用规划大数据的类型：一是以人口、人群等为代表的LBS或手机信令数据，二是企业信息服务商的企业数据，三是地图服务商提供的兴趣点POI等地图数据。
表结构数据库模块20：用于设设定规划大数据的筛选规则，至少一种类型的规划大数据通过筛选规则筛选，并通过数据表结构整理后，得到表结构数据库；设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件。
其中，表结构数据库包括单坐标的数据表以及双坐标的数据表；筛选条件包括：以所述用户地理位置、用户特征和/或用户行为定义的不同字段属性筛选条件。
本实施例中，按照规划大数据常用类型与使用思路，整体设计框架将以上数据整合为两种类型的数据结构：一种是单坐标的数据表，主要包括各类不同
字段属性的单个坐标的表结构；另一种是双坐标的数据表，主要包括各类不同字段属性的两个位置坐标以及存在对应关系的表结构。
SQL语句编译模块30：用于通过图形交互界面设定筛选条件，并通过筛选条件编译形成完整的SQL语句。
具体的，首先，用户通过图形交互界面设定筛选条件；其次，根据筛选条件的坐标编译select语句以及group by语句；根据筛选规则的属性字段编译where语句；最后，根据where语句、select语句以及group by语句整合成完整的SQL语句。
数据库查询模块40：用于表结构数据库执行SQL语句进行查询，得到相应的汇总数据。
本实施例中，具体包括：表结构数据库执行SQL语句进行查询后，得到一个坐标位置下对应的汇总数据和/或两个坐标位置下对应的汇总数据。
大数据可视化模块50：用于将汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。
具体的，包括：
首先，将汇总数据根据不同的地图服务商地图，通过坐标转换选择不同的坐标，得到不同地图坐标下汇总数据；
然后，将不同地图坐标下汇总数据导入可视化工具，得到不同图形化的可视化数据。
在本申请一些实施方式中，得到不同图形化的可视化数据之后，还包括数据过滤和/或数据汇总，得到数据过滤和/或数据汇总后的图形化的可视化数据；
其中，数据过滤包括：将汇总数据的地理位置坐标值以及汇总值进行筛选，或者通过地理空间分析库，将汇总数据的地理位置坐标值按照地理空间选择后得到新的地理位置坐标值进行筛选；
其中，数据汇总包括：将汇总数据的地理位置坐标值以及汇总值进行各类汇总计算，或者通过地理空间分析库，将汇总数据的地理位置坐标值进行相应地理空间过滤后得到新的坐标值进行筛选。
可选的，本申请在与用户交互过程时增加用户管理功能，建立用户白名单，控制访问权限。同时，根据用户信息、使用时运行的SQL语句、SQL查询状态等进行记录，对平台的运行情况及用户使用情况进行统计，便于***维护与功能完善。
采用本实施例的基于数据库SQL图形化的大数据可视化***，大数据获取模块10获取至少一种类型的规划大数据，规划大数据包括用户地理位置、用户特征以及用户行为；表结构数据库模块20设定规划大数据的筛选规则，至少一种类型的规划大数据通过筛选规则筛选，并通过数据表结构整理后，得到表结构数据库；SQL语句编译模块30设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件；通过图形交互界面设定筛选条件，并结合筛选条件编译形成完整的SQL语句；数据库查询模块40表结构数据库执行SQL语句进行查询，得到相应的汇总数据；大数据可视化模块50将汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。
本申请将数据库的语句根据常用业务逻辑转换为图形表达，大大降低了大数据分析的门槛，并结合可视化平台，实现了快速将分析结果转换为所需的图形表达。本申请解决了从大数据SQL使用到可视化展示的流程线，同时为打通整条流程线，构建了数据的传输标准与转换算法，为规划人员、或有大数据分析需求的人群，提供方便、直观、高效的大数据分析平台解决方案。
实施例3
本实施例提供了一种基于数据库SQL图形化的大数据可视化设备，对于本实施例的基于数据库SQL图形化的大数据可视化设备中未披露的细节，请参照其它实施例中的基于数据库SQL图形化的大数据可视化方法或***具体的实施内容。
图4中示出了根据本申请实施例的大数据可视化设备400的结构示意图。
如图4所示，大数据可视化设备400，包括：
存储器402：用于存储可执行指令；以及
处理器401:用于与存储器402连接以执行可执行指令从而完成运动矢量预测方法。
本领域技术人员可以理解，示意图4仅仅是大数据可视化设备400的示例，并不构成对大数据可视化设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如大数据可视化设备400还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器401也可以是任何常规的处理器等，处理器401是大数据可视化设备400的控制中心，利用各种接口和线路连接整个大数据可视化设备400的各个部分。
存储器402可用于存储计算机可读指令，处理器401通过运行或执行存储在存储器402内的计算机可读指令或模块，以及调用存储在存储器402内的数据，实现大数据可视化设备400的各种功能。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据大数据可视化设备400使用所创建的数据等。此外，存储器402可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
大数据可视化设备400集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现其他实施例中的基于数据库SQL图形化的大数据可视化方法。
本申请实施例的基于数据库SQL图形化的大数据可视化设备及存储介质，获取至少一种类型的规划大数据，规划大数据包括用户地理位置、用户特征以及用户行为；设定规划大数据的筛选规则，至少一种类型的规划大数据通过筛选规则筛选，并通过数据表结构整理后，得到表结构数据库；设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件；通过图形交互界面设定筛选条件，并结合筛选条件编译形成完整的SQL语句；表结构数据库执行SQL语句进行查询，得到相应的汇总数据；将汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。
本申请将数据库的语句根据常用业务逻辑转换为图形表达，大大降低了大数据分析的门槛，并结合可视化平台，实现了快速将分析结果转换为所需的图形表达。本申请解决了从大数据SQL使用到可视化展示的流程线，同时为打通整条流程线，构建了数据的传输标准与转换算法，为规划人员、或有大数据分析需求的人群，提供方便、直观、高效的大数据分析平台解决方案。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种基于数据库SQL图形化的大数据可视化方法，其特征在于，包括以下步骤：
获取至少一种类型的规划大数据，所述规划大数据包括用户地理位置、用户特征以及用户行为；
设定规划大数据的筛选规则，所述至少一种类型的规划大数据通过所述筛选规则筛选，并通过数据表结构整理后，得到表结构数据库，所述表结构数据库包括一个坐标位置的数据表以及两个坐标位置的数据表；所述设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件；
用户通过图形交互界面设定筛选条件；根据所述筛选条件的坐标编译select语句以及group by语句；根据所述筛选规则的属性字段编译where语句；根据所述where语句、select语句以及group by语句整合成完整的SQL语句；
所述表结构数据库执行所述SQL语句进行查询，得到相应的汇总数据；
将所述汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。
2.根据权利要求1所述的大数据可视化方法，其特征在于，所述规划大数据包括基于位置的服务数据、手机信令数据、企业数据和/或地图数据。
3.根据权利要求1所述的大数据可视化方法，其特征在于，所述筛选条件包括：以所述用户地理位置、用户特征和/或用户行为定义的不同字段属性筛选条件。
4.根据权利要求1所述的大数据可视化方法，其特征在于，所述表结构数据库根据所述SQL语句进行查询，得到相应的汇总数据，具体包括：
得到一个坐标位置下对应的汇总数据和/或两个坐标位置下对应的汇总数据。
5.根据权利要求4所述的大数据可视化方法，其特征在于，所述将所述汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据，具体包括：
将所述汇总数据根据不同的地图服务商地图，通过坐标转换选择不同的坐标，得到不同地图坐标下汇总数据；
将所述不同地图坐标下汇总数据导入可视化工具，得到不同图形化的可视化数据。
6.根据权利要求1所述的大数据可视化方法，其特征在于，所述得到不同图形化的可视化数据之后，还包括数据过滤和/或数据汇总，得到数据过滤和/或数据汇总后的图形化的可视化数据；
其中，数据过滤包括：将汇总数据的地理位置坐标值以及汇总值进行筛选，或者通过地理空间分析库，将汇总数据的地理位置坐标值按照地理空间选择后得到新的地理位置坐标值进行筛选；
其中，数据汇总包括：将汇总数据的地理位置坐标值以及汇总值进行各类汇总计算，或者通过地理空间分析库，将汇总数据的地理位置坐标值进行相应地理空间过滤后得到新的坐标值进行筛选。
7.一种基于数据库SQL图形化的大数据可视化***，其特征在于，具体包括：
大数据获取模块：用于获取至少一种类型的规划大数据，所述规划大数据包括用户地理位置、用户特征以及用户行为；
表结构数据库模块：用于设定规划大数据的筛选规则，所述至少一种类型的规划大数据通过筛选规则筛选，并通过数据表结构整理后，得到表结构数据库，所述表结构数据库包括一个坐标位置的数据表以及两个坐标位置的数据表；所述设定规划大数据的筛选规则包括：设定至少一个坐标位置以及至少一个筛选条件；
SQL语句编译模块：用于用户通过图形交互界面设定筛选条件；根据所述筛选条件的坐标编译select语句以及group by语句；根据所述筛选规则的属性字段编译where语句；根据所述where语句、select语句以及group by语句整合成完整的SQL语句；
数据库查询模块：用于所述表结构数据库执行所述SQL语句进行查询，得到相应的汇总数据；
大数据可视化模块：用于将所述汇总数据通过坐标转换以及可视化后，得到不同图形化的可视化数据。
8.一种基于数据库SQL图形化的大数据可视化设备，包括：
存储器：用于存储可执行指令；以及
处理器:用于与存储器连接以执行可执行指令从而完成如权利要求1-6任一项所述的基于数据库SQL图形化的大数据可视化方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；计算机程序被处理器执行以实现如权利要求1-6任一项所述的基于数据库SQL图形化的大数据可视化方法。
CN202110883103.7A 2021-08-02 2021-08-02 基于数据库sql图形化的大数据可视化方法、***及介质 Active CN113792098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110883103.7A CN113792098B (zh) 2021-08-02 2021-08-02 基于数据库sql图形化的大数据可视化方法、***及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110883103.7A CN113792098B (zh) 2021-08-02 2021-08-02 基于数据库sql图形化的大数据可视化方法、***及介质

Publications (2)

Publication Number Publication Date
CN113792098A CN113792098A (zh) 2021-12-14
CN113792098B true CN113792098B (zh) 2023-06-20

Family

ID=79181295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110883103.7A Active CN113792098B (zh) 2021-08-02 2021-08-02 基于数据库sql图形化的大数据可视化方法、***及介质

Country Status (1)

Country Link
CN (1) CN113792098B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915341A (zh) * 2014-03-10 2015-09-16 中国科学院沈阳自动化研究所 可视化多数据库etl集成方法和***
CN108376176A (zh) * 2018-03-14 2018-08-07 深圳日彤大数据有限公司 可拖拽式大数据可视化分析工具***
CN109271428A (zh) * 2018-09-11 2019-01-25 北京市计算中心 数据抽取方法及基于地理信息的数据展示方法
CN111914135A (zh) * 2020-07-24 2020-11-10 平安证券股份有限公司 数据查询方法、装置、电子设备及存储介质
CN112559576A (zh) * 2019-09-26 2021-03-26 北京国双科技有限公司 数据显示方法、***、装置、存储介质及电子设备
CN113076336A (zh) * 2021-04-27 2021-07-06 刘文平 偏远地区水厂选址gis宏微观决策支持***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110264461A1 (en) * 1998-11-13 2011-10-27 Anuthep Benja-Athon Brains-server synapses-empowered networking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915341A (zh) * 2014-03-10 2015-09-16 中国科学院沈阳自动化研究所 可视化多数据库etl集成方法和***
CN108376176A (zh) * 2018-03-14 2018-08-07 深圳日彤大数据有限公司 可拖拽式大数据可视化分析工具***
CN109271428A (zh) * 2018-09-11 2019-01-25 北京市计算中心 数据抽取方法及基于地理信息的数据展示方法
CN112559576A (zh) * 2019-09-26 2021-03-26 北京国双科技有限公司 数据显示方法、***、装置、存储介质及电子设备
CN111914135A (zh) * 2020-07-24 2020-11-10 平安证券股份有限公司 数据查询方法、装置、电子设备及存储介质
CN113076336A (zh) * 2021-04-27 2021-07-06 刘文平 偏远地区水厂选址gis宏微观决策支持***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G-SQL: support for graph generation;K. Nayyar 等;《Proceedings of the IEEE INDICON 2004. First India Annual Conference, 2004.》;521-524 *
智慧城市大数据可视化云平台的设计与实现;张帅;《中国优秀硕士学位论文全文数据库信息科技辑》(第6期);I138-249 *

Also Published As

Publication number Publication date
CN113792098A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN112650766B (zh) 数据库数据操作的方法、***及服务器
US20140207816A1 (en) System and method for preferred services in nomadic environments
US9466041B2 (en) User selected flow graph modification
US20100145979A1 (en) Geospatial data interaction
CN110855482A (zh) 三维动态通信网络模拟仿真方法、***及存储介质
CN113177058B (zh) 基于复合条件的地理位置信息检索方法及***
CN110580189A (zh) 生成前端页面的方法、装置、计算机设备以及存储介质
CN108255837B (zh) 一种sql解析器及方法
US20160034272A1 (en) Managing a catalog of scripts
CN114510611A (zh) 一种构建元数据血缘图谱的方法、装置及相关设备
CN110888974A (zh) 数据可视化方法及装置
CN108304585B (zh) 一种基于空间关键字搜索的结果数据选取方法及相关装置
CN110322029A (zh) 资源推荐方法、装置及电子设备
CN114356962A (zh) 一种数据查询方法、装置、电子设备和存储介质
CN113792098B (zh) 基于数据库sql图形化的大数据可视化方法、***及介质
CN114064601B (zh) 存储过程转换方法、装置、设备和存储介质
JP6781819B2 (ja) タスク処理方法及び分散コンピューティングフレームワークシステム
EP3690675A1 (en) Method, apparatus, and storage medium for providing visual representation of set of objects
CN113760242A (zh) 一种数据处理方法、装置、服务器和介质
CN105574019B (zh) 一种查询参数处理方法及装置
CN113990068A (zh) 交通数据的处理方法、装置、设备以及存储介质
US11222033B2 (en) Dynamic data retrieval and analytical chart rendering for data sets
CN113760969A (zh) 一种基于ElasticSearch的数据查询方法和装置
CN110909191A (zh) 图数据处理方法及装置、存储介质、电子设备
CN115329029B (zh) 面向移动端的复杂条件地理信息查询方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant