CN106815320B - 基于拓展三维直方图的调研大数据可视化建模方法及*** - Google Patents
基于拓展三维直方图的调研大数据可视化建模方法及*** Download PDFInfo
- Publication number
- CN106815320B CN106815320B CN201611225454.4A CN201611225454A CN106815320B CN 106815320 B CN106815320 B CN 106815320B CN 201611225454 A CN201611225454 A CN 201611225454A CN 106815320 B CN106815320 B CN 106815320B
- Authority
- CN
- China
- Prior art keywords
- data
- dimensional
- expanded
- dimensional histogram
- investigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000011835 investigation Methods 0.000 title claims abstract description 83
- 230000000007 visual effect Effects 0.000 title claims abstract description 65
- 238000011160 research Methods 0.000 claims abstract description 90
- 238000007781 pre-processing Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 238000012800 visualization Methods 0.000 claims description 50
- 238000013507 mapping Methods 0.000 claims description 21
- 238000013079 data visualisation Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 16
- 239000003086 colorant Substances 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 235000019587 texture Nutrition 0.000 description 19
- 238000011156 evaluation Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000000638 solvent extraction Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 235000018185 Betula X alpestris Nutrition 0.000 description 1
- 235000018212 Betula X uliginosa Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/174—Form filling; Merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
- G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Educational Technology (AREA)
- Development Economics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种基于拓展三维直方图的调研大数据可视化建模方法及***，方法包括：进行三维可视化模型初始化；对调研数据按照具体的数据类型进行分类别预处理；读取原始的调研数据，并依据三维可视化模型的要求和分类别预处理的结果，进行拓展三维直方图数据提取和规格化，生成符合三维可视化模型标准格式的拓展三维直方图数据；将生成的拓展三维直方图数据按照图形学的方法进行可视化显示。本发明基于拓展三维直方图，能形成统一的整体可视化分析结果，适用性更广；通过拓展三维直方图这一可视化图表与原调研数据相联系，保真度高；能根据不同的数据类型采取相应有效的数据预处理方法，更加有效。本发明可广泛应用于大数据处理领域。
Description
技术领域
本发明涉及大数据处理领域，尤其是一种基于拓展三维直方图的调研大数据可视化建模方法及***。
背景技术
教育设备是教育现代化的必备条件，教育决策部门需要对信息技术应用水平的调研数据进行采集和统计，以掌握教育信息化进程基础设施的配备情况、明确软硬件设施的应用情况，同时还需要基于调研数据综合描述教育信息化的进行情况，生成相应的应用分析报告、问题诊断、规划咨询和发展决策等各种报告，从而利用丰富的调研数据进行各级教育信息化实施现状、应用效果和发展水平的评估、咨询及规划。
近年来随着教育信息化的巨额投入以及教育信息化的应用与之前预期效果的巨大落差，使得人们不得不关注教育信息化的战略决策和投资收益等深层问题。越来越多的人开始关注教育信息化的绩效，将教育信息化的工作重心从投资、提供信息化方案、平台和***转向教育信息化整合、教育信息化价值评估和教育信息化可持续发展。教育信息化评价也逐步由以“投入为主”确定教育信息化水平的方式转变为以“绩效为主”确定教育信息化水平的方式，以通过对教育信息化绩效评价来促进教育信息化的应用发展。然而，在教育信息化绩效评价这方面，无论国外还是国内都处于尝试探索阶段。教育信息化绩效评价是一项比较困难的事情：一方面，教育信息化不仅是个动态的发展过程，而且属于多投入多产出的问题，它的产出不易用量化指标来衡量；另一方面，在这一领域至今尚未有成熟的理论指导和合适的测量办法和测量工具，再加上教育信息化评价本身就是一项十分困难的工作，因为教育信息化的效益具有多样性，不仅要看其经济效益更主要看社会效益，不仅要看当前效益更多地表现为长远效益不，仅要看固有效益更多地表现为派生效益。所以教育信息化绩效评价己成为大家关注的十分重要且相当紧迫的话题。
教育信息化调研数据的数据类型比较复杂，并且属于会因势而变的动态化数据，而对省市大规模的调研所产生的巨大数据量亟需能够进行自动化处理和可视化分析的手段。常规的可视化手段主要对数值类的简化类型进行对照统计与可视化，在数据量及类型急骤增加的情况下已经不适应调研分析的需要，这时通常会通过聚类进行分析处理。
传统的聚类分析计算方法主要有如下几种：
1、划分方法(partitioning methods)
给定一个有N个元组或者纪录的数据集，划分方法将构造K个分组，每一个分组就代表一个聚类，K＜N，且这K个分组满足下列条件：（1）每一个分组至少包含一个数据纪录；（2）每一个数据纪录属于且仅属于一个分组（这个要求在某些模糊聚类算法中可以适当放宽）。对于给定的K，该算法首先给出一个初始的分组方法，然后通过反复迭代的方法改变分组，使得每一次改进之后的分组方案都较前一次好。好的衡量标准为：同一分组中的记录越近越好，而不同分组中的纪录越远越好。使用划分方法这个基本思想的算法有：K-MEANS算法、K-MEDOIDS算法和CLARANS算法。
大部分划分方法是基于距离的。给定要构建的分区数K后，划分方法首先创建一个初始化划分方案；然后，它采用一种迭代的重定位技术，通过把对象从一个组移动到另一个组来进行划分。在这些划分方法中一个好的划分的衡量标准一般是：同一个簇中的对象尽可能相互接近或相关，而不同的簇中的对象尽可能远离或不同。传统的划分方法只可以扩展到子空间聚类，而不是搜索整个数据空间，适用于存在很多属性并且数据稀疏的数据。为了达到全局最优，基于划分的聚类方法可能需要穷举所有可能的划分，计算量极大。实际上，大多数应用都采用了流行的启发式方法，如k-均值和k-中心算法，渐近地提高聚类质量，以逼近局部最优解。这些启发式聚类方法很适合用来寻找中小规模的数据库中的球状簇。为了寻找出具有复杂形状的簇和对超大型数据集进行聚类，需要进一步扩展基于划分的聚类方法。
2、层次方法(hierarchical methods)
层次方法对给定的数据集进行层次化分解，直到某种条件满足为止，其具体又可分为“自底向上”和“自顶向下”两种方案。以“自底向上”方案为例，初始时每一个数据纪录都组成一个单独的组，在接下来的迭代中，层次方法把那些相互邻近的组合并成一个组，直到所有的记录组成一个分组或者某个条件满足为止。层次方法的代表算法有：BIRCH算法、CURE算法、CHAMELEON算法等。
层次聚类方法可以基于距离或者基于密度或连通性的。层次聚类方法的一些扩展也考虑了子空间聚类内容。层次方法的缺陷在于，一旦一个步骤（合并或***）完成，它就不能被撤（不用考虑不同选择的组合数目，计算开销小）；然而这种技术不能更正错误的决定。因此还需要对层次聚类方法的聚类质量进行进一步提高。
3、基于模型的方法(model-based methods)
基于模型的方法给每一个聚类假定一个模型，然后去寻找能够较好满足这个模型的数据集。这样一个模型可能是数据点在空间中的密度分布函数或者其它，它的一个潜在假定就是：目标数据集是由一系列的概率分布所决定的。通常基于模型的方法有两种尝试方向：统计的方案和神经网络的方案。
综上所述，目前针对信息化调研大数据的可视化建模方法，存在以下缺陷或不足：
（1）只能实现简单的局部数据型可视化，只适合同种数据类型的直观比较，没法形成统一的整体可视化分析结果，适用性不广；
（2）可视化对数据处理过程不可逆，保真度低；
（3）无法满足复杂的多类型数据的处理要求，不能根据不同的数据类型采取相应有效的数据预处理方法。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种适用性广、保真度和有效的，基于拓展三维直方图的调研大数据可视化建模方法。
本发明的另一目的在于：提供一种适用性广、保真度和有效的，基于拓展三维直方图的调研大数据可视化建模***。
本发明所采取的技术方案是：
基于拓展三维直方图的调研大数据可视化建模方法，包括以下步骤：
进行三维可视化模型初始化；
对调研数据按照具体的数据类型进行分类别预处理；
读取原始的调研数据，并依据三维可视化模型的要求和分类别预处理的结果，进行拓展三维直方图数据提取和规格化，生成符合三维可视化模型标准格式的拓展三维直方图数据，所述拓展三维直方图的横向维度由具有不同层次的不同的填报主体来构成，纵向维度包括多种复杂的数据类型，Z向维度为由单元格属性、单元高度和顶端纹理组成并与原调研数据相联系的结构，其中，不同层次的不同的填报主体包括但不限于省、市、县区和学校，多种复杂的数据类型包括但不限于逻辑类数据、文本类数据、数值类数据和枚举类数据，顶端纹理采用不同的色彩来表示数据的变化趋势；
将生成的拓展三维直方图数据按照图形学的方法进行可视化显示。
进一步，所述进行三维可视化模型初始化这一步骤，其包括：
确定拓展三维直方图横向和纵向的绝对宽度、数据间隔、所包含的最小单位维度总个数；
确定拓展三维直方图横向坐标和纵向坐标的具体维度结构；
确定拓展三维直方图z轴方向总的高度、地平面的位置以及不同数据类型的高度表示方法；
设置拓展三维直方图z轴方向的顶端纹理参数。
进一步，所述对调研数据按照具体的数据类型进行分类别预处理这一步骤，其包括：
读入原始的调研数据；
根据原始的调研数据的具体数据类型进行相应的分类别处理，得到处理后的数据；
将处理后的数据存档。
进一步，所述根据原始的调研数据的具体数据类型进行相应的分类别处理，得到处理后的数据这一步骤，其具体为：
若原始的调研数据为数值类数据，则先确定数值类数据的取值范围，然后确定数值类数据的平均值，再确定数值类数据数值映射的方法，最后标识单个数值类数据的变化趋势；若原始的调研数据为逻辑类数据，则先列举出逻辑类数据各个调研项的取值范围，然后确定逻辑类数据的参考值，再确定逻辑类数据数值映射的方法，最后标识单个逻辑类数据的变化趋势；若原始的调研数据为文本类数据，则先列举出文本类数据的关键词，然后提取文本类数据的摘要，再确定文本类数据关键词映射的方法，最后标识单个文本类数据的变化趋势。
进一步，所述读取原始的调研数据，并依据三维可视化模型的要求和分类别预处理的结果，进行拓展三维直方图数据提取和规格化，生成符合三维可视化模型标准格式的拓展三维直方图数据这一步骤，其包括：
逐条读取原始的调研数据，根据预定复合结构调研数据的数据格式对原始的调研数据进行逐层深入解析，直到解析出原始的调研数据最小的数据单元；
根据原始的调研数据的具体数据类型、三维可视化模型的要求和分类别预处理的结果，提取原始的调研数据所需要的图形化表示数据，并计算出相应的数据变化趋势；
将提取的图形化表示数据和计算出的数据变化趋势进行三维可视化模型的规格化，得到符合三维可视化模型标准格式的数据；
将符合三维可视化模型标准格式的数据写入拓展三维直方图数据集。
进一步，所述进行拓展三维直方图数据规格化这一步骤，其包括：
以地平面作为参考的平面，根据不同数据类型的特点，制定立方高度归一化对策略；
根据立方高度归一化对策略对拓展三维直方图数据进行规格化处理，所述拓展三维直方图Z轴方向的高度高于地平面或低于地平面。
本发明所采取的另一技术方案是：
基于拓展三维直方图的调研大数据可视化建模***，包括：
三维可视化模型初始化模块，用于进行三维可视化模型初始化；
调研数据分类别预处理模块，用于对调研数据按照具体的数据类型进行分类别预处理；
拓展三维直方图数据生成模块，用于读取原始的调研数据，并依据三维可视化模型的要求和分类别预处理的结果，进行拓展三维直方图数据提取和规格化，生成符合三维可视化模型标准格式的拓展三维直方图数据，所述拓展三维直方图的横向维度由具有不同层次的不同的填报主体来构成，纵向维度包括多种复杂的数据类型，Z向维度为由单元格属性、单元高度和顶端纹理组成并与原调研数据相联系的结构，其中，不同层次的不同的填报主体包括但不限于省、市、县区和学校，多种复杂的数据类型包括但不限于逻辑类数据、文本类数据、数值类数据和枚举类数据，顶端纹理采用不同的色彩来表示数据的变化趋势；
调研数据拓展三维直方图显示模块，用于将生成的拓展三维直方图数据按照图形学的方法进行可视化显示。
进一步，所述调研数据分类别预处理模块包括：
数据读入单元，用于读入原始的调研数据；
分类别处理单元，用于根据原始的调研数据的具体数据类型进行相应的分类别处理，得到处理后的数据；
存档单元，用于将处理后的数据存档。
进一步，所述分类别处理单元具体执行以下操作：
若原始的调研数据为数值类数据，则先确定数值类数据的取值范围，然后确定数值类数据的平均值，再确定数值类数据数值映射的方法，最后标识单个数值类数据的变化趋势；若原始的调研数据为逻辑类数据，则先列举出逻辑类数据各个调研项的取值范围，然后确定逻辑类数据的参考值，再确定逻辑类数据数值映射的方法，最后标识单个逻辑类数据的变化趋势；若原始的调研数据为文本类数据，则先列举出文本类数据的关键词，然后提取文本类数据的摘要，再确定文本类数据关键词映射的方法，最后标识单个文本类数据的变化趋势。
进一步，所述拓展三维直方图数据生成模块包括：
读取与解析单元，用于逐条读取原始的调研数据，根据预定复合结构调研数据的数据格式对原始的调研数据进行逐层深入解析，直到解析出原始的调研数据最小的数据单元；
提取与计算单元，用于根据原始的调研数据的具体数据类型、三维可视化模型的要求和分类别预处理的结果，提取原始的调研数据所需要的图形化表示数据，并计算出相应的数据变化趋势；
规格化单元，用于将提取的图形化表示数据和计算出的数据变化趋势进行三维可视化模型的规格化，得到符合三维可视化模型标准格式的数据；
写入单元，用于将符合三维可视化模型标准格式的数据写入拓展三维直方图数据集。
本发明的方法的有益效果是：包括进行三维可视化模型初始化，对调研数据按照具体的数据类型进行分类别预处理，进行拓展三维直方图数据提取和规格化以及进行可视化显示的步骤，基于拓展三维直方图，通过拓展三维直方图数据提取和规格化生成符合三维可视化模型标准格式的拓展三维直方图数据并进行可视化显示，能形成统一的整体可视化分析结果，适用性更广；拓展三维直方图Z向维度为由单元格属性、单元高度和顶端纹理组成并与原调研数据相联系的结构，通过拓展三维直方图这一可视化图表与原调研数据相联系，克服了常规可视化对数据处理的不可逆性缺陷，保真度高；拓展三维直方图纵向维度包括多种复杂的数据类型，对数据类型进行了扩展，并增设了对调研数据按照具体的数据类型进行分类别预处理，满足了复杂的多类型数据的处理要求，能根据不同的数据类型采取相应有效的数据预处理方法，更加有效。
本发明的***的有益效果是：包括三维可视化模型初始化模块、调研数据分类别预处理模块、拓展三维直方图数据生成模块和调研数据拓展三维直方图显示模块，基于拓展三维直方图，在拓展三维直方图数据生成模块和调研数据拓展三维直方图显示模块中通过拓展三维直方图数据提取和规格化生成符合三维可视化模型标准格式的拓展三维直方图数据并进行可视化显示，能形成统一的整体可视化分析结果，适用性更广；拓展三维直方图数据生成模块的拓展三维直方图Z向维度为由单元格属性、单元高度和顶端纹理组成并与原调研数据相联系的结构，通过拓展三维直方图这一可视化图表与原调研数据相联系，克服了常规可视化对数据处理的不可逆性缺陷，保真度高；拓展三维直方图数据生成模块的拓展三维直方图纵向维度包括多种复杂的数据类型，对数据类型进行了扩展，并增设了对调研数据按照具体的数据类型进行分类别预处理的调研数据分类别预处理模块，满足了复杂的多类型数据的处理要求，能根据不同的数据类型采取相应有效的数据预处理方法，更加有效。
附图说明
图1为本发明基于拓展三维直方图的调研大数据可视化建模方法的步骤流程图；
图2为本发明根据原始的调研数据的具体数据类型进行相应的分类别处理步骤的流程图；
图3为本发明基于拓展三维直方图的调研大数据可视化建模的整体结构框图。
具体实施方式
参照图1，基于拓展三维直方图的调研大数据可视化建模方法，包括以下步骤：
进行三维可视化模型初始化；
对调研数据按照具体的数据类型进行分类别预处理；
读取原始的调研数据，并依据三维可视化模型的要求和分类别预处理的结果，进行拓展三维直方图数据提取和规格化，生成符合三维可视化模型标准格式的拓展三维直方图数据，所述拓展三维直方图的横向维度由具有不同层次的不同的填报主体来构成，纵向维度包括多种复杂的数据类型，Z向维度为由单元格属性、单元高度和顶端纹理组成并与原调研数据相联系的结构，其中，不同层次的不同的填报主体包括但不限于省、市、县区和学校，多种复杂的数据类型包括但不限于逻辑类数据、文本类数据、数值类数据和枚举类数据，顶端纹理采用不同的色彩来表示数据的变化趋势；
将生成的拓展三维直方图数据按照图形学的方法进行可视化显示。
进一步作为优选的实施方式，所述进行三维可视化模型初始化这一步骤，其包括：
确定拓展三维直方图横向和纵向的绝对宽度、数据间隔、所包含的最小单位维度总个数；
确定拓展三维直方图横向坐标和纵向坐标的具体维度结构；
确定拓展三维直方图z轴方向总的高度、地平面的位置以及不同数据类型的高度表示方法；
设置拓展三维直方图z轴方向的顶端纹理参数。
参照图2，进一步作为优选的实施方式，所述对调研数据按照具体的数据类型进行分类别预处理这一步骤，其包括：
读入原始的调研数据；
根据原始的调研数据的具体数据类型进行相应的分类别处理，得到处理后的数据；
将处理后的数据存档。
参照图2，进一步作为优选的实施方式，所述根据原始的调研数据的具体数据类型进行相应的分类别处理，得到处理后的数据这一步骤，其具体为：
若原始的调研数据为数值类数据，则先确定数值类数据的取值范围，然后确定数值类数据的平均值，再确定数值类数据数值映射的方法，最后标识单个数值类数据的变化趋势；若原始的调研数据为逻辑类数据，则先列举出逻辑类数据各个调研项的取值范围，然后确定逻辑类数据的参考值，再确定逻辑类数据数值映射的方法，最后标识单个逻辑类数据的变化趋势；若原始的调研数据为文本类数据，则先列举出文本类数据的关键词，然后提取文本类数据的摘要，再确定文本类数据关键词映射的方法，最后标识单个文本类数据的变化趋势。
进一步作为优选的实施方式，所述读取原始的调研数据，并依据三维可视化模型的要求和分类别预处理的结果，进行拓展三维直方图数据提取和规格化，生成符合三维可视化模型标准格式的拓展三维直方图数据这一步骤，其包括：
逐条读取原始的调研数据，根据预定复合结构调研数据的数据格式对原始的调研数据进行逐层深入解析，直到解析出原始的调研数据最小的数据单元；
根据原始的调研数据的具体数据类型、三维可视化模型的要求和分类别预处理的结果，提取原始的调研数据所需要的图形化表示数据，并计算出相应的数据变化趋势；
将提取的图形化表示数据和计算出的数据变化趋势进行三维可视化模型的规格化，得到符合三维可视化模型标准格式的数据；
将符合三维可视化模型标准格式的数据写入拓展三维直方图数据集。
进一步作为优选的实施方式，所述进行拓展三维直方图数据规格化这一步骤，其包括：
以地平面作为参考的平面，根据不同数据类型的特点，制定立方高度归一化对策略；
根据立方高度归一化对策略对拓展三维直方图数据进行规格化处理，所述拓展三维直方图Z轴方向的高度高于地平面或低于地平面。
参照图3，基于拓展三维直方图的调研大数据可视化建模***，包括：
三维可视化模型初始化模块，用于进行三维可视化模型初始化；
调研数据分类别预处理模块，用于对调研数据按照具体的数据类型进行分类别预处理；
拓展三维直方图数据生成模块，用于读取原始的调研数据，并依据三维可视化模型的要求和分类别预处理的结果，进行拓展三维直方图数据提取和规格化，生成符合三维可视化模型标准格式的拓展三维直方图数据，所述拓展三维直方图的横向维度由具有不同层次的不同的填报主体来构成，纵向维度包括多种复杂的数据类型，Z向维度为由单元格属性、单元高度和顶端纹理组成并与原调研数据相联系的结构，其中，不同层次的不同的填报主体包括但不限于省、市、县区和学校，多种复杂的数据类型包括但不限于逻辑类数据、文本类数据、数值类数据和枚举类数据，顶端纹理采用不同的色彩来表示数据的变化趋势；
调研数据拓展三维直方图显示模块，用于将生成的拓展三维直方图数据按照图形学的方法进行可视化显示。
进一步作为优选的实施方式，所述调研数据分类别预处理模块包括：
数据读入单元，用于读入原始的调研数据；
分类别处理单元，用于根据原始的调研数据的具体数据类型进行相应的分类别处理，得到处理后的数据；
存档单元，用于将处理后的数据存档。
进一步作为优选的实施方式，所述分类别处理单元具体执行以下操作：
若原始的调研数据为数值类数据，则先确定数值类数据的取值范围，然后确定数值类数据的平均值，再确定数值类数据数值映射的方法，最后标识单个数值类数据的变化趋势；若原始的调研数据为逻辑类数据，则先列举出逻辑类数据各个调研项的取值范围，然后确定逻辑类数据的参考值，再确定逻辑类数据数值映射的方法，最后标识单个逻辑类数据的变化趋势；若原始的调研数据为文本类数据，则先列举出文本类数据的关键词，然后提取文本类数据的摘要，再确定文本类数据关键词映射的方法，最后标识单个文本类数据的变化趋势。
进一步作为优选的实施方式，所述拓展三维直方图数据生成模块包括：
读取与解析单元，用于逐条读取原始的调研数据，根据预定复合结构调研数据的数据格式对原始的调研数据进行逐层深入解析，直到解析出原始的调研数据最小的数据单元；
提取与计算单元，用于根据原始的调研数据的具体数据类型、三维可视化模型的要求和分类别预处理的结果，提取原始的调研数据所需要的图形化表示数据，并计算出相应的数据变化趋势；
规格化单元，用于将提取的图形化表示数据和计算出的数据变化趋势进行三维可视化模型的规格化，得到符合三维可视化模型标准格式的数据；
写入单元，用于将符合三维可视化模型标准格式的数据写入拓展三维直方图数据集。
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。
实施例一
针对现有技术适用性不广、保真度低和不够有效的问题，本发明提出了一种新的基于拓展三维直方图的调研大数据可视化建模方法及***。本发明最关键的是要将多种层次、多维度、多种类型的调研数据处理过程，从常规同种数据类型的直观比较方式，聚类上升为统一的整体可视化分析模型。本发明基于拓展三维直方图，而拓展三维直方图以三维直方图为基础进行了扩维：横向维度由简单同一种层次的不同部分组成扩展到由省、市、县区和学校这样具有不同层次的不同的填报主体构成，为后续展开不同粒度的大数据处理提供了条件；纵向维度由通常的纯数值数据类型拓展为包括逻辑类数据、文本类数据、数值类数据和枚举类数据等多种复杂数据类型的集合，大大扩充了可视化三维模型的表达能力与适用范围；Z向维度由通常的单一高度拓展成由单元格属性、单元高度和顶端纹理这三大内涵组成的，并与原调研数据相联系的高保真结构。其中，顶端纹理采用不同的色彩来表示数据的变化趋势，为时态数据库的应用奠定了基础。在可视化建模过程中，本发明对新引进的复杂数据类型进行预处理时，根据不同数据类型的特点，制定了立方高度归一化策略。为此，本发明还专门引进了地平面作为参考的平面，使得扩展后的高度可以通过高于地平面或低于地平面的方式进行表示，增强了立方高度的内涵和表达能力。
如图3所示，本发明的调研大数据可视化建模***包括调研数据分类别预处理模块、三维可视化模型初始化模块、拓展三维直方图数据生成模块和调研数据拓展三维直方图显示模块这四大部分。其中，调研数据分类别预处理模块，用于对不同类别的调研数据进行预处理。三维可视化模型初始化模块，用于初始化可视化三维模型的宽度、高度和精度等需要初始化的数据。拓展三维直方图数据生成模块把原始的调研数据读取进来，并依据三维可视化模型的要求，进行数据的组合和规格化，最终得到规范化的三维可视化模型标准格式数据。调研数据拓展三维直方图显示模块，把拓展三维直方图数据生成模块标准化的数据依照图形学的方法，逐行逐列，按高度及顶端纹理来组成能够直接可视化显示的输出数据。
如图1所示，本发明的调研大数据可视化建模方法包括以下步骤：
（1）进行三维可视化模型的初始化，包括：确定横向和纵向的绝对的宽度以及数据的间隔；确定一共有多少个最小单位维度；根据调研***的需求，还可以确定横纵坐标的维度是一个怎么样的包含结构；z轴方向要确定总的高度、地平面的位置和不同的数据类型的高度表示方法，从而给不同平面位置纯数值的高度赋予不同的与信息技术应用水平相关的现实意义。同时，在初始化时还要制定一套差异化的顶端纹理来表示数值的变化。
（2）对调研数据进行分类别预处理。如图2所示，分类别预处理主要处理三种主要类型的数据：数值类数据，先确定数值类数据的取值范围，然后确定数值类数据的平均值，再确定数值类数据数值映射的方法，最后标识单个数值类数据的变化趋势；逻辑类数据，先列举出逻辑类数据各个调研项的取值范围，然后确定逻辑类数据的参考值，再确定逻辑类数据数值映射的方法，最后标识单个逻辑类数据的变化趋势；文本类数据，先列举出文本类数据的关键词，然后提取文本类数据的摘要，再确定文本类数据关键词映射的方法，最后标识单个文本类数据的变化趋势。
（3）拓展三维直方图数据的生成。
生成拓展三维直方图数据的具体过程为：首先，要逐条读取调研的原数据，根据预定复合结构调研数据的数据格式（即设定要解析的目标格式）对原始的调研数据进行逐层深入解析，直到解析出原始的调研数据最小的数据单元；再根据调研的原数据的数据类型，依据步骤（2）中相关类型数据的处理方法，去提取所需要的图形化表示数据，并计算出相应数据变化的趋势；然后，把这些提取和计算出的数据进行三维可视化模型的规格化，最后统一写入到拓展三维直方图数据集中。
（4）调研数据拓展三维直方图显示。
此步骤用来把上一步骤（3）中生成的具有一定意义的拓展三维直方图数据，变成完全按照图形学要求的格式来表示的数据集，以进行可视化显示处理。此步骤能规定三维可视化模型的长宽高，各个行列间的间隔及高度以及顶端贴图等纹理的具体显示要求，具备能够进行显示，移动、转动、向各个维度坐标轴方向进行投影切割等操作的基本条件。
实施例二
教育信息技术应用水平的评测是一个复杂的***过程，其应用实施例一的可视化建模***进行建模的过程具体包括以下步骤：
（1）建立信息技术应用评测的指标体系，包括各个规划、管理、投入、应用、培训等评价的主要指标，并保持在历次评测中的相对稳定性；
（2）建立网络评测***，尽量通过网络手段来进行跨地域的调查，积累足够的调研数据量；
（3）建立实施例一的可视化建模***，将传统数据处理方式朝着可视化处理分析的方向进行改进；
（4）根据实施例一的可视化建模***进行调研数据的可视化分析与呈现；
（5）在可视化分析的基础上，基于顶端纹理建立长期的调研机制，以从终结性的调研评测转变成为持续性的监测。
与现有技术相比，本发明具有以下优点：
a.建立了可视化模型来改进统计分析框架，将数字化服务形式转变为图形化服务形式；
b.从简单的局部数据型可视化扩展到全***数据的可视化；
c.通过拓展三维直方图这一可视化图表与原调研数据相联系，克服了常规可视化对数据处理的不可逆性缺陷，保真度更高；
d.对复杂的多类型数据以语义为基础进行了聚类拓展，由模型内部进行不同类型数据的分辨并采取了相应有效的数据预处理方法，更加有效；
e.充分利用了顶部纹理，在传统三维可视化模型上附加上表示变化趋势的第四维信息，使得调研***向持续监测***的转变成为可能；
f.扩充了三维直方图的内涵，构建了有层次、可分析和可解读的结构化基础可视化模型。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.基于拓展三维直方图的调研大数据可视化建模方法，其特征在于：包括以下步骤：
进行三维可视化模型初始化；
对调研数据按照具体的数据类型进行分类别预处理；
读取原始的调研数据，并依据三维可视化模型的要求和分类别预处理的结果，进行拓展三维直方图数据提取和规格化，生成符合三维可视化模型标准格式的拓展三维直方图数据，所述拓展三维直方图的横向维度由具有不同层次的不同的填报主体来构成，纵向维度包括多种复杂的数据类型，Z向维度为由单元格属性、单元高度和顶端纹理组成并与原调研数据相联系的结构，其中，不同层次的不同的填报主体包括省、市、县区和学校，多种复杂的数据类型包括逻辑类数据、文本类数据和数值类数据，顶端纹理采用不同的色彩来表示数据的变化趋势；
将生成的拓展三维直方图数据按照图形学的方法进行可视化显示。
2.根据权利要求1所述的基于拓展三维直方图的调研大数据可视化建模方法，其特征在于：所述进行三维可视化模型初始化这一步骤，其包括：
确定拓展三维直方图横向和纵向的绝对宽度、数据间隔、所包含的最小单位维度总个数；
确定拓展三维直方图横向坐标和纵向坐标的具体维度结构；
确定拓展三维直方图z轴方向总的高度、地平面的位置以及不同数据类型的高度表示方法；
设置拓展三维直方图z轴方向的顶端纹理参数。
3.根据权利要求1所述的基于拓展三维直方图的调研大数据可视化建模方法，其特征在于：所述对调研数据按照具体的数据类型进行分类别预处理这一步骤，其包括：
读入原始的调研数据；
根据原始的调研数据的具体数据类型进行相应的分类别处理，得到处理后的数据；
将处理后的数据存档。
4.根据权利要求3所述的基于拓展三维直方图的调研大数据可视化建模方法，其特征在于：所述根据原始的调研数据的具体数据类型进行相应的分类别处理，得到处理后的数据这一步骤，其具体为：
若原始的调研数据为数值类数据，则先确定数值类数据的取值范围，然后确定数值类数据的平均值，再确定数值类数据数值映射的方法，最后标识单个数值类数据的变化趋势；若原始的调研数据为逻辑类数据，则先列举出逻辑类数据各个调研项的取值范围，然后确定逻辑类数据的参考值，再确定逻辑类数据数值映射的方法，最后标识单个逻辑类数据的变化趋势；若原始的调研数据为文本类数据，则先列举出文本类数据的关键词，然后提取文本类数据的摘要，再确定文本类数据关键词映射的方法，最后标识单个文本类数据的变化趋势。
5.根据权利要求3所述的基于拓展三维直方图的调研大数据可视化建模方法，其特征在于：所述读取原始的调研数据，并依据三维可视化模型的要求和分类别预处理的结果，进行拓展三维直方图数据提取和规格化，生成符合三维可视化模型标准格式的拓展三维直方图数据这一步骤，其包括：
逐条读取原始的调研数据，根据预定复合结构调研数据的数据格式对原始的调研数据进行逐层深入解析，直到解析出原始的调研数据最小的数据单元；
根据原始的调研数据的具体数据类型、三维可视化模型的要求和分类别预处理的结果，提取原始的调研数据所需要的图形化表示数据，并计算出相应的数据变化趋势；
将提取的图形化表示数据和计算出的数据变化趋势进行三维可视化模型的规格化，得到符合三维可视化模型标准格式的数据；
将符合三维可视化模型标准格式的数据写入拓展三维直方图数据集。
6.根据权利要求1-5任一项所述的基于拓展三维直方图的调研大数据可视化建模方法，其特征在于：所述进行拓展三维直方图数据规格化这一步骤，其包括：
以地平面作为参考的平面，根据不同数据类型的特点，制定立方高度归一化对策略；
根据立方高度归一化对策略对拓展三维直方图数据进行规格化处理，所述拓展三维直方图Z轴方向的高度高于地平面或低于地平面。
7.基于拓展三维直方图的调研大数据可视化建模***，其特征在于：包括：
三维可视化模型初始化模块，用于进行三维可视化模型初始化；
调研数据分类别预处理模块，用于对调研数据按照具体的数据类型进行分类别预处理；
拓展三维直方图数据生成模块，用于读取原始的调研数据，并依据三维可视化模型的要求和分类别预处理的结果，进行拓展三维直方图数据提取和规格化，生成符合三维可视化模型标准格式的拓展三维直方图数据，所述拓展三维直方图的横向维度由具有不同层次的不同的填报主体来构成，纵向维度包括多种复杂的数据类型，Z向维度为由单元格属性、单元高度和顶端纹理组成并与原调研数据相联系的结构，其中，不同层次的不同的填报主体包括省、市、县区和学校，多种复杂的数据类型包括逻辑类数据、文本类数据和数值类数据，顶端纹理采用不同的色彩来表示数据的变化趋势；
调研数据拓展三维直方图显示模块，用于将生成的拓展三维直方图数据按照图形学的方法进行可视化显示。
8.根据权利要求7所述的基于拓展三维直方图的调研大数据可视化建模***，其特征在于：所述调研数据分类别预处理模块包括：
数据读入单元，用于读入原始的调研数据；
分类别处理单元，用于根据原始的调研数据的具体数据类型进行相应的分类别处理，得到处理后的数据；
存档单元，用于将处理后的数据存档。
9.根据权利要求8所述的基于拓展三维直方图的调研大数据可视化建模***，其特征在于：所述分类别处理单元具体执行以下操作：
若原始的调研数据为数值类数据，则先确定数值类数据的取值范围，然后确定数值类数据的平均值，再确定数值类数据数值映射的方法，最后标识单个数值类数据的变化趋势；若原始的调研数据为逻辑类数据，则先列举出逻辑类数据各个调研项的取值范围，然后确定逻辑类数据的参考值，再确定逻辑类数据数值映射的方法，最后标识单个逻辑类数据的变化趋势；若原始的调研数据为文本类数据，则先列举出文本类数据的关键词，然后提取文本类数据的摘要，再确定文本类数据关键词映射的方法，最后标识单个文本类数据的变化趋势。
10.根据权利要求7、8或9所述的基于拓展三维直方图的调研大数据可视化建模***，其特征在于：所述拓展三维直方图数据生成模块包括：
读取与解析单元，用于逐条读取原始的调研数据，根据预定复合结构调研数据的数据格式对原始的调研数据进行逐层深入解析，直到解析出原始的调研数据最小的数据单元；
提取与计算单元，用于根据原始的调研数据的具体数据类型、三维可视化模型的要求和分类别预处理的结果，提取原始的调研数据所需要的图形化表示数据，并计算出相应的数据变化趋势；
规格化单元，用于将提取的图形化表示数据和计算出的数据变化趋势进行三维可视化模型的规格化，得到符合三维可视化模型标准格式的数据；
写入单元，用于将符合三维可视化模型标准格式的数据写入拓展三维直方图数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611225454.4A CN106815320B (zh) | 2016-12-27 | 2016-12-27 | 基于拓展三维直方图的调研大数据可视化建模方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611225454.4A CN106815320B (zh) | 2016-12-27 | 2016-12-27 | 基于拓展三维直方图的调研大数据可视化建模方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106815320A CN106815320A (zh) | 2017-06-09 |
| CN106815320B true CN106815320B (zh) | 2020-03-17 |
Family
ID=59110274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611225454.4A Active CN106815320B (zh) | 2016-12-27 | 2016-12-27 | 基于拓展三维直方图的调研大数据可视化建模方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106815320B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033204B (zh) * | 2018-06-29 | 2021-10-08 | 浙江大学 | 一种基于万维网的层次积分直方图可视查询方法 |
| CN112365110A (zh) * | 2019-07-24 | 2021-02-12 | 中移信息技术有限公司 | 调研方法、平台、服务器及计算机存储介质 |
| CN111523009B (zh) * | 2020-07-03 | 2020-10-13 | 北京每日优鲜电子商务有限公司 | 一种数据可视化处理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295025A (zh) * | 2013-05-03 | 2013-09-11 | 南京大学 | 一种三维模型最优视图的自动选择方法 |
| CN103412871A (zh) * | 2013-07-08 | 2013-11-27 | 北京百度网讯科技有限公司 | 一种用于生成可视化视图的方法与设备 |
| CN103617220A (zh) * | 2013-11-22 | 2014-03-05 | 北京掌阔移动传媒科技有限公司 | 一种移动终端3d模型实现方法和装置 |
| CN105069020A (zh) * | 2015-07-14 | 2015-11-18 | 国家信息中心 | 自然资源数据三维可视化方法和*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8626750B2 (en) * | 2011-01-28 | 2014-01-07 | Bitvore Corp. | Method and apparatus for 3D display and analysis of disparate data |
-
2016
- 2016-12-27 CN CN201611225454.4A patent/CN106815320B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295025A (zh) * | 2013-05-03 | 2013-09-11 | 南京大学 | 一种三维模型最优视图的自动选择方法 |
| CN103412871A (zh) * | 2013-07-08 | 2013-11-27 | 北京百度网讯科技有限公司 | 一种用于生成可视化视图的方法与设备 |
| CN103617220A (zh) * | 2013-11-22 | 2014-03-05 | 北京掌阔移动传媒科技有限公司 | 一种移动终端3d模型实现方法和装置 |
| CN105069020A (zh) * | 2015-07-14 | 2015-11-18 | 国家信息中心 | 自然资源数据三维可视化方法和*** |
Non-Patent Citations (1)
| Title |
|---|
| 海底多维综合数据建模及可视化技术研究;苏天赟;《中国优秀博硕士学位论文全文数据库 (博士)基础科学辑》;20070215(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106815320A (zh) | 2017-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245981B (zh) | 一种基于手机信令数据的人群类型识别方法 | |
| CN107918830B (zh) | 一种基于大数据技术的配电网运行状态评估方法 | |
| CN106919689A (zh) | 基于术语释义知识单元的专业领域知识图谱动态构建方法 | |
| CN109871415B (zh) | 一种基于图数据库的用户画像构建方法、***及存储介质 | |
| CN110866123A (zh) | 基于数据模型构建数据图谱的方法及构建数据图谱的*** | |
| CN106815320B (zh) | 基于拓展三维直方图的调研大数据可视化建模方法及*** | |
| CN109492796A (zh) | 一种城市空间形态自动分区方法与*** | |
| CN104794221A (zh) | 一种基于业务对象的多维数据分析*** | |
| CN111814528B (zh) | 一种连通性分析的夜光影像城市等级分类方法 | |
| CN114168795B (zh) | 建筑三维模型映射及存储方法、装置、电子设备及介质 | |
| CN114626886A (zh) | 一种调查问卷数据分析方法及*** | |
| CN115099315A (zh) | 基于CityGML的多源异构地理信息数据语义融合转换方法 | |
| CN105631465A (zh) | 一种基于密度峰值的高效层次聚类方法 | |
| CN116720632B (zh) | 基于gis和bim的工程建设智能管理方法及*** | |
| CN113254517A (zh) | 一种基于互联网大数据的服务提供方法 | |
| CN117609818A (zh) | 基于聚类与信息熵的电网关联关系发现方法 | |
| CN112329857A (zh) | 一种基于改进残差网络的图像分类方法 | |
| CN104102716A (zh) | 基于聚类分层抽样补偿逻辑回归的失衡数据预测方法 | |
| CN109614491B (zh) | 基于数据质量检测规则挖掘结果的进一步挖掘方法 | |
| CN111710157B (zh) | 一种出租车热点区域的提取方法 | |
| CN112308340A (zh) | 电力数据处理方法及装置 | |
| CN111291102A (zh) | 一种政务数据挖掘的高性能规模统计计算方法 | |
| CN111125198A (zh) | 一种基于时间序列的计算机数据挖掘聚类方法 | |
| CN114707039B (zh) | 一种基于海量数据快速数据治理方法 | |
| CN117911662B (zh) | 基于深度霍夫投票的数字孪生场景语义分割方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |