CN111985716A - 一种客运信息可视化的客运量预测*** - Google Patents
一种客运信息可视化的客运量预测*** Download PDFInfo
- Publication number
- CN111985716A CN111985716A CN202010849449.0A CN202010849449A CN111985716A CN 111985716 A CN111985716 A CN 111985716A CN 202010849449 A CN202010849449 A CN 202010849449A CN 111985716 A CN111985716 A CN 111985716A
- Authority
- CN
- China
- Prior art keywords
- data
- passenger
- prediction
- database
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 41
- 230000003993 interaction Effects 0.000 claims abstract description 34
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 238000013523 data management Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 31
- 238000012800 visualization Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000009193 crawling Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011068 loading method Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 14
- 238000007418 data mining Methods 0.000 abstract description 11
- 238000007405 data analysis Methods 0.000 abstract description 8
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000005065 mining Methods 0.000 abstract description 4
- 238000013480 data collection Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 17
- 238000013461 design Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000000556 factor analysis Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000007306 turnover Effects 0.000 description 4
- 101100295573 Oryza sativa subsp. japonica OBGM gene Proteins 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013079 data visualisation Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241000270322 Lepidosauria Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012482 interaction analysis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的一种客运信息可视化的客运量预测***，包括：数据获取模块、数据库、分析预测模块、可视化交互模块和数据管理模块，运用可视化与用户交互技术，集查询、统计、数据挖掘和分析于一体，在建立和完善数据汇交、数据更新的机制的基础上，通过对全国旅客客运量、城市旅客发送量、旅客出行量等基础数据和专题信息的汇集、整合，基于数据建立预测模型，观测客运市场需求，开展异构、异源、海量数据资源的深度挖掘，为列车开行方案的制定提供依据。通过可视化界面以及数据管理功能，直接面向用户提供友好的人机交互界面，方便非专业的管理与决策人员操作。同时为相关部门提供数据共享和信息化服务，为铁路局的管理决策提供支撑。
Description
技术领域
本发明涉及交通信息智能管理技术领域，尤其涉及一种客运信息可视化的客运量预测***。
背景技术
近年来，随着信息化的发展，铁路***正在全面推进铁路大数据发展和应用，充分发挥大数据在智能化和精准化方面的独特作用，依托既有***和数据资源，在客户服务、设备状态监测、工程建设等方面初步开展了一些大数据分析应用，对大数据存储、处理、分析和可视化等技术也进行了一些研究,取得了一定成效。然而，目前并没有一个完整的客运需求预测***来进行数据资源整合，通过选择适合的算法来合理预测客运需求，并对客运信息进行综合查看展示。客运量可视化是铁路部门执行客运相关决策的基础，客运量可视化***可以从不同维度客观、清楚的展示历年来客运量的变化趋势，影响铁路部门对于客运策略的决断。增强中国铁路运输***的综合竞争能力，从而提升中国铁路运输***的社会经济效益。
因此，针对高铁成网条件下运输需求新特征，研究客运需求演变规律，通过客运需求预测应用技术，构建多场景客运需求预测***，对给定的不同社会经济发展水平、政策、路网条件等场景进行铁路客流需求预测并进行可视化。实现数据管理、需求预测、可视化等功能，对于铁路部门具有重要意义。
发明内容
本发明的实施例提供了一种客运信息可视化的客运量预测***，用于解决现有技术中存在的技术问题。
为了实现上述目的，本发明采取了如下技术方案。
一种客运信息可视化的客运量预测***，包括：
数据获取模块，用于通过python和/或scrapy爬虫框架从源数据中爬取客运历史数据，以及对该客运历史数据进行预处理；
数据库，与数据获取模块通信连接，用于存储数据获取模块爬取的客运历史数据；
分析预测模块，与数据库和数据获取模块通信连接，用于：基于该客运历史数据，通过灰色预测模型进行分析计算，获得预测结果；对预测结果中的非结构化数据进行结构化处理；
可视化交互模块，与分析预测模块、数据库和数据获取模块通信连接，用于对该预测结果进行可视化输出，接收任务请求；该可视化输出的形式包括图形信息和图文分析信息；
数据管理模块，可视化交互模块通过该数据管理模块与数据库通信连接，用于管理数据库的访问权限。
优选地，可视化交互模块包括：
基础统计图形子模块，用于通过图形信息的方式输出预测结果；
基于数据类型可视化子模块，用于通过图文分析信息的方式输出预测结果；
交互子模块，用于输出可自定义的图形或图表，并通过该可自定义的图形或图表接收任务请求。
优选地，数据获取模块对客运历史数据进行预处理的过程包括：
对客运历史数据进行分类识别，过滤出错误、残损数据；
在数据库内设置一个或多个数据分区，对分类识别后的客运历史数据进行抽取、转换和装载处理，合并到相对应的数据分区中。
优选地，数据管理模块管理数据库的访问权限包括：
设置用于可视化交互模块连接数据库的多个访问接口；
对该多个访问接口设置不同的访问权限。
优选地，还包括动态链接库，多个访问接口封装在该动态链接库中。
优选地，分析预测模块基于客运历史数据，通过灰色预测模型进行分析计算，获得预测结果的过程包括：
从客运历史数据中抽取客运量数据；
基于该客运量数据，通过灰色关联度模型进行关联度计算；
通过单变量灰色预测模型，从完成该关联度计算的客运量数据中计算提取影响因素预测数据；
基于该影响因素预测数据，通过多因素灰色预测模型，获得预测结果。
由上述本发明的实施例提供的技术方案可以看出，本发明提供的一种客运信息可视化的客运量预测***，包括：数据获取模块，用于从源数据中爬取客运历史数据，以及对该客运历史数据进行预处理；数据库，用于存储数据获取模块爬取的客运历史数据；分析预测模块，用于：基于该客运历史数据，通过灰色预测模型进行分析计算，获得预测结果；对预测结果中的非结构化数据进行结构化处理；可视化交互模块，用于对该预测结果进行可视化输出，接收任务请求；该可视化输出的形式包括图形信息和图文分析信息；数据管理模块，可视化交互模块通过该数据管理模块与数据库通信连接，用于管理数据库的访问权限。本发明提供的***，运用可视化与用户交互技术，集查询、统计、数据挖掘和分析于一体，在建立和完善数据汇交、数据更新的机制的基础上，通过对全国旅客客运量、城市旅客发送量、旅客出行量等基础数据和专题信息的汇集、整合，基于数据建立预测模型，观测客运市场需求，开展异构、异源、海量数据资源的深度挖掘，为列车开行方案的制定提供依据。通过可视化界面以及数据管理功能，直接面向用户提供友好的人机交互界面，方便非专业的管理与决策人员操作。同时为相关部门提供数据共享和信息化服务，为铁路局的管理决策提供支撑。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种客运信息可视化的客运量预测***的逻辑框图；
图2为本发明提供的一种客运信息可视化的客运量预测***的技术架构图；
图3为本发明提供的一种客运信息可视化的客运量预测***的可视化交互模块的架构图；
图4为本发明提供的一种客运信息可视化的客运量预测***的数据管理流程图；
图5为本发明提供的一种客运信息可视化的客运量预测***的数据挖掘技术图。
图中：
101.数据获取模块 102数据库 103.分析预测模块 104.可视化交互模块 105.数据管理模块；
1041.基础统计图形子模块 1042.基于数据类型可视化子模块 1043.交互子模块。
具体实施方式
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明的目的是提供一种铁路客运信息可视化与客运量预测的***，旨在解决当前客运预测方法单一，预测结果精度与可靠性较低，没有一个完整的客运需求预测***来进行客流量数据分析可视化，建立客运需求演进、预测与交互分析体系。在此基础上，实现为服务模式设计与运能适配提供所需定量决策的精准化依据。
客运需求***客户端运用可视化与用户交互技术，集查询、统计、数据挖掘和分析于一体，在建立和完善数据汇交、数据更新的机制的基础上，通过对全国旅客客运量、城市旅客发送量、旅客出行量等基础数据和专题信息的汇集、整合，基于数据建立预测模型，观测客运市场需求，开展异构、异源、海量数据资源的深度挖掘，为列车开行方案的制定提供依据。通过可视化界面以及数据管理功能，直接面向用户提供友好的人机交互界面，方便非专业的管理与决策人员操作。同时为相关部门提供数据共享和信息化服务，为铁路局的管理决策提供支撑。***根据用户需求、知识库的数据模式与专家知识，以及相关的软件工程标准进行设计，利用开发工具编程实现。
实施例一
参见图1，本发明提供的一种客运信息可视化的客运量预测***，包括：
数据获取模块101，用于通过python和/或scrapy爬虫框架从源数据中爬取客运历史数据，以及对该客运历史数据进行预处理；
数据库102，与数据获取模块101通信连接，用于存储数据获取模块101爬取的客运历史数据；
分析预测模块103，与数据库102和数据获取模块101通信连接，用于：基于该客运历史数据，通过灰色预测模型进行分析计算，获得预测结果；对预测结果中的非结构化数据进行结构化处理；
可视化交互模块104，与分析预测模块103、数据库102和数据获取模块101通信连接，用于对该预测结果进行可视化输出，接收任务请求；该可视化输出的形式包括图形信息和图文分析信息；
数据管理模块105，可视化交互模块104通过该数据管理模块105与数据库102通信连接，用于管理数据库102的访问权限。
客运需求预测***的搭建以成熟开源技术为主，通过数据集成、数据管理、需求预测、标准代码规范、数据可视化技术等，实现对于数据流的全程监管和控制，完成需求。在本发明提供的实施例中，***的技术架构如附图2所示，并采用了如下技术。
(1)爬虫技术
依靠python爬虫技术支持数据采集；对于大规模重复性的网络采集，本***也提供scrapy爬虫框架。
(2)预测技术
利用python的numpy库，list[]、tumple()、matrix等数据类型对数据进行封装和预处理；利用灰色预测模型DNGM(1,1)、OBGM(1,N)的python代码实现，对数据进行分析预测。
(3)数据集成技术
对***中的应用数据，通过Streamsets、Sqoop等分布式ETL工具将关系型数据库102(如Mysql、Oracle等)中的数据导入到Hadoop的HDFS中；可利用BRAT、Labellmg、Vatic等工具对文本、图像、视频等非结构化数据按指定规则进行筛选、分类、结构化标注，生成的标注结果能够把非结构化的数据结构化，生成对应分析所需要的计算机可识别数据供计算机处理。
(4)数据共享技术
主要是实现结构化数据、非结构化数据的存储功能，可以满足铁路大量、多样化数据的低成本存储需求。
(5)标准代码规范技术
借助于MVC框架技术支撑展示层可视化展示、客运需求分析、客运需求预测、基础数据管理、预测模型管理等功能。
(6)可视化技术
借助于JSP实现前端界面实现和前后端数据交互功能，在此基础上使用Echarts技术实现对可视化界面的优化。
(7)数据服务技术
通过JDBC/ODBD、Web Swecive接口、消息中间件、API等方式提供数据、应用、可视化等服务接口。
在本发明提供的实施例中，客运需求预测***的数据可视化是在基础数据分析功能的基础上实现的，同时还需要保证良好的交互功能。基础数据统计部分应当提供常用的统计图表实现，如直方图、饼状图、折线图等，快速展示数据的分布情况。常用数据可视化部分应提供层次数据、网络数据、文本数据、地理数据、多维数值数据的可视化。数据交互则是指数据与用户之间良好的可交互性，可根据用户的实际需求来选择要展示内容，来实现更可靠和直观的可视化展示。***的可视化功能模块划分如附图3所示。
在一些优选实施例中，可视化交互模块104分为三个主要模块：基础统计图形子模块1041、基于数据类型可视化子模块1042以及交互子模块1043。基础统计图形子模块1041主要是提供常见统计图形实现，用于可视化定量数据信息，为数据提供图解分析方法，在检验假设、模型选择、统计模型验证、估计量选择、关系确定、离群值检验方面提供良好支持。基于数据类型可视化子模块1042主要通过对常见可视化任务数据进行分析、分类，为每种分类设计多种可视化方案。交互子模块1043则是根据用户的实际需求，自定义显示图图表的设计，可以将数据多种图表类型显示，满足客户要求；同时可以看自定义看板设计，将不同类型的图表在同一个看板上显示，使得信息表达更加全面和准确；并且能够自由的拖拽转换图表类型。
为了提高数据的利用能力，促进数据的有效分析，在本发明提供的优选实施例中，数据获取模块101具有数据管理的功能，该管理流程主要如附图4所示。
首先采集相关客运历史数据，进行分类识别，过滤出错误、残损数据。在数据库102内设置一个或多个数据分区。
数据分析处理以铁路客运需求为基础，根据不同分析主题，从数据库102的数据中提取出有用的数据，以保证数据的正确性，然后经过抽取、转换和装载，即ETL过程，合并到对应的数据分区里，得到一个全局视图。
其次，是分析处理和数据挖掘，进而将数据转化为信息和知识。分析处理是在数据库102的基础上，对客运预测问题进行建模和数据进行多维分析。而数据挖掘通过分析每个数据，从大量数据中寻找其规律的技术。即使用诸如神经网络、机器学习等技术，用来发现数据间的联系，做出基于数据的推断。通过分析处理和数据挖掘，铁路总公司领导和各路局运输处决策者能从多维角度准确掌控铁路客运状况和了解不同数据之间的相关关系，以便制定正确的决策。
最后，是知识结论的可视化展示，实现知识向智慧转变。通过借助信息化***，以简单、丰富和直观的形式，将查询报表、统计分析、多维联机分析和数据发掘的结论展现铁路总公司领导和各路局运输处决策者的面前。而随着领导对知识的不断积累和更新，会进一步将知识转化为领导的智慧。
在本发明提供的实施例中，数据库102采用5.7.24-log MySQL Community Server版本存储数据，服务器选用64位Win10操作***环境或者以上，建立数据库102设置数据库102名称、登录密码等信息，其数据存储遵循原则为：
(1)数据存储应遵循数据共享的原则，采取分布式网络存储为主，集中式数据存储为辅的方式(如图4所示)。
(2)数据本身的管理采用元数据管理方式，应采用统一标准的元数据管理工具进行元数据库102的管理和维护。
基于MySQL数据库102与服务器连接,***应用在铁路***内网中，用户只需安装终端***，并得到查看权限。而在设计数据库102时需要安装Mysqlconnect驱动，在管理工具中添加程序数据源Mysql，并采用Navicatpremium软件远程登录服务器方式建立数据库102。
在本发明提供的实施例中，***根据用户分类模式设计，根据不同用户角色(决策者，工作人员)进入操作不同的功能界面，这样使***结构清楚，有利于***的维护，运用面向对象编程和控件编程技术，开发流程短，***运行也相对稳定。
***多处数据管理功能模块需要访问***数据库102，因此***设计时采用组件编程，将对***数据库102的访问封装在动态链接库中。数据访问方式通过在解决方案中加载已生成的动态链接库.dll，程序中多次调用该数据访问接口。本***多处功能模块需要访问***数据库102，因此***设计时采用组件编程，将对***数据库102的访问封装在动态链接库中。数据访问方式通过在解决方案中加载已生成的动态链接库.dll，程序中多次调用该数据访问接口如下：
MySqlHelper.GetDataSet(MySqlHelper.Conn,CommandType.Text,sqltxt,null)Tables[0].DefaultView；dataGridView1.Refresh()：用于查询索引写入数据功能实现,并返回查询结果My Sql Parameter[]值。
My Sql Helper.Conn定义为静态字符串形式，其提供了远程连接的数据源、数据库102名、服务器登陆用户密码等相关信息。
Command Type.Text指定了命令类型。
sqltxt:表示sql命令语句,当sqltxt赋予select检查编号from hzzl where检查编号SQL语句时,指定索引数据表名称hzzl及字段检查编号。data Grid View1.Refresh()表示刷新数据显示。
My Sql Helper.Execute Non Query(My SqlHelper.Conn,Command Type.Text,sqltxt,null)：用于写入信息到数据库102中,连接数据库102中sqltxt语句命令,但不返回数据值。
My Sql Helper.Execute Scalar(My Sql Helper.Conn,Command Type.Text,sqltxt,null)：用于索引数据,指定数据库102有效连接字符串执行sqltxt命令,并返回数据表hzzl中第一列。
行业数据挖掘分析普遍采用CRISP-DM方法论，CRISP-DM将一个数据挖掘项目的生命周期定义为六个阶段。客运需求预测***采用此方法来进行数据分析。本***用到的技术如附图5所示。
实施例二
本发明提供的一种客运信息可视化的客运量预测***，其实现的功能和工作过程如下。
一、历史数据查询
(1)全国旅客客运量分析
针对全国旅客客运量分析，主要来分析客运量的历史演变趋势，分析与需求侧以及供给侧相关影响因素的相关性，查询和维护以下数据内容：
运量数据
铁路年度客运量、年度旅客周转量、铁路客运量及周转量占比、铁路旅客平均运距、高铁客运量、普速铁路客运量等。
供给侧影响因素
铁路供给特征(铁路及高速铁路运输网络密度、营业里程、固定资产投资、电气化营业里程等)。
需求侧影响因素
主要包括经济特征和人口特征，而经济特征又分为宏观和微观两类。其中宏观经济特征包括国内生产总值(GDP)、社会经济结构(第一产业总产值、第二产业总产值、第三产业总产值)、社会消费品零售总额、固定资产投资总额、全体居民国内旅游总花费、城镇居民国内旅游总花费、农村居民国内旅游总花费、城乡居民人民币储蓄存款年底余额；微观经济特征包括人均GDP、居民消费水平及结构(全体居民消费水平、城市居民消费水平、农村居民消费水平)、全体居民国内旅游人均花费、城市居民国内旅游人均花费、农村居民国内旅游人均花费、城镇居民人均可支配收入、农村居民人均可支配收入等；人口特征包括人口规模(人口数量、人口增长率)、人口结构(年龄结构)、城镇化率、国内旅游人数(城镇旅游人数、农村旅游人数)等。
(2)城市旅客发送量分析
针对城市旅客客运量分析，选取京沪线徐州、南京、上海等大节点，以及部分京沪线中小节点，演示这些节点客运量的历史演变趋势，分析与需求侧、供给侧影响因素的相关性。主要查询和维护以下数据内容：
运量数据
京沪线徐州、南京、上海等大节点，以及部分京沪线中小节点铁路旅客发送量。
供给侧影响因素
铁路供给特征(大小节点城市及关联区域的铁路营业里程)。
需求侧影响因素
主要包括经济特征和人口特征，而经济特征又分为宏观和微观两类。其中宏观经济特征包括：国内生产总值(GDP)、社会经济结构(第一产业总产值、第二产业总产值、第三产业总产值)、社会消费品零售总额、住户存款；微观经济特征包括人均GDP、居民消费水平及结构、职工平均工资、城镇人均可支配收入、城镇人均消费支出、人均存款等；人口特征包括常住人口、城镇常住人口、户籍人口、第一产业从业人员、第二产业从业人员、第三产业从业人员、接待国内游客数等。
(3)旅客出行需求数据
主要维护大小节点间OD数据、出行需求特征调查数据。
二、客运需求预测
客运需求预测***最核心的部分就是客运需求预测，根据客运量演变规律，实现运输服务属性的运输需求预测方法，构建多场景客运需求预测，支持铁路客运产品设计。
(1)全国旅客运量
针对全国客运量的预测，主要是分为两步，一是关联因素分析，二是年度客运量和旅客周转量的变动趋势预测。
关联因素分析
预备工作：因素分类、数据扩列。在收集数据的基础上进行分类，并对影响因素进行数据扩列(设置超前期)。
灰色关联度计算：应用灰色关联度模型进行关联度计算。
影响因素的提取：在完成关联度的计算之后，对影响因素进行排序，选取关联度较高的因素子项，作为下一步进行客运量多因素灰色模型预测的影响因素序列。
年度客运量和旅客周转量的变动趋势预测
影响因素预测：运用多变量灰色预测模型对全国客运量进行预测，就要先求得影响因素的预测值，这可以用单变量灰色预测模型(“基于白化微分方程参数直接估计法的近似非齐次指数序列灰色预测模型”DNGM(1,1))进行预测。
客运量和旅客周转量预测：基于粒子群算法的多变量灰色预测模型OBGM(1,N)，在影响因素选择和预测的基础上进行预测。
(2)城市旅客发送量
针对城市旅客发送量的预测，城市包括京沪线徐州、南京、上海等大节点间时速350公里、300公里客流量预测，以及部分京沪线中小节客流量预测。步骤主要是分为两步，一是关联因素分析，二是年度客运量和旅客周转量的变动趋势预测。
关联因素分析
预备工作：因素分类、数据扩列。在收集数据的基础上进行分类，并对影响因素进行数据扩列(设置超前期)。
灰色关联度计算：应用灰色关联度模型进行关联度计算。
影响因素的提取：在完成关联度的计算之后，在每一类影响因素子项中选取关联度最高的一期因素，然后再在每一大类中选取关联度最高的一个因素子项，作为下一步进行城市铁路旅客发送量多因素灰色模型预测的影响因素序列。
城市铁路旅客发送量的变动趋势预测
影响因素预测：运用多变量灰色预测模型对城市铁路旅客发送量进行预测，就要先求得影响因素的预测值，这可以用单变量灰色预测模型(“基于白化微分方程参数直接估计法的近似非齐次指数序列灰色预测模型”DNGM(1,1))进行预测。
城市铁路旅客发送量预测：基于粒子群算法的多变量灰色预测模型OBGM(1,N)，在影响因素选择和预测的基础上进行预测。
(3)城市间出行弹性分析
实现以出行距离为主分类，兼顾出行目的和个体收入等，进行分类建模，管理模型结构。应用模型对影响因素进行旅客出行需求弹性分析，包括基于出行距离的旅客出行需求弹性分析；基于发、到城市类型的出行需求弹性分析；基于出行目的的出行需求弹性分析；基于出行者收入的出行需求弹性分析。分析不同方式间分担率、动车和普速分担率，变动因素是离散选择模型的效用因素速度、费用。
(4)出行OD需求预测
全方式OD反推：确定起点和终点城市社会经济变量及各竞争运输方式服务属性的效用值；以出行距离为主分类，将上述属性值代入相应分类模型，计算得到高铁在全方式OD中的比例；结合高铁运量，推算得到全方式OD量。
铁路旅客OD预测：基于未来年各竞争方式服务能力、服务水平的改善等因素的变化，估计各竞争方式的各属性的效用值；然后预测未来年高铁运输分担率，最终得到城市间铁路OD客运需求预测值。
在本实施例中，客运需求预测******应该具备数据交换功能，可根据不同的场景提供数据库102表、Web Service、文件等数据交换方式。通过CRTOP平台能够直接访问数据库102的情况下，数据交换双方均将数据推送至数据库102表中，并从数据库102表读取交换给本方的数据；通过Web Service发布数据读写接口，并通过调用该接口完成数据的双向交换；对于非结构化的信息资源，统一数据交换平台可以读取非结构化信息资源，通过消息中间件实现非结构信息资源的数据交换。
预测模型管理由模型查询、模型训练以及模型参数人工修改三个主要功能组成。模型查询是可以查看***所用预测模型的公式；模型训练是指可以进行实时调试，并对模型结果进行保存。
综上所述，本发明提供的一种客运信息可视化的客运量预测***，包括：数据获取模块，用于从源数据中爬取客运历史数据，以及对该客运历史数据进行预处理；数据库，用于存储数据获取模块爬取的客运历史数据；分析预测模块，用于：基于该客运历史数据，通过灰色预测模型进行分析计算，获得预测结果；对预测结果中的非结构化数据进行结构化处理；可视化交互模块，用于对该预测结果进行可视化输出，接收任务请求；该可视化输出的形式包括图形信息和图文分析信息；数据管理模块，可视化交互模块通过该数据管理模块与数据库通信连接，用于管理数据库的访问权限。本发明提供的***，运用可视化与用户交互技术，集查询、统计、数据挖掘和分析于一体，在建立和完善数据汇交、数据更新的机制的基础上，通过对全国旅客客运量、城市旅客发送量、旅客出行量等基础数据和专题信息的汇集、整合，基于数据建立预测模型，观测客运市场需求，开展异构、异源、海量数据资源的深度挖掘，为列车开行方案的制定提供依据。通过可视化界面以及数据管理功能，直接面向用户提供友好的人机交互界面，方便非专业的管理与决策人员操作。同时为相关部门提供数据共享和信息化服务，为铁路局的管理决策提供支撑。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (6)
1.一种客运信息可视化的客运量预测***，其特征在于，包括：
数据获取模块，用于通过python和/或scrapy爬虫框架从源数据中爬取客运历史数据，以及对该客运历史数据进行预处理；
数据库，与所述数据获取模块通信连接，用于存储所述数据获取模块爬取的客运历史数据；
分析预测模块，与所述数据库和数据获取模块通信连接，用于：基于该客运历史数据，通过灰色预测模型进行分析计算，获得预测结果；对所述预测结果中的非结构化数据进行结构化处理；
可视化交互模块，与所述分析预测模块、数据库和数据获取模块通信连接，用于对该预测结果进行可视化输出，接收任务请求；该可视化输出的形式包括图形信息和图文分析信息；
数据管理模块，所述可视化交互模块通过该数据管理模块与所述数据库通信连接，用于管理所述数据库的访问权限。
2.根据权利要求1所述的客运量预测***，其特征在于，所述可视化交互模块包括：
基础统计图形子模块，用于通过图形信息的方式输出所述预测结果；
基于数据类型可视化子模块，用于通过图文分析信息的方式输出所述预测结果；
交互子模块，用于输出可自定义的图形或图表，并通过该可自定义的图形或图表接收任务请求。
3.根据权利要求1所述的客运量预测***，其特征在于，所述数据获取模块对客运历史数据进行预处理的过程包括：
对所述客运历史数据进行分类识别，过滤出错误、残损数据；
在所述数据库内设置一个或多个数据分区，对分类识别后的客运历史数据进行抽取、转换和装载处理，合并到相对应的所述数据分区中。
4.根据权利要求1所述的客运量预测***，其特征在于，所述数据管理模块管理所述数据库的访问权限包括：
设置用于所述可视化交互模块连接所述数据库的多个访问接口；
对该多个访问接口设置不同的访问权限。
5.根据权利要求4所述的客运量预测***，其特征在于，还包括动态链接库，所述多个访问接口封装在该动态链接库中。
6.根据权利要求1所述的客运量预测***，其特征在于，所述分析预测模块基于客运历史数据，通过灰色预测模型进行分析计算，获得预测结果的过程包括：
从所述客运历史数据中抽取客运量数据；
基于该客运量数据，通过灰色关联度模型进行关联度计算；
通过单变量灰色预测模型，从完成该关联度计算的客运量数据中计算提取影响因素预测数据；
基于该影响因素预测数据，通过多因素灰色预测模型，获得所述预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010849449.0A CN111985716B (zh) | 2020-08-21 | 2020-08-21 | 一种客运信息可视化的客运量预测*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010849449.0A CN111985716B (zh) | 2020-08-21 | 2020-08-21 | 一种客运信息可视化的客运量预测*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111985716A true CN111985716A (zh) | 2020-11-24 |
| CN111985716B CN111985716B (zh) | 2024-05-14 |
Family
ID=73443893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010849449.0A Active CN111985716B (zh) | 2020-08-21 | 2020-08-21 | 一种客运信息可视化的客运量预测*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111985716B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113204684A (zh) * | 2021-03-23 | 2021-08-03 | 厦门速言科技有限公司 | 一种智能问答交互机器人 |
| CN113609208A (zh) * | 2021-08-11 | 2021-11-05 | 中铁第四勘察设计院集团有限公司 | 一种铁路od数据分析可视化***及方法 |
| CN113762590A (zh) * | 2021-07-20 | 2021-12-07 | 北京交通大学 | 一种城市轨道交通节假日客流预测*** |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136037A (zh) * | 2011-03-24 | 2011-07-27 | 昆明理工大学 | 基于主成分分析的灰色多因素MGM(1,n)模型的副产煤气发生量预测方法 |
| CN104182802A (zh) * | 2014-07-28 | 2014-12-03 | 河南理工大学 | 一种煤层瓦斯含量自动化及可视化预测方法 |
| CN105389632A (zh) * | 2015-11-25 | 2016-03-09 | 中冶南方工程技术有限公司 | 基于灰色多变量模型的散杂货港口疏运量预测方法和*** |
| CN106327871A (zh) * | 2016-09-06 | 2017-01-11 | 华南理工大学 | 一种融合历史数据和预约数据的高速公路拥挤预测方法 |
| CN106897815A (zh) * | 2017-01-17 | 2017-06-27 | 北京万相融通科技股份有限公司 | 一种实时预测车站客流量趋势的方法 |
| CN107220735A (zh) * | 2017-07-14 | 2017-09-29 | 国网河北省电力公司经济技术研究院 | 一种电力行业分类的多变量农网电量预测方法 |
| CN108197760A (zh) * | 2018-01-31 | 2018-06-22 | 民航成都电子技术有限责任公司 | 一种空港地面交通旅客流量预测方法 |
| CN108334996A (zh) * | 2018-04-04 | 2018-07-27 | 深圳市创艺工业技术有限公司 | 一种基于大数据的铁路客流分析*** |
| CN108416464A (zh) * | 2018-01-31 | 2018-08-17 | 山东汇贸电子口岸有限公司 | 一种基于手机移动终端的客流预测方法及*** |
| CN108513308A (zh) * | 2018-02-26 | 2018-09-07 | 山东汇贸电子口岸有限公司 | 一种景区客流分析***及方法 |
| CN108846526A (zh) * | 2018-08-08 | 2018-11-20 | 华北电力大学 | 一种二氧化碳排放量预测方法 |
| CN110119845A (zh) * | 2019-05-11 | 2019-08-13 | 北京京投亿雅捷交通科技有限公司 | 一种轨道交通客流预测的应用方法 |
| US20200097815A1 (en) * | 2018-09-21 | 2020-03-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for predicting passenger flow |
-
2020
- 2020-08-21 CN CN202010849449.0A patent/CN111985716B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136037A (zh) * | 2011-03-24 | 2011-07-27 | 昆明理工大学 | 基于主成分分析的灰色多因素MGM(1,n)模型的副产煤气发生量预测方法 |
| CN104182802A (zh) * | 2014-07-28 | 2014-12-03 | 河南理工大学 | 一种煤层瓦斯含量自动化及可视化预测方法 |
| CN105389632A (zh) * | 2015-11-25 | 2016-03-09 | 中冶南方工程技术有限公司 | 基于灰色多变量模型的散杂货港口疏运量预测方法和*** |
| CN106327871A (zh) * | 2016-09-06 | 2017-01-11 | 华南理工大学 | 一种融合历史数据和预约数据的高速公路拥挤预测方法 |
| CN106897815A (zh) * | 2017-01-17 | 2017-06-27 | 北京万相融通科技股份有限公司 | 一种实时预测车站客流量趋势的方法 |
| CN107220735A (zh) * | 2017-07-14 | 2017-09-29 | 国网河北省电力公司经济技术研究院 | 一种电力行业分类的多变量农网电量预测方法 |
| CN108197760A (zh) * | 2018-01-31 | 2018-06-22 | 民航成都电子技术有限责任公司 | 一种空港地面交通旅客流量预测方法 |
| CN108416464A (zh) * | 2018-01-31 | 2018-08-17 | 山东汇贸电子口岸有限公司 | 一种基于手机移动终端的客流预测方法及*** |
| CN108513308A (zh) * | 2018-02-26 | 2018-09-07 | 山东汇贸电子口岸有限公司 | 一种景区客流分析***及方法 |
| CN108334996A (zh) * | 2018-04-04 | 2018-07-27 | 深圳市创艺工业技术有限公司 | 一种基于大数据的铁路客流分析*** |
| CN108846526A (zh) * | 2018-08-08 | 2018-11-20 | 华北电力大学 | 一种二氧化碳排放量预测方法 |
| US20200097815A1 (en) * | 2018-09-21 | 2020-03-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for predicting passenger flow |
| CN110119845A (zh) * | 2019-05-11 | 2019-08-13 | 北京京投亿雅捷交通科技有限公司 | 一种轨道交通客流预测的应用方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113204684A (zh) * | 2021-03-23 | 2021-08-03 | 厦门速言科技有限公司 | 一种智能问答交互机器人 |
| CN113762590A (zh) * | 2021-07-20 | 2021-12-07 | 北京交通大学 | 一种城市轨道交通节假日客流预测*** |
| CN113762590B (zh) * | 2021-07-20 | 2023-08-01 | 北京交通大学 | 一种城市轨道交通节假日客流预测*** |
| CN113609208A (zh) * | 2021-08-11 | 2021-11-05 | 中铁第四勘察设计院集团有限公司 | 一种铁路od数据分析可视化***及方法 |
| CN113609208B (zh) * | 2021-08-11 | 2023-05-12 | 中铁第四勘察设计院集团有限公司 | 一种铁路od数据分析可视化***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111985716B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guo et al. | The internet of things-based decision support system for information processing in intelligent manufacturing using data mining technology | |
| CN111985716B (zh) | 一种客运信息可视化的客运量预测*** | |
| CN109408548A (zh) | 一种城市电力大数据应用***及方法 | |
| CN105205185B (zh) | 监控***与管理信息***间数据交互及数据建模的方法 | |
| CN110414802A (zh) | 集团经营决策分析驾驶舱*** | |
| Zhao | Research on management informatization construction of electric power enterprise based on big data technology | |
| Hu | E-commerce big data computing platform system based on distributed computing logistics information | |
| CN111915100A (zh) | 一种高精度的货运预测方法和货运预测*** | |
| Guo et al. | A Study on Synergistic Development of Innovative Public Management and Economic Growth Based on Big Data | |
| Wang et al. | [Retracted] Attribute Reduction Algorithm on Concept Lattice and Application in Smart City Energy Consumption Analysis | |
| CN108363756A (zh) | 一种智能交通大数据处理*** | |
| Nie | A value-oriented model of big data-driven knowledge management and collaborative services: A meteorological service case | |
| CN112784129A (zh) | 一种泵站设备运维数据监管平台 | |
| Peng et al. | Construction of data quality evaluation index for manufacturing multi-value chain collaborative data space based on the whole life cycle of data | |
| Song et al. | Innovation path of leasing trade under Smart logistics technology by big data analysis | |
| Zhang et al. | A Big Data based Decision Framework for Public Management and Service in Tourism | |
| Ma et al. | A smart meteorological service model based on big Data: A value creation perspective | |
| CN111291102A (zh) | 一种政务数据挖掘的高性能规模统计计算方法 | |
| CN117934209B (zh) | 一种基于知识图谱的区域电力***碳排放大数据分析方法 | |
| CN112508276B (zh) | 一种电网快速诊断与优化***及优化方法 | |
| Lin et al. | RBD: A Reference Railway Big Data System Model | |
| CN109522367B (zh) | 电网统一信息模型的数据处理装置和方法 | |
| Wang | Construction of Logistics Management Data Warehouse Model Based on Deep Data Mining | |
| Lee | Research on Intelligent Sales Platform of Automobile Industry Based on Large Data Mining | |
| Hu et al. | The Research of Big Data Management Capability on the E-commerce of Cultural Industry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |