CN111930807A - 一种轨道交通数据分析方法、装置、设备及存储介质 - Google Patents

一种轨道交通数据分析方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111930807A
CN111930807A CN202010828219.6A CN202010828219A CN111930807A CN 111930807 A CN111930807 A CN 111930807A CN 202010828219 A CN202010828219 A CN 202010828219A CN 111930807 A CN111930807 A CN 111930807A
Authority
CN
China
Prior art keywords
data
analysis
request
rail transit
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010828219.6A
Other languages
English (en)
Other versions
CN111930807B (zh
Inventor
郑炜龙
贾沛
吴志秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xinke Jiadu Technology Co Ltd
Original Assignee
Guangzhou Xinke Jiadu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xinke Jiadu Technology Co Ltd filed Critical Guangzhou Xinke Jiadu Technology Co Ltd
Priority to CN202010828219.6A priority Critical patent/CN111930807B/zh
Publication of CN111930807A publication Critical patent/CN111930807A/zh
Application granted granted Critical
Publication of CN111930807B publication Critical patent/CN111930807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例公开了一种轨道交通数据分析方法、装置、设备及存储介质。本申请实施例提供的技术方案通过对轨道交通数据中的数据源、元数据、数据集以及数据标准进行数据汇集，并根据数据汇集结果进行数据分析、统计分析、数据共享以及数据治理，对轨道交通数据进行汇聚分析以及共享治理，有效打破轨道交通上的数据孤岛，并实现对轨道交通的数据采集和整理提供统一的数据标准，实现跨专业数据的有效整合和深度应用，实现多专业异构数据融合后的应用创新。

Description

一种轨道交通数据分析方法、装置、设备及存储介质
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种轨道交通数据分析方法、装置、设备及存储介质。
背景技术
随着云计算、大数据时代的到来，尤其是近几年全国范围内地铁基础数据信息资源的体量呈现快速增长态势，与此同时，各类信息应用需求更是日益复杂，对数据服务与应用支撑能力提出越来越高的要求。
当前支撑城市轨道交通智慧管理、智慧运维、智慧运营、安全保障、应急处置、智慧服务的应用基础数据库仍然薄弱，面临的问题也日益突出。城市轨道交通的长期发展促生了多个业务***的烟囱式建设，导致数据孤岛问题严重。
发明内容
本申请实施例提供一种轨道交通数据分析方法、装置、设备及存储介质，以解决轨道交通数据的数据孤岛问题，实现多专业异构数据的融合。
在第一方面，本申请实施例提供了一种轨道交通数据分析方法，包括：
对轨道交通数据进行数据汇集，所述轨道交通数据包括数据源、元数据、数据集以及数据标准；
基于所述数据汇集结果进行数据分析以及统计分析，所述数据分析包括数据流程管理、项目目录管理以及函数配置，所述统计分析包括交互式查询、报表工具以及机器学习；
基于所述数据汇集结果进行数据共享以及数据治理，所述数据共享包括数据共享管理以及数据共享收费，所述数据治理包括质量分析、血缘分析以及元数据分析。
进一步的，所述对轨道交通数据进行数据汇集，包括：
对接轨道交通数据中的数据源并以资源目录的形式对数据源进行配置和管理，所述数据源的类型包括JDBC/ODBC数据库、FTP、HTTP、Socket、ElasticSearch中的一种或多种；
以资源目录的形式管理轨道交通数据中结构化和/或可解析的数据结构元数据，对关系型数据库以及CSV类需解析的文件生成元数据；
以数据集的形式管理结构化和/或可解析的轨道交通数据，并构建资源目录和/或数据仓库；
将不同语义的轨道交通数据按照设定标准转换为统一标准数据，所述设定数据标准采用资源目录的形式进行配置和管理。
进一步的，基于所述数据汇集结果进行数据分析包括：
将轨道交通数据的数据处理单元拖拽并组合成有向无环图，形成数据流程，通过数据流程管理功能，进行数据批处理、流计算以及混合调用流程的编排、运行及监控；
通过Browser组件接入目录管理请求，通过Gateway进行验证并将目录管理请求分发至AppServer，由AppServer中数据源APP与元数据库交互，以集中数据集、元数据和数据流程；
通过Browser组件接入函数配置请求，通过Gateway进行验证并将函数配置请求分发至PlatformServer，由PlatformServer与元数据库交互，实现函数配置功能。
进一步的，基于所述数据汇集结果进行统计分析包括：
通过Browser组件接入交互查询请求，通过Gateway进行验证，并根据查询类型对轨道交通数据进行交互查询；
通过Browser组件接入报表请求，通过Gateway进行验证并将报表请求分发至AppServer，由AppServer中报表工具APP与元数据库交互，对报表配置参数、指标元数据执行报表工具功能；
通过Browser组件接入学习请求，通过Gateway进行验证并将学习请求分发至PlatformServer，由PlatformServer与元数据库交互，并执行机器学习流程。
进一步的，基于所述数据汇集结果进行数据共享包括：
由数据库交换接口将交换策略定制的数据集增量和/或全量推送到设定的数据交换前置服务器；
由文件交换接口将交换策略定制的数据集按设定格式要求生成交换文件，并推送到设定的数据交换前置服务器；
由RestAPI服务交换接口将交换策略定制的数据集按标准格式要求生成Restful接口服务，并在设定的服务器进行发布；
对发布的数据资源进行数据申请和/或数据订阅的共享，通过Browser组件接入共享请求，通过Gateway进行验证并将共享请求分发至AppServer，由AppServer中数据共享消费APP组件进行数据共享。
进一步的，基于所述数据汇集结果进行数据治理包括：
通过Browser组件接入质量分析请求，通过Gateway进行验证并将质量分析请求分发至AppServer，由AppServer中数据质量APP与元数据库交互，并进行质量分析；
通过Browser组件接入血缘分析请求，通过Gateway进行验证并将血缘分析请求分发至AppServer，由AppServer中血缘分析APP与元数据库交互，并进行血缘分析；
通过Browser组件接入元数据分析请求，通过Gateway进行验证并将元数据分析请求分发至AppServer，由AppServer中元数据分析APP与元数据库交互，并进行元数据分析。
进一步的，所述对轨道交通数据进行数据汇集之后，还包括：
基于所述数据汇集结果进行运维监控以及***管理，所述运维监控包括任务监控、运维管控以及访问监控，所述***管理包括统一门户、权限管理以及日志审计。
进一步的，所述基于所述数据汇集结果进行运维监控包括：
通过Browser组件接入任务监控请求，通过Gateway进行验证并将任务监控请求分发至AppServer，由AppServer中任务监控APP与元数据库、日志库交互，并进行任务监控；
通过Browser组件接入运维管控请求，通过Gateway进行验证并将运维管控请求分发至AppServer，由AppServer中运维管控APP与元数据库、日志库交互，并进行运维管控；
通过Browser组件接入访问监控请求，通过Gateway进行验证并将访问监控请求分发至AppServer，由AppServer中访问监控APP与元数据库、日志库交互，并进行访问监控。
进一步的，基于所述数据汇集结果进行***管理包括：
通过Browser组件接入前端发出的用户登录请求，用户登录请求通过Gateway进行验证分发，用户信息保存在元数据库中，根据用户权限将请求返回前端并显示；
通过Browser组件接入权限管理请求，通过Gateway进行验证并将权限管理请求分发至元数据库进行权限管理；
通过Browser组件接入日志审计请求，通过Gateway进行验证并将日志审计请求分发至AppServer，由AppServer中日志审计APP与元数据库、日志库交互进行日志审计。
在第二方面，本申请实施例提供了一种轨道交通数据分析装置，包括数据汇集模块、数据分析模块和数据管理模块，其中：
数据汇集模块，用于对轨道交通数据进行数据汇集，所述轨道交通数据包括数据源、元数据、数据集以及数据标准；
数据分析模块，用于基于所述数据汇集结果进行数据分析以及统计分析，所述数据分析包括数据流程管理、项目目录管理以及函数配置，所述统计分析包括交互式查询、报表工具以及机器学习；
数据管理模块，用于基于所述数据汇集结果进行数据共享以及数据治理，所述数据共享包括数据共享管理以及数据共享收费，所述数据治理包括质量分析、血缘分析以及元数据分析。
进一步的，所述数据汇集模块在对轨道交通数据进行数据汇集时，具体包括：
对接轨道交通数据中的数据源并以资源目录的形式对数据源进行配置和管理，所述数据源的类型包括JDBC/ODBC数据库、FTP、HTTP、Socket、ElasticSearch中的一种或多种；
以资源目录的形式管理轨道交通数据中结构化和/或可解析的数据结构元数据，对关系型数据库以及CSV类需解析的文件生成元数据；
以数据集的形式管理结构化和/或可解析的轨道交通数据，并构建资源目录和/或数据仓库；
将不同语义的轨道交通数据按照设定标准转换为统一标准数据，所述设定数据标准采用资源目录的形式进行配置和管理。
进一步的，所述数据分析模块在基于所述数据汇集结果进行数据分析时，具体包括：
将轨道交通数据的数据处理单元拖拽并组合成有向无环图，形成数据流程，通过数据流程管理功能，进行数据批处理、流计算以及混合调用流程的编排、运行及监控；
通过Browser组件接入目录管理请求，通过Gateway进行验证并将目录管理请求分发至AppServer，由AppServer中数据源APP与元数据库交互，以集中数据集、元数据和数据流程；
通过Browser组件接入函数配置请求，通过Gateway进行验证并将函数配置请求分发至PlatformServer，由PlatformServer与元数据库交互，实现函数配置功能。
进一步的，所述数据分析模块在基于所述数据汇集结果进行统计分析时，具体包括：
通过Browser组件接入交互查询请求，通过Gateway进行验证，并根据查询类型对轨道交通数据进行交互查询；
通过Browser组件接入报表请求，通过Gateway进行验证并将报表请求分发至AppServer，由AppServer中报表工具APP与元数据库交互，对报表配置参数、指标元数据执行报表工具功能；
通过Browser组件接入学习请求，通过Gateway进行验证并将学习请求分发至PlatformServer，由PlatformServer与元数据库交互，并执行机器学习流程。
进一步的，所述数据管理模块在基于所述数据汇集结果进行数据共享时，具体包括：
由数据库交换接口将交换策略定制的数据集增量和/或全量推送到设定的数据交换前置服务器；
由文件交换接口将交换策略定制的数据集按设定格式要求生成交换文件，并推送到设定的数据交换前置服务器；
由RestAPI服务交换接口将交换策略定制的数据集按标准格式要求生成Restful接口服务，并在设定的服务器进行发布；
对发布的数据资源进行数据申请和/或数据订阅的共享，通过Browser组件接入共享请求，通过Gateway进行验证并将共享请求分发至AppServer，由AppServer中数据共享消费APP组件进行数据共享。
进一步的，所述数据管理模块在基于所述数据汇集结果进行数据治理时，具体包括：
通过Browser组件接入质量分析请求，通过Gateway进行验证并将质量分析请求分发至AppServer，由AppServer中数据质量APP与元数据库交互，并进行质量分析；
通过Browser组件接入血缘分析请求，通过Gateway进行验证并将血缘分析请求分发至AppServer，由AppServer中血缘分析APP与元数据库交互，并进行血缘分析；
通过Browser组件接入元数据分析请求，通过Gateway进行验证并将元数据分析请求分发至AppServer，由AppServer中元数据分析APP与元数据库交互，并进行元数据分析。
进一步的，所述装置还包括***运维模块，用于基于所述数据汇集结果进行运维监控以及***管理，所述运维监控包括任务监控、运维管控以及访问监控，所述***管理包括统一门户、权限管理以及日志审计。
进一步的，所述***运维模块在基于所述数据汇集结果进行运维监控时，具体包括：
通过Browser组件接入任务监控请求，通过Gateway进行验证并将任务监控请求分发至AppServer，由AppServer中任务监控APP与元数据库、日志库交互，并进行任务监控；
通过Browser组件接入运维管控请求，通过Gateway进行验证并将运维管控请求分发至AppServer，由AppServer中运维管控APP与元数据库、日志库交互，并进行运维管控；
通过Browser组件接入访问监控请求，通过Gateway进行验证并将访问监控请求分发至AppServer，由AppServer中访问监控APP与元数据库、日志库交互，并进行访问监控。
进一步的，所述***运维模块在基于所述数据汇集结果进行***管理时，具体包括：
通过Browser组件接入前端发出的用户登录请求，用户登录请求通过Gateway进行验证分发，用户信息保存在元数据库中，根据用户权限将请求返回前端并显示；
通过Browser组件接入权限管理请求，通过Gateway进行验证并将权限管理请求分发至元数据库进行权限管理；
通过Browser组件接入日志审计请求，通过Gateway进行验证并将日志审计请求分发至AppServer，由AppServer中日志审计APP与元数据库、日志库交互进行日志审计。
在第三方面，本申请实施例提供了一种轨道交通数据分析***，所述轨道交通数据分析***基于lambda架构进行搭建，并用于实现如第一方面所述的轨道交通数据分析方法。
在第四方面，本申请实施例提供了一种计算机设备，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的轨道交通数据分析方法。
在第五方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的轨道交通数据分析方法。
本申请实施例通过对轨道交通数据中的数据源、元数据、数据集以及数据标准进行数据汇集，并根据数据汇集结果进行数据分析、统计分析、数据共享以及数据治理，对轨道交通数据进行汇聚分析以及共享治理，有效打破轨道交通上的数据孤岛，并实现对轨道交通的数据采集和整理提供统一的数据标准，实现跨专业数据的有效整合和深度应用，实现多专业异构数据融合后的应用创新。
附图说明
图1是本申请实施例提供的一种轨道交通数据分析方法的流程图；
图2是本申请实施例提供的另一种轨道交通数据分析方法的流程图；
图3是本申请实施例提供的一种轨道交通数据分析装置的结构示意图；
图4是本申请实施例提供的一种轨道交通数据分析***的架构示意图；
图5是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1给出了本申请实施例提供的一种轨道交通数据分析方法的流程图，本申请实施例提供的轨道交通数据分析方法可以由轨道交通数据分析装置来执行，该轨道交通数据分析装置可以通过硬件和/或软件的方式实现，并集成在计算机设备中。
下述以轨道交通数据分析装置执行轨道交通数据分析方法为例进行描述。参考图1，该轨道交通数据分析方法包括：
S101：对轨道交通数据进行数据汇集，所述轨道交通数据包括数据源、元数据、数据集以及数据标准。
本申请实施例提供的轨道交通数据可由ISCS(Integrated Supervisory ControlSystem，综合监控***，又称城市轨道交通综合监控***)所涉及的电力监控与数据采集、环境监控、机电设备监控、火灾自动报警、广播、闭路电视、无线通信、信号、门禁、自动售票、乘客信息、时钟、屏蔽门等各类专业***和管理***进行数据采集提供。
其中，所述数据汇集包括数据源汇集、元数据汇集、数据集汇集以及数据标准汇集。示例性的，通过各***的接口接入轨道交通数据建立数据仓库，分别针对轨道交通数据中的数据源、元数据、数据集以及数据标准进行数据源汇集、元数据汇集、数据集汇集以及数据标准汇集。
可选的，在完成对轨道交通数据的汇集后，可分别建立数据源库、元数据库、数据集库以及数据标准库。
S102：基于所述数据汇集结果进行数据分析以及统计分析，所述数据分析包括数据流程管理、项目目录管理以及函数配置，所述统计分析包括交互式查询、报表工具以及机器学习。
示例性的，在对轨道交通数据进行数据汇集后，基于数据汇集结果分别进行数据流程管理、项目目录管理以及函数配置，即将轨道交通数据中的数据处理单元处理成数据流程，通过数据流程管理功能进行各类大数据批处理、流计算以及混合调用流程的编排、运行及监控。
进一步的，以项目目录管理的方式将数据集、元数据和数据流程集中起来，以方便的对各类数据项目提供统一的管理视角，并提供对元数据库函数配置功能，与元数据库进行交互。
进一步的，基于数据汇集结果分别进行交互式查询、报表工具以及机器学习，即提供对轨道交通数据的交互式查询功能、报表工具功能以及机器学习功能。
S103：基于所述数据汇集结果进行数据共享以及数据治理，所述数据共享包括数据共享管理以及数据共享收费，所述数据治理包括质量分析、血缘分析以及元数据分析。
示例性的，在对轨道交通数据进行数据汇集后，基于数据汇集结果分别进行数据共享管理以及数据共享收费，即将预先设定的交换策略定制的数据集按标准格式要求生成Restful接口服务，并在指定的服务器进行发布，以对数据进行共享。
进一步的，提供数据共享消费功能，即消费者可对发布的数据资源进行数据申请和数据订阅，根据消费者的申请和订阅情况向消费者推送相应的数据。
上述，通过对轨道交通数据中的数据源、元数据、数据集以及数据标准进行数据汇集，并根据数据汇集结果进行数据分析、统计分析、数据共享以及数据治理，对轨道交通数据进行汇聚分析以及共享治理，有效打破轨道交通上的数据孤岛，并实现对轨道交通的数据采集和整理提供统一的数据标准，实现跨专业数据的有效整合和深度应用，实现多专业异构数据融合后的应用创新。
在上述实施例的基础上，图2给出了本申请实施例提供的另一种轨道交通数据分析方法的流程图，该轨道交通数据分析方法是对上述轨道交通数据分析方法的具体化。参考图2，该轨道交通数据分析方法包括：
S201：对轨道交通数据进行数据汇集，所述轨道交通数据包括数据源、元数据、数据集以及数据标准。
具体的，对于数据源汇集，对接轨道交通数据中的数据源并以资源目录的形式对数据源进行配置和管理，其中数据源的类型包括JDBC/ODBC数据库、FTP、HTTP、Socket、ElasticSearch中的一种或多种。
在一个可能的实施例中，还提供对数据源和资源目录的例如增删改、驱动加载、参数配置等操作。可选的，通过Browser组件接入操作请求，通过Gateway进行验证并将操作请求分发至AppServer，由AppServer中数据源APP与元数据库交互，实现对数据源和资源目录的操作。
本实施例提供的Gateway是基于Spring cloud gateway的数据后台服务网关，内置了Auth及基于JWT token的访问控制，AppServer为基于SpringBoot的组件，提供RestfulAPI实现，提供了对影响数据接入、数据治理、数据开放相关元数据的存取控制。
进一步的，对于元数据汇集，以资源目录的形式管理轨道交通数据中结构化和/或可解析的数据结构元数据，对关系型数据库以及CSV类需解析的文件生成元数据。
在一个可能的实施例中，还提供对元数据资源目录的新增、删减、修改等操作。可选的，通过Browser组件接入操作请求，通过Gateway进行验证并将请求分发至AppServer，由AppServer中元数据APP与元数据库交互，实现对元数据资源目录的操作。
进一步的，对于数据集汇集，以数据集的形式管理结构化和/或可解析的轨道交通数据，并构建资源目录和/或数据仓库。其中，数据仓库主要包括临时缓冲层、基础数据资源层、数据沉淀库、综合关联库、时序库、非结构化库，主题数据仓库等。
其中数据集是物理数据在逻辑上的高级抽象，数据集可以统一定义JDBC/ODBC数据库、HDFS、HIVE、KAFKA、FTP、HBASE、ElasticSearch等各类数据源或存储上的数据，通过数据集模块可以灵活构建数据资产目录或者数据仓库。
在一个可能的实施例中，还提供对数据集资源目录的新增、删减、修改等操作。可选的，通过Browser组件接入操作请求，通过Gateway进行验证并将操作请求分发至AppServer，由AppServer中数据集APP与元数据库交互，实现对数据集资源目录的操作。
进一步的，对于数据标准汇集，为使各类数据标准统一，将不同语义的轨道交通数据按照设定标准转换为统一标准数据，其中设定数据标准采用资源目录的形式进行配置和管理。
在一个可能的实施例中，还提供对数据标准资源目录的新增、删减、修改等操作。可选的，通过Browser组件接入操作请求，通过Gateway进行验证并将操作请求分发至AppServer，由AppServer中数据标准APP与元数据库交互，实现对数据标准资源目录的操作。
在一个可能的实施例中，在对轨道交通数据进行数据汇集之后，本实施例提供的轨道交通数据分析方法还包括：基于所述数据汇集结果进行资源目录高级搜索、文件导入以及文件管理操作。
具体的，对于资源目录高级搜索操作，提供对上述提供的资源目录的高级查询操作，即通过筛选、关系运算、时间查询和/或逻辑运算的查询条件查询数据源、数据集、元数据以及数据标准资源目录，并通过Browser组件接入查询请求，通过Gateway进行验证并将查询请求分发至元数据库，以对资源目录执行高级查询操作。
进一步的，对于文件导入操作，将FTP数据源文件原样导入HDFS，主要用以非结构化数据的导入，导入任务只关心文件个数而无需解析文件内容。例如，通过Browser组件接入导入请求以配置导入任务，并通过Gateway进行验证并将导入请求分发至AppServer，由AppServer与元数据库交互，由AppServer中AppServer-Collector组件将FTP数据源文件导入HDFS。本实施例由AppServer中AppServer-Collector组件进行导入任务的具体执行。
进一步的，对于文件管理操作，通过Browser组件接入管理请求，通过Gateway进行验证并将管理请求分发至AppServer，由AppServer中AppServer-Collector组件进行文件管理的具体操作，以进行对HDFS文件的查询、下载、删除和本地文件上传操作。
S202：基于所述数据汇集结果进行数据分析，所述数据分析包括数据流程管理、项目目录管理以及函数配置。
具体的，本实施例中对基于所述数据汇集结果进行数据分析包括步骤S2021-S2023：
S2021：将轨道交通数据的数据处理单元拖拽并组合成有向无环图，形成数据流程，通过数据流程管理功能，进行数据批处理、流计算以及混合调用流程的编排、运行及监控。
其中，数据流程的编排配置可通过Browser组件接入编排请求，通过Gateway进行验证并将编排请求分发至PlatformServer，由PlatformServer与元数据库交互，实现对数据流程的编排配置。
进一步的，流程任务的执行可通过PlatformServer组件生成Pipeline任务发送至PipelineServer，PipelineServer识别判断数据流程的具体类别，对于批计算、流计算流程通过FlowExecutor组件提交集群执行，对于Shell、Java、Python脚本流程通过MoreExecutor提交程序执行。
数据流程可灵活用于数据导入导出、转换加工和分析计算等各种需要调用集群存储和算力的场景，可贯穿数据交换汇集、数据存储计算、数据统计分析的功能需求。
S2022：通过Browser组件接入目录管理请求，通过Gateway进行验证并将目录管理请求分发至AppServer，由AppServer中数据源APP与元数据库交互，以集中数据集、元数据和数据流程。
其中目录管理是以项目管理的视角将数据集、元数据和数据流程集中起来，以方便的对轨道交通数据中各类数据项目提供统一的管理视角。
S2023：通过Browser组件接入函数配置请求，通过Gateway进行验证并将函数配置请求分发至PlatformServer，由PlatformServer与元数据库交互，实现函数配置功能。
S203：基于所述数据汇集结果进行统计分析，所述统计分析包括交互式查询、报表工具以及机器学习。
具体的，本实施例中基于所述数据汇集结果进行统计分析具体包括步骤S2031-S2033：
S2031：通过Browser组件接入交互查询请求，通过Gateway进行验证，并根据查询类型对轨道交通数据进行交互查询。
通过Browser组件接入交互查询请求，提供对轨道交通数据的交互式查询功能，可通过SQL对除Kafka外的任意数据集直接进行交互式查询服务，查询结果可导出为CSV或Json格式文件，并可监控查询的执行情况，并随时终止查询。对于配置类元数据查询，将交互查询请求分发至AppServer，由AppServer通过JPA/Hibernate工具与元数据库交互进行配置类元数据查询；对于物理存储数据类查询，将交互查询请求分发至AppServer-Collector组件，由AppServer-Collector进行集群物理存储查询。
S2032：通过Browser组件接入报表请求，通过Gateway进行验证并将报表请求分发至AppServer，由AppServer中报表工具APP与元数据库交互，对报表配置参数、指标元数据执行报表工具功能。
具体的，提供对报表配置参数、指标元数据的报表工具功能，可进行各种类型的数据报表开发、关联下钻、主题构建。可通过Browser组件接入对报表配置参数、指标元数据的报表请求，通过Gateway进行验证并将报表请求分发至AppServer，由AppServer中报表工具APP与元数据库交互。对于报表数据查询预览，通过AppServer-Collector组件进行集群物理存储查询。
S2033：通过Browser组件接入学习请求，通过Gateway进行验证并将学习请求分发至PlatformServer，由PlatformServer与元数据库交互，并执行机器学习流程。
具体的，提供对轨道交通数据的机器学习功能，通过创建各类机器学习项目，提供数据准备、特征工程、训练评估、预测部署全流程功能。机器学习流程的编排配置通过Browser组件接入学习请求，通过Gateway进行验证并将学习请求分发至PlatformServer，由PlatformServer与元数据库交互，以执行机器学习流程。其中流程任务的执行通过PlatformServer组件生成Pipeline任务发送至PipelineServer，通过FlowExecutor组件提交集群执行。
S204：基于所述数据汇集结果进行数据共享，所述数据共享包括数据共享管理以及数据共享收费。
数据共享管理提供接口服务，其中接口服务具有标准性、通用性、统一性、灵活操作性等特点，可以由数据管理员通过配置完成，也可由交换对象管理功能绑定交换用户和交换策略后，激活调用。接口服务包括数据库交换接口服务、文件交换接口服务和RestAPI服务交换接口服务三种形式。数据共享收费提供数据共享消费功能，消费者可对发布的数据资源进行数据申请和/或数据订阅。
具体的，本申请实施例中基于所述数据汇集结果进行数据共享具体包括步骤S2041-S2044：
S2041：由数据库交换接口将交换策略定制的数据集增量和/或全量推送到设定的数据交换前置服务器。
本实施例提供的数据库交换接口支持多种主流数据库管理***(例如ORACLE、MYSQL、SQLSERVER等)，可以将交换策略定制的数据集合增量和/或全量的推送到指定的数据交换前置服务器上。
S2042：由文件交换接口将交换策略定制的数据集按设定格式要求生成交换文件，并推送到设定的数据交换前置服务器。
其中文件交换接口支持带分隔符的纯文本文件格式等交换形式，可以将交换策略定制的数据集合按格式要求生成交换文件，推送到指定的数据交换前置服务器中。
S2043：由RestAPI服务交换接口将交换策略定制的数据集按标准格式要求生成Restful接口服务，并在设定的服务器进行发布。
RestAPI服务交换接口可以将交换策略定制的数据集合按标准格式要求生成Restful接口服务，并在指定的服务器进行发布。管理者可对数据共享服务进行发布和审批。其中可供共享的数据包括DB、HDFS、KAFKA、ES、HTTP、S/FTP等，本实施例提供的数据共享服务方式包括Pull和Push。例如，通过Browser组件接入共享服务请求，通过Gateway进行验证并将共享服务请求分发至AppServer，由AppServer中数据共享管理APP组件进行数据共享和服务管理。
S2044：对发布的数据资源进行数据申请和/或数据订阅的共享。
具体的，接收对发布的数据资源进行数据申请和/或数据订阅的共享请求，通过Browser组件接入共享请求，通过Gateway进行验证并将共享请求分发至AppServer，由AppServer中数据共享消费APP组件进行数据共享。
S205：基于所述数据汇集结果进行数据治理，所述数据治理包括质量分析、血缘分析以及元数据分析。
具体的，本实施例中基于所述数据汇集结果进行数据治理具体包括步骤S2051-S2053：
S2051：通过Browser组件接入质量分析请求，通过Gateway进行验证并将质量分析请求分发至AppServer，由AppServer中数据质量APP与元数据库交互，并进行质量分析。
具体的，对于质量分析，可通过配置数据质量分析模版，数据质量分析模版内置多个分析规则，其中规则可自定义。基于数据质量分析模版生成数据质量分析任务，提供周期性调度、结果评估统计及任务监控等功能。
对数据质量任务的配置可通过Browser组件接入质量分析请求，通过Gateway进行验证并将质量分析请求分发至AppServer，由AppServer中数据质量APP与元数据库交互，以执行质量分析任务。
进一步的，质量分析任务的执行通过PlatformServer组件生成Pipeline任务发送至PipelineServer，并以Spark任务形式通过FlowExecutor组件提交集群执行。
其中数据质量分析是数据治理工程的重要步骤，通过数据质量的核验保障数据合规准确。
S2052：通过Browser组件接入血缘分析请求，通过Gateway进行验证并将血缘分析请求分发至AppServer，由AppServer中血缘分析APP与元数据库交互，并进行血缘分析。
具体的，对于血缘分析，可通过配置血缘分析模版，血缘分析模版内置多个分析规则，其中规则可自定义，并基于血缘分析模版生成血缘分析任务。对血缘分析任务的配置可通过Browser组件接入血缘分析请求，通过Gateway进行验证并将血缘分析请求分发至AppServer，由AppServer中血缘分析APP与元数据库交互以执行血缘分析任务，其中血缘分析数据由PlatformServer生成并存入元数据库。
其中，血缘分析可实现数据多级融合处理过程的可追溯，是数据治理的重要功能。使用者可查看指定数据集的血缘分析图，通过分析图可追溯数据集、字段、流程等不同级别维度的前后关联关系，理清数据流向和影响。
S2053：通过Browser组件接入元数据分析请求，通过Gateway进行验证并将元数据分析请求分发至AppServer，由AppServer中元数据分析APP与元数据库交互，并进行元数据分析。
具体的，对于元数据分析，可通过配置元数据分析模版，元数据分析模版内置多个分析规则，其中规则可自定义，并基于元数据分析模版生成元数据分析任务。元数据分析任务的配置可通过Browser组件接入元数据分析请求，通过Gateway进行验证并将元数据分析请求分发至AppServer，由AppServer中元数据分析APP与元数据库交互以执行元数据分析任务，其中元数据分析数据由AppServer-Collector生成并存入元数据库。
其中，元数据分析主要针对关系型数据库，关系型数据库数据迁移至大数据环境后会丢失原有的关联关系，通过元数据分析功能可以复现或重构元数据间的主外键连接和对应关系。
S206：基于所述数据汇集结果进行运维监控，所述运维监控包括任务监控、运维管控以及访问监控。
具体的，本实施例中基于所述数据汇集结果进行运维监控具体包括步骤S2061-S2063：
S2061：通过Browser组件接入任务监控请求，通过Gateway进行验证并将任务监控请求分发至AppServer，由AppServer中任务监控APP与元数据库、日志库交互，并进行任务监控。
具体的，对于任务监控，通过Browser组件接入任务监控请求，通过Gateway进行验证并将任务监控请求分发至AppServer，由AppServer中任务监控APP与元数据库、日志库交互，并进行任务监控，其中任务监控中各任务状态信息由PlatformServer进行提供。
通过对轨道交通数据的任务监控功能，可对各类任务的执行情况进行监控管理，如任务的执行、等待、成功、失败、告警等。
S2062：通过Browser组件接入运维管控请求，通过Gateway进行验证并将运维管控请求分发至AppServer，由AppServer中运维管控APP与元数据库、日志库交互，并进行运维管控。
具体的，对于运维管控，通过Browser组件接入运维管控请求，通过Gateway进行验证并将运维管控请求分发至AppServer，由AppServer中运维管控APP与元数据库、日志库交互以进行运维管控。其中运维管控中各数据源、节点状态信息由AppServer-Collector进行提供。
通过对轨道交通数据的运维管控功能，可对集群节点、数据源进行监控管理，如节点离线或在线状态，数据源连接成功或失败状态等。
S2063：通过Browser组件接入访问监控请求，通过Gateway进行验证并将访问监控请求分发至AppServer，由AppServer中访问监控APP与元数据库、日志库交互，并进行访问监控。
具体的，对于访问监控，通过Browser组件接入访问监控请求，通过Gateway进行验证并将访问监控请求分发至AppServer，由AppServer中访问监控APP与元数据库、日志库交互以进行访问监控，其中访问监控的接口访问信息由Gateway进行提供。
通过对轨道交通数据的访问监控功能，可对请求访问情况进行监控管理，如***请求数、请求成功数、请求量前100接口访问量、请求耗时前100接口耗时等访问请求监控管理。
S207：基于所述数据汇集结果进行***管理，所述***管理包括统一门户、权限管理以及日志审计。
具体的，本实施例中基于所述数据汇集结果进行***管理具体包括步骤S2071-S2073：
S2071：通过Browser组件接入前端发出的用户登录请求，用户登录请求通过Gateway进行验证分发，用户信息保存在元数据库中，根据用户权限将请求返回前端并显示。
具体的，通过Browser组件接入用户登录请求，请求通过Gateway进行验证分发，用户信息保存在元数据库中，根据用户权限将请求返回前端并显示。使用者登陆后可以查看自身角色权限内的功能模块，其中无权限的功能模块被隐藏，管理员权限包括数据集成、数据治理、数据分析、数据挖掘、数据监控，数据分析员权限包括数据分析和数据挖掘。
对于统一门户的***管理，提供大数据基础组件和平台应用组件，其中大数据基础组件对用户透明，由平台应用组件对外部用户和***提供人机交互和接口访问。平台应用组件的功能涵盖数据采集、处理、存储、计算、分析和管理各个流程，内部横跨多个功能组件和模块，为使用者提供统一门户便于用户登录及后续功能的使用。
S2072：通过Browser组件接入权限管理请求，通过Gateway进行验证并将权限管理请求分发至元数据库进行权限管理。
本实施例采用基于多租户的用户角色权限管理方式，租户间集群资源隔离，互不干扰，租户下可创建用户及对应的角色和权限。
具体的，通过Browser组件接入权限管理请求，通过Gateway进行验证并将权限管理请求分发至元数据库进行权限管理，为用户、角色、权限信息提供增删改查操作。
S2073：通过Browser组件接入日志审计请求，通过Gateway进行验证并将日志审计请求分发至AppServer，由AppServer中日志审计APP与元数据库、日志库交互进行日志审计。
本实施例对用户在***上的操作进行日志记录，并提供查询页面方便管理员对操作日志进行审计。具体的，通过Browser组件接入日志审计请求，通过Gateway进行验证并将日志审计请求分发至AppServer，由AppServer中日志审计APP与元数据库、日志库交互进行日志审计，其中用户操作信息由Gateway进行提供。
上述，通过对轨道交通数据中的数据源、元数据、数据集以及数据标准进行数据汇集，并根据数据汇集结果进行数据分析、统计分析、数据共享以及数据治理，对轨道交通数据进行汇聚分析以及共享治理，有效打破轨道交通上的数据孤岛，并实现对轨道交通的数据采集和整理提供统一的数据标准。并提供基于数据汇集结果的任务监控、运维管控、访问监控、统一门户、权限管理以及日志审计等功能，可为城市轨道交通综合监控***所涉及的通信、信号、供电等各类专业***和管理***提供数据采集、治理及多维分析等数据服务。同时，基于乘客信息采集分析，可为乘客提供精准便捷的城市轨道交通自动售检票***人脸识别过闸服务，基于票务、客流数据的融合治理，为客控调度提供决策支持，承担地铁历史数据、状态时序数据的离线存储和批量计算需求，以及部分实时计算应用支撑需求，满足离线和实时应用对批量、流式数据的处理计算存储需求，***具有高容错、低延时和可扩展等特性，实现跨专业数据的有效整合和深度应用，实现多专业异构数据融合后的应用创新，从根本上提升基础数据库的支撑能力，提高数据处理效率以及对复杂应用的响应能力，完善数据整合与管理技术手段，为深度应用提供内容更丰富、更鲜活的基础数据，更好地服务于智慧地铁建设。
图3给出了本申请实施例提供的一种轨道交通数据分析装置的结构示意图。参考图3，该轨道交通数据分析装置包括数据汇集模块31、数据分析模块32和数据管理模块33。
其中，数据汇集模块31，用于对轨道交通数据进行数据汇集，所述轨道交通数据包括数据源、元数据、数据集以及数据标准；数据分析模块32，用于基于所述数据汇集结果进行数据分析以及统计分析，所述数据分析包括数据流程管理、项目目录管理以及函数配置，所述统计分析包括交互式查询、报表工具以及机器学习；数据管理模块33，用于基于所述数据汇集结果进行数据共享以及数据治理，所述数据共享包括数据共享管理以及数据共享收费，所述数据治理包括质量分析、血缘分析以及元数据分析。
上述，通过对轨道交通数据中的数据源、元数据、数据集以及数据标准进行数据汇集，并根据数据汇集结果进行数据分析、统计分析、数据共享以及数据治理，对轨道交通数据进行汇聚分析以及共享治理，有效打破轨道交通上的数据孤岛，并实现对轨道交通的数据采集和整理提供统一的数据标准，实现跨专业数据的有效整合和深度应用，实现多专业异构数据融合后的应用创新。
在一个可能的实施例中，所述数据汇集模块31在对轨道交通数据进行数据汇集时，具体包括：
对接轨道交通数据中的数据源并以资源目录的形式对数据源进行配置和管理，所述数据源的类型包括JDBC/ODBC数据库、FTP、HTTP、Socket、ElasticSearch中的一种或多种；
以资源目录的形式管理轨道交通数据中结构化和/或可解析的数据结构元数据，对关系型数据库以及CSV类需解析的文件生成元数据；
以数据集的形式管理结构化和/或可解析的轨道交通数据，并构建资源目录和/或数据仓库；
将不同语义的轨道交通数据按照设定标准转换为统一标准数据，所述设定数据标准采用资源目录的形式进行配置和管理。
在一个可能的实施例中，所述数据分析模块32在基于所述数据汇集结果进行数据分析时，具体包括：
将轨道交通数据的数据处理单元拖拽并组合成有向无环图，形成数据流程，通过数据流程管理功能，进行数据批处理、流计算以及混合调用流程的编排、运行及监控；
通过Browser组件接入目录管理请求，通过Gateway进行验证并将目录管理请求分发至AppServer，由AppServer中数据源APP与元数据库交互，以集中数据集、元数据和数据流程；
通过Browser组件接入函数配置请求，通过Gateway进行验证并将函数配置请求分发至PlatformServer，由PlatformServer与元数据库交互，实现函数配置功能。
在一个可能的实施例中，所述数据分析模块32在基于所述数据汇集结果进行统计分析时，具体包括：
通过Browser组件接入交互查询请求，通过Gateway进行验证，并根据查询类型对轨道交通数据进行交互查询；
通过Browser组件接入报表请求，通过Gateway进行验证并将报表请求分发至AppServer，由AppServer中报表工具APP与元数据库交互，对报表配置参数、指标元数据执行报表工具功能；
通过Browser组件接入学习请求，通过Gateway进行验证并将学习请求分发至PlatformServer，由PlatformServer与元数据库交互，并执行机器学习流程。
在一个可能的实施例中，所述数据管理模块33在基于所述数据汇集结果进行数据共享时，具体包括：
由数据库交换接口将交换策略定制的数据集增量和/或全量推送到设定的数据交换前置服务器；
由文件交换接口将交换策略定制的数据集按设定格式要求生成交换文件，并推送到设定的数据交换前置服务器；
由RestAPI服务交换接口将交换策略定制的数据集按标准格式要求生成Restful接口服务，并在设定的服务器进行发布；
对发布的数据资源进行数据申请和/或数据订阅的共享，通过Browser组件接入共享请求，通过Gateway进行验证并将共享请求分发至AppServer，由AppServer中数据共享消费APP组件进行数据共享。
在一个可能的实施例中，所述数据管理模块33在基于所述数据汇集结果进行数据治理时，具体包括：
通过Browser组件接入质量分析请求，通过Gateway进行验证并将质量分析请求分发至AppServer，由AppServer中数据质量APP与元数据库交互，并进行质量分析；
通过Browser组件接入血缘分析请求，通过Gateway进行验证并将血缘分析请求分发至AppServer，由AppServer中血缘分析APP与元数据库交互，并进行血缘分析；
通过Browser组件接入元数据分析请求，通过Gateway进行验证并将元数据分析请求分发至AppServer，由AppServer中元数据分析APP与元数据库交互，并进行元数据分析。
在一个可能的实施例中，所述装置还包括***运维模块，用于基于所述数据汇集结果进行运维监控以及***管理，所述运维监控包括任务监控、运维管控以及访问监控，所述***管理包括统一门户、权限管理以及日志审计。
在一个可能的实施例中，所述***运维模块在基于所述数据汇集结果进行运维监控时，具体包括：
通过Browser组件接入任务监控请求，通过Gateway进行验证并将任务监控请求分发至AppServer，由AppServer中任务监控APP与元数据库、日志库交互，并进行任务监控；
通过Browser组件接入运维管控请求，通过Gateway进行验证并将运维管控请求分发至AppServer，由AppServer中运维管控APP与元数据库、日志库交互，并进行运维管控；
通过Browser组件接入访问监控请求，通过Gateway进行验证并将访问监控请求分发至AppServer，由AppServer中访问监控APP与元数据库、日志库交互，并进行访问监控。
在一个可能的实施例中，所述***运维模块在基于所述数据汇集结果进行***管理时，具体包括：
通过Browser组件接入前端发出的用户登录请求，用户登录请求通过Gateway进行验证分发，用户信息保存在元数据库中，根据用户权限将请求返回前端并显示；
通过Browser组件接入权限管理请求，通过Gateway进行验证并将权限管理请求分发至元数据库进行权限管理；
通过Browser组件接入日志审计请求，通过Gateway进行验证并将日志审计请求分发至AppServer，由AppServer中日志审计APP与元数据库、日志库交互进行日志审计。
图4给出了本申请实施例提供的一种轨道交通数据分析***的架构示意图。本实施例提供的轨道交通数据分析***基于lambda架构进行搭建，并用于实现如上述任意实施例提供的轨道交通数据分析方法。
如图4所示，本申请实施例提供的轨道交通数据分析***包括数据源层41、交换汇集层42、存储计算层43、统计分析层44、数据流程层45、数据质量层46和数据共享层47，并由上述各功能层级共同完成上述任意实施例提供的轨道交通数据分析方法。
其中数据源层41配置有设备状态、告警故障、事件记录、能耗统计、故障录波以及列车时刻等轨道交通数据的收集功能，交换汇集层42配置有接口适配、文件传输、数据加载、数据转换以及采集调度等数据交换汇集功能，存储计算层43配置有数据仓库、存储引擎(包括分布式文件、关系数据库、MPP数据库以及NoSQL等存储引擎)以及计算引擎(包括流式计算以及离线计算等计算引擎)，统计分析层44配置有数据检索、多维分析、数据挖掘、机器学习以及自助报表等统计分析功能，数据共享层47配置有申请审批、服务发布以及推送订阅等数据共享功能。
本申请实施例还提供了一种计算机设备，该计算机设备可集成本申请实施例提供的轨道交通数据分析装置。图5是本申请实施例提供的一种计算机设备的结构示意图。参考图5，该计算机设备包括：输入装置53、输出装置54、存储器52以及一个或多个处理器51；所述存储器52，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器51执行，使得所述一个或多个处理器51实现如上述实施例提供的轨道交通数据分析方法。其中输入装置53、输出装置54、存储器52和处理器51可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器52作为一种计算设备可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的轨道交通数据分析方法对应的程序指令/模块(例如，轨道交通数据分析装置中的数据汇集模块31、数据分析模块32和数据管理模块33)。存储器52可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器52可进一步包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置53可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置54可包括显示屏等显示设备。
处理器51通过运行存储在存储器52中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的轨道交通数据分析方法。
上述提供的轨道交通数据分析装置、设备、***和计算机可用于执行上述任意实施例提供的轨道交通数据分析方法，具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的轨道交通数据分析方法，该轨道交通数据分析方法包括：对轨道交通数据进行数据汇集，所述轨道交通数据包括数据源、元数据、数据集以及数据标准；基于所述数据汇集结果进行数据分析以及统计分析，所述数据分析包括数据流程管理、项目目录管理以及函数配置，所述统计分析包括交互式查询、报表工具以及机器学习；基于所述数据汇集结果进行数据共享以及数据治理，所述数据共享包括数据共享管理以及数据共享收费，所述数据治理包括质量分析、血缘分析以及元数据分析。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机***存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机***中，或者可以位于不同的第二计算机***中，第二计算机***通过网络(诸如因特网)连接到第一计算机***。第二计算机***可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的轨道交通数据分析方法，还可以执行本申请任意实施例所提供的轨道交通数据分析方法中的相关操作。
上述实施例中提供的轨道交通数据分析装置、设备、***及存储介质可执行本申请任意实施例所提供的轨道交通数据分析方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的轨道交通数据分析方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (14)

1.一种轨道交通数据分析方法，其特征在于，包括：
对轨道交通数据进行数据汇集，所述轨道交通数据包括数据源、元数据、数据集以及数据标准；
基于所述数据汇集结果进行数据分析以及统计分析，所述数据分析包括数据流程管理、项目目录管理以及函数配置，所述统计分析包括交互式查询、报表工具以及机器学习；
基于所述数据汇集结果进行数据共享以及数据治理，所述数据共享包括数据共享管理以及数据共享收费，所述数据治理包括质量分析、血缘分析以及元数据分析。
2.根据权利要求1所述的轨道交通数据分析方法，其特征在于，所述对轨道交通数据进行数据汇集，包括：
对接轨道交通数据中的数据源并以资源目录的形式对数据源进行配置和管理，所述数据源的类型包括JDBC/ODBC数据库、FTP、HTTP、Socket、ElasticSearch中的一种或多种；
以资源目录的形式管理轨道交通数据中结构化和/或可解析的数据结构元数据，对关系型数据库以及CSV类需解析的文件生成元数据；
以数据集的形式管理结构化和/或可解析的轨道交通数据，并构建资源目录和/或数据仓库；
将不同语义的轨道交通数据按照设定标准转换为统一标准数据，所述设定数据标准采用资源目录的形式进行配置和管理。
3.根据权利要求1所述的轨道交通数据分析方法，其特征在于，基于所述数据汇集结果进行数据分析包括：
将轨道交通数据的数据处理单元拖拽并组合成有向无环图，形成数据流程，通过数据流程管理功能，进行数据批处理、流计算以及混合调用流程的编排、运行及监控；
通过Browser组件接入目录管理请求，通过Gateway进行验证并将目录管理请求分发至AppServer，由AppServer中数据源APP与元数据库交互，以集中数据集、元数据和数据流程；
通过Browser组件接入函数配置请求，通过Gateway进行验证并将函数配置请求分发至PlatformServer，由PlatformServer与元数据库交互，实现函数配置功能。
4.根据权利要求1所述的轨道交通数据分析方法，其特征在于，基于所述数据汇集结果进行统计分析包括：
通过Browser组件接入交互查询请求，通过Gateway进行验证，并根据查询类型对轨道交通数据进行交互查询；
通过Browser组件接入报表请求，通过Gateway进行验证并将报表请求分发至AppServer，由AppServer中报表工具APP与元数据库交互，对报表配置参数、指标元数据执行报表工具功能；
通过Browser组件接入学习请求，通过Gateway进行验证并将学习请求分发至PlatformServer，由PlatformServer与元数据库交互，并执行机器学习流程。
5.根据权利要求1所述的轨道交通数据分析方法，其特征在于，基于所述数据汇集结果进行数据共享包括：
由数据库交换接口将交换策略定制的数据集增量和/或全量推送到设定的数据交换前置服务器；
由文件交换接口将交换策略定制的数据集按设定格式要求生成交换文件，并推送到设定的数据交换前置服务器；
由RestAPI服务交换接口将交换策略定制的数据集按标准格式要求生成Restful接口服务，并在设定的服务器进行发布；
对发布的数据资源进行数据申请和/或数据订阅的共享，通过Browser组件接入共享请求，通过Gateway进行验证并将共享请求分发至AppServer，由AppServer中数据共享消费APP组件进行数据共享。
6.根据权利要求1所述的轨道交通数据分析方法，其特征在于，基于所述数据汇集结果进行数据治理包括：
通过Browser组件接入质量分析请求，通过Gateway进行验证并将质量分析请求分发至AppServer，由AppServer中数据质量APP与元数据库交互，并进行质量分析；
通过Browser组件接入血缘分析请求，通过Gateway进行验证并将血缘分析请求分发至AppServer，由AppServer中血缘分析APP与元数据库交互，并进行血缘分析；
通过Browser组件接入元数据分析请求，通过Gateway进行验证并将元数据分析请求分发至AppServer，由AppServer中元数据分析APP与元数据库交互，并进行元数据分析。
7.根据权利要求1所述的轨道交通数据分析方法，其特征在于，所述对轨道交通数据进行数据汇集之后，还包括：
基于所述数据汇集结果进行运维监控以及***管理，所述运维监控包括任务监控、运维管控以及访问监控，所述***管理包括统一门户、权限管理以及日志审计。
8.根据权利要求7所述的轨道交通数据分析方法，其特征在于，所述基于所述数据汇集结果进行运维监控包括：
通过Browser组件接入任务监控请求，通过Gateway进行验证并将任务监控请求分发至AppServer，由AppServer中任务监控APP与元数据库、日志库交互，并进行任务监控；
通过Browser组件接入运维管控请求，通过Gateway进行验证并将运维管控请求分发至AppServer，由AppServer中运维管控APP与元数据库、日志库交互，并进行运维管控；
通过Browser组件接入访问监控请求，通过Gateway进行验证并将访问监控请求分发至AppServer，由AppServer中访问监控APP与元数据库、日志库交互，并进行访问监控。
9.根据权利要求7所述的轨道交通数据分析方法，其特征在于，基于所述数据汇集结果进行***管理包括：
通过Browser组件接入前端发出的用户登录请求，用户登录请求通过Gateway进行验证分发，用户信息保存在元数据库中，根据用户权限将请求返回前端并显示；
通过Browser组件接入权限管理请求，通过Gateway进行验证并将权限管理请求分发至元数据库进行权限管理；
通过Browser组件接入日志审计请求，通过Gateway进行验证并将日志审计请求分发至AppServer，由AppServer中日志审计APP与元数据库、日志库交互进行日志审计。
10.一种轨道交通数据分析装置，其特征在于，包括数据汇集模块、数据分析模块和数据管理模块，其中：
数据汇集模块，用于对轨道交通数据进行数据汇集，所述轨道交通数据包括数据源、元数据、数据集以及数据标准；
数据分析模块，用于基于所述数据汇集结果进行数据分析以及统计分析，所述数据分析包括数据流程管理、项目目录管理以及函数配置，所述统计分析包括交互式查询、报表工具以及机器学习；
数据管理模块，用于基于所述数据汇集结果进行数据共享以及数据治理，所述数据共享包括数据共享管理以及数据共享收费，所述数据治理包括质量分析、血缘分析以及元数据分析。
11.根据权利要求10所述的一种轨道交通数据分析装置，其特征在于，还包括***运维模块，用于基于所述数据汇集结果进行运维监控以及***管理，所述运维监控包括任务监控、运维管控以及访问监控，所述***管理包括统一门户、权限管理以及日志审计。
12.一种轨道交通数据分析***，其特征在于，所述轨道交通数据分析***基于lambda架构进行搭建，并用于实现如权利要求1-9任一所述的轨道交通数据分析方法。
13.一种计算机设备，其特征在于，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9任一所述的轨道交通数据分析方法。
14.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9任一所述的轨道交通数据分析方法。
CN202010828219.6A 2020-08-17 2020-08-17 一种轨道交通数据分析方法、装置、设备及存储介质 Active CN111930807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010828219.6A CN111930807B (zh) 2020-08-17 2020-08-17 一种轨道交通数据分析方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010828219.6A CN111930807B (zh) 2020-08-17 2020-08-17 一种轨道交通数据分析方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111930807A true CN111930807A (zh) 2020-11-13
CN111930807B CN111930807B (zh) 2021-09-10

Family

ID=73304388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010828219.6A Active CN111930807B (zh) 2020-08-17 2020-08-17 一种轨道交通数据分析方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111930807B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667604A (zh) * 2021-01-04 2021-04-16 中车青岛四方车辆研究所有限公司 轨道交通tias***的时序数据、数据存储方法及装置
CN113094393A (zh) * 2021-03-16 2021-07-09 杭州数梦工场科技有限公司 数据汇聚方法及装置、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6161097A (en) * 1997-08-11 2000-12-12 The United Sates Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Automated traffic management system and method
CN101266679A (zh) * 2008-02-15 2008-09-17 上海申通轨道交通研究咨询有限公司 一种轨道交通辅助决策***及方法
CN103338261A (zh) * 2013-07-04 2013-10-02 北京泰乐德信息技术有限公司 一种轨道交通监测数据的存储和处理方法及***
CN104240017A (zh) * 2014-09-01 2014-12-24 广州市地下铁道总公司 一种城市轨道交通线网联网管理的方法
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6161097A (en) * 1997-08-11 2000-12-12 The United Sates Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Automated traffic management system and method
CN101266679A (zh) * 2008-02-15 2008-09-17 上海申通轨道交通研究咨询有限公司 一种轨道交通辅助决策***及方法
CN103338261A (zh) * 2013-07-04 2013-10-02 北京泰乐德信息技术有限公司 一种轨道交通监测数据的存储和处理方法及***
CN104240017A (zh) * 2014-09-01 2014-12-24 广州市地下铁道总公司 一种城市轨道交通线网联网管理的方法
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667604A (zh) * 2021-01-04 2021-04-16 中车青岛四方车辆研究所有限公司 轨道交通tias***的时序数据、数据存储方法及装置
CN113094393A (zh) * 2021-03-16 2021-07-09 杭州数梦工场科技有限公司 数据汇聚方法及装置、电子设备
CN113094393B (zh) * 2021-03-16 2023-07-14 杭州数梦工场科技有限公司 数据汇聚方法及装置、电子设备

Also Published As

Publication number Publication date
CN111930807B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN112685385B (zh) 一种用于智慧城市建设的大数据平台
EP2849098B1 (en) Cross system analytics for in memory data warehouse
CN112396404A (zh) 一种数据中台***
CN101645032B (zh) 应用服务器的性能分析方法和应用服务器
CN111625510A (zh) 一种基于云映射的多源数据共享***及方法
CN111930807B (zh) 一种轨道交通数据分析方法、装置、设备及存储介质
CN110377595A (zh) 一种车辆数据管理***
CN102917006A (zh) 一种实现计算资源和对象权限的统一控制管理方法及装置
CN104050182A (zh) 用于监测内存数据库的数据的可配置规则
CN113535846B (zh) 一种大数据平台及其构建方法
CN106874114A (zh) 快递业务管理软件***
Ebbers et al. Addressing data volume, velocity, and variety with IBM InfoSphere Streams v3. 0
CN111639121A (zh) 一种构建客户画像的大数据平台及构建方法
Zheng Database as a service-current issues and its future
Wu et al. An Auxiliary Decision‐Making System for Electric Power Intelligent Customer Service Based on Hadoop
CN111538720A (zh) 电力行业基础数据清理的方法及***
Martinviita Time series database in Industrial IoT and its testing tool
Liu et al. Database Development Based on Deep Learning and Cloud Computing
CN106993032A (zh) 基于移动互联网应用的嵌入式精准沟通云服务平台
Wang [Retracted] Design of an Integrated System of Psychological Health Education Resources for Vocational Students Using Fuzzy Clustering Algorithm Analysis
Dissanayake A study on real-time database technology and its applications
Luo et al. [Retracted] Design of Data Classification and Classification Management System for Big Data of Hydropower Enterprises Based on Data Standards
Yang Human resource big data analysis and decision making of group enterprises based on cloud platform
Sharma et al. A Comparative Study of Big Data Processing: Hadoop vs. Spark
Kukreja et al. Data Engineering with Apache Spark, Delta Lake, and Lakehouse: Create scalable pipelines that ingest, curate, and aggregate complex data in a timely and secure way

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant