CN112687097A - 一种高速公路路段级数据中台*** - Google Patents

Abstract

本说明书一个或多个实施例提供一种高速公路路段级数据中台***，基于弹性多源异构数据资源的标准化，对路网领域的海量复杂数据提供一种多模处理计算框架，实现多维数据异构数据快速识别、精准融合、高效处理，结合人工智能和机器学习技术，面向高速公路行业提供分析、预测、决策支持服务，为管理部门对于路段交通情况及潜在危险事件的早发现、早预防、早解决提供智能化、强有力的解决手段，基于微服务架构的数据模型与业务模型共享融合、开发服务，支持二次开发和第三方合作伙伴的接入与扩展，形成以数据中台为核心的业务数据生态体系。

Description

一种高速公路路段级数据中台***

技术领域

本说明书一个或多个实施例涉及交通数据处理技术领域，尤其涉及一种高速公路路段级数据中台***。

背景技术

我国高速公路经过近20年的发展和建设，到2018年底通车里程已突破14万公里。目前，国内各省高速公路日常运营管理相对比较粗放，各管理***产生快速、大量、多元和多源异构的数据没有得到充分的挖掘和利用。对大数据分析技术的应用还仅仅局限于特定细分领域的热点问题解决方案探索；

现交通部2019年发布《数字交通发展规划纲要》，提出“数据为关键要素和核心驱动”。新型信息技术包括云计算、人工智能、数据挖掘、计算机视觉、深度学习等正在得到广泛应用。车路化协同、边缘计算等交通行业新技术的应用都以对海量的数据高效管理和使用为基础，整合交通资源，促进跨领域的资源共享与数据开放，当前高速公路领域信息化建设信息孤岛遍布，管理效率低下，需要构建一体化、人性化、便捷化的高效运营与服务生态***。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种高速公路路段级数据中台***，以解决高速公路领域信息化建设信息孤岛遍布，管理效率低下的问题。

基于上述目的，本说明书一个或多个实施例提供了一种高速公路路段级数据中台***，包括：

采集模块和多源数据标准化接口，所述采集模块通过所述多源数据标准化接口进行高速公路数据信息的统一化、标准化采集；

存储模块，用于将所述采集模块采集的多种多样不同结构的高速公路数据进行分布式存储；

数据管理模块，用于对所述采集模块采集数据和存储模块存储数据进行数据管理，所述数据管理包括但不限于数据资源目录管理、数据质量管理和数据安全管理；

数据分析模块，用于根据业务需求，结合业务场景，匹配相应的AI算法模型，对存储模块存储的数据进行数据筛查和特征提取，得出分析结果；

API服务模块，用于向第三方平台提供接口，对各类场景服务的注册、发布、调度进行管理，并对正在运行的所有服务进行监控和管理；

门户服务模块，集成有应用***、数据资源和网络资源，用于为数据提供统一的访问接口；

运维管理模块，用于对***整体和性能进行监控，获取***的综合性能指标，对***使用的各种底层资源提供详细的性能监控。

优选地，数据来源包括基础数据、外部数据和运算数据，基础数据为高速公路路段公司自有数据，外部数据为高速公路智能管控提供用户宏观数据信息支持，运算数据用于建立流量智能管控模型算法，形成路段流量预警和管控策略，实现路段交通状态和安全风险评估管理。

优选地，多源数据标准化接口原则上采用Web Service服务技术，利用SOAP传输协议，数据交换接口规范采用XML/json格式描述，对于二进制数据采用Base64方式进行编码。所述数据规范包括统一的分类编码，统一的数据采集规程，统一的数据质量标准，统一的数据格式，统一的元数据标准等。

优选地，存储模块，解决了海量数据存储的难题，其所具备的全分布式架构、数据块粒度切分、在线扩容减容、复制备份及普通PC硬件适用性等关键技术，支撑了安全的PB级以上规模数据在线存储，使安全、低成本、可任意扩容的大数据存储成为可能。存储模块还用于将结构化、半结构化、非结构化数据进行存储。存储模块还用于对每个数据区中的数据按照数据主题进行存储，数据主题包括但不限于项目主题、标签库主题。

优选地，数据资源目录管理包括目录注册、目录更新、元数据同步、主数据同步、目录查询、数据归档及恢复，数据质量管理包括数据质量检查规则、数据问题展示、任务管理，为第三方平台提供链路保障、环境及数据质量监测和定期报告，数据安全管理包括数据库状态监控、数据库审计、数据库风险扫描和访问控制，通过分层建设、分级防护，解决数据脱敏、追溯和审计问题，对敏感信息进行脱敏、变形。

优选地，数据分析模块还用于，对存储模块存储的数据进行数据筛查后，对筛查出的数据进行预处理，预处理包括：对筛查出的数据、图像、影像进行集合校准，以及转换数据格式。

优选地，特征提取包括：计算每个筛查后得到的数据的增益值，对每一个筛查后得到的数据的增益值进行从大到小排序，将增益值最大的个特征项输出到文件，将原始文档和待分类文档向量化，计算原始文档和待分类文档向量的夹角的余弦，在训练文本集中选出与新文本最相似的文本，形成特征级融合。

优选地，运维管理模块包括对集群网络、Hadoop***、资源作业、Web服务、数据库监控、硬件设备、***负载的监控，及预警报警和日志统计分析。

从上面所述可以看出，本说明书一个或多个实施例提供的高速公路路段级数据中台***，实现高速公路运营管理业务数据数据深度融合组件技术，有利于业务***以模块化方式在中台沉淀，以融合组件模式共享开放，降低了新增业务模块建设开发的成本与门槛，节省开发时间，并且实现企业经验能力的积累，更好的适应多遍的市场环境，提高应变能力与竞争力。

实现高速公路路段级数据中台设计方法，有利于通过研究高速公路跨领域、跨部门、跨平台数据中台技术，形成集数据资源管理、数据共享交换、数据标准化开放服务于一体的标准化数据指挥调度服务中枢平台，构筑数据综合指挥调度和分析服务技术基石，推动大数据技术在高速公路日常运营管理决策中的深度应用，有效提升高速公路日常运营管理决策水平。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例的数据中台***架构设计图；

图2为本说明书一个或多个实施例的采集模块、存储模块和数据交换模块的数据交换服务示意图；

图3为本说明书一个或多个实施例的数据管理模块的数据资源管理流程图；

图4为本说明书一个或多个实施例的数据分析模块的算法模型应用示例图；

图5为本说明书一个或多个实施例的API服务模块的应用开发过程管理示意图；

图6为本说明书一个或多个实施例的门户服务模块的用户服务示意图；

图7为本说明书一个或多个实施例的运维管理模块的***安全管控示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

对于当前高速公路领域信息化建设信息孤岛遍布、管理效率低下等现状问题和特点，本发明着力解决的技术问题如下：

1、如何构建标准化、流程化、规范化的数据体系？

数据不是拿来看的，而是拿来用的。大一统的数据中心只是完成了数据接入整合、统一汇聚、存储的第一步，要想充分发挥数据中心海量多源异构数据的应用价值、提供服务，就必须构建一个标准化、流程化、规范化的数据体系，全局认知和构建数据世界的新框架。

数据体系的要素，包括总体、技术层面、业务层面和管理体系层面；数据体系的构建是一个解构、重构、创新、优化、一体化的构建过程，要把数据体系、业务体系、组织体系协调管理起来，建立数据指挥调度平台；把标准、规则、流程建立起来，把数据逻辑、业务逻辑及如何实现数据最小颗粒度、标准化关联和责任体系管理起来；为了管理好数据，还要把目录、标签、清晰应用、主题服务管理起来。通过这个新的数据体系，真正能形成采集、汇聚、融合、治理、开发、维护一体化的长效机制。此体系绝对不是各个***简单地拼装、关联，而是一个生命体。构建一站式数据资源管理与服务平台，全面管控数据质量，提升数据资源规范化管理能力，改善传统数据信息不共享导致的“数据烟囱、信息孤岛”现象，从根本上发挥出数据的最大价值，打破数据孤岛，完成行业全域大数据融合。

2、如何支撑行业跨部门、跨领域、跨区域数据资源共享交换服务？

当前随着跨部门、跨领域、跨区域的精细化管理的需要，越来越多的单位需要进行业务交互协同才能实现提升管理水平、进而实现精细化管理的目标。业务协同的基础就是信息***之间能够互联互通，信息资源共享交换逐步常态化、信息资源同步化，首先解决信息资源不对称、信息资源分布不平衡的问题，才能进行业务深度协同，未来达到业务融合。

那么，为了实现跨部门、跨领域数据资源共享交换服务，首先要解决4W1H的问题：即数据是什么(What)，数据在哪儿(Where)，数据谁需要(Who)，数据存在什么价值(Why)，数据怎么共享交换(How)。

然而，现有的数据共享交换方式还处于功能碎片化、一事一议、被动式应对的局面，***应用模块之间更没有进行科学整合和集成，尚未建立标准化的数据资源共享交换体系，数据共享交换也远远未达到一种闭环式的“智慧共享”应用和管理模式。因此无法满足多级部门日益增长的对信息资源共享交换过程的标准化、高效化、便捷化、高品质服务、精细化管理等方面的要求，从而无法高效支撑多级部门日益增长的信息资源共享交换需求。有必要研究构建一个流程统一、标准可靠、安全高效的共享交换服务***，从办事流程、资源标准、权限控制、质量监控等功能支撑方面，满足高速公路跨部门、跨领域、跨区域数据资源共享交换服务的需要。

3、如何提高高速公路运营管理部门综合监测协调分析服务水平？

目前高速公路收费、养护、日常运营管理、安全应急等各个领域均已不同程度建成相关业务管理***，但面对群众多样性出行要求、新业态的跨部门协作、安全生产事故的多部门应急处置需求，暴露出了现有行业综合性监测协调能力不足，缺少对现有各业务线的数据资源进行整合、缺少对外部数据资源的共享接入。行业管理长期以来是“出现问题-解决问题”的模式，但真正能够避免问题的出现才是行业管理要达到的最终目标，这就需要行业管理具备主动性、预防性能力。但目前行业综合分析能力的不足，无法对行业趋势进行科学的研判，难以辅助行业管理决策。另外，目前行业出行服务仍分散在各条业务线，无法提供一体化的出行服务体系，无法满足群众多样性的出行要求。

可见，高速公路运营管理部门面临的管理问题日趋区域化、综合性，行业综合协调能力已显不足，因此，需要实现跨部门之间的信息互通和业务联动，包括高速公路***内、外的信息互通和协调联动，亟需在不同行业、不同区域间建立起信息共享和业务协同联动机制，使得在高速公路日常综合运营管理过程中，各级主管部门、各业务部门之间信息畅通、交通部门与其它政府职能部门之间的联动信息通报及时，大大提升高速公路运营管理部门综合监测协调分析服务水平。

4、如何促进行业信息基础支撑环境集约化建设、减少重复投资？

目前，高速公路各细分管理领域业务部分信息化建设多以独立建设为主，各单位根据本部门的业务需求分别建设了应用***及应用支撑环境，使得每个业务***都成为一个信息孤岛，给数据资源的交换共享、统筹应用造成了一定难度。解决以上问题的关键是实现行业数据资源的汇聚、整合、应用。构建一站式标准化数据指挥调度服务中枢平台，平台建成后，高度的功能集成、信息整合和资源共享能够有效减少各管理部门***的重复建设投资，以及相关的***维护成本，从而减少相应的资金支出。

对此，我们进行了高速公路路段公司现状调研，对其业务流程和数据现状进行分析，并摸清路段公司存在的跨领域、跨部门、跨平台的业务协同、数据交换共享和决策管理需求，同时，进行国内类似优秀平台的研究，进行以往项目的总结与回顾和进行项目相关资料收集查询，以便进行经验借鉴。

其次，进行高速公路运营管理中台体系框架研究，从业务架构、功能架构、技术架构等方面对数据中台进行体系化研究、设计，形成贴合高速公路运营管理特点和数据处理应用需求的体系框架，实现“六个统一”的业务运营模式，即：

(1)统一服务资源分配：资源的申请、分配、监管、回收的多租户模式的统一配置；

(2)统一数据管理流程：从接入、存储、清洗、加工到交换服务的全生命周期管理流程标准化；

(3)统一数据目录管理：基于多级目录的数据接入、整合、清洗、分类编目的统一管理；

(4)统一数据交换服务：统一多源异构数据资源的按需分配、交换服务；

(5)统一应用开发规范：统一应用设计开发、测试、部署运行及运维管理规范；

(6)统一***安全管控：统一认证、账号、授权和审计管理，全面保障***安全。

然后，进行高速公路路段级数据中台开发，包括采集存储、数据管理、AI模型、API服务、门户服务、运维管理，并编制形成高速公路大数据中台技术标准规范；功能规划策略概括为“五个一”，即：

(1)One Pipe:提供数据抽取和整合的能力，解决数据抽取和治理的问题；

(2)One Data:提供数据资产整合和管理的能力，解决数据沉淀为资产的问题；

(3)One AI:提供智能预判的能力，构建“交通大脑”，解决由信息化过渡到智能化的问题；

(4)One Service:建立能力开放体现，将数据植入业务，解决业务数据化，数据价值化；

(5)One Maintain:建立统一的维护、运行支撑平台，运维精细化、标准化，解决***扩展和高可用性。

本说明书的实施例公开一种高速公路路段级数据中台***，包括采集模块、多源数据标准化接口、存储模块、数据交换模块、数据管理模块、数据分析模块、API服务模块、门户服务模块和运维管理模块，其中采集模块通过多源数据标准化接口进行高速公路数据的统一化、标准化采集，存储模块用于将采集模块采集的高速公路数据按数据来源进行分类存储，举例来说，数据采集涉及到离线数据和(准)实时数据的统一接口和数据准备，实现数据实时同步功能，支持数据增量或全量同步，***交互模式支持同步与异步方式。面向准PB级海量异构高速公路大数据存储、处理及迁移，实现实时接收的分布式消息队列流处理进行计算或存储，能够将非结构化数据进行结构化处理后再存储，支持历史数据的积累、抽取和清洗等，根据数据业务需求实现信息分布式存储。

交通大数据根据数据来源对数据进行分区存储，共分为基础数据区、外部数据区、运算数据区，每个数据区中的数据按照数据主题进行存储，数据主题支持用户自定义。

(1)基础数据：来自路公司自有的***及运营过程中产生的数据，属于高速公路路段公司自有数据。包括：基础路段GIS数据、交调站数据、桥隧基础数据、历史交易明细数据、历史事故和流量数据信息、视频监控数据、服务区数据、道路规划数据、道路养护数据等。

(2)外部数据：为高速公路智能管控提供用户宏观数据信息支持。包括：气象数据、交警***数据、网络信息数据、用户使用评论数据、车辆联网等平台数据、其他合作或购买的数据等。

(3)运算数据：建立流量智能管控模型算法,形成路段流量预警和管控策略,实现路段交通状态和安全风险评估管理。包括：短时路况预测数据、交通事件研判特征数据、重点车辆识别轨迹数据、收入预测数据、断面流量短时预测数据、风险辨识数据等。

数据主题包括项目主题、标签库主题、其他主题等。

本数据中台***提供统一的数据接入方式，实现多源化采集，统一存储处理。数据类型应支持结构化和非结构化数据采集。采集方式上同时支持周期性接口文件的批量采集和产生频率高、实时性强的数据以数据流形式采集。

数据交换作为一体化集成平台重要组成部分，主要实现各平台之间，各业务间的数据交换。本***根据国家/行业标准，结合实际应用制定数据接口技术规范。由于***面对的行业数据量大，数据类别多，制定接口标准规范具有重大的意义。技术规范主要包括接入服务规范、接入服务输入参数规范、接入服务返回值规范，数据到达通知数据格式，交换日志规范等内容。原则上采用Web Service服务技术，利用SOAP传输协议，数据交换接口规范采用XML/json格式描述，对于二进制数据采用Base64方式进行编码。数据规范包括统一的分类编码，统一的数据采集规程，统一的数据质量标准，统一的数据格式，统一的元数据标准等。

多源数据标准化接口要求满足如下内容：

(1)对数据交互提供企业级的支持，在***高并发和大容量的基础上提供安全可靠的交互。

(2)提供完善的信息安全机制，以实现对信息的全面保护，保证***的正常运行。应防止大量访问以及大量占用资源的情况发生，保证***的健壮性。

(3)提供有效的、***的可监控机制，以使接口的运行情况可监控，以便及时发现错误及排除故障。

(4)在充分利用***资源的前提下，实现***平滑的移植和扩展，同时在***并发增加时提供***资源的动态扩展，以保证***的稳定性。

(5)在进行扩容、新业务扩展时，能提供快速、方便和准确的实现方式。

(6)接口技术实现方式保持中立性。

(7)提供信息交换中自动标记输入和输出来源出处的功能。

接口通信基于主流的通信协议，并满足以下内容：

(1)数据传输具备可控制性，提供数据重发功能。

(2)数据传输具备可靠性，确保数据不会丢失，并进行充分的数据校验。

(3)大数据传输具备断点续传的功能。

接口方式管理应满足以下内容：

(1)信息交换方式符合XML数据交换标准。

(2)交互操作服务接口符合WebServices标准。

(3)***交互模式支持同步与异步方式。

(4)交互数据支持各种数据类型。

数据接口模型由数据结构、数据集、附件集组成：

(1)数据结构用来描述接口的结构信息，是可选元素。

(2)数据集是用来封装结构化数据，是可选元素。

(3)附件集是用来表述非结构化数据，是可选元素。

(4)数据集和附件集可以并存或单独出现。

存储模块为本数据中台***提供的全域数据的存储中心，按照不同的数据类型，将多种数据存储***的进行“混搭”，实现高效、稳定、安全的数据存储；建立分析型数据仓库，对海量复杂数据进行数据挖掘；建立关系型数据库支撑业务交互流转；利用数据湖技术处理数据的复杂格式，解决企业的数据孤岛的问题。

通过视频联网平台将路网上的各摄像汇聚，进行数据获取和设备控制，通过设备接入平台将路网各检测器和发布设备接入，获取数据并控制。

对于行业已有平台的数据、其他途获取到的数据，基础数据平台会将各有关业务***通过适配器和交换平台挂接，获取多种多样不同结构的所需数据。

分布式***的引入，解决了海量数据存储的难题，其所具备的全分布式架构、数据块粒度切分、在线扩容减容、复制备份及普通PC硬件适用性等关键技术，支撑了安全的PB级以上规模数据在线存储，使安全、低成本、可任意扩容的大数据存储成为可能。可将结构化、半结构化、非结构化数据进行存储。

(1)结构化数据存储区：

在数据资源中心上建立结构化数据存储区，存储管理传统的关系型数据，建立基础库、业务库和主题库，支撑生产运营应用、交通安全应用、公众服务应用、辅助决策应用等业务数据，对基础数据产品、固定报表业务以及商务智能应用提供数据支撑。时序数据存储区

定制开发时序数据存储区，以存储管理海量时序监测数据，并提供高效的查询处理等数据服务能力。时序数据具有数据量大、接入平均速率高、数据时序特征显著、数据接入不间断等特点，其访问方式也具有显著的基于时序的特征。

(a)时序数据存储

定制开发时序数据存储区，以存储管理海量时序监测数据。时序数据元数据管理

实现对时序数据元数据的统一管理。允许用户根据实际的使用场景和数据模型对元数据进行建模，统一数据模型，简化数据访问使用。支持数据的多版本维护，当模型变更时，变更前后的数据都可以在***上有效保存。

(b)时序数据时间范围查询

支持时间序列数据的专用查询功能，包括给定时间范围对原始数据值查询和给定时间范围内数据的聚合操作查询等。

其中，原始数据值查询是指选定域，以及开始时间和结束时间，对此时间范围内的某些指标的实际数值进行查询；而聚合操作查询是指选定域，以及开始时间和结束时间，对此时间范围内的某些指标的实际数值进行聚集(如：sum、count、max、min)查询。

(c)时序数据模糊点查询

支持在时间序列数据上给定时间点，对此时刻附近的指标数值进行查询。包括向前、向后、前后，最近数据点的查询，其中查询数据点数可以是单点或多点查询。

(d)时序数据多维过滤查询

支持时间序列数据的多维过滤查询功能，包括指定不同属性的取值范围进行联合过滤查询、对符合过滤条件的数据的聚合查询、对时间序列数据值的缩放、时间序列之间进行对齐的查询等。

联合过滤查询是指选点域，并设定开始时间和结束时间，设定某些指标的取值条件(这些指标取值条件之间可以是or或and的任意组合)，然后对满足条件的某些指标进行值查询；

聚合查询则是对满足过滤条件的指标数据进行聚集(如：sum、average等)操作。

对时间序列数据值的缩放是指对符合过滤条件的数值进行转换(如：对所有结果进行乘以10操作)。

对齐查询是指对查询结果按照给定时间序列进行对齐操作，使得所有指标的数据值都落在相同的时刻上。

(e)时序数据实例反查

支持时序数据实例反查功能，即根据指定的数据条件，找到满足该条件的数据所对应的对象或资产实例。如：给定某些指标以及这些指标的数值范围，它们之间可以通过or或and任意组合，并设定开始时间和结束时间，查询所有满足这些条件的域。

(2)半结构数据存储区：

气象、互联网舆情、Web及社交媒体等海量半结构数据化、结构化数据，以及大数据分析过程中产生的中间过程、结果数据等大规模数据集合具有多重数据种类，搭建半结构数据库，如HBase对其进行存储。HBase具有易扩展、性价比高、运维成本低等优点，同时其部署集群机器可以使用普通SATA盘来支持海量半结构数据化、结构化数据。HBase用于半结构数据化、结构化数据的NoSQL存取方案的优势如下：

(a)HBase的列可以动态增加，很好的适用于半结构数据化数据即存储模式不确定的应用场景；

(b)当列为空时，不存储数据，避免浪费存储空间；

(c)可以存储多个版本的数据；

(d)通过HRegion动态Split和Merge实现自动扩展，并使用HDFS提供的多个数据备份功能，实现高可用性；

(e)集群可扩展性，由于HBase基于HDFS存储数据，当数据量增大到当前集群不能承受时，可以基于HDFS的集群扩展，通过增加机器来方便的进行水平扩展；

(f)HBase采用强一致性模型，在一个写返回后，保证所有的读都读到相同的数据；

(g)采用HRegionServer和DataNode运行在相同的服务器上实现数据的本地化，提升读写性能，并减少网络压力；

(h)内建HRegionServer的宕机自动恢复。采用WAL来Replay还未持久化到HDFS的数据；

(i)可以无缝的和Hadoop/MapReduce集成，通过封装接口实现对NoSQL元数据管理。通过封装相应的接口，实现对外提供半结构数据访问服务。

大数据支撑***中的数据，除了传统的结构化数据以外，还包括海量规模(PB级别)的非结构化、半结构数据化数据，如图片、监控视频、标准规范等。面向海量规模的非结构化、半结构数据化数据存储，传统的集中式、阵列式存储模式已经无法满足海量数据的存储需求，且存在扩容性不强、可靠性及高可用性不佳等问题。分布式文件***的引入，解决了海量数据存储的难题，支撑了安全的PB级以上规模数据在线存储，使安全、低成本、可任意扩容的大数据存储成为可能。

分布式文件***是指基于客户机/服务器模式，文件***管理的物理资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件***表现为文件数据存储在分散的低成本存储介质上，对外提供一致的文件访问接口，具有良好的容错性。

数据交换模块用于将存储模块存储的高速公路数据信息发送给数据调用方，并从第三方平台获取高速公路数据信息，举例来说，通过ELT平台批量进行数据的批量交换，包括接收、发送预处理数据，将数据发送给开放测试集群和下发给业务应用，通过Web服务调用实现业务***服务调用，通过消息队列的方式进行业务***实时监控。

本数据中台***提供统一的大数据计算能力，针对不同大数据处理场景，提供与之匹配的数据计算框架模型，主要包括批量离线计算(MapReduce等)、内存计算(Spark、Ignite等)、在线流式计算(Storm、Samza、Spark Streaming等)、预测学习类计算(Mahout、Spark MLib、Caffe、Keras、TensorFlow等)。

(1)实时性

在路网运行状态、交通通行流量等领域，通常需要对采集到的关键指标数据进行及时的运算，通过接收实时数据接口发送来的实时数据，根据预先定的数据规则进行实时数据计算。

(2)并行性

高速公路领域收集的数据通常来说是以TB级别或PB级别存储的。对于此类量级的数据，几乎任何非并行化的分析引擎都无法在有效的时间内计算分析出结果。并行化分析引擎将待分析的数据有效并行起来执行计算和分析，使得在可行的时间内得出计算分析结果。

前述数据管理模块，用于对采集模块采集数据和存储模块存储数据进行数据管理，数据管理包括但不限于数据目录管理、数据质量管理和数据安全管理，

数据中台提供数据资产的管理，实现对数据资产价值的获取、管控、交付等，并制定数据规范，详细规范数据口径、公共术语、参考数据、编码模式等，实现数据管理的标准化；建立数据模型，对***中核心的逻辑模型、物理模型、数据库表、字段、视图等进行统一规划和管控；统一元数据管理，包括业务元数据、技术元数据、流程元数据和数据管理制度元数据等；建立完善的数据质量管理体系，包括技术稽核、质量度量、效果评估等，以改进数据的质量水平；建立数据安全管理机制，制定数据安全策略，提供数据认证、授权、审计等安全管理方法。

数据资源目录管理包含目录注册、目录更新、元数据同步、主数据同步、目录查询、数据归档及恢复等功能，采集存储的数据支持根据数据来源、业务主体、生命周期、服务方式等分目。

数据质量管理为平台提供链路保障、环境及数据质量监测、定期报告，包括数据质量检查规则、数据问题展示、任务管理功能，保障获得足够的高质量的数据，为数据融合、分析奠定基础。

数据安全管理通过分层建设、分级防护，解决数据脱敏、追溯和审计问题，对敏感信息进行脱敏、变形，由此提高数据管理人员的工作效率，同时规避数据泄露风险，具有数据库状态监控、数据库审计、数据库风险扫描、访问控制等多种引擎，对客户信息资产安全、敏感信息保护提供完善的保护。

前述数据分析模块用于根据业务需求，结合业务场景，匹配相应的数据融合AI算法，对存储模块存储的数据进行数据筛查和特征提取，得出分析结果，还用于对存储模块存储的数据进行数据筛查后，对筛查出的数据进行预处理，所述预处理包括：对筛查出的数据、图像、影像进行集合校准，以及转换数据格式。

举例来说，数据分析模块可采用AI模型***，结合现有业务应用场景如事件检测、路况巡查、流量仿真、流量预测、桥梁异常检测及健康评估等，实现对数据资源的深度利用，通过挖掘有效信息、建立知识图谱、形成数据资产，进而达到驱动业务运营的目的，完成企业的知识沉淀。

数据融合处理解决的是用户数据的割裂性、无法全面勾勒用户全貌的问题，数据的割裂性导致对用户的认识比较片面，可能做出错误的决策，不同源业务数据的融合，增强数据的互补性和完整性，将有效提升数据内涵价值，维度建模主要实现跨越数据的整合，整合的形式为汇总、关联、解析等。

数据融合利用逻辑算法、计算机技术等对多源异构数据(结构化、半非构化数据)进行支配、整合，进而得到更加准确全面的信息结果。进行数据融合最重要的原因是用户数据的割裂性，无法全面勾勒用户的全貌，数据的割裂性导致对用户的认识比较片面，可能做出错误的决策。数据融合利用相关手段将调查、分析获取到的所有信息全部综合到一起，并对信息进行统一的评价，最后得到统一的信息，目的是将各种不同的数据信息进行综合，吸取不同数据源的特点然后从中提取出统一的，比单一数据更好、更丰富的信息。

多源数据融合技术应用于高速大数据时不仅能实现数据最优选择，还能对数据进行预处理然后再进行数据融合、综合分析得出结果。这是多源数据融合技术的特性，也使其具体的应用操作流程。

数据选择是多源数据融合的第一步必须保证数据选择的正确性尽量优选出合适的数据对象来进行数据融合，若数据对象选择错误，将直接影响到多源数据的后期融合效果。数据合理选择之后要先对其进行预处理，以免未经处理的数据在多源融合时影响到融合效果，使融合后得到的数据无法满足业务应用要求。数据预处理的方法主要包括：首先对选择出的各种数据、图像、影像进行几何校准，然后转换数据格式。预处理必须保证所有数据都能实现互相沟通，保证数据融合能够在同一平台上实现。

特征选择需要根据上一步得到的文件，计算每个数据的增益值，对每一个数据的信息增益进行从大到小排序，最后把增益值最大的个特征项输出到文件。原始文档和待分类文档都需要向量化，原始文档向量化之后需要归一，而待分类文档向量化之后不需要归一，所以给他们分别提供了一个向量化的类。从文件中读入特征项，参数文件存储经过特征选择后剩下的特征项。原始文档经过向量化之后，输出到每个文档的内容不一样，待分类文档的向量化后不需要归一化。而后的分类步骤是计算原始文档和待分类文档向量两个向量的夹角的余弦。最后的绝对值越大，说明夹角越小，越相似，距离越近。在训练文本集中选出与新文本最相似的那个文本，这个文档中属于哪一类的文档最多，则待分类的文档就属于哪一类，形成特征级融合。

在数据经过处理后，从数据挖掘的角度，进行应用数据对高速业务应用进行指导。数据挖掘作为一个多学科交叉领域，该技术与统计学、机器学***凡过程”。其中“非平凡”表明该过程并非显而易见的，而是需要付出大量努力才能获取成果的过程。从高速运营维护的角度来看，数据挖掘是一种新型的信息处理技术，其主要特点是对高速运营数据库中的大量业务数据进行抽取、转换、分析处理，从中提取辅助运营决策的知识。

在数据挖掘技术中，“知识”被描述为“有用的可理解模式”，数据挖掘的任务就是去寻找这些“知识模式”，根据知识模式的不同类型，对于数据挖掘任务的描述也多种多样。常见的数据挖掘任务包括分类分析、聚类分析、趋势分析、关联分析、相关分析、异常点检测(或称离群点检测)、数学建模等。趋势分析是在长时间，海量数据的基础上，通过对数据整理得出相应的趋势线，根据趋势线对监测数据发展趋势进行估计；相关分析是对监测数间存在某种联系进行分析，在现在的技术和条件下面对海量数据，很难定义出他们之间存在的确切关系，而只要知道他们之间存在相关关系，这具有重要的意义；关联分析是指参数之间的内在联系。

通过不断沉淀关联规则学习、人工神经网络、深度学习算法等算法模型，支撑增加的业务应用分析需求，面向业务应用，在大量数据中挖掘出信息，通过信息抽取、知识表示、知识融合、知识推理四个过程完成高速公路知识图谱构建，基于人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论来揭示数据之间有意义的联系、趋势和模式，对业务应用起到预测、辅助决策作用。

例如，利用大数据及机器学习分析支撑ETC逃费稽查，通过ETC车辆行驶时间筛查、ETC车辆通行频率筛查、车辆行驶轨迹追踪，以及图像特征提取、以图搜车、建立车辆特征标签库等特征提取分析，经过图像识别算法、交通事件识别算法、事件研判算法、轨迹追踪算法等算法模型计算，并在业务场景中不断优化、扩充、完善，完成业务目标与能力沉淀，进而辅助项目建设赋能。

前述API服务模块，用于向第三方平台提供接口，对各类场景服务的注册、发布、调度进行管理，并对正在运行的所有服务进行监控和管理。

具体来说，API服务模块提供面向业务的以数据管理和AI模型为基础的预定义函数或应用程序服务，用户无需接触原始数据或原码，降低应用门槛，操作简单便捷。数据中台即可以提供与业务相关的、可复用的公共技术组件或产品服务，如数据分析、数据发布、预测学习计算等，并支持多种丰富的数据展现方式，同时也使用SAAS方式直接对外提供服务，提供细粒度功能接口如API、消息接口、文件接口、服务接口、SDK等方式，支持二次开发和第三方合作伙伴的接入与扩展，形成以数据中台为核心的数据生态体系。

信息资源共享交换遵循标准的、面向服务架构(SOA)的方式，基于先进的企业服务总线ESB技术，为跨地域、跨部门、跨平台不同应用***、不同数据库之间的互连互通提供包含共享交换申请与审核、共享交换服务门户、共享交换基础支撑组件等操作的数据共享交换服务，构建信息资源共享交换的通道和环境，实现共享交换任务可调度、可管理，实现共享交换过程可审计，共享交换异常问题可追溯。

可视化开放服务基于查询、布局、面板、模板、图例、地图、视频、开发等各种插件进行设计研发、配置发布、应用分享，可自定义查询方案进行统计和查询，产出数据报表，可发布模板展示区域，可发布分析图例的应用配置，可发布完整的可视化页面，提供丰富的数据可视化定制服务。并且基于应用服务架构向各业务***提供接口，对各类场景服务的注册、发布、调度等进行管理，并对正在运行的所有服务进行监控和管理。

前述门户服务模块，集成有应用***、数据资源和网络资源，用于为数据提供统一的访问接口。

门户服务模块涉及高速公路大数据计算服务的功能模块及相关算法和详细数据结构，包含用户登录、数据展示、计算服务、统计分析、操作配置、访问控制、后台管理等模块和内部细节，以降低大数据平台使用门槛和节省使用计算工具时不必要的时间浪费，相关认证、授权、加密、审计等安全可靠。可由用户自由定制的纯个性化信息“窗口”，以用户为中心，为用户提供一个单一页面的入口，包括单点登录、业务办理、待办事宜、公共信息、***导航、信息交流、我的示警、信息简报、信息发布等功能。

门户服务模块为存储在大数据支撑***上的数据提供统一的访问接口，允许用户通过大数据支撑***中的服务为大数据分析应用提供数据访问服务。用户可以通过高速的业务模块，对路网数据进行访问。在原始数据的基础上通过特定规则或是计算加工而成的数据产品，如业务报表、数据评价、数据分析以及专题分析，同时***会提供统一的数据产品访问接口。

统一的门户服务可以提供更加合理的数据与应用资源分配，通过将应用***、数据资源、网络资源集成在统一的信息门户之下，实现统一的“人的集成、界面集成、流程集成、业务集成、消息集成、应用集成”，为业主、出行者、管理单位提供统一信息资源访问入口，并根据用户的角色不同，提供个性化的服务。

前述运维管理模块，用于对***整体和性能进行监控，获取***的综合性能指标，对***使用的各种底层资源提供详细的性能监控。运维管理模块包括对集群网络、Hadoop***、资源作业、Web服务、数据库监控、硬件设备、***负载的监控，及预警报警和日志统计分析。

对于数据中台这样的复杂***，不仅需要对***整体的性能进行监控，获取***的综合性能指标，还需要对***使用的各种底层资源提供详细的性能监控，以保障上层的应用能够持续调用***服务，保障底层数据能够接入大数据支撑***。这些性能指标不仅能用来评估当前***运行状况，还能为资源规划以及性能告警提供数据源。

标准化运维基于IT运维规范化体系针对门户权限故障、交换共享故障、统计分析故障、数据库故障、***软件故障、网络故障等问题事件和运维任务，采用线上方式进行运维管理，实现任务创建、任务单下发、任务登记、任务查询、事件上报等功能，保障平台软件安全可靠运行。

本说明书的实施例公开的数据中台***，具有如下特点：

(1)基于弹性多级目录的数据资源管理方法及海量数据多模协同处理模式实现高速公路多源异构数据资源的标准化：对于路网领域产生的海量异构复杂型数据包括图像数据、文本数据、多媒体流数据等，数据中台提供一种多模处理计算框架，该框架紧密结合公路运营的数据特征，实现利用较低的硬件计算资源，通过协同式整合，实现多维数据异构数据快速识别、精准融合、高效处理，破解路网数据领域复杂类型数据快速融合的难题。

(2)人工智能和机器学习技术，面向高速公路行业提供分析、预测、决策支持服务：针对交通态势监测、视频事件检测、桥隧检测等场景的智能算法模型应用，实现各项交通数据展示和分析、实时预测，同时当数据超过阈值时进行自动报警和预案生成，为管理部门对于路段交通情况及潜在危险事件的早发现、早预防、早解决提供智能化、强有力的解决手段。

(3)基于微服务架构的数据模型与业务模型共享融合、开发服务：基于微服务架构提供与业务相关的、可复用的公共技术组件或产品服务，如数据分析、数据发布、预测学习计算等，并支持多种丰富的数据展现方式，同时也使用SAAS方式直接对外提供服务，提供细粒度功能接口如API、消息接口、文件接口、服务接口、SDK等方式，支持二次开发和第三方合作伙伴的接入与扩展，形成以数据中台为核心的业务数据生态体系。

本数据中台***，实现高速公路运营管理业务数据数据深度融合组件技术，有利于业务***以模块化方式在中台沉淀，以融合组件模式共享开放，降低了新增业务模块建设开发的成本与门槛，节省开发时间，并且实现企业经验能力的积累，更好的适应多遍的市场环境，提高应变能力与竞争力。

实现高速公路路段级数据中台设计方法，有利于通过研究高速公路跨领域、跨部门、跨平台数据中台技术，形成集数据资源管理、数据共享交换、数据标准化开放服务于一体的标准化数据指挥调度服务中枢平台，构筑数据综合指挥调度和分析服务技术基石，推动大数据技术在高速公路日常运营管理决策中的深度应用，有效提升高速公路日常运营管理决策水平。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (8)

1.一种高速公路路段级数据中台***，其特征在于，包括：

采集模块和多源数据标准化接口，所述采集模块通过所述多源数据标准化接口进行高速公路数据信息的统一化、标准化采集；

存储模块，用于将所述采集模块采集的多种多样不同结构的高速公路数据进行分布式存储；

数据管理模块，用于对所述采集模块采集数据和存储模块存储数据进行数据管理，所述数据管理包括但不限于数据资源目录管理、数据质量管理和数据安全管理；

数据分析模块，用于根据业务需求，结合业务场景，匹配相应的AI算法模型，对存储模块存储的数据进行数据筛查和特征提取，得出分析结果；

API服务模块，用于向第三方平台提供接口，对各类场景服务的注册、发布、调度进行管理，并对正在运行的所有服务进行监控和管理；

门户服务模块，集成有应用***、数据资源和网络资源，用于为数据提供统一的访问接口；

运维管理模块，用于对***整体和性能进行监控，获取***的综合性能指标，对***使用的各种底层资源提供详细的性能监控。

2.根据权利要求1所述的高速公路路段级数据中台***，其特征在于，所述数据来源包括基础数据、外部数据和运算数据，所述基础数据为高速公路路段公司自有数据，所述外部数据为高速公路智能管控提供用户宏观数据信息支持，所述运算数据用于建立流量智能管控模型算法，形成路段流量预警和管控策略，实现路段交通状态和安全风险评估管理。

3.根据权利要求1所述的高速公路路段级数据中台***，其特征在于，所述多源数据标准化接口采用Web Service服务技术，利用SOAP传输协议，数据交换接口规范采用XML/json格式描述，对于二进制数据采用Base64方式进行编码，所述数据规范包括统一的分类编码，统一的数据采集规程，统一的数据质量标准，统一的数据格式和统一的元数据标准。

4.根据权利要求1所述的高速公路路段级数据中台***，其特征在于，所述存储模块具备全分布式架构、数据块粒度切分、在线扩容减容、复制备份及普通PC硬件适用性技术，支撑了安全的PB级以上规模数据在线存储，还用于将结构化、半结构化、非结构化数据进行存储，所述存储模块还用于对每个数据区中的数据按照数据主题进行存储，所述数据主题包括但不限于项目主题、标签库主题。

5.根据权利要求1所述的高速公路路段级数据中台***，其特征在于，所述数据资源目录管理包括目录注册、目录更新、元数据同步、主数据同步、目录查询、数据归档及恢复，所述数据质量管理包括数据质量检查规则、数据问题展示、任务管理，为第三方平台提供链路保障、环境及数据质量监测和定期报告，所述数据安全管理包括数据库状态监控、数据库审计、数据库风险扫描和访问控制，通过分层建设、分级防护，解决数据脱敏、追溯和审计问题，对敏感信息进行脱敏、变形。

6.根据权利要求1所述的高速公路路段级数据中台***，其特征在于，所述数据分析模块还用于，对存储模块存储的数据进行数据筛查后，对筛查出的数据进行预处理，所述预处理包括：对筛查出的数据、图像、影像进行集合校准，以及转换数据格式。

7.根据权利要求1所述的高速公路路段级数据中台***，其特征在于，所述特征提取包括：计算每个筛查后得到的数据的增益值，对每一个筛查后得到的数据的增益值进行从大到小排序，将增益值最大的个特征项输出到文件，将原始文档和待分类文档向量化，计算原始文档和待分类文档向量的夹角的余弦，在训练文本集中选出与新文本最相似的文本，形成特征级融合。

8.根据权利要求1所述的高速公路路段级数据中台***，其特征在于，所述运维管理模块包括对集群网络、Hadoop***、资源作业、Web服务、数据库监控、硬件设备、***负载的监控，及预警报警和日志统计分析。

Images