发明内容
有鉴于此,本申请提供了一种数据收容处理平台,用于实现车载终端回传数据的合规存储和使用。
为了实现上述目的,现提出的方案如下:
一种数据收容处理平台,所述平台包括:数据管理层、数据接入层和存储分发层;
数据管理层,至少包括:数据配置模块,用于数据应用方配置关注的数据及数据的业务处理过程;
所述数据接入层,至少包括:终端管理模块、数据接入模块;
所述终端管理模块,用于依据车载终端发送的鉴权请求中携带的车载终端的标识,对所述车载终端进行鉴权认证,若鉴权认证通过,则查询与所述标识对应的数据通道标识并下发至所述车载终端;
所述数据接入模块,用于通过所述数据通道标识对应的通道,接入所述车载终端回传的数据;
所述存储分发层,至少包括:
存储服务模块,用于存储所述数据收容处理平台的数据。
优选地,所述平台进一步包括:
数据处理层,用于部署对数据进行处理的处理框架。
优选地,所述处理框架包括:业务处理框架,所述业务处理框架至少部署了:格式解析模块、数据分类模块、格式转换模块;
格式解析模块,用于对数据接入模块接入的数据进行格式解析;
数据分类模块,用于对所述格式解析模块解析得到的数据,按照预定的数据分类标准进行分类,得到至少一种类型的数据;
格式转换模块,用于对所述数据分类模块得到的数据,按照数据应用方所需的数据格式进行组织;
所述存储服务模块,具体包括:
存储服务第一单元,用于存储所述格式转换模块输出的数据。
优选地,所述存储分发层,进一步包括:
数据订阅模块,用于监控数据应用方关注的数据,当监控到数据应用方关注的数据发生变化时,通知数据应用方;
数据服务第一模块,用于接收数据应用方的数据查询请求,并在所述存储服务第一单元存储的数据中,查询所述数据查询请求请求的数据,将查询到的数据返回给所述数据应用方。
优选地,所述数据应用方为业务平台:
所述业务平台,用于在收到数据订阅模块发送的通知时,通过所述数据服务第一模块获得所述通知涉及的数据,并对请求到的数据进行相应的业务处理。
优选地,所述存储服务模块进一步包括:
存储服务第二单元,用于存储所述数据接入模块接入的车载终端回传的数据。
优选地,所述存储分发层,进一步包括:
数据服务第二模块,用于接收数据应用方的数据查询请求,并在所述存储服务第二单元存储的数据中,查询所述数据查询请求请求的数据,将查询到的数据返回给所述数据应用方。
优选地,所述处理框架进一步包括数据处理框架,所述数据处理框架为所述数据应用方:
所述数据处理框架,用于在收到数据订阅模块发送的通知时,通过所述数据服务第二模块获得所述通知涉及的数据,并按照所述数据配置模块配置的业务处理过程,调用相应的业务处理模块对所述请求到的数据进行相应的业务处理,所述业务处理模块以插件形式部署在数据处理框架中。
优选地,所述存储服务模块进一步包括:
存储服务第三单元,用于存储所述数据处理框架的数据。
一种地图服务***,包括:车载终端、上述数据收容处理平台、业务平台和地图服务平台:
所述车载终端,用于向所述数据收容处理平台发送携带车载终端标识的鉴权请求,并接收对所述数据收容处理平台在鉴权通过后返回的数据通道标识,然后通过所述数据通道标识对应的通道,向所述数据收容处理平台回传采集到的数据;
所述业务平台,用于从所述数据收容处理平台请求数据,并对请求到的数据进行相应的业务处理;
所述地图服务平台,用于从所述业务平台请求数据,并结合请求到的数据向车载终端提供地图服务。
从上述的技术方案可以看出,本申请实施例提供的数据收容处理平台,可以收容处理数据应用方的车载终端回传的数据,该数据收容处理平台可以由具备数据处理和存储合规资质的服务方提供,因此实现了数据的安全合规存储。同时,数据应用方可以通过本申请平台提供的数据配置模块配置关注的数据及数据的业务处理过程,一方面实现了数据的合规使用,另一方面也为数据应用方合规使用数据提供了灵活、便捷、可配置的方案。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例公开了一种数据收容处理平台,该数据收容处理平台由具备数据处理和存储合规资质的服务方提供,如果数据涉及地理信息数据,则该平台由具备合规处理和存储地理信息数据的服务方提供,比如,具备地图测绘资质的服务方。
以下结合图1对本申请提供的数据收容处理平台进行介绍,如图1所示,所述平台包括:
数据管理层、数据接入层和存储分发层,其中:
数据管理层,至少包括:
数据配置模块10,用于数据应用方配置关注的数据及数据的业务处理过程。
具体地,数据应用方可以通过本申请提供的数据配置模块10来配置自己关注的数据,以及数据的业务处理过程,所述数据应用方为要使用该平台服务的一方。比如,数据应用方为车厂,其关注车辆轨迹数据,则可以通过数据配置模块10配置关注的数据为车辆轨迹数据。同时,车厂还可以配置对车辆轨迹数据进行业务处理时的业务处理过程,如配置业务处理时所需调用的业务模块、各业务模块调用的时序等。
数据接入层,至少包括:终端管理模块11、数据接入模块12;
终端管理模块11,用于依据车载终端发送的鉴权请求中携带的车载终端的标识,对所述车载终端进行鉴权认证,若鉴权认证通过,则查询与所述标识对应的数据通道标识并下发至所述车载终端。
具体地,数据收容平台存储了车载终端的标识,所述车载终端的标识可以由数据应用方提供给平台的服务方。当车载终端向数据收容平台发起鉴权请求时,数据收容平台可以根据鉴权请求中携带的车载终端的标识,与其本地存储的车载终端的标识进行比对,以实现对车载终端的鉴权认证。同时,本申请还可以预先为各车载终端分配对应的数据通道,以便车载终端通过对应的数据通道上传数据。基于此,本申请预存的还有车载终端的标识与数据通道标识的对应关系。
在上述对车载终端进行鉴权认证通过之后,终端管理模块11可以查询车载终端标识对应的数据通道标识,并下发至该车载终端,车载终端收到平台发送的数据通道标识,进而可以通过该数据通道标识对应的通道向平台上传数据,此时,平台包括的数据接入模块12,用于通过所述数据通道标识对应的通道,接入所述车载终端回传的数据。
在实际应用中,车载终端可以设置有数据上传模块,由该数据上传模块对所需上传的数据进行预处理之后上传平台,所述预处理可以包括:对位置坐标进行偏转处理。
存储分发层,至少包括:
存储服务模块13,用于存储所述数据收容处理平台的数据,所述数据包括平台接入的数据、平台产生的数据等。
本申请实施例提供的数据收容处理平台,可以收容处理数据应用方的车载终端回传的数据,由于该平台由具备数据处理和存储合规资质的服务方提供,因此,实现了数据的安全合规存储。同时,数据应用方可以通过本申请平台提供的数据配置模块配置关注的数据及数据的业务处理过程,一方面实现了数据的合规使用,另一方面也为数据应用方合规使用数据提供了灵活、便捷、可配置的方案。
进一步,如图2所示,是本申请另一个实施例提供的一种数据收容处理平台,该平台在图1所示平台基础上可以进一步包括了数据处理层,该数据处理层可以用于部署对数据进行处理的框架。
其中,数据处理层部署的框架可以是一个或多个,具体视需要而定。不同的框架可以进行不同的数据处理过程。
需要说明的是,数据处理层部署的框架可以供数据应用方部署其开发的业务模块。比如,框架可以供车厂部署其开发的SDK或函数等。当然,数据处理层部署的框架还可以供数据收容处理平台的提供方部署其自行开发的业务模块。
以上是本申请实施例提供的数据收容处理平台,在实际应用中,本申请的数据收容处理平台可以在两种场景下应用,一种是数据实时处理的场景,另一种是数据非实时处理的场景。以下,将分别从两个应用场景对数据收容处理平台进行介绍。
首先,介绍数据实时处理场景下的数据收容处理平台。
如图3所示是本申请提供的实时处理场景下的数据收容处理平台,在该场景下,本申请实施例提供的数据处理层部署的处理框架包括:业务处理框架14;
业务处理框架14至少部署了:格式解析模块141、数据分类模块142、格式转换模块143;
其中:
格式解析模块141,用于对数据接入模块12接入的数据进行格式解析。
数据分类模块142,用于对所述格式解析模块141解析得到的数据,按照预定的数据分类标准进行分类,得到至少一种类型的数据。
在实际应用中,技术人员可以根据实际需要来设定数据分类标准,以实现对数据的分类。
一种示例的场景下,分类后的数据可以包括:道路数据、环境数据、用户行为数据、交通事件数据、车辆状态数据等。其中,不同类型的数据可以适用于不同的业务平台。如道路数据可以适用于地图生产平台,环境数据和交通事件数据可以适用于实时交通平台等。
格式转换模块143,用于对所述数据分类模块142得到的数据,按照数据应用方所需的数据格式进行组织。
在此基础上,存储服务模块13,可以进一步包括:
存储服务第一单元131,具体用于存储所述格式转换模块143输出的数据。
本实施例的数据收容处理平台,在数据处理层部署了业务处理框架17,用于实现对数据接入模块12接入的数据进行实时处理。数据接入模块12接入的数据可以直接进入业务处理框架14,进行格式解析、分类、转换,最终得到数据应用方所需数据格式的数据,该数据由存储服务第一单元131存储在平台中。
进一步,在数据实时处理的场景中,还可以进一步包括由业务平台对存储服务第一单元131存储的数据进行处理的过程,为此本申请提供了图4所示数据收容处理平台,该平台在图3所示实施例的基础上,进一步在存储分发层设置了数据订阅模块15和数据服务第一模块16,其中:
数据订阅模块15,用于监控数据应用方关注的数据,当监控到数据应用方关注的数据发生变化时,通知数据应用方。
其中,数据订阅模块15通过数据配置模块10得到数据应用方配置的其关注的数据,进而对这些数据的变化进行监控。当监控到数据应用方关注的数据发生变化时,通知数据应用方。如监控到数据应用方关注的数据有新增、删除、变更时,可以通知数据应用方,以便数据应用方及时获取数据最新信息。
数据服务第一模块16,用于接收数据应用方的数据查询请求,并在所述存储服务第一单元模块131存储的数据中,查询所述数据查询请求请求的数据,将查询到的数据返回给所述数据应用方。
具体地,数据应用方在收到数据订阅模块15发送的数据变化通知时,可以向数据服务第一模块16发起数据查询请求,以请求通知所涉及的数据。由数据服务第一模块16在存储服务第一单元131存储的数据中,查询请求的数据,并将查询到的数据返回给数据应用方。
在数据实时处理的场景下,处理所述存储服务第一单元模块131存储的数据的业务平台为所述数据应用方,业务平台,用于在收到数据订阅模块15发送的通知时,通过所述数据服务第一模块16获得所述通知涉及的数据,并对请求到的数据进行相应的业务处理。
可以理解的是,图4中仅仅示例了几种可选的业务平台,根据数据应用方的不同,其对应的业务平台也可以不同。业务平台通过对数据进行相应的业务处理,得到业务处理结果,该业务处理结果可以供相应的服务平台提供服务。
以业务平台为实时交通平台为例,对上述方案进行介绍。
车辆回传的交通事件通过数据接入模块接入到数据收容处理平台。业务处理框架对数据接入模块接入的交通事件进行格式解析、分类、转换,得到转换后适用于实时平台的格式的交通事件并由存储服务第一单元存储。
数据订阅模块,监控到交通事件发生变化时,向实时交通平台发出通知,实时交通平台通过数据服务第一模块请求获取到存储服务第一单元存储的实时交通数据。并对请求到的实时交通数据进行相应的业务处理,得到业务处理结果。同时,实时交通服务平台可以基于实时交通平台得到的业务处理结果,为车辆提供实时交通服务。
以上是数据实时处理场景下,本申请提供的具体实施例,以下结合附图对本申请提供的数据非实时处理场景下的数据收容处理平台进行详细介绍。
如图5所示,在数据非实时处理场景下,本申请提供的存储服务模块13可以进一步包括存储服务第二单元132。
存储服务第二单元132,用于存储所述数据接入模块12接入的车载终端回传的数据。
此时,本申请提供的数据收容处理平台,实现了对非实时处理数据的存储。并且,通过存储服务第二单元存储车载终端回传的数据,实现了非实时处理数据与存储服务第一单元存储的实时处理后的数据的数据隔离。
可以理解的是,存储服务模块包括存储服务第二单元这种结构可以与图1-4任意一个附图对应的实施例方案进行结合,图5仅仅示例了一种可选的组合方式。同理,非实时场景下新增或对已有模块的结构,可以与图1-4任意一个附图对应方案进行组合。
进一步,在数据非实时处理场景下,存储服务第二单元存储的数据可以供数据应用方查询或分析,为此,如图6所示,本申请实施例提供平台可以进一步在存储分发层部署数据服务第二模块17。
数据服务第二模块17,用于接收数据应用方的数据查询请求,并在所述存储服务第二单元132存储的数据中,查询所述数据查询请求请求的数据,将查询到的数据返回给所述数据应用方。
此时,该平台实现了数据应用方通过数据服务第二模块17,在存储服务第二单元132中存储的车载终端回传的数据中,查询所需的数据。
进一步,除了数据查询外,数据应用方还有对数据进行处理的需求,为了保证数据的合规场景下被处理,如图7所示,本实施例中数据处理层部署的处理框架可以进一步包括数据处理框架18,数据处理框架18支持数据应用方以插件形式部署其开发的业务处理模块,如业务处理SDK、函数等。
在平台包括数据处理框架的情况下,部署数据应用方自行开发的业务处理模块的数据处理框架则成为所述的据应用方,具体地:
数据处理框架18,用于在收到数据订阅模块15发送的通知时,通过所述数据服务第二模块17获取所述通知涉及的数据,并按照所述数据配置模块10配置的业务处理过程,调用相应的业务处理模块对所述请求到的数据进行相应的业务处理,该业务处理模块以插件形式部署在数据处理框架18中。
本实施例中以数据应用方为数据处理框架为例,介绍了数据处理框架进行业务数据处理的过程。数据应用方可以通过在数据处理框架中以插件形式部署自己的业务处理模块,进而在平台确定其关注的数据,当关注的数据发生变化时,由数据处理框架自动通过数据服务第二模块获得数据,并按照其配置的业务处理过程,调用相应的业务处理模块完成对数据的业务处理。
进一步,在上述数据处理层部署有数据处理框架的情况下,存储服务模块还可以进一步包括:
存储服务第三单元,用于存储所述数据处理框架处理得到的数据。
也即,数据处理框架对数据进行业务处理所生成的数据可以由存储服务第三单元存储的平台中,这实现了与车载终端回传的数据、对车载终端回传数据实时处理后得到的数据的隔离存储。
以下结合具体实例,对本申请提供的数据收容处理平台在数据非实时处理场景下的应用进行介绍。
数据应用方为车厂,其在数据收容平台的数据处理层的数据处理框架中以SDK插件形式***了车速分析模块、轨迹匹配模块和地图渲染模块。同时,通过平台的数据配置模块配置了所关注的数据为轨迹数据,且配置先调用车速分析模块和轨迹匹配模块,对轨迹数据进行分析,然后调用地图渲染模块将分析结果渲染在地图上。
基于此,车载终端在经过数据收容平台的终端管理模块进行鉴权认证通过之后,通过数据接入模块上传轨迹数据,上传的轨迹数据由存储服务第二单元存储的平台中。
数据订阅模块,在监控到轨迹数据有变动时,通知数据处理框架,后者通过数据服务第二模块获得变动的轨迹数据。数据处理框架按照配置的业务处理过程,先调用车速分析模块和轨迹匹配模块,对获取到的轨迹数据进行分析,然后调用地图渲染模块将分析结果渲染在地图上。
以上是对本申请提供的两种场景下数据收容处理平台进行了详细介绍。在实际应用中,可以通过一个数据收容平台完成对数据的实时处理和非实时处理,也可以通过两个数据收容平台分别完成对数据的实时处理和非实时处理。在一个数据收容平台完成对数据的实时处理和非实时处理时,上述业务处理框架和数据处理框架可以是一个框架,即,该框架既可以用于部署对数据进行实时处理的业务模块,也可以用于部署对数据进行非实时处理的业务模块,当然也可以是两个框架,具体可以由技术人员选择。
以下结合附图8,对应用数据收容处理平台的场景进行详细介绍。
如图8所示,车辆端采集完数据后通过内置的回传SDK,将数据上传至数据收容处理平台。
数据收容处理平台通过数据接入层提供的数据接入服务来接收上传的数据。上传数据经接入服务后存在两个分支流向。其一,上传数据可以直接进入数据存储空间进行存储。其二,上传数据可以传递至数据处理层的业务处理框架,进行实时数据处理,包括格式解析、分类、转换,得到业务处理框架处理后的数据,该部分数据可以再次存储至存储空间中,同时,还可以对不同分类的数据实时分发给相应的业务平台,由后者进行业务处理。地图服务平台可以调用业务平台的处理结果,为车辆提供相应的业务服务。
进一步,车厂还可以通过数据管理层的数据配置模块来配置所关注的数据及数据的业务处理过程。
数据处理层的数据处理框架来调用存储的上传数据,进行非实时数据处理,具体可以包括利用以插件形式预置在数据处理框架内的业务处理模块,对调用的上传数据进行数据分析处理,结果可以通过面向车厂可视化管理平台进行展示。
本申请实施例还公开了一种地图服务***,包括车载终端、上述任意一个实施例介绍的数据收容处理平台、业务平台及地图服务平台。
车载终端,用于向所述数据收容处理平台发送携带车载终端标识的鉴权请求,并接收对所述数据收容处理平台在鉴权通过后返回的数据通道标识,然后通过所述数据通道标识对应的通道,向所述数据收容处理平台回传采集到的数据;
业务平台,用于从所述数据收容处理平台请求数据,并对请求到的数据进行相应的业务处理;
地图服务平台,用于从所述业务平台请求数据,并结合请求到的数据向车载终端提供地图服务。
本实施例公开的地图服务***,由车载终端采集并向数据收容处理平台上传数据,经数据收容处理平台进行数据存储及处理,如对数据进行分类等。业务平台从数据收容处理平台请求所需的数据,进行相应的业务处理,并由地图服务平台从业务平台请求数据,结合请求到的数据向车载终端提供地图服务,最终实现了数据取之于车载终端,用之于车载终端,形成了数据的闭环。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。