CN113067722A - 数据管理平台及其工作方法 - Google Patents

Abstract

本申请实施例公开了一种数据管理平台及其工作方法，其中所述数据管理平台包括管理中心和至少一个节点设备；所述管理中心，用于对所述至少一个节点设备进行服务配置，并对所述节点设备进行业务管理；所述至少一个节点设备中的第一节点设备，用于利用所述管理中心对所述第一节点设备的服务配置，对所获取的数据进行业务处理，并传输所产生的数据处理结果；其中，所获取的数据是安防领域的物联网数据，包括以下至少一项：监控视频、抓拍图片、结构化数据；所述第一节点设备为所述至少一个节点设备中的任一个。

Description

数据管理平台及其工作方法

技术领域

本申请涉及数据共享技术，具体涉及一种数据管理平台及其工作方法。

背景技术

随着物联网技术的发展，物联网数据越来越多样化。在一些应用场景中需要对不同类型的物联网数据进行共享。在物联网数据类型较多、较繁杂的情况下，如何实现对物联网数据的高效管理成为了亟待解决的技术问题。

发明内容

为解决现有存在的技术问题，本申请实施例提供一种数据管理平台及其工作方法。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种数据管理平台，包括管理中心和至少一个节点设备；其中，

所述管理中心，用于对所述至少一个节点设备进行服务配置，并对所述节点设备进行业务管理；

所述至少一个节点设备中的第一节点设备，用于利用所述管理中心对所述第一节点设备的服务配置，对所获取的数据进行业务处理，并传输所产生的数据处理结果；其中，所获取的数据是安防领域的物联网数据，包括以下至少一项：监控视频、抓拍图片、结构化数据；所述第一节点设备为所述至少一个节点设备中的任一个。

上述方案中，所述管理中心，用于对所述至少一个节点设备进行***级服务和非***级服务的配置；

相应的，所述至少一个节点设备，用于利用所述***级服务和非***级服务进行业务处理；其中所述非***级服务在所述***级服务运行下进行业务处理。

上述方案中，所述至少一个节点设备包括至少一种接入组件和至少一种接出组件；

所述至少一个节点设备，用于基于待采集的物联网数据的标准类型，确定所述至少一种接入组件中的目标接入组件和所述至少一种接出组件中的目标接出组件；利用所述目标接入组件进行所述物联网数据的采集；

识别采集到的物联网数据的属性；

依据所述物联网数据的属性，得到目标传输数据；

利用所述目标接出组件对所述目标传输数据进行传输。

上述方案中，所述至少一个节点设备，用于：

在所述物联网数据的属性表征所述物联网数据为文本或图片数据的情况下，对所述物联网数据进行处理，得到目标传输数据；其中，所述处理包括数据清洗、识别和压缩中的至少一种；

在所述物联网数据的属性表征所述物联网数据为视频数据的情况下，将所述视频数据确定为目标传输数据。

上述方案中，所述管理中心，用于：

对所述至少一个节点设备进行接入配置，

在接入配置成功的情况下，对所述至少一个节点设备进行服务配置。

上述方案中，所述管理中心，还用于：

展示配置页面，

获得输入至配置页面的配置信息，

按照所述配置信息，对所述节点进行接入配置。

上述方案中，所述管理中心，还用于：

对所述接入配置和/或服务配置进行监控。

上述方案中，所述***级服务以及非***级服务被注册于所述节点中，得到所述节点的服务注册信息；

相应的，所述管理中心，还用于：

获得节点间的服务注册信息；

在出现有节点出现异常的情况下，获得异常节点未完成的业务；

利用所述服务注册信息，确定目标节点；

将所述未完成的业务交由至所述目标节点进行处理。

上述方案中，所述管理中心，用于：

对所述节点设备的物联网数据、网络状态和/或所配置的服务进行监控；

显示监控结果。

上述方案中，所述管理中心，用于：

对所述第一节点设备所获取的数据和/或所述数据处理结果进行统计；

对所述第一节点设备上产生的异常数据进行统计。

上述方案中，所述第一节点设备至少对社区或分局内的监控视频、抓拍图片进行采集，并对采集的数据进行业务处理，传输所产生的数据处理结果；所述数据处理结果至少被传输至与所述社区或分局对接的其它机构。

本申请实施例提供一种数据管理平台的工作方法，所述方法包括：

利用所述平台的管理中心对至少一个节点设备进行服务配置，并对所述节点设备进行业务管理；

利用所述管理中心对第一节点设备的服务配置，所述第一节点设备对所获取的数据进行业务处理，并传输所产生的数据处理结果；其中，所获取的数据是安防领域的物联网数据，包括以下至少一项：监控视频、抓拍图片、结构化数据；所述第一节点设备为所述至少一个节点设备中的任一个。

本申请实施例提供一种数据管理平台及其工作方法，其中所述数据管理平台包括管理中心和至少一个节点设备；其中，所述管理中心，用于对所述至少一个节点设备进行服务配置，并对所述节点设备进行业务管理；

所述至少一个节点设备中的第一节点设备，用于利用所述管理中心对所述第一节点设备的服务配置，对所获取的数据进行业务处理，并传输所产生的数据处理结果；其中，所获取的数据是安防领域的物联网数据，包括以下至少一项：监控视频、抓拍图片、结构化数据；所述第一节点设备为所述至少一个节点设备中的任一个。

本申请实施例中的数据管理平台仅涉及到两种设备：管理中心和节点设备，节点设备所获取的数据在经过处理后被传输，不需要其他设备的参与即可实现数据共享，体现了数据管理的高效性。此外，节点设备可利用管理中心为其配置的服务进行业务处理，利用配置的服务对业务进行处理，可提高处理效率，体现管理高效性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例中的数据管理平台的组成示意图一；

图2为本申请实施例中的数据管理平台的工作流程示意图；

图3为本申请实施例中的数据管理平台的组成示意图二；

图4为本申请实施例中的数据管理平台的功能架构示意图；

图5为本申请实施例中的WEB应用的前端服务与后端服务的交互示意图；

图6为本申请实施例的数据管理平台对节点设备进行组件配置的示意图；

图7为本申请实施例中节点设备的构成示意图；

图8为本申请实施例中数据管理平台的组成示意图二；

图9为本申请实施例中数据管理平台的应用场景一；

图10为本申请实施例中数据管理平台的应用场景二；

图11为本申请实施例中数据管理平台的另一工作流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例提供一种数据管理平台，如图1所示，包括管理中心10和N个节点设备11(可简称为节点11)；其中，N为大于等于1的正整数。

所述管理中心10，用于对所述至少一个节点设备进行服务配置，并对所述节点设备进行业务管理；

所述至少一个节点设备中的任一节点设备(第一节点设备)11，用于利用所述管理中心对所述第一节点设备的服务配置，对所获取的数据进行业务处理，并传输所产生的数据处理结果；其中，所获取的数据是安防领域的物联网数据，包括以下至少一项：监控视频、抓拍图片、结构化数据；所述第一节点设备为所述至少一个节点设备中的任一个。

本申请实施例中的数据管理平台仅涉及到两种设备：管理中心10和节点11，不需要其他设备的参与即可实现数据共享，体现了数据管理的高效性。此外，节点11可利用管理中心10为其配置的服务进行业务处理，可提高处理效率，体现管理高效性。

可以理解，本申请数据管理平台中的节点设备11的数量可以是一个，还可以是两个或两个以上，优选为两个或两个以上。在数据管理平台中未接入有节点设备或者未接入有指定节点设备的情况下，所述管理中心10用于对所述节点设备进行接入配置，在接入配置成功的情况下，对所述节点设备进行服务配置。相当于需要节点设备先接入至数据管理平台，在接入成功的情况下为其进行服务配置，并下发需要其执行的任务。在对节点设备进行接入配置的方案中，管理中心10展示配置页面如用于接入某节点设备的配置页面；获得输入至配置页面的配置信息如接收用户输入的该节点设备的配置信息如该节点设备的网际协议(IP)地址及登录口令等；按照所述配置信息对所述节点设备进行接入配置，以将所述节点设备接入至数据管理平台中。在执行接入配置的过程中，管理中心10可对接入配置过程进行监控，在监控到节点设备接入成功的情况下，再为该节点设备进行服务配置。关于服务配置的方案请参见后续相关说明，在服务配置的过程中管理中心10也可对服务配置过程进行监控。本申请实施例中，被传输的所述数据处理结果在其被传输至其它设备的情况下，可视为所述数据处理结果被所述其它设备共享。也即，所述节点设备进行业务处理而得到的数据至少可被用于共享。

在节点设备11的数量为两个或两个以上的情况下，相当于为集群节点，管理中心10可以为集群节点中的每个节点进行服务配置，各个节点可利用配置的服务进行业务处理。节点间可处理同一类型的数据或不同类型的数据，基于此，本申请实施例中的数据管理平台可支持高并发、高可用、支持针对大数据量的业务，实现了对数据的高效管理。

其中，管理中心10为节点设备11配置的服务可以是一种服务，也可以是多种服务，优选为多种服务，且每种服务实现对应的功能，如节点11从其它设备上进行数据采集的功能、节点进行数据清洗的功能、节点对采集的数据进行数据特征识别的功能等。可预先开发能够实现每种功能的软件开发包，在需要为节点进行某项服务的配置的情况下，将该项软件开发包部署在该节点中并触发运行即可实现该服务所对应的功能。在实现上，管理中心10可展示配置页面如服务配置页面；获得输入至配置页面的配置信息如接收人工输入至服务配置页面的配置信息，如需要配置的服务的标识和配置这项服务的节点标识；按照所述配置信息的指示，将该项服务对应的软件开发包部署在该节点中，以完成对该节点的服务配置。无需人工配置，实现了服务的自动配置，可大大解放人力。管理中心10还可以对服务配置过程进行监控，如果出现异常，则产生告警信息。

本申请实施例中，管理中心10为节点设备11配置***级服务，也配置非***级服务。其中，***级服务可以如后续的集群调度服务、数据统计服务、运维监控代理服务等。非***级的服务如后续的二次识别服务、标准采集服务等。可以理解，非***级服务与***级服务是相对而言的。***级服务可独立执行自身的功能，非***级则需在***级服务有效运行的情况下实现非***级服务的功能。节点11基于管理中心10为其配置的服务进行业务处理至少包括从其它设备如感知设备、传感器设备上采集数据，将采集的数据进行一定处理或不经任何处理传输如发送至其它需要进行数据共享的设备。此时，本申请实施例的数据管理平台相当于是一个能够实现数据共享的平台，能够将一个设备中的数据共享至另一设备。在实现数据共享的这一方案中，仅需要节点利用配置好的服务进行数据采集并传输、或数据采集、处理并传输，并不需要其它复杂操作，即可实现数据共享，体现了共享的便宜性，实现了对数据的高效管理。

本申请实施例中，所述节点11包括至少一种接入/接出组件，如后续的1400接入/接出组件、GB 28181(gb28181)接入/接出组件、软件开发工具包(SDK)接入/接出组件等。所述节点设备11可基于待采集的物联网数据的标准类型，确定所述至少一种接入/接出组件中的目标接入/接出组件；利用目标接入/接出组件进行所述物联网数据的采集。示例性地，如果待采集的物联网数据的符合GB28181这一标准类型，则确定目标接入/接出组件为GB28181接入/接出接口，利用GB 28181接入组件进行物联网数据的采集，在传输对该物联网数据的处理结果时，可采用与采集该物联网数据时使用的接入组件一致的接出组件进行传输。示例性地，利用GB 28181接入组件对传感器数据进行采集，对传感器数据进行数据分类后，至少分为视频类和非视频类，将分类好的数据利用GB28181接出组件传输至其它设备。本方案将物联网数据从与之标准类型匹配的接入组件进行采集，可实现数据的针对性采集，避免采集出错或者因物联网数据的类型与采集数据的组件不一致而导致的无法采集或采集出错的问题。

本申请实施例中，所述节点11识别采集到的物联网数据的属性，所述属性表征为物联网数据为视频数据、文本数据和图像数据中的何种数据；依据所述物联网数据的属性，得到目标传输数据；利用所述目标接入接出组件对所述目标传输数据进行传输。进一步的，在所述物联网数据的属性表征所述物联网数据为文本或图片数据的情况下，对所述物联网数据进行处理，得到待传输数据；其中，所述处理包括数据清洗、识别和压缩中的至少一种；在所述物联网数据的属性表征所述物联网数据为视频数据的情况下，将所述视频数据确定为所述待传输数据。示例性地，如果节点11采集到的数据为符合GB28181这一标准类型的数据，则识别其为视频数据、文本数据和图像数据中的何种数据，如果为视频数据，则可不做处理通过GB28181接出组件发送至其它需要这一数据的设备。如果为文本数据或图像数据，则可对采集到的数据进行数据清洗(如将重复的数据清除)、识别和压缩中的至少一种，并通过GB28181接出组件发送至其它需要这一数据的设备。本方案将物联网数据从与之标准类型匹配的组件发送出去，避免因物联网数据与发送组件不一致而导致的无法发送的问题。可以理解，节点11可获得所述物联网数据的源数据描述文件如接收输入的源数据描述文件；依据所述源数据描述文件，对所述物联网数据进行解析；从解析后的数据中识别所述物联网数据的属性。其中，源数据描述文件可用于对物联网数据的结构、类型等信息进行描述，依据描述文件解析出物联网数据为何种类型的数据，可有效实现对属性的准确识别。

本申请实施例中，在管理中心10为节点11配置服务、包括***级服务以及非***级服务的方案中，被配置的服务均可被注册于所述节点中如节点的ETCD中，得到所述节点的服务注册信息。相应的，管理中心10用于获得节点间的服务注册信息如采集各个节点的服务注册信息。在出现有节点出现异常的情况下，获得异常节点未完成的业务；利用所述服务注册信息，确定目标节点；将所述未完成的业务交由至所述目标节点进行处理。通常，需要将未完成的业务交由与异常节点具有相同服务注册信息的节点，将这一节点作为目标节点，并由其完成异常节点还未来得及完成的业务，以实现未完成业务的正常完成。

应该而知，本申请实施例中的管理中心10对节点11的管理除了包括对节点进行服务配置之外，至少还包括对节点的物联网数据是否正常、网络状态是否正常、所配置的服务是否正常等进行监控。还用于触发节点对物联网数据进行上报等。管理中心10的具体管理功能请详见后续相关说明，重复之处不赘述。

本申请实施例还提供一种数据管理平台的工作方法，如图2所示，所述方法包括：

S201：利用所述平台的管理中心对所述节点设备进行服务配置，并对所述节点进行业务管理；

S202：利用所述管理中心对所述第一节点设备的服务配置，所述第一节点设备对所获取的数据进行业务处理，并传输所产生的数据处理结果；其中，所获取的数据是安防领域的物联网数据，包括以下至少一项：监控视频、抓拍图片、结构化数据；所述第一节点设备为所述至少一个节点设备中的任一个。

其中，被传输的所述数据处理结果在其被传输至其它设备的情况下，可视为所述数据处理结果被所述其它设备共享。也即，所述节点设备进行业务处理而得到的数据至少可被用于共享。

前述方案中，节点11可利用管理中心10为其配置的服务进行业务处理，利用配置的服务对业务进行处理，可提高处理效率，体现管理高效性。

本申请实施例提供的数据管理平台及其工作方法的具体实现过程请参见对图3～图11的相关说明。

图3为本申请实施例提供的数据管理平台的示意图一。以节点的数量为一个为例进行的说明。在后续其他图中如果没有特殊说明，均以节点的数量为一个为例进行说明。

在图3中，管理中心主要包括有以下几大部分：WEB(World Wide Web，全球广域网)应用、配置管理服务及数据统计服务。其中，本申请实施例中的展示页面如对节点进行接入配置的页面、对节点进行服务配置的页面均通过WEB应用进行的页面展示。示例性地，运维人员可在接入配置页面上输入期望节点被接入至(数据)管理平台的信息如节点的IP、口令等，以令节点自动接入至管理平台。运维人员可在服务配置页面上输入对节点配置的服务的标识，以自动部署该服务到该节点中。配置管理服务主要用于实现对节点进行接入配置以及对节点进行服务配置。数据统计服务主要用于实现对节点的物联网数据进行统计。具体请见以下描述。

(一)管理中心

作为数据管理平台的运维中心，主要负责向已接入至管理平台的节点下发数据接入转发任务的配置、对节点的调度、统计节点的物联网数据、监控节点健康状态(节点是否发生故障)等。其中，接入转发任务可以认为是期望节点执行的一项任务，该任务需要节点接入至感知或传感设备，并对感知或传感设备所感知到的数据进行采集，节点利用管理中心为其配置的服务对采集到的数据进行处理而得到目标传输数据，将目标传输数据传输至第三方设备。

为方便对数据管理平台的整体功能的描述可结合图4所示。本申请实施例中的数据管理平台可对节点及自身的运行情况(软硬件)进行监控，可基于监控结果产生告警信息，提示运维人员进行告警处理。其中，对节点进行监控包括对节点自身的软硬件以及配置在节点上的服务运行情况、节点接入数据以及转发的数据进行监控。还可执行其它平台管理功能、如对节点以及节点执行任务所需要的服务进行配置管理、对节点接入的数据和/或转发的数据进行统计与追踪等。

管理中心的WEB应用的功能

由于管理中心采用WEB应用，利用WEB应用，可通过管理中心直观的展示节点所接入的各感知或传感设备如视频设备、卡口设备、电子警察设备、门禁设备等的在线或离线情况，数据接入情况，平台硬件使用率情况以及接收节点发送的数据的第三方异常情况，转发的数据情况，和平台运行情况。其中，数据接入可以认为是节点接入至感知或传感设备想要采集其上的数据。数据转发可以认为是节点将采集到的数据传输至第三方设备或对采集到的数据进行数据清洗、压缩等处理后传输至第三方设备。

WEB应用：在管理中心内，WEB应用采取前后端分离的模块化设计的模式。WEB应用包括WEB应用的前端服务和后台服务。支持的功能有节点(集群)配置、设备台账管理、数据接入接出任务配置、数据视频实时预览、数据接入接出统计报表、设备接入转发追踪、异常告警、平台运维等。

管理中心的各展示页面由WEB应用的前端服务来实现，WEB应用的前端服务所展示的数据是WEB应用的前端服务ajax2.0与后端服务进行Restful接口通信而得到的。具体的通信过程如图5所示。

前端服务展示页面，用户向页面输入请求(request)如请求某个节点接入至管理平台或请求为某个节点配置某项服务，基于输入的数据前端服务生成请求command命令，发送command命令至后端服务。后端服务接收到command命令，将其作为通知消息(notify)，解析该command命令，如解析其为请求将节点1接入至管理平台，则产生restfull请求，请求节点1接入至管理平台，并反馈接入结果(json数据)，json数据经由后端服务传输至前端服务作为图5中response数据，展示在页面中。前述方案为WEB应用的前端服务和后台服务之间的交互方案。利用WEB应用可实现交互数据的直观、人性化展示。

管理中心的配置管理服务主要实现以下功能：

第一，用于负责对节点进行配置管理，根据实际需求配置单节点或多个节点接入至数据管理平台，配置节点自定义参数如节点的结构化引擎信息、图片持久化服务器信息等。

第二，用于配置节点需要执行的接入接出任务及下发该任务到相应的节点，提供配置下发接口及接入节点周期性的轮询接口。当其下发配置到节点时，可采用增量下发配置的方案到需要的节点上。应该而知，节点依据管理中心向其下发的任务获知其需要执行的业务，如采集传感器1中的数据并传输至第三方设备1。节点在执行业务中产生的数据均可称之为物联网数据。物联网数据包括节点从传感器和/或感知器中采集到的数据以及对采集到的数据进行清洗、压缩等处理而得到的数据、以及在缓存中存储的数据等。

结合图6所示，节点需要接入的传感器或感知数据可以为多种类型的数据。如果称这种数据为异构数据源，则异构数据源可以为视频数据、门禁数据、GPS数据等。管理中心根据异构数据源的类型，配置一个或多个接入对象，每个接入对象符合一定的标准，如符合1400标准的1400接入对象配置，符合gb28181标准的GB28181接入对象配置，为SDK的接入对象配置等。管理中心向节点下发这些配置信息，将对应的接入组件和接出组件部署在节点中。示例性地，如节点部署1400接入组件、GB28181接入组件、SDK接入组件。通常，同一节点的接出组件与接入组件相同。示例性地，如果为节点1配置1400接入组件、GB28181接入组件，则为其配置的接出组件为1400接出组件，GB28181接出组件。其中，接入组件用于实现节点从传感设备或感知设备上采集对应类型的数据。接出组件用于节点发送数据至第三方设备。

在图6中，异构数据源主要包含图片、文本、视频等数据源。本申请实施例中可支持不同的数据类型、不同的传感器和/或感知设备类型，不同厂商生产的传感器和/或感知设备类型。节点接收人工根据接入的源数据的异构性和lotDAS业务标准编写源数据描述文件(JosnSchema)，接入组件实现规则解析将异构数据源转换为DAG(Database AvailabilityGroup，数据库可用性组)标准并且在DAG***中进行物联网数据的流转。管理中心根据接入编写的源数据描述文件JsonSchema，自动生成灵活的配置页面，以完成服务的配置。

第三，用于对节点的接入接出组件进行管理。可动态添加定制化组件并应用到节点的数据接入接出任务中去，可实现动态替换或升级组件。

第四，用于实现数据管理平台数据的查看功能，针对单个节点可提供定向预览功能，实时查看该节点的接入接出数据。还可以查看节点接入的感知或传感设备感知到的数据。

第五，用于对节点进行心跳检测以识别节点是否为正常以及实现对节点服务的远程升级等功能。

管理中心的数据统计服务主要实现以下功能：

第一，用于负责统计节点上报的数据接入和/或接出(转发)结果，并可将这些数据从数据量、数据种类、数据质量等多个维度进行展示。其中在展示时可以以数据报表的形式进行展示。

第二，用于记录每一个节点的接入和/或接出(转发)情况、追踪节点的工作状态。

第三，用于节点异常信息告警，针对节点上的硬件异常(中央处理器cpu/内存/磁盘负载高)、软件异常、数据异常进行汇聚统计，并发送告警到WEB应用上。产生的告警信息需实时告警，以体现告警及时性。

管理中心的统一资源管理主要实现的功能包括：对节点以及节点所接入的感知或传输设备的台账进行统一管理、如记录或维护设备台账。对用户的登录信息以及会话内容进行管理。

管理中心的在执行以上几种功能时使用到的存储单元可以具体为MySQL(关系型数据库)、Zabbix-server、Kafka及Harbor镜像仓库。其中，Zabbix-server是一个基于WEB界面的可进行分布式监视以及网络监视的服务。Zabbix能监视各种网络参数，保证节点的安全运营。Kafka是一种高吞吐量的分布式发布订阅消息***，它可以处理节点中的所有动作流数据。从技术实现上来讲，升级节点、管理中心的版本是常见的方式，传统的升级需要关闭节点和管理中心，影响了正常使用。本申请实施例中利用Harbor镜像仓库对不同版本的信息进行存储，从管理中心的版本管理菜单中选择版本号，点击升级按键进行升级。还可以选择上一个版本号，实现版本的还原。这种升级方案方便可行，在工程上易于实现。

(二)节点

如图7和图8所示，每个节点可以为一个服务器，本应用场景中可以为lotDAS服务器。当数据管理平台中仅有一个节点时，可视数据管理平台工作于单节点模式。如果有两个或两个以上节点，可视工作于集群模式。在工作于集群模式的情况下，管理中心会配置集群节点中的某个节点为主节点，为该主节点分配接入接出任务，并注册在注册中心(ETCD)中。这里，管理中心为主节点的分配的任务可以在注册中心注册，也可以为所有节点的任务均在主节点的注册中心注册。如果称集群中除主节点之外的其它节点为副节点，则副节点可同步自身需要执行任务的注册信息至自身的ETCD中。注册在注册中心的信息可标识出管理中心为每个节点部署了何种服务和/或分配了何种任务。

在图7和图8中，集群调度服务、组件管理服务、数据统计服务和运维监控代理服务为管理中心为节点配置的几种***级服务。标准采集服务、二次识别服务和存储代理服务是管理中心为节点配置的非***级服务。非***级服务需要在***级服务有效运行的情况下执行。在图7和图8中节点的接入组件如接入组件层中的几种组件所示，接出组件如接出组件层中的几种所示。通常同一节点的接入组件和接出组件相同。由于节点是通过接出组件层将数据转发或传输至第三方设备，所以接出组件层也可称之为转发层。

管理中心为节点分配任务，该任务通过集群调度服务进行接收，并在ETCD中进行注册，组件管理服务启用接出组件层中目标接出组件和接入组件层中的目标接入组件。其中，目标接入、接出组件根据该任务中期望节点接入的传感器和/或感知器的数据即源数据的类型而定。示例性地，如源数据为符合GB28181的数据，则目标接入组件和接出组件均为GB28181接入、接出组件。节点利用目标接入组件从传感器和/或传感器中进行数据的采集。在采集的数据为文本和/或图像数据时，利用标准采集服务对文本和/或图像数据进行抽取，利用二次识别服务对抽取的数据进行特征识别以识别其为何种数据。利用存储代理服务将其存储到缓存。如果是视频数据，则可将视频数据存储到缓存。存储到缓存的数据可利用目标接出组件传输至第三方设备。此时，本申请实施例的数据管理平台可视为一种从传感器和/或感知器中采集数据并传输数据到第三方的设备。

在图8中，由配置管理服务向节点下发任务。节点中的数据统计服务可实现对在节点内部进行流转的数据的统计，并上传统计结果至管理中心，管理中心将其存储到Kafka中，由管理中心的统一资源管理功能进行统一管理。节点中的运维监控代理服务可对节点的工作状态、软硬件的工作状态、节点的网络状态进行监控，并上传监控结果至管理中心，管理中心将其存储到Zabbix中，由管理中心的统一资源管理功能进行统一管理。实现了对数据的有效管理。且数据管理平台中的节点可以以集群的形式存在，可支持高并发数据的管理，管理效率高。

本申请实施例中的节点具有以下几种功能：

第一，数据接入转发功能：利用微服务技术实现功能模块拆成单进程，降低服务复杂度和异常影响范围。示例性地，利用二次识别服务、标准采集服务等微服务进行数据采集与识别，这些服务以进程的形式实现，每个服务对应一个进程，互相不干扰，可大大避免由于互相干扰而造成的出错。利用Kafka实现数据缓存，在第三方设备接收的数据发生异常后，可保证数据被正常恢复。可支持多协议的第三方，例如支持1400标准协议数据的传输，免去私有协议对接问题。

第二，支持视频接入转发：将视频数据与文本、图像数据进行分开处理，可互不响应。可利用RTMP(Real Time Message Protocol，实时信息传输协议)协议，对视频数据进行在线实时播放。支持视频数据以GB28181标准协议传输至第三方。

第三，***高可用：每个节点具有一个IP，做到对外服务的IP服务统一，不会产生混淆。在集群节点的工作模式下，如果一个副节点发生异常，存在有未完成的任务，由于所有节点的任务均在主节点的注册中心注册，根据这个注册信息，即可获知与其具有相同任务的其它节点都有哪些，将异常节点未完成的任务交由与异常节点具有相同任务的其它节点去完成。不影响任务的正常完成。

第四，节点集群化管理：节点可以以节点集群的形式存在，可提高接入量，不再受限于单机性能问题，扩容方便，节点通过简单配置即可实现动态横向扩展。可利用主-副节点模式进行节点管理，降低接入节点的管理复杂度。

第五，配置集中式共享管理：在集群模式下，节点的ETCD可对管理中心对其配置服务而产生的配置信息进行备份，实现了配置信息冗余备份防丢失。节点各个服务的配置信息放在ETCD中，实现了服务间的解耦。在节点发生故障或异常的情况下，无需节点向外拉取配置信息，省时省力。

第六，服务docker(容器应用引擎)化：节点在docker环境下执行任务，解决宿主机安装服务由于环境不一致导致的各种问题。使用docker命令或者sdk即可实现服务管理，简化服务的管理。可使用docker提供的部分运维服务采集运维信息，方便快捷。网络和运行环境与宿主机隔离，提高服务安全性。

第七，服务和组件仓库式管理：服务和组件分开来管理，解决量包过大，安装时传输安装包带来的安装耗时过长问题。服务升级可方便的使用docker-compose配合仓库实现单服务升级。组件可以根据实际使用需求从Harbor镜像仓库中读取。各个节点服务版本可保持一致。

本申请实施例中的数据管理平台的所有服务、组件、前端应用均运行在docker环境下，借助容器化技术可有效管理服务的硬件资源分配、服务依赖、版本升级等问题。管理中心的WEB应用采用前后端分离模式。前端应用基于VUE及公司自研组件库搭建模块化的单页面应用。后端服务采用Spring Boot框架(Java)+微服务架构，提供超文本传输(http)1.1协议的restful接口，数据交换格式为JSON。消息队列使用KAFKA，实现统计数据、告警上报等功能。持久化存储使用MYSQL。高速缓存使用远程字典服务(REDIS)数据库。接入节点的***级服务使用JAVA和POSA2架构(C++)开发，组件开发不限语言及形式。组件管理及数据对接采用Thrift框架通信，数据使用Protobuf格式封装。

从总体上来看，数据管理平台包括功能如下：

第一，支持用户登录；支持节点的接入。第二，综合监控中心：平台概况、实时数据、节点所接入和/或第三方设备统计、数据追踪、账号信息、实时告警提醒。第三，实时告警：告警信息、告警处理。第四，全链路监控：网络拓扑、链路监控(文本和图像数据在节点内的流转链路、以及视频数据的内部流转链路)、视频预览、图片预览、数据预览。第五，统计报表：告警统计、数据追踪、各节点情况统计、数据接入统计、数据转发统计、设备统计。第六，***管理：节点列表、资源配置、节点配置、组织机构管理、设备列表、接入配置、转发配置、字典维护、组件管理、用户管理、角色管理、权限管理。第七，运维监控：硬件监控、服务监控。关于以上几个功能的描述请参见相关之处而理解，重复之处不赘述。

图9和图10为本申请实施例提供的两种应用场景示意图。

在图9中，将本申请实施例的数据管理平台设置在社区/小区的机房，数据管理平台中的节点可对小区中的门禁、人脸图像等数据进行采集，在节点内部进行流转(请参见对图7和图8的描述)并传输至第三方设备。智能安防社区***需要小区内的感知数据，数据管理平台将小区内的监控视频、人脸抓拍、微卡口、门禁等感知数据接入，并传输至智能安防社区***或第三方设备，保证数据的可靠完整。其中，在进行传输的过程中，将视频数据和其它数据如文本和/或图像数据进行分开传输。如此，可实现数据的针对性传输。使得第三方平台可以仅接收其需要的视频数据或其它数据。

在图10中，将本申请实施例的数据管理平台设置在各分局机房，将分局的各类感知设备/主机/平台感知到的数据进行采集，在节点内部进行流转(请参见对图7和图8的描述)并传输至上级如市局或第三方设备。可满足分局数据的转发需求，满足市局的考核要求。或者，将分局的各类感知设备/主机/平台感知到的数据进行采集，在节点内部进行流转(请参见对图7和图8的描述)并传输至本分局的车辆识别***和/或车辆特征二次识别设备、和市局，以对车辆进行识别。车辆识别***和/或车辆特征二次识别设备识别出的结果也可传输至市局。

图11为本申请实施例中的数据管理平台的一工作流程示意图。在图11中示意出了用户登录数据管理平台后从配置节点、导入设备台账、下发(接入/转发)任务到验证数据的基本流程。该流程具体是：用户登录数据管理平台，管理中心利用WEB应用的前端服务进行节点配置页面的展示，用户向配置页面输入期望接入的节点的信息如节点的IP、口令等，将节点后续可能的采集的源数据进行结构化。管理中心接收输入的该节点所接入的感知设备和/或传感器等的设备台账数据。其中，设备台账数据可以以字典表的形式存在。判断该节点是否配置有接入、接出组件，如果没有，则利用配置管理服务进行组件的配置。如果有，管理中心向该节点下发接入和/或接出任务，判断任务是否接入正常，如果是退出登录。管理中心对节点的运维情况进行监控，查看节点的负载情况。

本申请实施例中的数据管理平台，可实现视频、图片、报警等感知数据的统一接入与传输(转发)，实现跨网、跨地区、跨机构的数据汇聚与转发。平台支持节点的动态横向扩展，提供可视化的功能，可满足数据接入转发的应用需求。

从技术上来说，主要采用了管理中心和节点两部分，节点不仅可以做到横向扩展，不需要每台节点独立部署，只需要知道节点的IP、口令，管理中心接收输入的节点IP、口令，就可自动将节点接入至数据管理平台。运维人员仅需要向WEB应用展示的页面输入配置口令即可，不需过多操作，减轻运维人员的负担。此外，利用接入组件可以快速接入各个厂家的数据、利用接出组件转发到第三方平台。从运维角度上讲，减轻了运维人员的负担，且数据是可视化的，可供运维人员实时查看视频、图片、文本等数据。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据管理平台，其特征在于，包括管理中心和至少一个节点设备；其中，

所述管理中心，用于对所述至少一个节点设备进行服务配置，并对所述节点设备进行业务管理；

所述至少一个节点设备中的第一节点设备，用于利用所述管理中心对所述第一节点设备的服务配置，对所获取的数据进行业务处理，并传输所产生的数据处理结果；其中，所获取的数据是安防领域的物联网数据，包括以下至少一项：监控视频、抓拍图片、结构化数据；所述第一节点设备为所述至少一个节点设备中的任一个。

2.根据权利要求1所述的平台，其特征在于，所述管理中心，用于对所述至少一个节点设备进行***级服务和非***级服务的配置；

相应的，所述至少一个节点设备，用于利用所述***级服务和非***级服务进行业务处理；其中所述非***级服务在所述***级服务运行下进行业务处理。

3.根据权利要求1或2所述的平台，其特征在于，所述至少一个节点设备包括至少一种接入组件和至少一种接出组件；

所述至少一个节点设备，用于基于待采集的物联网数据的标准类型，确定所述至少一种接入组件中的目标接入组件和所述至少一种接出组件中的目标接出组件；利用所述目标接入组件进行所述物联网数据的采集；

识别采集到的物联网数据的属性；

依据所述物联网数据的属性，得到目标传输数据；

利用所述目标接出组件对所述目标传输数据进行传输。

4.根据权利要求3所述的平台，其特征在于，所述至少一个节点设备，用于：

在所述物联网数据的属性表征所述物联网数据为文本或图片数据的情况下，对所述物联网数据进行处理，得到目标传输数据；其中，所述处理包括数据清洗、识别和压缩中的至少一种；

在所述物联网数据的属性表征所述物联网数据为视频数据的情况下，将所述视频数据确定为目标传输数据。

5.根据权利要求3所述的平台，其特征在于，所述管理中心，用于：

对所述至少一个节点设备进行接入配置，

在接入配置成功的情况下，对所述至少一个节点设备进行服务配置；

优选地，所述管理中心，还用于：

展示配置页面，

获得输入至配置页面的配置信息，

按照所述配置信息，对所述节点进行接入配置；

优选地，所述管理中心，还用于：

对所述接入配置和/或服务配置进行监控。

6.根据权利要求2所述的平台，其特征在于，所述***级服务以及非***级服务被注册于所述节点中，得到所述节点的服务注册信息；

相应的，所述管理中心，还用于：

获得节点间的服务注册信息；

在出现有节点出现异常的情况下，获得异常节点未完成的业务；

利用所述服务注册信息，确定目标节点；

将所述未完成的业务交由至所述目标节点进行处理。

7.根据权利要求1或2所述的平台，其特征在于，所述管理中心，用于：

对所述节点设备的物联网数据、网络状态和/或所配置的服务进行监控；

显示监控结果。

8.根据权利要求1所述的平台，其特征在于，所述管理中心，用于：

对所述第一节点设备所获取的数据和/或所述数据处理结果进行统计；

对所述第一节点设备上产生的异常数据进行统计。

9.根据权利要求1所述的平台，其特征在于，所述第一节点设备至少对社区或分局内的监控视频、抓拍图片进行采集，并对采集的数据进行业务处理，传输所产生的数据处理结果；所述数据处理结果至少被传输至与所述社区或分局对接的其它机构。

10.一种数据管理平台的工作方法，其特征在于，所述方法包括：

利用所述平台的管理中心对至少一个节点设备进行服务配置，并对所述节点设备进行业务管理；

利用所述管理中心对第一节点设备的服务配置，所述第一节点设备对所获取的数据进行业务处理，并传输所产生的数据处理结果；其中，所获取的数据是安防领域的物联网数据，包括以下至少一项：监控视频、抓拍图片、结构化数据；所述第一节点设备为所述至少一个节点设备中的任一个。

Images