CN102355696B - 大规模物联网网关***及其实现方法 - Google Patents

Abstract

一种大规模物联网网关***及其实现方法，涉及网络技术领域，所解决的是降低异构网络接入难度及提高数据处理效率的技术问题。该***包括数据处理引擎、协同管理引擎、数据收集器组及多个信息传感区域；所述数据处理引擎连接到物联网管理平台，每个信息传感区域均包含多个信息传感网络，每个信息传感网络中均设有一个网关节点，并部署有多个信息传感代理，每个信息传感代理均连接到各信息传感网络的网关节点，并设有多个协议适配模块；所述数据收集器组连接数据处理引擎及各信息传感代理；所述协同管理引擎连接物联网管理平台及各信息传感代理，并内置有一设备状态表。本发明提供的***及方法，适用于物联网基础设施的设计和建设。

Description

大规模物联网网关***及其实现方法

技术领域

本发明涉及网络技术，特别是涉及一种大规模物联网网关***及其实现方法的技术。

背景技术

自1999年提出物联网的概念以来，物联网就一直广泛关注，成为热门研究对象。更有专家认为物联网是继计算机、互联网与移动通信***之后的世界信息产业的第三次浪潮。

物联网是指通过信息传感设备，按照约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。它是在互联网基础上延伸和扩展的网络。

从物联网的定义上不难看出，连接信息传感设备是构建物联网的重要步骤。在实际应用中，这些信息传感设备通常是以网络的形式存在，例如负责采集的监测区域信息的无线传感器网络，用于标识物体与身份的RFID***以及改变物体状态的控制网络等。而物联网网关就是整个物联网***中，负责把这些相互独立的信息传感设备联系在一起，使物联网完成自己使命的桥梁。

由于因特网的普及，我们步入了信息***的时代，如今社交媒体（Social Media）更使我们遭遇大规模数据处理与并发难题，时下热门的云计算技术也应运而生。现有网络的构建经验已经告诉我们，不可能只存在一个标准，一种产品，一个网络。和其他网关设备相比，物联网网关需要特别关注异构性，大规模数据处理以及高并发性这三个问题。现有的物联网网关都没有有效解决大量异构信息传感网络接入物联网的问题，使得新的异构信息传感网络接入物联网的接入难度较高，而且现有的物联网网关也没有有效解决大规模数据处理问题及并发性问题，其数据处理效率也较低。

发明内容

针对上述现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种异构信息传感网络接入难度低，而且数据处理效率高的大规模物联网网关***及其实现方法。

为了解决上述技术问题，本发明所提供的一种大规模物联网网关***，其特征在于，包括：

数据处理引擎，连接到物联网管理平台，是提供云计算服务的集群；

多个信息传感区域，每个信息传感区域均包含多个信息传感网络，每个信息传感网络中均设有一个用于管理该网络的网关节点，每个信息传感区域均部署有多个用于适配并转换信息传感网络协议的信息传感代理，每个信息传感代理均连接到所在信息传感区域内的各信息传感网络的网关节点，每个信息传感代理中均设有与所管理的各信息传感网络的协议相适配的多个协议适配模块；

数据收集器组，由多个数据收集器组成，连接数据处理引擎及各信息传感代理；

协同管理引擎，连接物联网管理平台及各信息传感代理，并内置有一设备状态表，所述设备状态表包含所有信息传感网络的设备、各信息传感代理及各数据收集器的状态信息。

进一步的，所述信息传感区域是指物联网中感知层所覆盖的一个地理区域，该地理区域中包含有多个不同种类的信息传感网络。

进一步的，所述信息传感网络是指物联网中位于感知层，用于完成特定信息采集、标识或控制功能的实体网络或***。

进一步的，所述数据处理引擎包括用于处理数据收集器上传的顺序文件的序列文件处理单元，及用于处理数据收集器上传的流数据的流数据处理单元。

进一步的，所述信息传感代理中设有用于提供远程管理服务的远程管理模块。

进一步的，所述协议适配模块包括用于对信息传感网络的数据流进行协议解析的数据通道适配单元，用于对管理消息进行解析的管理通道适配单元。

本发明所提供的大规模物联网网关***的实现方法，其特征在于：

一个新的信息传感网络需要接入物联网时，先向信息传感代理注册与之匹配的协议适配模块；

信息传感代理加载所有的协议适配模块，并通过各协议适配模块对所管理的各个异构信息传感网络的协议进行解析，再根据解析结果提取所需要的数据，然后将所提取的数据封装为标准XML序列化数据流后发送给数据收集器；

数据收集器收到信息传感代理发来的数据流后，将收到的数据流转发一份给数据处理引擎，并将收到的数据流封装成顺序文件后再发送给数据处理引擎；

数据处理引擎同时分别对收到的大规模数据流和顺序文件进行处理，并将处理后的数据封装成物联网管理平台所定义的格式后发送到物联网管理平台；

协同管理引擎收到物联网平台发来的管理命令后，根据设备状态表将管理命令转发给信息传感代理；

信息传感代理收到协同管理引擎发来的管理命令后，根据该管理命令的内容，执行命令或转发给对应信息传感代理的协议适配模块；

信息传感代理的协议适配模块收到管理命令后，根据该管理命令的内容转换为对应信息传感网络所定义的命令协议后，交由对应信息传感网络网关节点执行。

进一步的，信息传感代理向数据收集器发送数据流的步骤如下：

1）随机选择一个数据收集器为当前数据收集器；

2）检测当前数据收集器的状态；

3）如果当前数据收集器不可访问或拒绝连接，则从数据收集器组中随机再选择另一个数据收集器作为当前数据收集器后转至步骤2，反之则开始向当前数据收集器发送数据流。

本发明提供的大规模物联网网关***及其实现方法，由信息传感代理，数据收集器，数据处理引擎和协同管理引擎三类节点组成，信息传感代理运行在信息传感区域，负责所管辖的信息传感网络的接入与协议适配工作，数据收集器节点位于主干网络上，负责汇集信息传感代理所上传的标准数据流，数据处理引擎是一种集群节点，主要负责处理信息传感网络所产生的大规模数据，并按照物联网管理平台定义的协议格式重新封装数据，协同管理引擎主要负责来自物联网平台管理命令的调度，通过信息传感代理、数据收集器、数据处理引擎和协同管理引擎之间的协调管理，能降低异构信息传感网络的接入难度，而且能有效提高大规模数据处理效率及并发性数据的处理效率。

附图说明

图1是本发明实施例的大规模物联网网关***的结构框图。

具体实施方式

以下结合附图说明对本发明的实施例作进一步详细描述，但本实施例并不用于限制本发明，凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。

如图1所示，本发明实施例所提供的一种大规模物联网网关***，其特征在于，包括：

数据处理引擎，连接到物联网管理平台，是提供云计算服务的集群，用于处理XML序列化文件和XML序列化数据流，并将处理过的数据按照物联网管理平台所定义的协议封装后发送到物联网管理平台；

多个信息传感区域，每个信息传感区域均包含多个信息传感网络，每个信息传感网络中均设有一个用于管理该网络的网关节点，每个信息传感区域均部署有多个用于适配并转换信息传感网络协议的信息传感代理，每个信息传感代理均连接到所在信息传感区域内的各信息传感网络的网关节点，并通过所在信息传感区域内的各信息传感网络的网关节点管理所在信息传感区域内的各个信息传感网络，每个信息传感代理中均设有与所管理的各信息传感网络的协议相适配的多个协议适配模块；

数据收集器组，由多个数据收集器组成，连接数据处理引擎及各信息传感代理，用于收集各信息传感代理上传的数据，及将收集的标准XML序列化数据流封装成顺序文件发送给数据处理引擎，并提供标准XML数据流输出，每个数据收集器可收集上百个信息传感代理所上传的数据；

协同管理引擎，连接物联网管理平台及各信息传感代理，并内置有一设备状态表，根据该状态表负责对管理命令的调度，所述设备状态表包含所有信息传感网络的设备、各信息传感代理及各数据收集器的状态信息；

本发明实施例中，所述信息传感区域是指物联网中感知层所覆盖的一个地理区域，该地理区域中包含有多个不同种类的信息传感网络，每个信息传感区域所包含的信息传感网络的数量和种类可根据实际需要而定，例如在一个信息传感区域可配置一个无线传感器网络负责环境信息收集，配置一个工业控制网络负责现场设备控制，配置一个RFID***负责现场物品追踪，配置一个视频服务网络负责现场视频监视。

本发明实施例中，所述信息传感网络是指物联网中位于感知层，用于完成特定信息采集、标识或控制功能的实体网络或***，如无线传感器网络、工业控制网络、RFID***、视频服务网络等。

本发明实施例中，所述数据处理引擎包括用于处理数据收集器上传的顺序文件的序列文件处理单元，及用于处理数据收集器上传的流数据的流数据处理单元。

本发明实施例中，所述信息传感代理中设有用于提供远程管理服务的远程管理模块，用户可以通过该模块远程动态加载或卸载协议适配模块。

本发明实施例中，所述协议适配模块包括数据通道适配单元和管理通道适配单元，所述数据通道适配单元用于其匹配的信息传感网络的数据流进行协议解析，并将解析出的数据重新封装为标准序列化数据（如XML）流后上传给数据收集器；所述管理通道适配单元用于根据物联网定义的消息协议格式对用户向其匹配的信息传感网络中的设备发送的管理消息进行解析，并重新封装为信息传感网络所部署的协议后发送到信息传感网络。

如图1所示，本发明实施例所提供的大规模物联网网关***的实现方法，其特征在于：

一个新的信息传感网络需要接入物联网时，先向信息传感代理注册与之匹配的协议适配模块；

信息传感代理加载所有的协议适配模块，并通过各协议适配模块对所管理的各个异构信息传感网络的协议进行解析，再根据解析结果提取所需要的数据，然后将所提取的数据封装为标准XML序列化数据流后通过http协议发送给数据收集器；

数据收集器收到信息传感代理发来的数据流后，将收到的数据流转发一份给数据处理引擎，并将收到的数据流根据设定的时间（如每5分钟）或文件大小（64M）封装成顺序文件后再发送给数据处理引擎；

数据处理引擎同时分别对大规模数据流和顺序文件进行处理，并将处理后的数据封装成物联网管理平台所定义的格式后发送到物联网管理平台；

协同管理引擎收到物联网平台发来的管理命令后，根据设备状态表将管理命令转发给信息传感代理；

信息传感代理收到协同管理引擎发来的管理命令后，根据该管理命令的内容，执行命令或转发给对应信息传感代理的协议适配模块；

信息传感代理的协议适配模块收到管理命令后，根据该管理命令的内容转换为对应信息传感网络所定义的命令协议后，交由对应信息传感网络网关节点执行。

本发明实施例中，信息传感代理向数据收集器发送数据流的步骤如下：

1）指定一个数据收集器为当前数据收集器；

2）检测当前数据收集器的状态；

3）如果当前数据收集器不可访问或拒绝连接，则从数据收集器组中随机再选择另一个数据收集器作为当前数据收集器后转至步骤2，反之则开始向当前数据收集器发送数据流。

Claims (2)

1.一种大规模物联网网关***的实现方法，该方法通过大规模物联网网关***来实现，该***包括：

数据处理引擎，连接到物联网管理平台，是提供云计算服务的集群；

多个信息传感区域，每个信息传感区域均包含多个信息传感网络，每个信息传感网络中均设有一个用于管理该网络的网关节点，每个信息传感区域均部署有多个用于适配并转换信息传感网络协议的信息传感代理，每个信息传感代理均连接到所在信息传感区域内的各信息传感网络的网关节点，每个信息传感代理中均设有与所管理的各信息传感网络的协议相适配的多个协议适配模块；

数据收集器组，由多个数据收集器组成，连接数据处理引擎及各信息传感代理；

协同管理引擎，连接物联网管理平台及各信息传感代理，并内置有一设备状态表，所述设备状态表包含所有信息传感网络的设备、各信息传感代理及各数据收集器的状态信息；所述信息传感区域是指物联网中感知层所覆盖的一个地理区域，该地理区域中包含有多个不同种类的信息传感网络；所述信息传感网络是指物联网中位于感知层，用于完成特定信息采集、标识或控制功能的实体网络或***；所述数据处理引擎包括用于处理数据收集器上传的顺序文件的序列文件处理单元，及用于处理数据收集器上传的流数据的流数据处理单元；所述信息传感代理中设有用于提供远程管理服务的远程管理模块；所述协议适配模块包括用于对信息传感网络的数据流进行协议解析的数据通道适配单元，用于对管理消息进行解析的管理通道适配单元；其特征在于，该方法步骤为：

一个新的信息传感网络需要接入物联网时，先向信息传感代理注册与之匹配的协议适配模块；

信息传感代理加载所有的协议适配模块，并通过各协议适配模块对所管理的各个异构信息传感网络的协议进行解析，再根据解析结果提取所需要的数据，然后将所提取的数据封装为标准XML序列化数据流后发送给数据收集器；

数据收集器收到信息传感代理发来的数据流后，将收到的数据流转发一份给数据处理引擎，

并将收到的数据流封装成顺序文件后再发送给数据处理引擎；

数据处理引擎同时分别对收到的大规模数据流和顺序文件进行处理，并将处理后的数据封装成物联网管理平台所定义的格式后发送到物联网管理平台；

协同管理引擎收到物联网平台发来的管理命令后，根据设备状态表将管理命令转发给信息传感代理；

信息传感代理收到协同管理引擎发来的管理命令后，根据该管理命令的内容，执行命令或转发给对应信息传感代理的协议适配模块；

信息传感代理的协议适配模块收到管理命令后，根据该管理命令的内容转换为对应信息传感网络所定义的命令协议后，交由对应信息传感网络网关节点执行。

2.根据权利要求1所述的方法，其特征在于，信息传感代理向数据收集器发送数据流的步骤如下：

1）随机选择一个数据收集器为当前数据收集器；

2）检测当前数据收集器的状态；

3）如果当前数据收集器不可访问或拒绝连接，则从数据收集器组中随机再选择另一个数据收集器作为当前数据收集器后转至步骤2，反之则开始向当前数据收集器发送数据流。