CN106227899A - 一种面向物联网大数据的存储和查询方法 - Google Patents

Abstract

本发明属于软件设计与应用技术领域，具体涉及一种面向物联网大数据的存储和查询方法，其切合智慧城市领域的应用实际，具有强大的应用前景。该方法包括如下步骤：步骤S1：由传感器设备层采集数据；步骤S2：通过数据解析进行数据解析；步骤S3：通过数据存储层进行数据存储；步骤S4：通过数据查询层进行数据查询；与现有技术相比较，本发明提供一种在物联网大数据应用领域数据的高速存储和查询的方法，能够克服基于传统数据库存储和查询的缺点和不足。

Description

一种面向物联网大数据的存储和查询方法

技术领域

本发明属于软件设计与应用技术领域，具体涉及一种面向物联网大数据的存储和查询方法，其切合智慧城市领域的应用实际，具有强大的应用前景。

背景技术

当今是一个从互联网时代到物联网的时代，物联网是继计算机、互联网和移动通信之后的又一次信息产业的革命性发展。物联网是在互联网基础上的扩展和延伸，通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中。物联网的出现为智慧城市等领域的创新和发展提供了技术支持。随着物联网技术应用的范围不断扩大，物联网产生的数据也在不断膨胀，其所涉及的数据量规模巨大到无法通过目前的主流软件工具在合理的时间内达到撷取、管理、处理并基于此提供有用信息，从而形成了物联网时代和大数据时代的融合。物联网大数据的特点具有以下几个方面。第一，物联网中的数据量更大，物联网的最主要特征之一是节点的海量性，除了人和服务器之外，物品、设备、传感网等都是物联网的组成节点，其数量规模远大于互联网；同时，物联网节点的数据生成频率远高于互联网，如传感节点多数处于全时工作状态，数据流源源不断。第二，物联网中的数据速率更高，一方面，物联网中数据海量性必然要求骨干网汇聚更多的数据，数据的传输速率要求更高；另一方面，由于物联网与真实物理世界直接关联，很多情况下需要实时访问、控制相应的节点和设备，因此需要高数据传输速率来支持相应的实时性。第三，物联网中的数据更加多样化，物联网涉及的应用范围广泛，从智慧城市、智慧交通、智慧物流、商品溯源，到智能家居、智慧医疗、安防监控等，无一不是物联网应用范畴；在不同领域、不同行业，需要面对不同类型、不同格式的应用数据，因此物联网中数据多样性更为突出。

综合以上分析可以看出，大数据是物联网中必须的关键技术，二者的结合能够为物联网***和应用的发展带来更好的技术基础。因此，迫切需要针对物联网大数据的存储和查询问题，经过智慧管网项目的实践和应用，提出了一种面向物联网大数据存储查询的技术和方法，适用于智慧管网等物联网应用领域。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何克服基于传统数据库存储和查询的缺点和不足，提供一种在物联网大数据应用领域数据的高速存储和查询的方法。

(二)技术方案

为解决上述技术问题，本发明提供一种面向物联网大数据的存储和查询方法，其特征在于，其包括如下步骤：

步骤S1：由传感器设备层采集数据；

物联网应用领域的数据源都来自与各种专业的传感器设备；传感器设备层中的物联感知传感器负责把原始协议数据包发送到上层进行数据解析；

步骤S2：通过数据解析进行数据解析；

由于物联感知传感器采集并上报的数据是基于其特定协议的数据，在网络通信层面来讲传输的数据属于原始数据包，不能直接推送到***应用中直接应用，需要按照该设备的通信协议对原始数据报文进行解析形成格式化的数据；由于不同的传感器用途不一样，传感器数据解析后形成的数据格式分为结构化数据、半结构化数据、非结构化数据；其中，

结构化数据：对于解析大多数的传感器数据时得到的数据都是结构化数据，包括温度传感器，对某一时刻上报的数据报文解析后包含了设备编号、设备厂商、设备协议、设备运行状况、温度数据、产生数据的时间信息，这些信息的格式都是固定不变的，由此按照传统的关系型数据处理方式，创建温度传感器数据表，将以上业务信息按照对应的字段信息存储；

半结构化数据：在一些特定需求、特定场景的物联网应用中，有些传感器的数据虽然是结构化的，但是其结构不是永久不变，而是存在结构的差异性和变化性；这类数据包括城市地下管线供水专业监测站点数据，虽然是同一个专业的监测数据，但是由于该专业使用了不同的设备，导致上传的数据从结构上来说是不一致的，这样的数据属于半结构化数据；

非结构化数据：非结构化数据是无法直接知道其内容的信息，包括图像数据、声音数据、视频数据；对于物联网中的一个重要应用摄像头而言，该设备产生的数据就是图像、声音和视频，这些数据存储到关系型数据库中在进行查询和查看时就比较困难；

步骤S3：通过数据存储层进行数据存储；

数据存储层负责存储经数据解析层处理的数据，针对不同数据的类型采用不同的存储策略来解决数据多样性的存储问题；对于结构化数据存储到关系型数据库中，对于半结构化数据存储到分布式数据库中，对于非结构化数据存储到DFS中；其中，

RDBMS：由于目前关系型数据库技术的使用范围比较广泛、成熟度比较高，所以结构化数据存储到关系型数据库RDBMS中，包括Oracle、MySQL；

分布式数据库：对于半结构化数据来说，由于结构的不确定性和变化性的特点，在RDBMS技术体系中很难处理这样的结构变化，但是在比较流行的大数据技术中，基于列存储的分布式数据库技术适用于表结构不确定和变化的场景；列存储得名来源于其存储数据的方式与RDBMS最大的不同是按照列来存储数据，列存储最大的特点是方便存储结构化和半结构化的数据，方便做数据压缩，对于针对某一列或者某几列的查询有非常大的IO优势；

DFS：对于非结构化数据来说，如果使用RDBMS来存储图像、声音和视频，一般的做法是建立一个包含编号、内容描述、内容blob三个字段的表，非结构化数据保存在内容blob字段里，这样对于大量非结构化数据的存储是一个极大的挑战；针对这一问题，采用分布式文件***DFS，将非结构化的数据存储到一个文件***里，分布式的技术架构可以很好的解决海量非结构化数据的存储问题；

步骤S4：通过数据查询层进行数据查询；

数据查询是以下层的数据存储为基础，为上层***应用提供快速、高效的数据查询服务；通过采用查询缓存技术解决海量数据的快速索引，访问控制用来限制数据的访问权限，数据的访问方式采用发布数据服务的形式；具体包括：查询缓存、访问控制、数据服务；

查询缓存：由于物联网数据量的庞大和***访问数据的频繁程度高，在读取数据时频繁的磁盘IO操作，然而磁盘IO的速度慢、效率低，导致数据的读取效率低下；采用缓存技术可以让内存数据读取代替磁盘读取，内存数据的读取速度远快于磁盘读取，从而提高数据读取的效率；

查询缓存分集群分布式缓存和本地缓存；由于底层存储采用分布式技术，在读取某个数据时如果挨个节点寻找，势必会影响查询效率。分布式缓存能够高性能地读取数据、能够动态地扩展缓存节点、能够自动发现和切换故障节点、能够自动均衡数据分区，而且能够为使用者提供图形化的管理界面，部署和维护都十分方便；本地缓存是指将客户机本地的物理内存划分出一部分空间用来缓冲客户机回写到服务器的数据，将客户机回写的数据不再先写入服务器硬盘，而是将回写数据先写入本地回写缓存，当缓存空间达到一定的阀值时，再将数据回写到服务器；有了本地回写缓存功能之后，可大大降低服务器读写压力和网络负载；

访问控制：访问控制是负责应用***在发送数据访问请求时对***的访问权限进行验证和授权的管理功能；

数据服务：通过发布数据服务的方式向应用***提供数据访问接口，该接口实现访问异构数据时接口的一致性，用户无需关心数据是存储在RDBMS还是分布式数据库还是DFS。

(三)有益效果

与现有技术相比较，本发明提供一种在物联网大数据应用领域数据的高速存储和查询的方法，能够克服基于传统数据库存储和查询的缺点和不足。

附图说明

图1为本发明技术方案的原理示意图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

为解决现有技术的问题，本发明提供一种面向物联网大数据的存储和查询方法，如图1所示，其具体包括如下步骤：

步骤S1：由传感器设备层采集数据；

物联网应用领域的数据源一般都来自与各种专业的传感器设备；以城市地下管线综合管理应用为例，在各个专业管线上安装的传感器，比如温度传感器、压力传感器、流量传感器等时时刻刻都在监测管线中各参数指标的运行情况并上传数据，不同的设备采用不同的协议，那么数据源的格式、数据的接收方式都会有很大不同。传感器设备层中的物联感知传感器负责把原始协议数据包发送到上层进行数据解析；

步骤S2：通过数据解析进行数据解析；

由于物联感知传感器采集并上报的数据是基于其特定协议的数据，在网络通信层面来讲传输的数据属于原始数据包，不能直接推送到***应用中直接应用，需要按照该设备的通信协议对原始数据报文进行解析形成格式化的数据；由于不同的传感器用途不一样，传感器数据解析后形成的数据格式可以分为结构化数据、半结构化数据、非结构化数据；其中，

结构化数据：对于解析大多数的传感器数据时得到的数据都是结构化数据，包括温度传感器，对某一时刻上报的数据报文解析后包含了设备编号、设备厂商、设备协议、设备运行状况、温度数据、产生数据的时间等等信息，这些信息的格式都是固定不变的，由此按照传统的关系型数据处理方式，创建温度传感器数据表，将以上业务信息按照对应的字段信息存储；

半结构化数据：在一些特定需求、特定场景的物联网应用中，有些传感器的数据虽然是结构化的，但是其结构不是永久不变，而是存在结构的差异性和变化性；这类数据包括城市地下管线供水专业监测站点数据，虽然是同一个专业的监测数据，但是由于该专业使用了不同的设备，导致上传的数据从结构上来说是不一致的，这样的数据属于半结构化数据；

非结构化数据：非结构化数据是无法直接知道其内容的信息，包括图像数据、声音数据、视频数据；对于物联网中的一个重要应用摄像头而言，该设备产生的数据就是图像、声音和视频，这些数据存储到关系型数据库中在进行查询和查看时就比较困难；

步骤S3：通过数据存储层进行数据存储；

数据存储层是负责存储经数据解析层处理的数据，针对不同数据的类型采用不同的存储策略来解决数据多样性的存储问题；对于结构化数据存储到关系型数据库中，对于半结构化数据存储到分布式数据库中，对于非结构化数据存储到DFS中；其中，

RDBMS：由于目前关系型数据库技术的使用范围比较广泛、成熟度比较高，所以结构化数据存储到关系型数据库RDBMS中，包括Oracle、MySQL；而且面对物联网大数据问题，即数据规模和量级庞大的问题，Oracle、MySQL等关系型数据库也提供了分布式集群等解决方案；

分布式数据库：对于半结构化数据来说，由于结构的不确定性和变化性的特点，在RDBMS技术体系中很难处理这样的结构变化，但是在比较流行的大数据技术中，基于列存储的分布式数据库技术适用于表结构不确定和变化的场景；列存储得名来源于其存储数据的方式与RDBMS最大的不同是按照列来存储数据，列存储最大的特点是方便存储结构化和半结构化的数据，方便做数据压缩，对于针对某一列或者某几列的查询有非常大的IO优势；

DFS：对于非结构化数据来说，如果使用RDBMS来存储图像、声音和视频，一般的做法是建立一个包含编号、内容描述、内容blob三个字段的表，非结构化数据保存在内容blob字段里，这样对于大量非结构化数据的存储是一个极大的挑战；针对这一问题，采用分布式文件***DFS，将非结构化的数据存储到一个文件***里，分布式的技术架构可以很好的解决海量非结构化数据的存储问题；

步骤S4：通过数据查询层进行数据查询；

数据查询是以下层的数据存储为基础，为上层***应用提供快速、高效的数据查询服务；通过采用查询缓存技术解决海量数据的快速索引，访问控制用来限制数据的访问权限，数据的访问方式采用发布数据服务的形式；具体包括：查询缓存、访问控制、数据服务；

查询缓存：由于物联网数据量的庞大和***访问数据的频繁程度高，在读取数据时频繁的磁盘IO操作，然而磁盘IO的速度慢、效率低，导致数据的读取效率低下；采用缓存技术可以让内存数据读取代替磁盘读取，内存数据的读取速度远快于磁盘读取，从而提高数据读取的效率；

查询缓存分集群分布式缓存和本地缓存；由于底层存储采用分布式技术，在读取某个数据时如果挨个节点寻找，势必会影响查询效率。分布式缓存能够高性能地读取数据、能够动态地扩展缓存节点、能够自动发现和切换故障节点、能够自动均衡数据分区，而且能够为使用者提供图形化的管理界面，部署和维护都十分方便；本地缓存是指将客户机本地的物理内存划分出一部分空间用来缓冲客户机回写到服务器的数据，该技术将客户机回写的数据不再先写入服务器硬盘，而是将回写数据先写入本地回写缓存，当缓存空间达到一定的阀值时，再将数据回写到服务器；有了本地回写缓存功能之后，可大大降低服务器读写压力和网络负载；

访问控制：访问控制是负责应用***在发送数据访问请求时对***的访问权限进行验证和授权的管理功能；

数据服务：通过发布数据服务的方式向应用***提供数据访问接口，该接口实现访问异构数据时接口的一致性，用户无需关心数据是存储在RDBMS还是分布式数据库还是DFS。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (1)

1.一种面向物联网大数据的存储和查询方法，其特征在于，其包括如下步骤：

步骤S1：由传感器设备层采集数据；

物联网应用领域的数据源都来自与各种专业的传感器设备；传感器设备层中的物联感知传感器负责把原始协议数据包发送到上层进行数据解析；

步骤S2：通过数据解析进行数据解析；

由于物联感知传感器采集并上报的数据是基于其特定协议的数据，在网络通信层面来讲传输的数据属于原始数据包，不能直接推送到***应用中直接应用，需要按照该设备的通信协议对原始数据报文进行解析形成格式化的数据；由于不同的传感器用途不一样，传感器数据解析后形成的数据格式分为结构化数据、半结构化数据、非结构化数据；其中，

结构化数据：对于解析大多数的传感器数据时得到的数据都是结构化数据，包括温度传感器，对某一时刻上报的数据报文解析后包含了设备编号、设备厂商、设备协议、设备运行状况、温度数据、产生数据的时间信息，这些信息的格式都是固定不变的，由此按照传统的关系型数据处理方式，创建温度传感器数据表，将以上业务信息按照对应的字段信息存储；

半结构化数据：在一些特定需求、特定场景的物联网应用中，有些传感器的数据虽然是结构化的，但是其结构不是永久不变，而是存在结构的差异性和变化性；这类数据包括城市地下管线供水专业监测站点数据，虽然是同一个专业的监测数据，但是由于该专业使用了不同的设备，导致上传的数据从结构上来说是不一致的，这样的数据属于半结构化数据；

非结构化数据：非结构化数据是无法直接知道其内容的信息，包括图像数据、声音数据、视频数据；对于物联网中的一个重要应用摄像头而言，该设备产生的数据就是图像、声音和视频，这些数据存储到关系型数据库中在进行查询和查看时就比较困难；

步骤S3：通过数据存储层进行数据存储；

数据存储层负责存储经数据解析层处理的数据，针对不同数据的类型采用不同的存储策略来解决数据多样性的存储问题；对于结构化数据存储到关系型数据库中，对于半结构化数据存储到分布式数据库中，对于非结构化数据存储到DFS中；其中，

RDBMS：由于目前关系型数据库技术的使用范围比较广泛、成熟度比较高，所以结构化数据存储到关系型数据库RDBMS中，包括Oracle、MySQL；

分布式数据库：对于半结构化数据来说，由于结构的不确定性和变化性的特点，在RDBMS技术体系中很难处理这样的结构变化，但是在比较流行的大数据技术中，基于列存储的分布式数据库技术适用于表结构不确定和变化的场景；列存储得名来源于其存储数据的方式与RDBMS最大的不同是按照列来存储数据，列存储最大的特点是方便存储结构化和半结构化的数据，方便做数据压缩，对于针对某一列或者某几列的查询有非常大的IO优势；

DFS：对于非结构化数据来说，如果使用RDBMS来存储图像、声音和视频，一般的做法是建立一个包含编号、内容描述、内容blob三个字段的表，非结构化数据保存在内容blob字段里，这样对于大量非结构化数据的存储是一个极大的挑战；针对这一问题，采用分布式文件***DFS，将非结构化的数据存储到一个文件***里，分布式的技术架构可以很好的解决海量非结构化数据的存储问题；

步骤S4：通过数据查询层进行数据查询；

数据查询是以下层的数据存储为基础，为上层***应用提供快速、高效的数据查询服务；通过采用查询缓存技术解决海量数据的快速索引，访问控制用来限制数据的访问权限，数据的访问方式采用发布数据服务的形式；具体包括：查询缓存、访问控制、数据服务；

查询缓存：由于物联网数据量的庞大和***访问数据的频繁程度高，在读取数据时频繁的磁盘IO操作，然而磁盘IO的速度慢、效率低，导致数据的读取效率低下；采用缓存技术可以让内存数据读取代替磁盘读取，内存数据的读取速度远快于磁盘读取，从而提高数据读取的效率；

查询缓存分集群分布式缓存和本地缓存；由于底层存储采用分布式技术，在读取某个数据时如果挨个节点寻找，势必会影响查询效率。分布式缓存能够高性能地读取数据、能够动态地扩展缓存节点、能够自动发现和切换故障节点、能够自动均衡数据分区，而且能够为使用者提供图形化的管理界面，部署和维护都十分方便；本地缓存是指将客户机本地的物理内存划分出一部分空间用来缓冲客户机回写到服务器的数据，将客户机回写的数据不再先写入服务器硬盘，而是将回写数据先写入本地回写缓存，当缓存空间达到一定的阀值时，再将数据回写到服务器；有了本地回写缓存功能之后，可大大降低服务器读写压力和网络负载；

访问控制：访问控制是负责应用***在发送数据访问请求时对***的访问权限进行验证和授权的管理功能；

数据服务：通过发布数据服务的方式向应用***提供数据访问接口，该接口实现访问异构数据时接口的一致性，用户无需关心数据是存储在RDBMS还是分布式数据库还是DFS。