CN107422980B - 物联网数据文件存储***及其数据文件存储方法 - Google Patents

Abstract

本发明涉及物联网数据文件存储***及其数据文件存储方法，其中物联网数据文件存储***包括用于存储所有用户的数据文件的数据中心和用于存储指定用户的数据文件的网络附属存储装置，数据中心和网络附属存储装置均设有多个，且所有数据中心在地理上设置于不同的区域，网络附属存储装置的数目与用户数目一致，任一网络附属存储装置至少与一个数据中心连接。与现有技术相比，本发明具有安全、高效等优点。

Description

物联网数据文件存储***及其数据文件存储方法

技术领域

本发明涉及云存储，尤其是涉及一种物联网数据文件存储***及其数据文件存储方法。

背景技术

物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段。其英文名称是：“Internet of things(IoT)”。顾名思义，物联网就是物物相连的互联网。这有两层意思：其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。因此，应用创新是物联网发展的核心，以用户体验为核心的创新2.0是物联网发展的灵魂。

在微软的UWP(Universal Windows Platform，Windows通用应用平台)中，Windows10lot也作为一个重要的组成部分可以运行Win10通用应用(Windows10Universal App)。

物联网自诞生之日起便和云技术有着不可分割的关联，物联网设备(尤其是智能可穿戴设备)得以得到迅猛的发展，在硬件上，一来是归功于半导体行业的发展(更小的体积，更低的功耗和更快的处理速度)，二来便是归功于云计算和云存储，大量的计算任务和存储任务被从终端剥离，终端往往只需要丰富的传感器以及执行简单的数据打包、缓存和分发即可。

然而，目前存储在云端的数据会面临非常的考验，首先，大量的数据被集中存储，导致一旦发生意外，其数据损失将会是巨大的，二来云存储技术普遍存在重复存储的问题，不同的用户可能会存在相同的文件，带来了资源的浪费。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种物联网数据文件存储***及其数据文件存储方法。

本发明的目的可以通过以下技术方案来实现：

一种物联网数据文件存储***，包括用于存储所有用户的数据文件的数据中心和用于存储指定用户的数据文件的网络附属存储装置，所述数据中心和网络附属存储装置均设有多个，且

所有数据中心在地理上设置于不同的区域，

网络附属存储装置的数目与用户数目一致，任一网络附属存储装置至少与一个数据中心连接。

所述网络附属存储装置为路由器。

所述路由器包括壳体、主板和硬盘，所述主板内置于壳体中，且主板上设有用于可拆装地插接所述硬盘的硬盘插口，所述壳体上与所述硬盘对应的位置开设有硬盘出入口。

所述硬盘出入口两侧设有用于抓取硬盘的引导斜槽。

任一网络附属存储装置至少与和该网络附属存储装置物理链路最短的数据中心连接。

一种上述任一所述物联网数据文件存储***的数据文件存储方法，包括步骤：

S1：用户的电子设备判断上级网关是否为对用于存储该用户的数据文件的网络附属存储装置，若为是，则执行步骤S2，若为否，则执行步骤S3；

S2：所述电子设备向网络附属存储装置发送数据文件，并执行步骤S4；

S3：所述电子设备向与自身物理链路最短的数据中心发送数据文件，并执行步骤S4；

S4：各数据中心之间，以及各数据中心和各网络附属存储装置均周期性同步数据文件。

所述数据中心包括用于存放公共数据文件的第一资料库和多个分别用于存储私有数据文件的第二资料库，电子设备向数据中心发送数据文件的具体过程包括步骤：

S31：获取上传数据文件的文件类型，并判断是否为多媒体文件类型，若为是，则执行步骤S32，若为否，则执行步骤S33；

S32：进行数据文件的预处理，判断该数据文件是否已存在于第一资料库中，若为是，则执行步骤S33，若为否，则接受由电子设备发送的数据文件，并将其存储于第一资料库中；

S33：在用于存储该用户数据文件的第二资料库中生成用于指向第一资料库中对应数据文件的索引；

S33：接受由电子设备发送的数据文件，并将该数据文件存放于用于存储该用户数据文件的第二资料库中。

所述S32中数据文件的比对过程具体包括步骤：

S321：将第一资料库中所有与待上传数据文件具有相同文件类型的数据文件加入至疑似文件集合；

S322：读取待上传数据文件的哈希值，并在疑似文件集合中剔除与待上传数据文件具有不同哈希值的数据文件；

S323：读取待上传文件的大小，并在疑似文件集合中剔除与待上传数据文件具有不同大小的数据文件；

S324：判断疑似文件集合中是否存在数据文件，若为是，则返回待上传数据文件存在于第一资料库中，并清空疑似文件集合，若为否，则返回待上传数据文件不存在于第一资料库中。

所述哈希值为MD5值。

与现有技术相比，本发明具有以下优点：

1)多个数据中心协同同步，避免了单一数据中心遭到破坏二带来的大规模数据丢失，同时在网络附属存储装置留有各个用户的数据备份，一来可以大大降低文件使用时的带宽成本，二来也为每一位用户提供了针对自身数据的本地备份，数据更加安全，此外所有数据中心在地理上设置于不同的区域可以实现地理灾害级别的容灾。

2)由于路由器具有常在线的特点，并且往往又是作为网关存在的，将其作为NAS可以在使用上更加便捷。

3)硬盘出入口两侧设有用于抓取硬盘的引导斜槽，在拆卸硬盘时会容易抓取，这样操作更加便捷。

4)电子设备在上传数据时，首先考虑向网络附属存储装置发送备份，将后期的同步工作交给网络附属存储装置统筹安排，可以在带宽利用上更加灵活，避免大量用户同时上传数据而带来的数据中心带宽吃紧。

5)将多媒体文件单独提取出来放入第一资料库中，可以避免不同用户存储相同文件而造成的资源浪费，与此同时，非多媒体文件则存放于第二资料库中，可以保护用户的隐私数据安全，不会被映射到公网上。

6)文件比对基于文件类型、文件大小和哈希值展开，可以更加全面，避免发生漏存和后续的索引指向错误而导致隐私门。

附图说明

图1为本发明的结构示意图；

图2为引导斜槽的设置示意图；

图3为数据中心存储划分示意图；

其中：1、数据中心，2、网络附属存储装置，21、壳体，22、硬盘，23、引导斜槽，101、第一资料库，102、第二资料库。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种物联网数据文件存储***，如图1所示，包括用于存储所有用户的数据文件的数据中心1和用于存储指定用户的数据文件的网络附属存储装置2，数据中心1和网络附属存储装置2均设有多个，且所有数据中心1在地理上设置于不同的区域，网络附属存储装置2的数目与用户数目一致，任一网络附属存储装置2至少与和该网络附属存储装置2物理链路最短的数据中心1连接。

网络附属存储装置2为路由器。路由器包括壳体21、主板和硬盘22，主板内置于壳体21中，且主板上设有用于可拆装地插接硬盘22的硬盘插口，壳体21上与硬盘22对应的位置开设有硬盘出入口。如图2所示，硬盘出入口两侧设有用于抓取硬盘22的引导斜槽23。

上述物联网数据文件存储***的数据文件存储方法，包括步骤：

S1：用户的电子设备判断上级网关是否为对用于存储该用户的数据文件的网络附属存储装置2，若为是，则执行步骤S2，若为否，则执行步骤S3；

S2：电子设备向网络附属存储装置2发送数据文件，并执行步骤S4；

S3：电子设备向与自身物理链路最短的数据中心1发送数据文件，并执行步骤S4；

S4：各数据中心1之间，以及各数据中心1和各网络附属存储装置2均周期性同步数据文件。

数据中心1包括用于存放公共数据文件的第一资料库101和多个分别用于存储私有数据文件的第二资料库102，电子设备向数据中心1发送数据文件的具体过程包括步骤：

S31：获取上传数据文件的文件类型，并判断是否为多媒体文件类型，若为是，则执行步骤S32，若为否，则执行步骤S33；

S32：进行数据文件的预处理，判断该数据文件是否已存在于第一资料库101中，若为是，则执行步骤S33，若为否，则接受由电子设备发送的数据文件，并将其存储于第一资料库101中；

S33：在用于存储该用户数据文件的第二资料库102中生成用于指向第一资料库101中对应数据文件的索引；

S33：接受由电子设备发送的数据文件，并将该数据文件存放于用于存储该用户数据文件的第二资料库102中。

S32中数据文件的比对过程具体包括步骤：

S321：将第一资料库101中所有与待上传数据文件具有相同文件类型的数据文件加入至疑似文件集合；

S322：读取待上传数据文件的哈希值，哈希值优选为MD5值，并在疑似文件集合中剔除与待上传数据文件具有不同哈希值的数据文件；

S323：读取待上传文件的大小，并在疑似文件集合中剔除与待上传数据文件具有不同大小的数据文件；

S324：判断疑似文件集合中是否存在数据文件，若为是，则返回待上传数据文件存在于第一资料库101中，并清空疑似文件集合，若为否，则返回待上传数据文件不存在于第一资料库101中。

如图3所示为数据文件在数据中心中的存储示意图，其中的Pufile均为多媒体文件，多媒体文件为视频和音频文件等，其文件格式可以预先设定，例如mp4、mp3、acc、avi等等，特别的多媒体文件不包括压缩文件，如果有用户希望将自己拍摄的私人视频上传至专属于自己的第二资料库中，只需要将其压缩成rar格式即可，这样由于默认的多媒体文件是会保存在第一资料库中的，可以大大减少空间。而其他的文档，例如doc和dat等文件则会被作为私人文件存放于第二资料库中。此外，图3中的pexfile(x＝1,2,…)则可能是文件也可能是指向第一资料库中某一Pufile的索引。

Claims (3)

1.一种物联网数据文件存储***的数据文件存储方法，其特征在于，所述***包括用于存储所有用户的数据文件的数据中心和用于存储指定用户的数据文件的网络附属存储装置，所述数据中心和网络附属存储装置均设有多个，且

所有数据中心在地理上设置于不同的区域，

网络附属存储装置的数目与用户数目一致，任一网络附属存储装置至少与一个数据中心连接；

所述网络附属存储装置为路由器；

所述路由器包括壳体、主板和硬盘，所述主板内置于壳体中，且主板上设有用于可拆装地插接所述硬盘的硬盘插口，所述壳体上与所述硬盘对应的位置开设有硬盘出入口；

所述硬盘出入口两侧设有用于抓取硬盘的引导斜槽；

任一网络附属存储装置至少与和该网络附属存储装置物理链路最短的数据中心连接；

所述方法包括步骤：

S1：用户的电子设备判断上级网关是否为对用于存储该用户的数据文件的网络附属存储装置，若为是，则执行步骤S2，若为否，则执行步骤S3；

S2：所述电子设备向网络附属存储装置发送数据文件，并执行步骤S4；

S3：所述电子设备向与自身物理链路最短的数据中心发送数据文件，并执行步骤S4；

S4：各数据中心之间，以及各数据中心和各网络附属存储装置均周期性同步数据文件；

所述数据中心包括用于存放公共数据文件的第一资料库和多个分别用于存储私有数据文件的第二资料库，电子设备向数据中心发送数据文件的具体过程包括步骤：

S31：获取上传数据文件的文件类型，并判断是否为多媒体文件类型，若为是，则执行步骤S32，若为否，则执行步骤S33；

S32：进行数据文件的预处理，判断该数据文件是否已存在于第一资料库中，若为是，则执行步骤S33，若为否，则接受由电子设备发送的数据文件，并将其存储于第一资料库中；

S33：在用于存储该用户数据文件的第二资料库中生成用于指向第一资料库中对应数据文件的索引；

S33：接受由电子设备发送的数据文件，并将该数据文件存放于用于存储该用户数据文件的第二资料库中。

2.根据权利要求1所述的方法，其特征在于，所述S32中数据文件的比对过程具体包括步骤：

S321：将第一资料库中所有与待上传数据文件具有相同文件类型的数据文件加入至疑似文件集合；

S322：读取待上传数据文件的哈希值，并在疑似文件集合中剔除与待上传数据文件具有不同哈希值的数据文件；

S323：读取待上传文件的大小，并在疑似文件集合中剔除与待上传数据文件具有不同大小的数据文件；

S324：判断疑似文件集合中是否存在数据文件，若为是，则返回待上传数据文件存在于第一资料库中，并清空疑似文件集合，若为否，则返回待上传数据文件不存在于第一资料库中。

3.根据权利要求2所述的方法，其特征在于，所述哈希值为MD5值。