CN105471958A - 一种物联网数据处理的***及方法 - Google Patents

一种物联网数据处理的***及方法 Download PDF

Info

Publication number
CN105471958A
CN105471958A CN201510481516.7A CN201510481516A CN105471958A CN 105471958 A CN105471958 A CN 105471958A CN 201510481516 A CN201510481516 A CN 201510481516A CN 105471958 A CN105471958 A CN 105471958A
Authority
CN
China
Prior art keywords
data
time
compression
real
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510481516.7A
Other languages
English (en)
Inventor
陈海滨
康暖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opzoon Technology Co Ltd
Original Assignee
Opzoon Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opzoon Technology Co Ltd filed Critical Opzoon Technology Co Ltd
Priority to CN201510481516.7A priority Critical patent/CN105471958A/zh
Publication of CN105471958A publication Critical patent/CN105471958A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种物联网数据处理的***及方法,所述***包括：数据采集模块，用于采集数据采集终端的数据，并将所采集到的数据实时传输至数据监控终端；数据监控模块，与所述数据采集模块相连，用于将所述数据采集模块所采集的数据存储至硬件存储设备中并压缩，每隔一段时间将压缩后的数据发送至数据中心。根据本发明的一种物联网数据处理的***及方法，在将数据采集终端的数据实时传输至数据监控终端的同时,将监控终端的数据暂存至物联网硬件存储设备并压缩，每隔一定时间段将压缩后的数据发送至数据中心存储，有效地缓解了网络拥堵。

Description

一种物联网数据处理的***及方法
技术领域
本发明属于计算机网络技术领域，具体涉及一种物联网数据处理的***及方法。
背景技术
在云计算存储中，物联网信息的存储十分普遍。当前，物联网信息包括监控视频数据信息、实时温度湿度数据信息和信号预警信息三种。这三种信息都是实时信息，数据量巨大，在存储传输的过程中极易造成信息的拥堵。例如，当存储监控视频数据信息时，假设在一个区域内的每个监视点安装一个摄像头，该区域内一共安装有100个摄像头，则这100个摄像头需要同实时时的将数据发送给数据中心，那么此时数据中心的信息交互数据就会非常巨大，巨大的信息交互会占用大量带宽，从而造成了监控视频数据信息的拥堵。
发明内容
本发明的目的是提供一种物联网数据处理的***及方法，使用终端的数据压缩和数据暂存技术，将数据发送所占用互联网的带宽时间分散开，实现了在将大数据信息实时同步的地传输给数据中心的同时又不会阻塞网络的目的，以克服现有技术中的物联网数据处理存在实时将大数据发送至数据中心而造成数据信息拥堵的缺陷。
根据本发明的一个方面，提供了一种物联网数据处理的***,所述***包括：
数据监控模块，用于实时监控接收到的采集数据，并存储所述数据，每隔一个时间段将所述时间段内的数据进行压缩并将压缩后的数据上传。
其中，上述方案中，所述***还包括：
数据采集模块，用于采集数据，并将所采集到的数据实时传输至数据监控模块；以及，
数据中心，用于接收、存储和处理所述压缩后并上传的数据。
其中，上述方案中，所述数据采集模块通过发送虚拟信号的方式将所采集到的数据实时传输至数据监控模块。
其中，上述方案中，所述数据监控模块包括：实时监控子模块、数据存储子模块、数据压缩子模块和数据发送子模块；其中，
所述实时监控模块用于对所述数据进行实时监控；
所述数据存储子模块用于存储所述数据；
所述数据压缩子模块用于每隔一个时间段将所述时间段内的数据进行压缩；
所述数据发送子模块用于将压缩后的数据发送至数据中心。
其中，上述方案中，所述***还包括时间段设置模块，与所述数据监控模块相连，用于设定数据监控模块向数据中心发送压缩后的数据的间隔时间段。
根据本发明的另一个方面，还提供了一种物联网数据处理的方法,所述方法包括：
步骤S2，存储接收到的采集数据，每隔一个时间段将所述时间段内的数据进行压缩，并将压缩后的数据进行上传。
其中，上述方案中，所述方法还包括：
步骤S1，采集数据，并对所采集的数据进行实时传输和监控。
其中，上述方案中，所述对所采集到的数据进行实时传输，包括：
采用发送虚拟信号的方式将所采集的数据进行实时传输。
其中，上述方案中，所述步骤S2包括：
步骤S21，设定时间段；
步骤S22，存储所述时间段内的数据；
步骤S23，压缩所存储的所述时间段内的数据并将压缩后的数据进行上传。
其中，上述方案中，所述步骤S21包括：设定所述时间段为10S。
根据本发明的一种物联网数据处理的***及方法，在将数据采集终端的数据实时传输至数据监控终端的同时,将监控终端的数据暂存至物联网硬件存储设备并压缩，每隔一定时间段将压缩后的数据发送至数据中心存储，有效地缓解了网络拥堵。本发明使用终端的数据压缩和数据暂存技术，将数据发送所占用互联网的带宽时间分散开，实现了在将大数据信息实时同步的地传输给数据中心的同时又不会阻塞网络的目的。
附图说明
图1显示了现有技术的物联网数据处理的原理图；
图2显示了本发明的物联网数据处理的原理图；
图3显示了本发明优选实施例的物联网数据处理***的结构示意图；
图4显示了本发明优选实施例的数据监控模块的结构示意图；
图5显示了本发明另一优选实施例的物联网数据处理***的结构示意图；
图6显示了本发明优选实施例的物联网数据处理方法的流程图；
图7显示了图6中步骤S2的子流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1显示了现有技术的物联网数据处理的原理图。
如图1所示，物联网数据存储中，数据采集终端与数据监控终端之间交互的信息往往是实时信息，数据量巨大，在存储传输的过程中极易造成信息的拥堵。如果将数据监控终端处的数据实时存储至数据中心，那么数据中心的信息交互数据就会非常巨大，巨大的信息交互会占用大量带宽，从而造成了数据监控终端的数据信息的拥堵。
图2显示了本发明的物联网数据处理的原理图。
如图2所示，在本发明中，实时将数据采集模块所采集的数据传输至数据监控模块的同时,将采集的数据暂存至物联网硬件存储设备，每隔一个时间段将该时间段内存储在物联网硬件存储设备中的物联网数据进行压缩，并将压缩后的数据发送至数据中心存储，这样将数据发送所占用互联网的带宽时间分散开，有效地缓解了网络拥堵。
图3显示了本发明优选实施例的物联网数据处理***的结构示意图。
如图3所示，本发明优选实施例的物联网数据处理***包括：数据采集模块1和数据监控模块2。
数据采集模块1，用于采集数据，并将所采集到的数据实时传输至数据监控模块2。在云计算存储中，物联网信息的存储十分普遍。当前，物联网信息包括监控视频数据信息、实时温度湿度数据信息和信号预警信息三种。这三种信息都是实时信息，数据量巨大，在存储传输的过程中极易造成信息的拥堵。例如，当存储监控视频数据信息时，假设在一个区域内的每个监视点安装一个摄像头，该区域内一共安装有100个摄像头，则这100个摄像头(相当于数据采集模块)需要同时实时的将数据发送给数据监控模块，即需要将这些摄像头采集的信息实时发给数据监控模块，以保证监控模块与监控摄像头间的正常运行，具体地，这些摄像头通过发送虚拟信号的方式将所采集到的数据实时传输至数据监控模块，即将视频以虚拟信号发送到监控模块的视频监视屏幕。
数据监控模块2，与所述数据采集模块1相连，用于实时监控所接收到的数据，并存储所述数据，每隔一个时间段将所述时间段内的数据进行压缩并将压缩后的数据发送至数据中心3。如果实时将数据采集模块1所采集的数据发送至数据中心3存储，那么数据中心3的信息交互数据就会非常巨大，巨大的信息交互会占用大量带宽，从而造成了数据信息的拥堵，为了缓解数据信息的拥堵，数据监控模块2先将数据采集模块1所采集的数据存储至硬件存储设备中并压缩，然后采用每隔一段时间发送的方式，将压缩后的数据发送至数据中心3。
数据中心3，用于接收、存储和处理所述压缩后的数据。
图4显示了本发明优选实施例的数据监控模块的结构示意图。
如图4所示，图3所示数据监控模块2的结构包括：实时监控子模块20、数据存储子模块21、数据压缩子模块22和数据发送子模块23。
实时监控子模块20，与所述数据采集模块1相连，用于对所接收的数据进行实时监控。
数据存储子模块21，与所述数据采集模块1相连，用于将所述数据采集模1所采集到的数据存储至硬件存储设备中。
数据压缩子模块22，与所述数据存储子模块21相连，用于对存储在硬件存储设备中的所述数据进行压缩。当数据压缩子模块22检测到数据存储子模块21存储在硬件存储设备中的数据时，数据压缩子模块22对这些数据进行压缩，以减少数据所占用的存储空间，提高这些数据的传输速度。
数据发送子模块23，与所述数据压缩子模块22相连，用于每隔一段时间将压缩后的数据发送至数据中心。这里的一段时间，可以为5S～20S，优选为10S。数据发送子模块23会按照一定的时间段周期，将数据压缩子模块22处理的压缩数据转发至数据中心存储，这样可以将数据发送所占用互联网的带宽时间分散开，解决了阻塞网络的问题。具体来说，数据发送子模块23每隔10秒就会向数据中心转发一次压缩过的10秒内的数据。
在本发明优选的实施例中，通过数据采集模块的实时处理确保了数据采集终端与数据监控终端之间信息的实时交互，通过数据监控模块对采集的数据进行暂存、压缩和再转发，将数据发送所占用互联网的带宽时间分散开，实现了在将大数据信息实时同步的地传输给数据中心的同时又不会阻塞网络的目的，防止了大数据实时传输堵塞网络。
图5显示了本发明另一优选实施例的物联网数据处理***的结构示意图。
如图5所示，在本发明另一优选实施例中，还包括时间段设置模块4，用于设定数据监控模块2向数据中心3发送压缩后的数据的间隔时间段。通过时间段设置单元4可自行设置数据转发的间隔时间段，以便最大限度优化网络。优选地，时间段设置单元4将所述间隔时间段设定为10S。
图6显示了本发明优选实施例的物联网数据处理方法的流程图；图7显示了图6中步骤S2的子流程图。
如图6所示，本发明优选实施例的物联网数据处理方法，包括：
步骤S1，采集数据，并对所采集的数据进行实时传输和监控。
在云计算存储中，物联网信息的存储十分普遍。当前，物联网信息包括监控视频数据信息、实时温度湿度数据信息和信号预警信息三种。这三种信息都是实时信息，数据量巨大，在存储传输的过程中极易造成信息的拥堵。例如，当存储监控视频数据信息时，假设在一个区域内的每个监视点安装一个摄像头，该区域内一共安装有100个摄像头，则这100个摄像头需要同实时时的将数据发送给数据采集终端。在本步骤中，采用发送虚拟信号的方式将在数据采集终端采集的数据实时传输至数据监控终端，即将视频以虚拟信号发送到监控终端的视频监视屏幕，以保证监控终端与监控摄像头间的正常运行。
步骤S2，将采集到的所述数据存储至硬件存储设备中并压缩，每隔一段时间将压缩后的数据发送至数据中心。
为了缓解数据信息的拥堵，在本步骤中，先将采集的数据存储至硬件存储设备中并压缩，然后采用每隔一段时间发送的方式，将压缩后的数据发送至数据中心。
具体来说，步骤S2的流程如图7所示，包括：
步骤S21，将在数据采集终端采集到的数据存储至硬件存储设备中。
步骤S22，对存储在硬件存储设备中的所述数据进行压缩。压缩存储在硬件存储设备中的数据，以减少数据所占用的存储空间，提高这些数据的传输速度。
步骤S23，每隔一段时间将压缩后的数据发送至数据中心。具体地，按照一定的时间段周期，优选为10S，即每隔10秒将硬件存储设备中压缩后的数据转发至数据中心存储，这样可以将数据发送所占用互联网的带宽时间分散开，解决了阻塞网络的问题，优化了大数据实时传输时当前网络的运行速度。
如上所述，根据本发明的一种物联网数据处理的***及方法，在将数据采集终端的数据实时传输至数据监控终端的同时,将监控终端的数据暂存至物联网硬件存储设备并压缩，每隔一定时间段将压缩后的数据发送至数据中心存储，有效地缓解了网络拥堵。本发明使用终端的数据压缩和数据暂存技术，将数据发送所占用互联网的带宽时间分散开，实现了在将大数据信息实时同步的地传输给数据中心的同时又不会阻塞网络的目的。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种物联网数据处理的***,其特征在于，所述***包括：
数据监控模块(2)，用于实时监控接收到的采集数据，并存储所述数据，每隔一个时间段将所述时间段内的数据进行压缩并将压缩后的数据上传。
2.根据权利要求1所述的***，其特征在于，所述***还包括：
数据采集模块(1)，用于采集数据，并将所采集到的数据实时传输至数据监控模块(2)；以及，
数据中心(3)，用于接收、存储和处理所述压缩后并上传的数据。
3.根据权利要求2所述的***，其特征在于，所述数据采集模块(1)通过发送虚拟信号的方式将所采集到的数据实时传输至数据监控模块(2)。
4.根据权利要求1所述的***，其特征在于，所述数据监控模块(2)包括：实时监控子模块(20)、数据存储子模块(21)、数据压缩子模块(22)和数据发送子模块(23)；其中，
所述实时监控模块(20)用于对所述数据进行实时监控；
所述数据存储子模块(21)用于存储所述数据；
所述数据压缩子模块(22)用于每隔一个时间段将所述时间段内的数据进行压缩；
所述数据发送子模块(23)用于将压缩后的数据发送至数据中心。
5.根据权利要求1所述的***，其特征在于，所述***还包括时间段设置模块(4)，与所述数据监控模块(2)相连，用于设定数据监控模块(2)向数据中心发送压缩后的数据的间隔时间段。
6.一种物联网数据处理的方法,其特征在于，所述方法包括：
步骤S2，存储接收到的采集数据，每隔一个时间段将所述时间段内的数据进行压缩，并将压缩后的数据进行上传。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
步骤S1，采集数据，并对所采集的数据进行实时传输和监控。
8.根据权利要求7所述的方法，其特征在于，所述对所采集到的数据进行实时传输，包括：
采用发送虚拟信号的方式将所采集的数据进行实时传输。
9.根据权利要求6所述的方法，其特征在于，所述步骤S2包括：
步骤S21，设定时间段；
步骤S22，存储所述时间段内的数据；
步骤S23，压缩所存储的所述时间段内的数据并将压缩后的数据进行上传。
10.根据权利要求9所述的方法，其特征在于，所述步骤S21包括：
设定所述时间段为10S。
CN201510481516.7A 2015-08-03 2015-08-03 一种物联网数据处理的***及方法 Pending CN105471958A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510481516.7A CN105471958A (zh) 2015-08-03 2015-08-03 一种物联网数据处理的***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510481516.7A CN105471958A (zh) 2015-08-03 2015-08-03 一种物联网数据处理的***及方法

Publications (1)

Publication Number Publication Date
CN105471958A true CN105471958A (zh) 2016-04-06

Family

ID=55609222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510481516.7A Pending CN105471958A (zh) 2015-08-03 2015-08-03 一种物联网数据处理的***及方法

Country Status (1)

Country Link
CN (1) CN105471958A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107360216A (zh) * 2017-06-21 2017-11-17 深圳市盛路物联通讯技术有限公司 一种物联网数据上报控制方法及***
CN109068183A (zh) * 2018-08-08 2018-12-21 湖南快乐阳光互动娱乐传媒有限公司 一种直播弹幕分发方法及装置
CN110786021A (zh) * 2017-06-23 2020-02-11 代傲表计简易股份公司 用于收集传感器数据的方法和***
CN111006976A (zh) * 2018-10-08 2020-04-14 华北电力大学（保定） 一种雾霾监测***和监测方法
CN113342273A (zh) * 2021-06-09 2021-09-03 北京九贺科技有限公司 一种基于缓存的大数据存储方法及***
CN113423080A (zh) * 2021-06-18 2021-09-21 北京金和网络股份有限公司 一种物联网关数据上传方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158691A (zh) * 2011-05-31 2011-08-17 中国电子科技集团公司第三十研究所 一种结合射频识别及视频摄像的监控***及监控方法
CN102413311A (zh) * 2010-09-20 2012-04-11 北京中星微电子有限公司 一种移动监控装置、***及监控方法
CN103701630A (zh) * 2013-12-03 2014-04-02 力合科技（湖南）股份有限公司 用于数据监测的数据处理方法和装置
CN104168148A (zh) * 2014-05-04 2014-11-26 杭州立地信息技术有限公司 一种多接口数据采集装置及采集方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413311A (zh) * 2010-09-20 2012-04-11 北京中星微电子有限公司 一种移动监控装置、***及监控方法
CN102158691A (zh) * 2011-05-31 2011-08-17 中国电子科技集团公司第三十研究所 一种结合射频识别及视频摄像的监控***及监控方法
CN103701630A (zh) * 2013-12-03 2014-04-02 力合科技（湖南）股份有限公司 用于数据监测的数据处理方法和装置
CN104168148A (zh) * 2014-05-04 2014-11-26 杭州立地信息技术有限公司 一种多接口数据采集装置及采集方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107360216A (zh) * 2017-06-21 2017-11-17 深圳市盛路物联通讯技术有限公司 一种物联网数据上报控制方法及***
CN110786021A (zh) * 2017-06-23 2020-02-11 代傲表计简易股份公司 用于收集传感器数据的方法和***
US11399223B2 (en) 2017-06-23 2022-07-26 Diehl Metering S.A.S. Method and system for collecting data supplied by sensors
CN110786021B (zh) * 2017-06-23 2022-08-12 代傲表计简易股份公司 用于收集传感器数据的方法和***
CN109068183A (zh) * 2018-08-08 2018-12-21 湖南快乐阳光互动娱乐传媒有限公司 一种直播弹幕分发方法及装置
CN111006976A (zh) * 2018-10-08 2020-04-14 华北电力大学（保定） 一种雾霾监测***和监测方法
CN113342273A (zh) * 2021-06-09 2021-09-03 北京九贺科技有限公司 一种基于缓存的大数据存储方法及***
CN113342273B (zh) * 2021-06-09 2022-09-09 重庆云微软件有限公司 一种基于缓存的大数据存储方法及***
CN113423080A (zh) * 2021-06-18 2021-09-21 北京金和网络股份有限公司 一种物联网关数据上传方法

Similar Documents

Publication Publication Date Title
CN105471958A (zh) 一种物联网数据处理的***及方法
CN105791431B (zh) 一种在线分布式监控视频处理任务调度方法及装置
US20220394316A1 (en) Message sending method and device, readable medium and electronic device
CN203416351U (zh) 电站厂房视频监控***
CN101945096B (zh) 手机面向机顶盒和pc进行视频直播的***及其工作方法
CN103716584A (zh) 基于上下文感知的智能移动终端现场监测方法
CN104639393A (zh) 一种无源光网络流量全网采集装置及其方法
CN109089029B (zh) 一种基于FPGA的Gige Vision接口图像传输***与方法
CN102355572A (zh) 一种基于云计算的大型高清视频监控***
CN102244767B (zh) 一种云监控***及方法
CN103152551B (zh) 用于农作物生长信息的远程图像监测***及其方法
CN105554450A (zh) 分布式视频全景显示***
CN104572574A (zh) 基于千兆以太网视觉协议的以太网控制器ip核及方法
CN104639900B (zh) Rtmp转m3u8视频切片***及方法
CN110320853A (zh) 一种plc数据采集分析方法及***
CN203482319U (zh) 一种电站厂房视频监控分析***
CN103036808B (zh) 一种去除网络抖动的方法及***
CN105072377A (zh) 一种执法记录***及其控制方法
CN104639979A (zh) 视频分享方法及***
CN104796728A (zh) 一种4g-wifi高清网络视频服务器
CN105430297A (zh) 多视频格式向iidc协议视频格式转换的自动控制***
CN202435526U (zh) 一种基于cmos图像传感器的视频采集装置
CN104093006A (zh) 一种通过双流模式进行远程抓拍画面的***及其方法
CN115022585A (zh) 告警视频抓取的方法和装置
CN204498285U (zh) 一种4g-wifi高清网络视频服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination