CN112332981A - 一种数据处理的方法和装置 - Google Patents
一种数据处理的方法和装置 Download PDFInfo
- Publication number
- CN112332981A CN112332981A CN202011291328.5A CN202011291328A CN112332981A CN 112332981 A CN112332981 A CN 112332981A CN 202011291328 A CN202011291328 A CN 202011291328A CN 112332981 A CN112332981 A CN 112332981A
- Authority
- CN
- China
- Prior art keywords
- data
- internet
- things
- gateway
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/088—Usage controlling of secret information, e.g. techniques for restricting cryptographic keys to pre-authorized uses, different access levels, validity of crypto-period, different key- or password length, or different strong and weak cryptographic algorithms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供了一种数据处理方法和装置,方法包括:物联网网关获取物联网设备采集的第一数据;其中,第一数据为所述物联网设备加密处理后的数据;物联网网关获取物联网设备的设备标识,并根据设备标识,对第一数据解密,得到第二数据;物联网网关按照预设过滤规则,对第二数据进行过滤,得到第三数据;物联网网关确定第三数据对应的数据类型,并确定数据类型对应的修正信息和压缩信息;物联网网关按照修正信息,对第三数据进行修正处理,得到第四数据;物联网网关按照压缩信息,对第四数据进行压缩处理,得到目标数据。通过本发明实施例,实现了在数据传输前对的数据进行预先处理,减少数据传输占用的带宽,缓解服务器处理数据的压力。
Description
技术领域
本发明涉及数据处理领域,特别是涉及一种数据处理的方法和装置。
背景技术
目前,大数据的发展与应用在飞速发展的同时,也存在诸多问题,例如:数据开放共享不足、应用领域不广、数据资源开发利用不足、无序滥用现象严重等。
在智慧城市构建中,大数据发挥着重要作用,根据以往的智慧城市构建的经验,由于缺少统一的开发管理平台,只能独立构建各个城市应用,从而导致各个城市应用之间存在数据壁垒、应用壁垒问题,形成大量信息孤岛,无法发挥大数据的作用和价值。因而,亟待探索出能够推广使用的统一云平台,用以破除各城市应用之间的条块分割、消除信息鸿沟,实现大数据的量质融合。
在构建统一云平台的过程中,为管理设备及设备数据建立了区域物联网平台,在区域物联网平台中,物联网设备实时采集的大量设备数据包含了无效、有误的数据,如果将这些数据直接经服务器流入区域物联网平台时,不仅占用大量网络带宽,还增加了服务器处理数据的压力。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理的方法和装置,包括:
一种数据处理的方法,应用于区域物联网平台,所述区域物联网平台部署有物联网网关,所述方法包括:
所述物联网网关获取物联网设备采集的第一数据;其中,所述第一数据为所述物联网设备加密处理后的数据;
所述物联网网关获取所述物联网设备的设备标识,并根据所述设备标识,对所述第一数据解密,得到第二数据;
所述物联网网关按照预设过滤规则,对所述第二数据进行过滤,得到第三数据;
所述物联网网关确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息和压缩信息;
所述物联网网关按照所述修正信息,对所述第三数据进行修正处理,得到第四数据;
所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据。
可选地,所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据,包括:
获取所述第四数据的数据量;
判断所述数据量是否大于预设数据量;
当所述数据量大于所述预设数据量时,按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据。
可选地,还包括:
确定所述数据类型对应的加密信息;
按照所述加密信息,对所述目标数据进行加密处理。
可选地,所述修正信息包括修正格式信息,所述按照所述修正信息,对所述第三数据进行修正处理,得到第四数据,包括:
按照所述修正格式信息,对所述第三数据进行格式转换处理,得到第四数据。
可选地,所述数据类型包括字符型与非字符型,所述物联网网关确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息,包括:
确定所述第三数据对应的数据类型;
判断所述数据类型是否为非字符型;
当所述数据类型为非字符型时,确定所述数据类型对应的修正格式信息为字符型。
可选地,所述区域物联网平台部署有云服务器,还包括:
将所述目标数据发送至所述云服务器。
可选地,述压缩信息包括压缩格式信息,压缩比信息、压缩速度信息。
一种数据处理的装置,应用于区域物联网平台,所述区域物联网平台部署有物联网网关,所述装置包括:
第一数据采集模块,用于所述物联网网关获取物联网设备采集的第一数据;其中,所述第一数据为所述物联网设备加密处理后的数据;
第一数据解密模块,用于所述物联网网关获取所述物联网设备的设备标识,并根据所述设备标识,对所述第一数据解密,得到第二数据;
第二数据过滤模块,用于所述物联网网关按照预设过滤规则,对所述第二数据进行过滤,得到第三数据;
第三数据处理模块,用于确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息和压缩信息;
第三数据修正模块,用于所述物联网网关按照所述修正信息,对所述第三数据进行修正处理,得到第四数据;
第四数据压缩模块,用于所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据。
一种服务器,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的数据处理的方法。
一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的数据处理的方法。
本发明实施例具有以下优点:
本发明实施例通过所述物联网网关获取物联网设备采集的第一数据;其中,所述第一数据为所述物联网设备加密处理后的数据,所述物联网网关获取所述物联网设备的设备标识,并根据所述设备标识,对所述第一数据解密,得到第二数据,所述物联网网关按照预设过滤规则,对所述第二数据进行过滤,得到第三数据,所述物联网网关确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息和压缩信息,所述物联网网关按照所述修正信息,对所述第三数据进行修正处理,得到第四数据,所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据,实现了对数据的过滤、修正、压缩处理,从而能够减少数据传输占用的带宽,减少云服务器处理数据的压力。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种云平台的整体架构图;
图2是本发明一实施例提供的一种区域物联网平台的部署图;
图3是本发明一实施例提供的一种数据处理的方法的步骤流程图;
图4是本发明一实施例提供的另一种数据处理的方法的步骤流程图;
图5是本发明一实施例提供的一种数据处理的装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在智慧城市建设中,通过搭建标准统一、入口统一、采集统一、管理统一、服务统一、数据统一的跨域多维大数据公共服务云平台,建立城市级统一数据标准,打破数据壁垒,汇聚区域物联网(Internet of Things,IOT)与***数据资源,承载智慧城市所有业务***,并通过数据开放共享、平台能力开放、打造智慧城市生态。
跨域多维大数据公共服务云平台的建设目标,是通过引入云计算,大数据,物联网,移动互联等先进技术建设一个智慧城市的各类主体、各级业务协同机构和各领域的智慧应用形成一个开放、互联、智能的智慧城市生态体系,促进城市管理、社会民生、资源环境、经济产业各领域的数据共享,提升行政效率、城市治理能力、居民生活品质,促进行业融合发展、推动产业转型升级、创新商业模式,并向实现跨域多维大数据公共服务云平台的推广应用。
跨域多维大数据公共服务云平台主要涉及云计算、大数据、物联网、人工智能等前沿IT信息技术:
1、云计算技术:云计算主要由弹性计算、网络、存储、数据库、安全、中间件六大核心组件构成,提供弹性、快速、稳定、安全的资源及算力服务。
2、大数据技术:以数据构建与管理为核心,通过数据计算、数据开发、数据分析、数据可视化等相关组件,提供数据打通、数据整合、数据治理、数据共享等能力。
3、物联网技术:物联网平台提供了一站式的设备接入、设备管理、监控运维、安全保障等服务,作为时空物联引擎的重要组成,可提供物联基础能力支撑,满足未来新型智慧城市智能治理的需要。
4、人工智能技术:以AI算法开发平台为核心,通过视觉AI、文本语音识别、自然语言处理(Natural Language Processing,NLP)平台、地图服务等相关组件,提供一系列智能化服务。
如图1所示,云平台中部署有互联网引擎、时空物联引擎、跨域多维大数据引擎、区域物联传感***、融合业务共享中心与融合数据创新中心、区域应用门户、安全运维***、开放运营***、其他结构。
以下对云平台的各个部分进行具体说明:
(一)时空物联引擎
时空物联引擎由地理信息***(Geographic Information System或Geo-Information system,GIS)、建筑信息模型(Building Information Modeling,BIM)以及区域物联网平台构成,用于将空间数据与三维模型应用于区域物联网。
地理信息***是一种特定的十分重要的空间信息***,可以在计算机硬、软件***支持下,对整个或部分空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述。
建筑信息模型是以三维数字技术为基础,集成了建筑工程项目各种相关信息的工程数据模型,并且建立的模型随着项目进展处于不断深化和变化中。
区域物联网平台提供物联基础能力支撑,能够满足城市未来治理的需要。区域物联网平台包括感知设备管理中心、感知数据开放中心、区域事件运营中心,通过对设备与设备数据的管理,利用大量设备数据构建区域事件,通过对这些区域事件进行分析处理,为用户提供有价值的数据信息。
(二)互联网引擎
互联网引擎中部署有云效(DevOps)以及分布式中间件,用于实现对数据的高效资源共享、高效功能共享。
其中,DevOps为Development和Operations的组合词,是一组过程、方法与***的统称,用于促进应用程序/软件工程的开发、技术运营和质量保障部门之间的沟通、协作与整合。
分布式中间件是介于应用***和***软件之间的一类软件,使用***软件所提供的基础服务或功能,衔接网络上应用***的各个部分或不同的应用,能够达到资源共享、功能共享的目的。
(三)跨域多维大数据引擎
跨域多维大数据引擎部署有统一数据管理平台以及大数据引擎,用于实现对跨域数据的统一化管理。
(四)区域物联传感***
区域物联传感***由压力传感设备、湿度传感设备、摄像传感设备、光源传传感设备、红外传感设备、温度传感设备等传感设备构成。
(五)融合业务共享中心与融合数据创新中心
开放服务网关中部署有融合业务共享中心与融合数据创新中心。融合业务共享中心可以按业务分类将各区域数据进行融合后创建不同的数据共享中心,例如:个人信息中心、信用信息中心、法人信息中心、金融服务中心、旅游服务中心、综合治理服务中心、时空服务中心等共享中心,物联网服务中心。
融合数据创新中心通过数据融合体系和AI算法体系实现对融合数据的实现创新应用,其中,AI算法体系由大规模视觉计算平台、全时全域交通感知引擎、渐进式视频搜索引擎组成。
融合业务共享中心与融合数据创新中心将数据进行融合处理后可以通过区域应用门户呈现处理后的数据。
(六)区域应用门户
在区域应用门户中,主要分为生态环保、全域旅游、物业城市、企业智能服务、电子围栏、智慧社区、国际人才岛、区域经济大脑、跨境电商、跨域鉴权、电子围栏等板块。当用户通过区域应用门户进入各板块时,能够获取经处理后的数据所组成的各板块对应的资讯信息。
(七)安全运维***
安全运维***包括网络与安全保障、多云管理、区域云统一管理、平台接口等,用于保障整个云平台的安全运行。
(八)开放运营***
开放运营***包括统一入口、能力开放、运营平台等,用于建立数据的统一入口,接入各区域数据。
(九)其他结构
通过超算集群、区域云计算平台、openstack fiware集群(一个开源的云计算管理平台项目,是一系列软件开源项目的组合),对数据进行处理。
如图2所示,区域物联网平台200部署有物联网网关210、云服务器220,物联网设备201通过物联网网关210向云服务器220传输设备数据。
参照图3,示出了本发明一实施例提供的一种数据处理的方法的步骤流程图,具体可以包括如下步骤:
步骤301,所述物联网网关获取物联网设备采集的第一数据;其中,所述第一数据为所述物联网设备加密处理后的数据;
物联网设备可以实时采集第一数据,在物联网设备将采集的第一数据上传区域物联网平台时,为保证数据安全,可以先将第一进行加密,物联网网关可以获取第一数据,从而可以对第一数据进行数据处理。
步骤302,所述物联网网关获取所述物联网设备的设备标识,并根据所述设备标识,对所述第一数据解密,得到第二数据;
在获取第一数据后,物联网网关可以获取物联网设备的设备标识,第一数据是由物联网设备加密的,因此,可以采用设备标识对第一数据解密,得到第二数据。
步骤303,所述物联网网关按照预设过滤规则,对所述第二数据进行过滤,得到第三数据;
在得到第二数据后,在第二数据中包含了大量无效数据,无效数据可以是数据值不在预设范围内的数据、空值、或者不属于区域物联网需要用到的数据。
在物联网网关中,可以根据用户需求确定有效数据,以及有效数据的属性信息,例如:时间属性信息、数值属性信息,并可以根据有效数据属性信息建立预设过滤规则,通过预设过滤规则对第二数据进行过滤,可以滤除无效数据,得到第三数据。
例如,用户需要确定员工A的考勤信息,以确定员工A是否有迟到早退,通过考勤仪器采集到了员工A在一天内的多次上下班打卡记录,但是,实际上,通过最早或最晚的打卡时间就可以确定此人是否迟到或早退。最早与最晚的打卡记录为有效数据,而其他时间点的记录为无效数据。
因此,可以将预设过滤规则设置成与时间属性信息关联的规则,通过对多个上下班打卡记录进行按时间排序,提取最早与最晚的打卡记录,将其他打卡记录删除,实现对打卡数据的过滤。
在一示例中,可以根据有效数据的数值属性建立预设过滤规则。
例如:用户需要数据A,而数据A数值属性为:数值范围在[10,20]之间。
假设,一组第二数据为0、7、15、19,其中,0和7不在[10,20]内,可以确定0和7为无效数据,经过滤后,得到的第三数据为15、19。
步骤304,所述物联网网关确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息和压缩信息;
在一示例中,压缩信息可以包括压缩格式信息,压缩比信息、压缩速度信息。
修正处理可以是按照云服务器需要的数据格式对数据进行修正,使不同物联网设备的数据统一化,以便于云服务器进行数据处理;也可以是根据数据的逻辑关系对存在逻辑错误的数据进行删除;也可以是对重复的数据进行去重处理。修正信息用来表征数据具体需要进行的修正处理方式。压缩处理可以减少数据传输量,从而减少占用带宽,缓解云服务器数据压力。
在得到第三数据后,物联网网关可以先确定第三数据的数据类型,第三数据为经过过滤处理的有效数据,对于不同数据类型的数据可以采用不同的修正处理与压缩处理。因此,在确定数据类型之后,可以根据数据类型确定数据类型对应的修正信息和压缩信息。
步骤305,所述物联网网关按照所述修正信息,对所述第三数据进行修正处理,得到第四数据;
在得到修正信息和压缩信息后,物联网网关可以按照所述修正信息对第三数据进行修正处理,得到第四数据。通过对数据进行修正,使有效数据转换成云服务器可以直接处理的数据,缓解云服务器数据处理压力。
步骤306,所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据。
在得到第四数据后,物联网网关可以按照压缩信息对第四数据进行压缩,得到目标数据。通过压缩处理,可以减少数据量传输,从而减少数据传输占用的网络带宽,缓解云服务器处理数据的压力。
在本发明一实施例中,还包括:
确定所述数据类型对应的加密信息;按照所述加密信息,对所述目标数据进行加密处理。
在得到目标数据后,为了确保数据在传输过程中的安全性,可以确定目标数据的数据类型对应的加密信息,并按照加密信息,对目标数据进行加密处理。
在本发明一实施例中,所述区域物联网平台部署有云服务器,还包括:
将所述目标数据发送至所述云服务器。
在得到目标数据之后,将目标数据发送至云服务器,云服务器可以在解压目标数据后,可以得到所需要的的数据,从而实现了,将物联网设备采集的数据经过处理后传输到区域物联网平台的云服务器中。
本发明实施例通过所述物联网网关获取物联网设备采集的第一数据;其中,所述第一数据为所述物联网设备加密处理后的数据,所述物联网网关获取所述物联网设备的设备标识,并根据所述设备标识,对所述第一数据解密,得到第二数据,所述物联网网关按照预设过滤规则,对所述第二数据进行过滤,得到第三数据,所述物联网网关确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息和压缩信息,所述物联网网关按照所述修正信息,对所述第三数据进行修正处理,得到第四数据,所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据,实现了对数据的过滤、修正、压缩处理,从而能够减少数据传输占用的带宽,减少服务器处理数据的压力。
参照图4,示出了本发明一实施例提供的另一种数据处理的方法的步骤流程图,具体可以包括如下步骤:
步骤401,所述物联网网关获取物联网设备采集的第一数据;其中,所述第一数据为所述物联网设备加密处理后的数据;
步骤402,所述物联网网关获取所述物联网设备的设备标识,并根据所述设备标识,对所述第一数据解密,得到第二数据;
步骤403,所述物联网网关按照预设过滤规则,对所述第二数据进行过滤,得到第三数据;
步骤404,所述物联网网关确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息和压缩信息;
在本发明一实施例中,所述数据类型包括字符型与非字符型,所述物联网网关确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息,包括:
确定所述第三数据对应的数据类型;判断所述数据类型是否为非字符型;当所述数据类型为非字符型时,确定所述数据类型对应的修正格式信息为字符型。
其中,数据类型可以包括字符型与非字符型;修正信息可以是修正格式信息。
数据类型包括字符型与非字符型,当物联网网关连接的云服务器处理字符型时,可以确定第三数据对应的数据类型,并判断数据类型是否为非字符型,当第三数据为非字符型时,需要对第三数据进行格式修正,因此,可以确定数据类型对应的修正格式信息为字符型。
步骤405,所述物联网网关按照所述修正信息,对所述第三数据进行修正处理,得到第四数据;
在本发明一实施例中,所述修正信息包括修正格式信息,所述按照所述修正信息,对所述第三数据进行修正处理,得到第四数据,包括:
按照所述修正格式信息,对所述第三数据进行格式转换处理,得到第四数据。
在确定修正信息与压缩信息后,按照修正格式信息,对所述第三数据进行格式转换处理,得到第四数据。
步骤406,获取所述第四数据的数据量;
在得到第四数据后,可以获取第四数据的数据量,确定在经过过滤、修正后的数据的第四数据的数据量大小。
步骤407,判断所述数据量是否大于预设数据量;
预设数据量可以由本领域人员根据物联网网关与云服务器之间的以往的数据传输量设置具体数值。在获取数据量后,可以判断是否大于预设数据量。
步骤408,当所述数据量大于所述预设数据量时,按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据。
当数据量大于所述预设数据量时,按照压缩信息,对第四数据进行压缩处理,得到目标数据。
通过将大于预设数据量的数据进行压缩,可以减少数据量,同时对于数据量小的数据可以直接传输,提高了物联网网关的压缩效率。
本发明实施例通过所述物联网网关获取物联网设备采集的第一数据;其中,所述第一数据为所述物联网设备加密处理后的数据,所述物联网网关获取所述物联网设备的设备标识,并根据所述设备标识,对所述第一数据解密,得到第二数据,所述物联网网关按照预设过滤规则,对所述第二数据进行过滤,得到第三数据,所述物联网网关确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息和压缩信息,所述物联网网关按照所述修正信息,对所述第三数据进行修正处理,得到第四数据,所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据,实现了对数据的过滤、修正、压缩处理,从而能够减少数据传输占用的带宽,减少服务器处理数据的压力。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图5,示出了本发明一实施例提供的一种数据处理的装置的结构示意图,装置应用于区域物联网平台,区域物联网平台部署有物联网网关,具体可以包括如下模块:
第一数据采集模块501,用于所述物联网网关获取物联网设备采集的第一数据;其中,所述第一数据为所述物联网设备加密处理后的数据;
第一数据解密模块502,用于所述物联网网关获取所述物联网设备的设备标识,并根据所述设备标识,对所述第一数据解密,得到第二数据;
第二数据过滤模块503,用于所述物联网网关按照预设过滤规则,对所述第二数据进行过滤,得到第三数据;
第三数据处理模块504,用于确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息和压缩信息;
在一示例中,压缩信息可以包括压缩格式信息,压缩比信息、压缩速度信息。
在本发明一实施例中,所述数据类型包括字符型与非字符型,第三数据处理模块504可以包括:
数据类型确定子模块,用于确定所述第三数据对应的数据类型;
数据类型判断子模块,用于判断所述数据类型是否为非字符型;
修正格式信息确定子模块,用于当所述数据类型为非字符型时,确定所述数据类型对应的修正格式信息为字符型。
第三数据修正模块505,用于所述物联网网关按照所述修正信息,对所述第三数据进行修正处理,得到第四数据;
在本发明一实施例中,所述修正信息包括修正格式信息,第三数据修正模块505可以包括:
格式转换子模块,用于按照所述修正格式信息,对所述第三数据进行格式转换处理,得到第四数据。
第四数据压缩模块506,用于所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据。
在本发明一实施例中,第四数据压缩模块506可以包括:
数据量获取子模块,用于获取所述第四数据的数据量;
数据量判断子模块,用于判断所述数据量是否大于预设数据量;
压缩子模块,用于当所述数据量大于所述预设数据量时,按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据。
在本发明一实施例中,所述装置还可以包括:
加密信息确定模块,用于确定所述数据类型对应的加密信息;
加密处理模块,用于按照所述加密信息,对所述目标数据进行加密处理。
在本发明一实施例中,所述区域物联网平台部署有云服务器,所述装置还可以包括:
目标数据发送模块,用于将所述目标数据发送至所述云服务器。
本发明实施例通过所述物联网网关获取物联网设备采集的第一数据;其中,所述第一数据为所述物联网设备加密处理后的数据,所述物联网网关获取所述物联网设备的设备标识,并根据所述设备标识,对所述第一数据解密,得到第二数据,所述物联网网关按照预设过滤规则,对所述第二数据进行过滤,得到第三数据,所述物联网网关确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息和压缩信息,所述物联网网关按照所述修正信息,对所述第三数据进行修正处理,得到第四数据,所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据,实现了对数据的过滤、修正、压缩处理,从而能够减少数据传输占用的带宽,减少服务器处理数据的压力。
本发明一实施例还提供了一种服务器,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上数据处理的方法。
本发明一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上数据处理的方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种数据处理的方法和装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据处理的方法,其特征在于,应用于区域物联网平台,所述区域物联网平台部署有物联网网关,所述方法包括:
所述物联网网关获取物联网设备采集的第一数据;其中,所述第一数据为所述物联网设备加密处理后的数据;
所述物联网网关获取所述物联网设备的设备标识,并根据所述设备标识,对所述第一数据解密,得到第二数据;
所述物联网网关按照预设过滤规则,对所述第二数据进行过滤,得到第三数据;
所述物联网网关确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息和压缩信息;
所述物联网网关按照所述修正信息,对所述第三数据进行修正处理,得到第四数据;
所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据。
2.根据权利要求1所述的方法,其特征在于,所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据,包括:
获取所述第四数据的数据量;
判断所述数据量是否大于预设数据量;
当所述数据量大于所述预设数据量时,按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据。
3.根据权利要求1或2所述的方法,其特征在于,还包括:
确定所述数据类型对应的加密信息;
按照所述加密信息,对所述目标数据进行加密处理。
4.根据权利要求1或2或3所述的方法,其特征在于,所述修正信息包括修正格式信息,所述按照所述修正信息,对所述第三数据进行修正处理,得到第四数据,包括:
按照所述修正格式信息,对所述第三数据进行格式转换处理,得到第四数据。
5.根据权利要求4所述的方法,其特征在于,所述数据类型包括字符型与非字符型,所述物联网网关确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息,包括:
确定所述第三数据对应的数据类型;
判断所述数据类型是否为非字符型;
当所述数据类型为非字符型时,确定所述数据类型对应的修正格式信息为字符型。
6.根据权利要求1所述的方法,其特征在于,所述区域物联网平台部署有云服务器,还包括:
将所述目标数据发送至所述云服务器。
7.根据权利要求1所述的方法,其特征在于,所述压缩信息包括压缩格式信息,压缩比信息、压缩速度信息。
8.一种数据处理的装置,其特征在于,应用于区域物联网平台,所述区域物联网平台部署有物联网网关,所述装置包括:
第一数据采集模块,用于所述物联网网关获取物联网设备采集的第一数据;其中,所述第一数据为所述物联网设备加密处理后的数据;
第一数据解密模块,用于所述物联网网关获取所述物联网设备的设备标识,并根据所述设备标识,对所述第一数据解密,得到第二数据;
第二数据过滤模块,用于所述物联网网关按照预设过滤规则,对所述第二数据进行过滤,得到第三数据;
第三数据处理模块,用于确定所述第三数据对应的数据类型,并确定所述数据类型对应的修正信息和压缩信息;
第三数据修正模块,用于所述物联网网关按照所述修正信息,对所述第三数据进行修正处理,得到第四数据;
第四数据压缩模块,用于所述物联网网关按照所述压缩信息,对所述第四数据进行压缩处理,得到目标数据。
9.一种服务器,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011291328.5A CN112332981B (zh) | 2020-11-17 | 2020-11-17 | 一种数据处理的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011291328.5A CN112332981B (zh) | 2020-11-17 | 2020-11-17 | 一种数据处理的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112332981A true CN112332981A (zh) | 2021-02-05 |
CN112332981B CN112332981B (zh) | 2023-06-06 |
Family
ID=74321217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011291328.5A Active CN112332981B (zh) | 2020-11-17 | 2020-11-17 | 一种数据处理的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112332981B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113364617A (zh) * | 2021-06-02 | 2021-09-07 | 深圳市优标检测技术有限公司 | 一种物联网检测设备的信息采集方法 |
CN113411396A (zh) * | 2021-06-18 | 2021-09-17 | 泰安易扬科技有限公司 | 智慧水务信息传输***、水务信息***及传输方法 |
CN113765934A (zh) * | 2021-09-17 | 2021-12-07 | 国网山东省电力公司 | 用于分发网络的信息共享与交互方法、装置、产品及存储介质 |
CN114666406A (zh) * | 2022-02-24 | 2022-06-24 | 国电南瑞科技股份有限公司 | 一种基于物模型的电力物联网数据压缩方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734024A (zh) * | 2018-05-11 | 2018-11-02 | 四川长虹电器股份有限公司 | 一种基于字典映射的高效数据库加密方法 |
CN109284619A (zh) * | 2018-11-07 | 2019-01-29 | 重庆光电信息研究院有限公司 | 异源城市物联网的区域定置式边缘计算***及方法 |
US20190158594A1 (en) * | 2017-11-20 | 2019-05-23 | Moshe Shadmon | System and apparatus to manage data using a peer-to-peer network and the blockchain |
CN109862011A (zh) * | 2019-02-01 | 2019-06-07 | 华南理工大学 | 一种基于雾计算的物联网环境实时监测*** |
-
2020
- 2020-11-17 CN CN202011291328.5A patent/CN112332981B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190158594A1 (en) * | 2017-11-20 | 2019-05-23 | Moshe Shadmon | System and apparatus to manage data using a peer-to-peer network and the blockchain |
CN108734024A (zh) * | 2018-05-11 | 2018-11-02 | 四川长虹电器股份有限公司 | 一种基于字典映射的高效数据库加密方法 |
CN109284619A (zh) * | 2018-11-07 | 2019-01-29 | 重庆光电信息研究院有限公司 | 异源城市物联网的区域定置式边缘计算***及方法 |
CN109862011A (zh) * | 2019-02-01 | 2019-06-07 | 华南理工大学 | 一种基于雾计算的物联网环境实时监测*** |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113364617A (zh) * | 2021-06-02 | 2021-09-07 | 深圳市优标检测技术有限公司 | 一种物联网检测设备的信息采集方法 |
CN113411396A (zh) * | 2021-06-18 | 2021-09-17 | 泰安易扬科技有限公司 | 智慧水务信息传输***、水务信息***及传输方法 |
CN113765934A (zh) * | 2021-09-17 | 2021-12-07 | 国网山东省电力公司 | 用于分发网络的信息共享与交互方法、装置、产品及存储介质 |
CN114666406A (zh) * | 2022-02-24 | 2022-06-24 | 国电南瑞科技股份有限公司 | 一种基于物模型的电力物联网数据压缩方法及装置 |
CN114666406B (zh) * | 2022-02-24 | 2023-11-21 | 国电南瑞科技股份有限公司 | 一种基于物模型的电力物联网数据压缩方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112332981B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112332981B (zh) | 一种数据处理的方法和装置 | |
CN110335187B (zh) | 一种智慧城市操作*** | |
CN111787090B (zh) | 一种基于区块链技术的智慧法治平台 | |
CN111092938A (zh) | 一种基于云平台的智慧城市管理*** | |
US11392733B2 (en) | Multi-dimensional event model generation | |
CN112291367B (zh) | 一种数据处理的方法和装置 | |
CN109636307B (zh) | 河长app*** | |
CN112328585A (zh) | 一种数据处理的方法和装置 | |
US20190050435A1 (en) | Object data association index system and methods for the construction and applications thereof | |
CN110913032A (zh) | 一种电网威胁情报实现dns域名请求分析方法及其平台 | |
CN112398859B (zh) | 一种基于区域物联网平台的安全控制方法、装置、服务器和存储介质 | |
CN112383631A (zh) | 区域物联网平台和基于区域物联网平台的数据处理方法 | |
CN114841662A (zh) | 基建工程管控方法、装置、计算机设备和存储介质 | |
CN109710667A (zh) | 一种基于大数据平台的多源数据融合共享实现方法及*** | |
Boban et al. | Internet of Things, legal and regulatory framework in digital transformation from smart to intelligent cities | |
CN112382122B (zh) | 一种交通信息处理的方法和装置 | |
CN112306992B (zh) | 一种基于互联网的大数据平台*** | |
CN115567563B (zh) | 基于端边云的综合交通枢纽监测预警***及其控制方法 | |
CN112383435B (zh) | 一种故障处理的方法和装置 | |
CN112529466A (zh) | 一种基于大数据的智慧城管方法及*** | |
CN112256490A (zh) | 一种数据处理的方法和装置 | |
CN112258373B (zh) | 一种数据处理的方法和装置 | |
CN112333199B (zh) | 一种数据处理的方法和装置 | |
CN112258371A (zh) | 一种故障处理的方法和装置 | |
CN112468696A (zh) | 一种数据处理的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |