CN110995639A - 数据传输方法 - Google Patents

Abstract

本发明提供一种数据传输方法，包括：按照预设的数据头格式对采集到的数据进行结构化描述，并传输所述经过结构化描述的数据，其中，所述数据头的格式包括：数据ID、数据种类、数据名称、数据描述、数据所属的数据组ID、数据类型、数据计量单位、数据的字节长度。本发明所提供的数据传输方法，通过对待传输的数据按照预设的数据头格式进行结构化描述，使得物联网中各种不同类型数据的自动识别和解析，实现物联网中各种不同设备与设备之间、设备与传感器之间、传感器与传感器之间、设备与仪器之间、设备与云端网络之间等等各方的互联互通。

Description

数据传输方法

技术领域

本发明涉及通信技术领域，具体涉及一种数据传输方法。

背景技术

随着通信技术的不断发展，物联网和工业互联网时代已经来临。工业互联网的本质和核心是通过工业互联网平台把设备、生产线、工厂、供应商、产品和客户紧密地连接融合起来。可以帮助制造业拉长产业链，形成跨设备、跨***、跨厂区、跨地区的互联互通，从而提高效率，推动整个制造服务体系智能化。然而，物联网和工业互联网中设备与设备、设备与传感器、传感器与传感器、设备与仪器、设备与云端网络等之间的互联互通是建立在数据的互通之上的，不同设备间数据的自动识别、自动解析是物联网与工业互联网的重中之重。因此，有必要提出一种实现数据互联互通的解决方案。

发明内容

鉴于以上问题，本发明提出一种数据传输方法，实现物联网中传输数据的兼容和互通。

本申请提供一种数据传输方法，所述方法包括：按照预设的数据头格式对采集到的数据进行结构化描述，并传输所述经过结构化描述的数据，其中，所述数据头的格式包括：数据ID、数据种类、数据名称、数据描述、数据所属的数据组ID、数据类型、数据计量单位、数据的字节长度。

优选地，在对所述数据进行结构化描述之前，所述方法还包括：判断所述数据是数值型数据还是控制型数据，当所述数据为数值型数据时，按照所述预设的数据头格式对所述采集到的数据进行结构化描述。

优选地，所述数据头的格式还包括：数据值的上限、数据值的下限、数据的中心值、采集数据缺失标识、数据超限标识、数据的默认访问属性、数据的产生时间、以及自定义属性。

优选地，对于同一设备采集的数据数据，不同属性的数据对应数据头中属性的内容不同。

优选地，所述结构化描述的程序语言为Jason或XML。

优选地，所述数据为物联网中的***平台、传感器、设备、仪器、和/或装备采集的数据。7.如权利要求1所述的数据传输方法，其特征在于，在对所述数据进行结构化描述之前，所述方法还包括按照预设清洗规则对所述采集到的数据进行清洗。

优选地，所述方法还包括按照预设规则对所述数据进行合规性检查。

优选地，对所述数据进行结构化描述的方法包括：将所述数据头的结构化描述内容设置于所述数据之前。

优选地，用数据库的方式对数据及结构化描述属性进行存储和传输。

本发明所提供的数据传输方法，通过对待传输的物联网中的数据按照预设的数据头格式进行结构化描述，使得物联网中各种不同类型数据的自动识别和解析，实现物联网中各种不同设备与设备之间、设备与传感器之间、传感器与传感器之间、设备与仪器之间、设备与云端网络之间等等各方的互联互通。进而，通过数据的互联互通可以实现广泛的工业、农业、渔业、采矿业、轻工业、交通管理、智慧城市等各领域的各种数据间自动识别和解析，可以促进各产业发展。

附图说明

图1是本发明一实施例所提供的数据传输方法应用环境架构示意图。

图2是本发明一实施例所提供的数据传输方法流程图。

图3是本发明一实施例所提供的对数据进行结构化描述的方法流程示意图。

图4是本发明一实施例所提供的经过结构化描述的数据结构示意图。

图5是本发明另一实施例所提供的数据传输方法流程示意图。

图6是本发明另一个实施例提供的经过结构化描述的数据结构示意图。

图7是本发明又一个实施例提供的经过结构化描述的数据结构示意图。

图8是本发明再一个实施例提供的经过结构化描述的数据结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

请参阅图1，图1为本发明一个实施例提供的数据传输方法的应用环境架构示意图。

在本实施方式中，所述数据传输方法应用在通信***100中，所述通信***100包括，但不限于，数据采集单元11、网关单元12、以及数据平台13。所述通信***100可以是但不限于物联网领域的通信***，例如可以是工业物联网、农业物联网、渔业物联网、采矿物联网、轻工业、交通管理、智慧城市等应用在各个领域的通信***。

所述数据采集单元11中可以包括多个不同种类的数据采集设备，例如可以包括传感器、仪器仪表、射频标签、可编程逻辑控制器***(Programmable Logic Controller，Programmable Logic Controller)等现场数据采集装置，还可以包括数据采集与监视控制***(Supervisory Control And Data Acquisition，SCADA)等。所述数据采集单元11用于从各种数据源中获取数据。举例而言，对于工业互联网来说，所述数据源可以是工业生产资源，例如原料、生产装备、生产环境等，也可以是产生经营相关的业务管理数据的数据源，例如企业信息***等。所述数据采集单元11所采集的数据可以包括各种类型的数据，例如设备的运行参数数据、工况状态参数、环境参数数据等，本发明对此不做具体限制。

所述网关单元12用于建立所述数据采集单元11与所述数据平台13之间的通信连接。所述网关单元12包括多层子网关，每层子网关中包括多个网关设备12a，第一层子网关中的网关设备连接所述数据采集单元，前一层子网关中的多个网关设备12a连接至后一层子网关中的一个网关设备12a。例如图1中所示，所示网关单元12包括第一层子网关以及第二层子网关，所述第一层子网关中的每个网关设备与数据采集单元11连接，所述第一层子网关中的多个网关设备连接至第二层子网关中的一个网关设备，所述第二层子网关中的所有网关设备连接至数据平台13。

所述数据采集单元11采集的数据在经过网关单元12传输至所述数据平台的过程中，根据预设规则进行结构化描述，所述经过结构化描述的数据汇聚于所述数据平台13，可以用于数据交易、交换、共享、产品信息追溯等各种应用。

在数据通过所述通信***传输过程中，通过所述预设规则进行结构化描述的数据可以实现物联网中各种不同类型数据的自动识别和解析，实现物联网中各种不同设备与设备之间、设备与传感器之间、传感器与传感器之间、设备与仪器之间、设备与云端网络之间等等各方的互联互通。进而，通过数据的互联互通可以实现广泛的工业、农业、渔业、采矿业、轻工业、交通管理、智慧城市等各领域的各种数据间自动识别和解析，促进各产业发展。

下面结合图2具体介绍数据传输方法。图2为本发明一实施例中数据传输方法流程示意图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。为了便于说明，仅示出了与本发明实施例相关的部分。

如图2所示，所述数据传输方法包括以下步骤。

步骤S1、采集数据。

所述数据可以是通过***平台、传感器、设备、仪器、装备等数据采集单元采集的。所述数据可以是数值型的数据，例如也可以是控制型的数据。

数值型数据是指采集到的数据为数值，例如温度传感器采集到的温度值等。

控制型数据是指对其他设备进行控制相关数据，例如控制其他平台、传感器、仪器、装备、设备等的控制命令、控制命令参数、命令的目标设备ID号、命令的目标设备的接口等。

在一些优选实施方式中，由于采集的数据可能存在不完整数据、重复数据、缺省数据、冗余数据等问题，使得基于这些数据的分析可能产生错误的结果。因此，所述方法还包括对所述采集到的数据进行清洗和/或合规性检查。

一个实施方式中，对采集的数据进行清洗包括：根据预设清洗规则算法对采集的数据进行去冗余、去残和去噪声处理。所述预设清洗规则算法可以是删除缺失值方法、均值填补法或热卡填补法。其中，所述删除缺失值方法为将数据中出现有缺失值的样本直接丢弃。所述均值填补法为根据采集的数据中缺失值的属性相关系数最大的那个属性将数据分成几个组，然后分别计算每个组的均值，并把这些均值放入到缺失值的数值里。所述热卡填补法为在数据库中找到一个与缺失值相似的对象，然后将这个对象的值填充到缺失值的数值里。本实施方式中，数据清洗还包括根据预定义的分类规则和处理后的所述数据的特征对处理后的所述数据进行分类和聚合，得到一组或多组具有同一类特征的数据集合。

一个实施方式中，对所述数据进行合规性检查可以包括数值范围检查和字段长度检查。若检查确定存在不合规数据，则丢弃本次数据。

步骤S2、根据预设的数据头对所述数据进行结构化描述，并将所述经过结构化描述的数据传输至预设的目标装置。

下面结合图3和图4具体说明根据数据头对所述数据进行结构化描述的方法。图3所示，在本实施方式中，根据预设的数据头对所述数据进行结构化处理包括：

步骤S201、判断所述采集的数据是数值型数还是控制型数据，当所述数据是数值型数据时，执行步骤S202，当所述数据是控制型数据时，执行步骤S203。

***平台、传感器、设备、仪器、装备等数据采集单元采集的数据一般包括两种：一种是数值型的数据，数据的内容是具体数值，例如温度传感器采集的温度值、湿度传感器采集的湿度值等数值数据；另一种是控制型数据，是指对其他设备(包括但不限于平台、传感器、仪器、设备等)的控制指令。因为数值型数据和控制型数据的内容不同，因此对数值型数据和控制型数据采用不同格式的数据头0。

步骤S202、根据数值型数据头0对所述数据进行结构化描述，其中，所述数值型数据头0的格式包括但不限于：数据ID、数据种类、数据名称、数据描述、数据所属的数据组ID、数据类型(数值型)、数据计量单位、数据的字节长度。

其中，所述数据ID为数据的唯一标识符，所述数据所属数据组的ID是所述数据所属数据组的唯一标识符，一个数据组中可以包括有一个或多个数据。

在另一些实施例中，所述数值型数据头0的格式还可以进一步包括：数据值的上限、数据值的下限、数据的中心值、采集数据缺失标识、数据超限标识、数据的默认访问属性(R：只读；W：只写；RW：读写)、数据的产生时间、以及自定义属性等。

举例而言，对一个编号为20190828Tsensor的湿度传感器，在采集了一个或者一天内的多个数据后，将所述数据按照数据头0进行结构化描述后，将数据加入了数据ID、数据种类、数据名称、数据描述、数据所属的数据组ID、数据类型(数值型)、数据计量单位、数据的字节长度等属性。

在本实施方式中，对于同一个设备采集的一系列数据，根据数据的不同属性，数据头0中属性的内容可以是相同的，也可以是不同的，举例而言，如果所述数据头0是用于描述温度传感器采集的某地区的温度数据时，可能白天的温度上限值/下限值跟晚上的温度上限值/下限值是不同的，那么在白天传输的数据对应的数据头0中的数据值上限和晚上传输时对应的数据头0中数据值上限是不同的。

步骤S203、根据所述控制型数据头0对所述数据进行结构化描述，其中，所述控制型数据头0的格式包括但不限于：数据ID、数据种类，自定义枚举类型(命令型)、控制命令名称、控制命令功能描述、控制命令、命令目标设备ID、命令接口、命令参数个数n，命令参数1、…命令参数n，其中，所述命令参数的个数n为大于等于1的正整数。

所述数值型数据头0和所述控制型数据头0是对核心数据的结构化描述。

步骤S204、在所述经过数据头0结构化描述的数据前添加数据头1，得到第一目标数据，其中，所述数据头1的格式包括设备ID、设备类型、设备名称、设备功能。

在一实施方式中，所述数据头1是对数据组的描，一个数据组中可以包括多个数据。

在将同一个设备采集的一系列数据通过第一层网关进行发送之前，添加所述数据头1。针对同一个设备，该设备产生的所有数据添加的数据头1都是相同的，用于表示产生所述数据的设备的相关信息。

在一些实施方式中，所述经过结构化描述的数据可以只包括采集到的数据以及所述数据头0和所述数据头1。其中，所述数据头0是对核心数据的描述，所述数据头1是对数据所属的数据组的描述。

在另一些实施方式中，在将采集到的数据通过数据头0和数据头1进行结构化描述后，每通过一层子网关进行传输，则在所述经过结构化描述的数据中添加该层子网关对应的数据头。例如，同一个车间的不同设备产生的数据在通过子网关汇聚到整个公司对应的总网关之前，添加一个用于描述车间、产线等流程数据信息的数据头，从而对数据再次进行结构化描述。在将整个公司的所有数据通过总网关发送到数据平台进行汇总以便实现数据交易、共享之前，再添加一个用于描述产业类型、产业领域、公司名称、公司地址等数据源信息的数据头。

具体地，在本实施方式中，所述根据预设的数据头对所述数据进行结构化描述还可以进一步包括：

步骤S205、通过第一层子网关传输所述第一目标数据后，根据数据头2对所述第一目标数据进行结构化描述，得到第二目标数据，其中，所述数据头2包括对生产流程信息的描述。

在一个实施例中，所述数据头2包括：产品名、项目名、工艺号、产线号。

在一个实施例中，所述数据头2包括：项目、部门、工艺名、工艺号。

在一个实施例中，所述数据头2包括：项目、部门、产品名、产品号。

在另一个实施例中，所述数据头2包括：产品号、项目、部门、产线号。

在又一个实施例中，所述数据头2包括在产品/项目/部门、工艺名/工艺号。

在同一厂区、同一车间、同一部门的不同设备产生的数据通过第一层子网关发送到下一层子网关之前，通过所述数据头2对数据进行结构化描述，用于描述所述数据对应的产品名、项目名、工艺信息、产线信息等。

举例而言，对于一家手机加工厂，华为手机HUAWEI Mate 20加工过程分别为外壳加工、电子元件组装测试、产品包装三个部分，外壳加工数据、电子元件组装测试数据、包装数据分别可以通过外壳加工设备、组装测试设备、产品包装设备获取。那么在每种设备获取的数据分别经过数据头0和数据头1进行结构化描述后，在外壳加工数据前添加的数据头2的格式为“HUAWEI Mate 20_外壳加工_产线5”，在电子元件组装测试数据前添加的数据头2的格式为“HUAWEI Mate 20_电子组件组装测试_产线2”，在包装数据前添加数据头2的格式为“HUAWEI Mate 20_包装_产线1”。

在本实施方式中，所述方法还进一步包括：

步骤S206：通过第二层子网关传输所述第二目标数据之后，根据数据头3对所述第二目标数据进行结构化描述，其中，所述数据头3包括但不限于产品类型、产业领域、公司名称、公司地址。

例如，对于一家中国深圳的3D金属打印材料公司的生产加工数据和测试数据而言，通过第二层子网关传输所述第二目标数据之后，在所述第二目标数据中添加数据头3的内容为“金属材料_生产_xxx材料公司_中国深圳”等属性信息。

所述数据经过所述数据头0、所述数据头1、所述数据头2、以及所述数据头3进行结构化描述后，被发送至目标装置，例如发送至用于汇聚各种数据进行交换、共享、交易的数据平台。图4为本发明一个实施例中经过结构化描述的数据结构示意图。

可以理解，在一些实施方式中，根据数据头0和数据头1对数据进行结构化描述后，也可以直接根据所述数据头3进行结构化描述，而不添加所述数据头2。在一些实施方式中，也可以根据数据头0和数据头1对数据进行结构化描述后，再通过数据头2做进一步的结构化描述后直接发送至目标设备，而不经过数据头3的结构化描述。

在本发明一个实施方式中，对所述数据进行结构化描述的第一种方法为：将数据头的结构化描述内容设置于数据之前，并同时传输至所述预设的目标装置。类似于传统通信协议中的数据格式，在传输数据的同时也提供一份与这些数据相关的数据结构化描述属性，在使用所述数据时，先根据所述结构化描述文件对数据进行接收和展示。通过这种方式数据传输量比较小，但是在使用所述数据时需要根据数据头对数据进行解析。

在本发明另一个实施方式中，对所述数据进行结构化描述的第二种方法为：直接将数据按照数据头的格式进行转换，每个数据中都包含数据结构化描述属性，即，直接用数据库的方式对数据及结构化描述属性进行存储和传输。用户在使用时，可以按照数据的结构化描述直接使用，无需做额外的数据解析，但这种方式数据的传输量较大。

在本发明又一个实施方式中，可以将所述第一种和第二种数据结构化描述方法相结合。

在本发明实施方式中，通过Jason或XML作为结构化描述的程序语言，使得数据的结构化定义和描述具有通用性和易用性。

可以理解，在本发明其他实施方式中，也可以通过其他程序语言作为结构化描述的语言。

请参阅图5，为本发明另一个实施方式提供的数据传输方法流程图，所述方法包括：

步骤S501、发送/接收数据，所述数据包括数据内容、数据头0和数据头1，其中，所述数据头0为数值型数据头0或控制型数据头0，所述数值型数据头0包括数据ID、数据种类、数据名称、数据描述、数据所属的数据组ID、数据类型(数值型)、数据计量单位、数据的字节长度；所述控制型数据头0包括：数据ID、数据种类，自定义枚举类型(命令型)、控制命令名称、控制命令功能描述、控制命令、命令目标设备ID、命令接口、命令参数个数，命令参数；所述数据头1包括设备ID、设备类型、设备名称、设备功能。所述数据格式如图6所示。

一个实施方式中，所述数据除了包括所述数据头0和所述数据头1，还进一步包括数据头2，如图7所示。其中，所述数据头2包括但不限于如下任意一种：

产品名、项目名、工艺号、产线号；

项目、部门、工艺名、工艺号；

项目、部门、产品名、产品号；

产品号、项目、部门、产线号；

产品或项目或部门、工艺名或工艺号。

一个实施方式中，所述数据除了包括所述数据头0和所述数据头1，还包括数据头3，如图8所示。其中，所述数据头3包括但不限于产品类型、产业领域、公司名称、公司地址。

一个实施方式中，所述数据包括所述数据头0、所述数据头1、所述数据头2以及所述数据头3，如图4所示。

本发明所提供的数据传输方法，通过对待传输的物联网中的数据按照预设的数据头格式进行结构化描述，使得物联网中各种不同类型数据的自动识别和解析，实现物联网中各种不同设备与设备之间、设备与传感器之间、传感器与传感器之间、设备与仪器之间、设备与云端网络之间等等各方的互联互通。进而，通过数据的互联互通可以实现广泛的工业、农业、渔业、采矿业、轻工业、交通管理、智慧城市等各领域的各种数据间自动识别和解析，可以促进各产业发展。最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种数据传输方法，其特征在于，所述方法包括：

按照预设的数据头格式对采集到的数据进行结构化描述，并传输所述经过结构化描述的数据，其中，所述数据头的格式包括：数据ID、数据种类、数据名称、数据描述、数据所属的数据组ID、数据类型、数据计量单位、数据的字节长度。

2.如权利要求1所述的数据传输方法，其特征在于，在对所述数据进行结构化描述之前，所述方法还包括：判断所述数据是数值型数据还是控制型数据，当所述数据为数值型数据时，按照所述预设的数据头格式对所述采集到的数据进行结构化描述。

3.如权利要求1所述的数据传输方法，其特征在于，所述数据头的格式还包括：数据值的上限、数据值的下限、数据的中心值、采集数据缺失标识、数据超限标识、数据的默认访问属性、数据的产生时间、以及自定义属性。

4.如权利要求1所述的数据传输方法，其特征在于，对于同一设备采集的数据，不同属性的数据对应数据头中属性的内容不同。

5.如权利要求1所述的数据传输方法，其特征在于，所述结构化描述的程序语言为Jason或XML。

6.如权利要求1所述的数据传输方法，其特征在于，所述数据为物联网中的***平台、传感器、设备、仪器、和/或装备采集的数据。

7.如权利要求1所述的数据传输方法，其特征在于，在对所述数据进行结构化描述之前，所述方法还包括按照预设清洗规则对所述采集到的数据进行清洗。

8.如权利要求1或7所述的数据传输方法，其特征在于，所述方法还包括按照预设规则对所述数据进行合规性检查。

9.如权利要求1所述的数据传输方法，其特征在于，对所述数据进行结构化描述的方法包括：将所述数据头的结构化描述内容设置于所述数据之前。

10.如权利要求1所述的数据传输方法，其特征在于，用数据库的方式对数据及结构化描述属性进行存储和传输。

Images