CN115102951A - 一种数据实时发布方法、装置和设备 - Google Patents
一种数据实时发布方法、装置和设备 Download PDFInfo
- Publication number
- CN115102951A CN115102951A CN202210911207.9A CN202210911207A CN115102951A CN 115102951 A CN115102951 A CN 115102951A CN 202210911207 A CN202210911207 A CN 202210911207A CN 115102951 A CN115102951 A CN 115102951A
- Authority
- CN
- China
- Prior art keywords
- frequency data
- data
- frequency
- time
- protocol type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013144 data compression Methods 0.000 claims description 27
- 238000012856 packing Methods 0.000 claims description 26
- 238000007906 compression Methods 0.000 claims description 22
- 230000006835 compression Effects 0.000 claims description 22
- 239000000872 buffer Substances 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000004806 packaging method and process Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000005538 encapsulation Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 10
- 238000004891 communication Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000005540 biological transmission Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 101000939676 Androctonus crassicauda Toxin a Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供了一种数据实时发布方法、装置和设备，工业设备在发布高频数据时，当该工业设备上已采集高频数据的缓存时长达到预设的时长T时，则从设定的数据缓存区中读取以当前时间为终止时间、时长为所述时长T的时间范围内的高频数据，并依据目标协议类型对所读取的高频数据进行打包，并按照与所述目标协议类型匹配的发布策略向已注册的用户发布打包后的高频数据。可见，本申请实施例提供的技术方案无需额外增加用于支持实时以太网技术的通信硬件，不仅可以提高数据侧高频数据的发布效率，而且可以提高采集侧和消费侧的处理效率。
Description
技术领域
本申请所属技术领域为数据处理技术，特别涉及一种数据实时发布方法和装置。
背景技术
实时监控工业设备在运行过程中产生的高频数据对于状态监测、在线诊断和离线分析均具有非常重要的价值，然而，大量监控变量对应的毫秒级高频数据对于海量数据的发布和采集均面临严峻的挑战。
目前，现有高频数据的发布方法需要专门设计用于针对工业控制及数据采集领域中的数据传输实时性的硬件设备，如PowerLink或Profinet等物理设备，以用于解决实时以太网技术传输实时数据，并使用该硬件设备将采集后的高频数据直接发布，但该发布方法需要专用实时以太网技术需要的高成本通信硬件的支持，同时，由于用于传输高频数据所使用的标准协议并未针对高频场景进行进一步优化处理，使得网络带宽和运算性能很难支持过高数据量，如1000个以上20ms高频变量的持续传输，进而造成高频数据传输性能较差。
发明内容
本申请提供了一种数据实时发布方法、装置和设备，以在不额外增加通信硬件的情况下，提高高频数据的传输性能。
本申请提供的技术方案包括：
第一方面，本申请实施例提供一种数据实时发布方法，应用于工业设备，该方法包括：
当确定已采集本工业设备上高频数据的时长达到预设的时长T时，则从设定的数据缓存区中读取目标时间范围内的缓存数据，所述目标时间范围为以当前时间为终止时间、时长为所述时长T的时间范围，所述时长T依据最大允许延时确定，所述最大允许延时是依据所述工业设备中数据消费端的业务场景确定的；
依据目标协议类型对所读取的高频数据进行打包，并按照与所述目标协议类型匹配的发布策略向已注册的用户发布打包后的高频数据，所述高频数据发布耗时小于T。
第二方面，本申请实施例提供一种数据实时发布装置，应用于工业设备，该装置包括：
数据读取单元，用于当确定已采集本工业设备上高频数据的时长达到预设的时长T时，则从设定的数据缓存区中读取目标时间范围内的缓存数据，所述目标时间范围为以当前时间为终止时间、时长为所述时长T的时间范围，所述时长T依据最大允许延时确定，所述最大允许延时是依据所述工业设备中数据消费端的业务场景确定的；
数据发布单元，用于依据目标协议类型对所读取的高频数据进行打包，并按照与所述目标协议类型匹配的发布策略向已注册的用户发布打包后的高频数据，所述高频数据发布耗时小于T。
由以上技术方案可以看出，本申请中，工业设备在对高频数据发布时，当确定已采集该工业设备上高频数据的时长达到预设的时长T时，则从设定的数据缓存区中读取以当前时间为终止时间、时长为所述时长T的时间范围内的缓存数据，并依据目标协议类型对所读取的高频数据进行打包，并按照与所述目标协议类型匹配的发布策略向已注册的用户发布打包后的高频数据。可见，本申请实施例提供的技术方案无需额外增加用于支持实时以太网技术的通信硬件，同时，时长T是依据工业设备中数据消费端的业务场景确定的，在数据发布时，也能够按照与目标协议类型匹配的发布策略发布打包后的高频数据，从而能够有序读取数据并按照发布策略发布，进而能够提高高频数据的传输性能，同时，批量数据的发布能够减少通信交互，降低带宽占用，进而也提高数据侧和消费侧的处理效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请提供的一种数据实时公布方法的流程图；
图2为本申请提供的一种数据压缩方法的流程图；
图3为本申请提供的一种数据实时公布装置的结构示意图；
图4为本申请提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
参见图1，图1为本申请提供的一种数据实时发布方法的流程图，应用于工业设备。在实际应用中，每一工业设备连接于各自对应的边缘计算设备，每一边缘计算设备又均连接于中心服务器，从而构成针对工业设备的边缘计算平台。
如图1所示，该流程可包括以下步骤：
步骤101，当确定已采集本工业设备上高频数据的时长达到预设的时长T时，则执行步骤102。
其中，目标时间范围为以当前时间为终止时间、时长为上述时长T的时间范围，时长T依据最大允许延时确定，最大允许延时是依据工业设备中数据消费端的业务场景确定的。
作为一个实施例，上述时长T取最大允许延时的一半，若最大允许延时为1000毫秒，那T为500毫秒。
需要说明的是，数据消费侧的实时性要求T大于数据生成侧的采样间隔t，在实际应用中，作为一个实施例，T/t>10。
作为一个实施例，在采集本工业设备上高频数据的时长一达到预设的时长时，则数据生成侧就会向数据消费侧发送采集的高频数据，以缓存在设定的数据缓存区中。
在本步骤中，每隔T时长，就会执行步骤102。
本实施例中的数据消费端就是用于获取高频数据，并对获取的高频数据进行处理的数据消费侧中的设备，若数据消费侧为边缘计算平台，那么，数据消费端就是边缘计算平台中的边缘计算设备。
步骤102，从设定的数据缓存区中读取目标时间范围内的缓存数据。
数据缓存区是事先设定的缓冲区，在一些实施例中，该数据缓存区至少缓冲2T时间内的所有高频数据，以防止发布耗时超过T造成数据错误。
在执行完步骤102之后，作为一个实施例，还包括：针对读取的每一个高频变量对应的高频数据，检查该高频变量对应的高频数据的数量是否为预设数量，若为否，则对采集的高频数据进行调整，即对采集的高频数据进行增点或减点的调整，以使在时长T内采集到的该高频变量对应的高频数据的数量达到预设数量。本实施例提供的技术方案能够检查每个高频变量在最近T时长内是否正好采集到预设数量个数据点即高频数据。如果采集到预设数量个数据点，这就表示采样间隔所使用的时钟未出现时钟漂移。如果采集到数据点高于预设数量或低于预设数量，这就表示采样间隔所使用的时钟出现了时钟漂移，需要以定间隔采样技术解决时钟漂移导致的数据点增减。在一些实施例中，该预设数量为T*f，f为采集频率。
步骤103，依据目标协议类型对所读取的高频数据进行打包，并按照与所述目标协议类型匹配的发布策略向已注册的用户发布打包后的高频数据。
作为一个实施例，上述目标协议类型为默认的协议类型或依据选择指令确定的其他协议类型，所述默认协议类型为标准协议类型，所述高频数据发布耗时小于T。
本实施例中，数据发布推荐默认的标准协议类型，但也支持其他协议类型以供用户选择，示例性的，使用基于TCP(Transmission Control Protocol，传输控制协议)的私有格式实时传输高频数据。
每一个标准协议类型均对应一个与该标准协议类型匹配的发布策略，本步骤根据标准协议类型采取合适的发布策略准实时打包发布T时长内的所有高频数据。在一些实施例中，发布策略包括：以一个协议发布点对应1个监控变量，按照各个监控变量单独封装的策略发布。在又一些实施例中，发布策略包括：针对一个工业设备划分的不同子部件，对各子部件对应的高频数据进行封装的策略发布。在又一实施例中，发布策略包括：针对同一工业设备的高频数据，对该工业设备的高频数据进行整体封装的策略发布。
本步骤仅向已注册用户就是事先已签约用户实时公布打包后的高频数据，以提高数据的安全性。
需要注意的是，因实时性要求数据发布过程中数据采集会以更高优先级持续进行，基于此，数据发布耗时不得超过T时长，每采满T时长高频数据后发送，发送期间同时采集下一个T时长的高频数据，两个长度为T的缓冲区轮流进行以保证数据连续性。
至此，完成图1所示的描述。
由此可见，在本申请实施例提供的技术方案中，工业设备在对高频数据发布时，当确定已采集该工业设备上高频数据的时长达到预设的时长T时，则从设定的数据缓存区中读取以当前时间为终止时间、时长为所述时长T的时间范围内的缓存数据，并依据目标协议类型对所读取的高频数据进行打包，并按照与所述目标协议类型匹配的发布策略向已注册的用户发布打包后的高频数据。可见，本申请实施例提供的技术方案无需额外增加用于支持实时以太网技术的通信硬件，同时，时长T是依据工业设备中数据消费端的业务场景确定的，在数据发布时，也能够按照目标协议类型匹配的发布策略发布打包后的高频数据，从而能够有序读取数据并按照发布策略发布，进而能够提高高频数据的传输性能，同时，批量数据的发布能够减少通信交互，降低带宽占用，进而也提高数据侧和消费侧的处理效率。
在完成图1的流程图之后，作为一个实施例，如果用户选择的协议类型为标准协议类型，实现步骤103中依据目标协议类型对所读取的高频数据进行打包的实现方式包括：根据每一标准协议对高频数据所属测点类型的支持和发布性能，选取与用户选择的标准协议匹配的测点类型，以对所述测点类型对应的高频数据进行打包。本实施例中，测点类型为模拟量类型或开关量类型，基于此，基于发布数据包的定长或变长特性选择合适的测点类型，如BIN字节数组多用于定长数据包(无压缩)，编码字符串多用于变长数据包(有压缩)，选择依据就是标准协议对测点类型的支持和发布性能。
作为一个实施例，如图2所示，在步骤101之后还包括如下步骤：
步骤A，从所述测点类型对应的高频数据中去除各高频数据对应的时标，并对去除时标后的高频数据进行压缩。
可见，本实施例提供的技术方案通过对不带时标的高频数据进行压缩，能够进一步减小高频数据量。
作为一个实施例，实现上述步骤A的实现方式可以包括步骤A1～步骤A3。
步骤A1，当确定读取的高频数据包含测点类型为模拟量的模拟量数据时，则执行步骤A2。当确定读取的高频数据包含测点类型为开关量的开关量数据时，则执行步骤A3。
步骤A2，按照预设频率从所述模拟量数据中抽取模拟量数据，并去除所述模拟量数据携带的时标，将去除时标之后的模拟变量数据进行压缩。
本实施例中，时钟飘移必然导致周期为时长T内采样的高频数据数量可能不为预设数量N，N＝T*f，按照频率抽样可以保证N＝T*f后时标可省略。基于此，本步骤中的模拟量数据是按照频率抽样后去除时钟的方法，并根据精度需求进行有损压缩并且不带时标，其目的是为了减小数据量。
步骤A3，对所述开关量数据进行压缩。
作为一个实施例，当确定读取的高频数据包含测点类型为开关量的开关量数据时，还包括：从所述开关量数据中去除各开关量数据对应的时标，并对去除时标后的开关量数据进行压缩。
本实施例中的时标索引取值为0～N-1。N为T时长内高频数据的数量。
作为又一个实施例，如图2所示，在完成对所述测点类型对应的高频数据进行打包之后，还包括如下步骤：
步骤201，确定用于压缩所述高频数据压缩包所使用的压缩算法，并选取与所述压缩算法匹配的加密算法。
步骤202，利用所述压缩算法对已压缩的高频数据压缩包进行二次压缩，得到新的高频数据压缩包。
作为一个实施例，可以采用LZW(Lempel-Ziv-Welch Encoding，串表压缩算法)对已压缩过的高频数据压缩包进行再次压缩。以能够进一步减小高频数据的数据量。
步骤203，利用所述加密算法对需要加密的协议类型对应的高频数据压缩包进行加密；并将不需要加密的元数据添加在已加密后的高频数据压缩包前，以生成待发布的高频数据包，其中，元数据用于描述已加密的高频数据压缩包。
一些标准协议支持加密传输，一些标准协议不支持加密传输，基于此，本实施例需要对需要加密的协议类型对应的高频数据压缩包进行加密。作为一个实施例，该加密算法可以采用与LZW匹配的AES(Advanced Encryption Standard，高级加密标准)算法。
本步骤对已压缩的高频数据压缩包进行了二次压缩，以进一步减小数据量，降低带宽占用。
本实施例中元数据可以用于描述压缩和/或加密数据，不能被压缩和加密，否则无法实现对已加密的高频数据进行解压缩和解密。
可见，在本实施例提高的技术方案中，两次数据压缩能够减小数据长度，降低带宽占用，同时，加密算法的使用能够保证数据的安全性。
为了进一步对上述实施例更加容易理解，现举一示例，设一风机变流器计划以OPCUA协议向上层的边缘计算平台发布表1所示的高频数据，其中，需要对属于该风机变流器中的子部件A、子部件B和子部件C对应的高频数据进行采集。该风机变流器与边缘计算平台中的一个边缘计算设备连接。根据该边缘计算平台的业务场景确定边缘计算平台的最大允许时延为2000ms，可取时长T为最大允许时延的一半，即1000ms，该风机变流器设定有保存最近2秒的所有高频数据的数据缓冲区。该风机变流器实时发布数据的方法包括如下步骤:
该风机变流器每隔20ms、100ms和500ms采集对应高频变量的实时数据并缓存在设定的缓存区域中，并在每隔1000ms，读取数据缓冲区内最近1000ms的所有高频数据，即当确定已采集高频数据的时长达到1000ms时，则从能够缓存2s高频数据量的数据缓存区中读取当前时间之前的1000ms内的缓存数据，另外，缓存数据中新数据会覆盖2秒以前的旧数据。
表1风机变流器需要发布的所有高频数据
针对读取的每一个高频变量对应的高频数据，检查该高频变量对应的高频数据的数量是否为预设数量，若为否，则对采集的高频数据进行调整，以使在1000ms内采集到的该高频变量对应的高频数据的数量达到预设数量。这样能够解决时钟漂移造成的数据增减的技术问题，如针对该风机变流器的子部件A对应标准点数即预设数量N为：1000/20＝50个，其中，采集频率f为1/20ms＝50Hz。针对该风机变流器的子部件B的标准点数N为：1000/100＝10个，其中，采集频率f为1/100ms＝10Hz。针对该风机变流器的子部件C的标准点数N为：1000/500＝2个，采集频率f为1/500ms＝2Hz。
对上述读取的高频数据包进行压缩，具体为：对读取的高频数据包进行解析，参见表1和2所示，从高频数据包含5+1+1＝7个模拟量数据和2+2＝4个开关量数据中去除各数据对应的时标，并将去除时标的模拟量数据和开关量数据进行压缩，进而能够减小高频数据的数据量。
利用LZW压缩算法对将表2加黑字体部分已压缩的高频数据压缩包进行二次压缩，得到新的高频数据压缩包。此步骤为二次压缩。利用与LZW匹配的AES加密算法对需要加密的协议类型对应的高频数据压缩包进行加密；并将不需要加密的协议类型对应的数据后添加已加密后的高频数据压缩包(表2中加黑部分为加密压缩部分)，以生成待发布的高频数据包。这些不需要加密的数据信息为“通知序号+数据时标+压缩算法+加密算法”。添加信息后生成最终表2所示数据包。更新OPCUA的对应发布点X，测点X选择变长编码字符串。该风机变流器的OPCUA标准协议模块向所有订阅测点X的数据消费方发送最新数据包。
表2单个发布点对应所有高频变量的数据包结构示意
至此，上述示例描述完毕。
下面对本申请提供的装置进行描述：
参见图3，图3为一种数据实时发布装置300的结构示意图，应用于工业设备，该装置包括：
数据读取单元301，用于当确定已采集本工业设备上高频数据的时长达到预设的时长T时，则从设定的数据缓存区中读取目标时间范围内的缓存数据，所述目标时间范围为以当前时间为终止时间、时长为所述时长T的时间范围，所述时长T依据最大允许延时确定，所述最大允许延时是依据所述工业设备中数据消费端的业务场景确定的。
数据发布单元302，用于依据目标协议类型对所读取的高频数据进行打包，并按照与所述目标协议类型匹配的发布策略向已注册的用户发布打包后的高频数据，所述高频数据发布耗时小于T。
作为一个实施例，该装置还包括：所述目标协议类型为默认的协议类型或依据选择指令确定的其他协议类型，所述默认协议类型为标准协议类型。
作为一个实施例，该装置还包括：
检查单元，用于针对读取的每一个高频变量对应的高频数据，检查该高频变量对应的高频数据的数量是否为预设数量，若为否，则对采集的高频数据进行调整，以使在时长T内采集到的该高频变量对应的高频数据的数量达到预设数量。
作为一个实施例，如果用户选择的协议类型为标准协议类型，所述数据发布单元包括用于根据用户选择的协议类型对所读取的高频数据进行打包的打包子单元；
所述打包子单元，具体用于：
根据每一标准协议对高频数据所属测点类型的支持和发布性能，选取与用户选择的标准协议匹配的测点类型，以对所述测点类型对应的高频数据进行打包。
作为一个实施例，所述打包子单元包括对所述测点类型对应的高频数据进行打包的第一打包模块；
所述第一打包模块，具体用于：
从所述测点类型对应的高频数据中去除各高频数据对应的时标，并对去除时标后的高频数据进行压缩。
作为一个实施例，所述打包子单元还包括用于对测点类型对应的高频数据进行打包的第二打包模块；
所述第二打包模块，具体用于：
确定用于压缩所述高频数据压缩包所使用的压缩算法，并选取与所述压缩算法匹配的加密算法；
利用所述加密算法对需要压缩的测点类型对应的高频数据压缩包进行加密，并将不需要压缩的测点类型对应的数据添加在已加密后的高频数据压缩包上，以生成待发布的高频数据包。
作为一个实施例，所述发布策略包括：以一个协议发布点对应1个监控变量，按照各个监控变量单独封装的策略发布。
作为一个实施例，所述发布策略包括：针对一个工业设备划分的不同子部件，对各子部件对应的高频数据进行封装的策略发布。
作为一个实施例，所述发布策略包括：针对同一工业设备的高频数据，对该工业设备的高频数据进行整体封装的策略发布。
作为一个实施例，所述数据缓存区至少缓存2T时间内的所有高频数据。
作为一个实施例，预设数量为T*f，f为采集频率。
至此，完成图3所示的描述。
由此可见，在本申请实施例提供的技术方案中，工业设备在对高频数据发布时，当确定已采集该工业设备上高频数据的时长达到预设的时长T时，则从设定的数据缓存区中读取以当前时间为终止时间、时长为所述时长T的时间范围内的缓存数据，并依据目标协议类型对所读取的高频数据进行打包，并按照与所述目标协议类型匹配的发布策略向已注册的用户发布打包后的高频数据。可见，本申请实施例提供的技术方案无需额外增加用于支持实时以太网技术的通信硬件，同时，时长T是依据工业设备中数据消费端的业务场景确定的，在数据发布时，也能够按照与标准协议类型或用户选择的协议类型匹配的发布策略发布打包后的高频数据，从而能够有序读取数据并按照发布策略发布，进而能够提高高频数据的传输性能，同时，批量数据的发布能够减少通信交互，降低带宽占用，进而也提高数据侧和消费侧的处理效率。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
本申请实施例提供的电子设备，从硬件层面而言，硬件架构示意图可以参见图4所示。包括：机器可读存储介质和处理器，其中：所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述示例公开的数据实时公布操作。
本申请实施例提供的机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现上述示例公开的数据实时公布操作。
这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
至此，完成图4所示设备的描述。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (17)
1.一种数据实时发布方法，其特征在于，应用于工业设备，该方法包括：
当确定已采集本工业设备上高频数据的时长达到预设的时长T时，则从设定的数据缓存区中读取目标时间范围内的缓存数据，所述目标时间范围为以当前时间为终止时间、时长为所述时长T的时间范围，所述时长T依据最大允许延时确定，所述最大允许延时是依据所述工业设备中数据消费端的业务场景确定的；
依据目标协议类型对所读取的高频数据进行打包，并按照与所述目标协议类型匹配的发布策略向已注册的用户发布打包后的高频数据，所述高频数据发布耗时小于T。
2.根据权利要求1所述的方法，其特征在于，所述目标协议类型为默认的协议类型或依据选择指令确定的其他协议类型，所述默认协议类型为标准协议类型。
3.根据权利要求2所述的方法，其特征在于，在所述从设定的数据缓存区中读取目标时间范围内的缓存数据之后，还包括：
针对读取的每一个高频变量对应的高频数据，检查该高频变量对应的高频数据的数量是否为预设数量，若为否，则对采集的高频数据进行调整，以使在时长T内采集到的该高频变量对应的高频数据的数量达到预设数量。
4.根据权利要求3所述的方法，其特征在于，如果用户选择的协议类型为标准协议类型，所述依据目标协议类型对所读取的高频数据进行打包，包括：
根据每一标准协议对高频数据所属测点类型的支持和发布性能，选取与用户选择的标准协议匹配的测点类型，以对所述测点类型对应的高频数据进行打包。
5.根据权利要求4所述的方法，其特征在于，所述对所述测点类型对应的高频数据进行打包，包括：
从所述测点类型对应的高频数据中去除各高频数据对应的时标，并对去除时标后的高频数据进行压缩。
6.根据权利要求5所述的方法，其特征在于，在所述对所述测点类型对应的高频数据进行打包之后，该方法还包括：
确定用于压缩所述高频数据压缩包所使用的压缩算法，并选取与所述压缩算法匹配的加密算法；
利用所述压缩算法对已压缩的高频数据压缩包进行二次压缩，得到新的高频数据压缩包；
利用所述加密算法对需要加密的协议类型对应的高频数据压缩包进行加密；并将不需要加密的元数据添加在已加密后的高频数据压缩包前，以生成待发布的高频数据包，其中，元数据用于描述已加密的高频数据压缩包。
7.根据权利要求1～6中任一所述的方法，其特征在于，所述发布策略至少包括：
以一个协议发布点对应1个监控变量，按照各个监控变量单独封装的策略发布；或/和
针对一个工业设备划分的不同子部件，对各子部件对应的高频数据进行封装的策略发布；或/和
针对同一工业设备的高频数据，对该工业设备的高频数据进行整体封装的策略发布。
8.根据权利要求3所述的方法，其特征在于，所述数据缓存区至少缓存2T时间内的所有高频数据，或/和
预设数量为T*f，f为采集频率。
9.一种数据实时发布装置，其特征在于，应用于工业设备，该装置包括：
数据读取单元，用于当确定已采集本工业设备上高频数据的时长达到预设的时长T时，则从设定的数据缓存区中读取目标时间范围内的缓存数据，所述目标时间范围为以当前时间为终止时间、时长为所述时长T的时间范围，所述时长T依据最大允许延时确定，所述最大允许延时是依据所述工业设备中数据消费端的业务场景确定的；
数据发布单元，用于依据目标协议类型对所读取的高频数据进行打包，并按照与所述目标协议类型匹配的发布策略向已注册的用户发布打包后的高频数据，所述高频数据发布耗时小于T。
10.根据权利要求9所述的装置，其特征在于，所述目标协议类型为默认的协议类型或依据选择指令确定的其他协议类型，所述默认协议类型为标准协议类型。
11.根据权利要求10所述的装置，其特征在于，该装置还包括：
检查单元，用于针对读取的每一个高频变量对应的高频数据，检查该高频变量对应的高频数据的数量是否为预设数量，若为否，则对采集的高频数据进行调整，以使在时长T内采集到的该高频变量对应的高频数据的数量达到预设数量。
12.根据权利要求11所述的装置，其特征在于，如果用户选择的协议类型为标准协议类型，所述数据发布单元包括用于根据用户选择的协议类型对所读取的高频数据进行打包的打包子单元；
所述打包子单元，具体用于：
根据每一标准协议对高频数据所属测点类型的支持和发布性能，选取与用户选择的标准协议匹配的测点类型，以对所述测点类型对应的高频数据进行打包。
13.根据权利要求12所述的装置，其特征在于，所述打包子单元包括对所述测点类型对应的高频数据进行打包的第一打包模块；
所述第一打包模块，具体用于：
从所述测点类型对应的高频数据中去除各高频数据对应的时标，并对去除时标后的高频数据进行压缩。
14.根据权利要求13所述的装置，其特征在于，所述打包子单元还包括用于对测点类型对应的高频数据进行打包的第二打包模块；
所述第二打包模块，具体用于：
确定用于压缩所述高频数据压缩包所使用的压缩算法，并选取与所述压缩算法匹配的加密算法；
利用所述加密算法对需要压缩的测点类型对应的高频数据压缩包进行加密，并将不需要压缩的测点类型对应的数据添加在已加密后的高频数据压缩包前，以生成待发布的高频数据包。
15.根据权利要求9～14中任一所述的装置，其特征在于，所述发布策略至少包括：
以一个协议发布点对应1个监控变量，按照各个监控变量单独封装的策略发布；或/和
针对一个工业设备划分的不同子部件，对各子部件对应的高频数据进行封装的策略发布；或/和
针对同一工业设备的高频数据，对该工业设备的高频数据进行整体封装的策略发布。
16.根据权利要求11所述的装置，其特征在于，所述数据缓存区至少缓存2T时间内的所有高频数据，或/和
预设数量为T*f，f为采集频率。
17.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现权利要求1-8任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210911207.9A CN115102951A (zh) | 2022-07-29 | 2022-07-29 | 一种数据实时发布方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210911207.9A CN115102951A (zh) | 2022-07-29 | 2022-07-29 | 一种数据实时发布方法、装置和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115102951A true CN115102951A (zh) | 2022-09-23 |
Family
ID=83301371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210911207.9A Pending CN115102951A (zh) | 2022-07-29 | 2022-07-29 | 一种数据实时发布方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115102951A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170078916A1 (en) * | 2014-05-05 | 2017-03-16 | Huawei Technologies Co., Ltd. | Data processing method and apparatus |
| US20180165387A1 (en) * | 2016-12-14 | 2018-06-14 | General Electric Company | System and method for reconstructing and augmenting high frequency data |
| CN108737347A (zh) * | 2017-04-21 | 2018-11-02 | 腾讯科技（深圳）有限公司 | 数据通信方法、装置及其设备 |
| CN111538875A (zh) * | 2020-04-27 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 业务指标采集方法、装置及风控设备 |
| CN112162691A (zh) * | 2020-09-29 | 2021-01-01 | 深圳市英威腾电动汽车驱动技术有限公司 | 数据采集方法、设备及存储介质 |
| CN112202742A (zh) * | 2020-09-23 | 2021-01-08 | 航天云网数据研究院(广东)有限公司 | 基于5g网络的轧机设备的数据处理方法及相关设备 |
| US20210250427A1 (en) * | 2017-07-03 | 2021-08-12 | Zte Corporation | Data transmission method and device |
| CN114531332A (zh) * | 2020-11-06 | 2022-05-24 | 中兴通讯股份有限公司 | 数据传输方法、数据处理方法、设备及存储介质 |
-
2022
- 2022-07-29 CN CN202210911207.9A patent/CN115102951A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170078916A1 (en) * | 2014-05-05 | 2017-03-16 | Huawei Technologies Co., Ltd. | Data processing method and apparatus |
| US20180165387A1 (en) * | 2016-12-14 | 2018-06-14 | General Electric Company | System and method for reconstructing and augmenting high frequency data |
| CN108737347A (zh) * | 2017-04-21 | 2018-11-02 | 腾讯科技（深圳）有限公司 | 数据通信方法、装置及其设备 |
| US20210250427A1 (en) * | 2017-07-03 | 2021-08-12 | Zte Corporation | Data transmission method and device |
| CN111538875A (zh) * | 2020-04-27 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 业务指标采集方法、装置及风控设备 |
| CN112202742A (zh) * | 2020-09-23 | 2021-01-08 | 航天云网数据研究院(广东)有限公司 | 基于5g网络的轧机设备的数据处理方法及相关设备 |
| CN112162691A (zh) * | 2020-09-29 | 2021-01-01 | 深圳市英威腾电动汽车驱动技术有限公司 | 数据采集方法、设备及存储介质 |
| CN114531332A (zh) * | 2020-11-06 | 2022-05-24 | 中兴通讯股份有限公司 | 数据传输方法、数据处理方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101594150B (zh) | 测量数据的高效压缩方法 | |
| US9483533B2 (en) | Method and apparatus for processing time series data | |
| CN103873438A (zh) | 压缩包上传去重***及方法 | |
| CN110162523B (zh) | 数据存储方法、***、装置及设备 | |
| EP2265029A1 (en) | Image processor, image generator and computer program | |
| CN106878196B (zh) | 一种adc插件的数据处理方法和装置 | |
| CN110191024B (zh) | 网络流量监控方法和装置 | |
| US20200210411A1 (en) | Data storage in blockchain-type ledger | |
| CN103516856B (zh) | 信息合并方法和装置 | |
| CN108966283B (zh) | 一种遥测数据压缩传输方法、装置和计算机可读介质 | |
| CN104834247A (zh) | 仪器设定装置、存储有程序的存储介质以及多个仪器设定装置间的信息共享化方法 | |
| CN109213774B (zh) | 数据的存储方法及装置、存储介质、终端 | |
| CN110728834A (zh) | 基于北斗短报文的wams测量数据压缩传输方法 | |
| CN106776663B (zh) | 音频文件的压缩方法和装置 | |
| EP2884398A1 (en) | Data forwarding device, data forwarding method, and program | |
| JP2022553130A (ja) | 温度データを格納及び収集するための方法、システム、電子機器及び記憶媒体 | |
| CN115102951A (zh) | 一种数据实时发布方法、装置和设备 | |
| CN104503862B (zh) | 获得应用渠道包的校验值的方法和装置 | |
| CN104219102B (zh) | 一种网络数据压缩统计的方法、装置和*** | |
| CN103297482A (zh) | 信息处理方法和设备 | |
| US8140488B2 (en) | Reducing memory required for prediction by partial matching models | |
| CN116405482A (zh) | 一种日志文件的传输方法、***、终端及存储介质 | |
| CN111417920A (zh) | 数据处理方法及装置 | |
| CN106844574A (zh) | 一种远程数据同步的方法和装置 | |
| CN113806070A (zh) | 边缘计算和云计算的数据管理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhou Jinghui Inventor after: Cheng Dong Inventor after: Ma Hanzheng Inventor before: Zhou Jinghui Inventor before: Cheng Dong Inventor before: Ma Hanzheng |