CN111970374B - 基于机器学习的数据节点分组方法、***及介质 - Google Patents
基于机器学习的数据节点分组方法、***及介质 Download PDFInfo
- Publication number
- CN111970374B CN111970374B CN202010878186.6A CN202010878186A CN111970374B CN 111970374 B CN111970374 B CN 111970374B CN 202010878186 A CN202010878186 A CN 202010878186A CN 111970374 B CN111970374 B CN 111970374B
- Authority
- CN
- China
- Prior art keywords
- acquisition
- data
- grouping
- group
- data node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Operations Research (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于机器学习的数据节点分组方法、***及介质,包括:将数据节点集合根据起始地址大小进行排序;根据相邻数据节点间的地址差值,将数据节点集合按照设定的规则拆分为若干子集合;对于每一个子集合,筛选有效分组,基于筛选的有效分组确定所有可能的分组采集策略;基于机器学习的方法确定每一个分组采集策略的采集时间,确定最优的分组采集策略;将所有子集合的最优分组采集策略进行组合,得到整个数据节点集合的最优分组采集策略。本发明方法的分组优化策略进行边缘采集所用的时间更短,效率更高,可大大减少边缘采集的时延,提高边缘采集的实时性。
Description
技术领域
本发明涉及边缘采集技术领域,尤其涉及一种基于机器学习的数据节点分组方法、***及介质。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
在边缘采集以及边缘计算的应用场景中,传统的边缘采集方法,通常是获取所有需要进行边缘采集数据节点的信息,然后根据节点信息,依次生成每个数据节点的采集指令;对每个数据节点使用该述数据节点的采集指令进行边缘采集,对采集回来的数据,根据该协议的规则获取该节点状态以及数据。这种方法在节点间顺序串行采集,由于有效负载数据占协议数据的占比过小以及多条指令执行的时间消耗,导致边缘采集效率非常慢。
现有技术对传统边缘采集方法进行了优化,根据固定的地址长度将地址空间逻辑上划分为多个分组。将所需采集的节点根据自己的地址分布到相应的分组中。对所有所需采集数据分组进行采集,使得节点间的串行采集优化为分组间串行采集,分组内数据节点并行采集的逻辑结构,可提高采集效率数倍到数十倍。
但是,发明人在实际应用中发现,上述的分组方法为固定地址范围分组,限定逻辑地址,将所有在该范围内的节点分为一组。这种方法往往无法寻找到相对合理的分组方法,部分情况下因不合理或非最优的分组方法,反而使得采集优化的效果降低;比如:
有六个Modbus-RTU协议,寄存器类型为保持寄存器的数据节点(简称节点或数据点),地址为0、31、32、63、64,65;使用32个地址一个逻辑分组的分组方法,分组后的结果为:[0、31],[32、63],[64、65];分组[0、31]会将地址为0到31的所有数据节点的数据采集回来;此时,数据负载32个数据点,有效负载2个数据点,无效负载30个数据点。该分组下,有效数据点占比为6.25%。另外通信协议中还有协议前导与后缀数据,总体有效数据占比过低为5.7%。回复的数据中包含了大量冗余的无效负载数据,当使用串口的方式并且波特率低或者其他方式的时候大量冗余数据的数据传输时间会非常耗时,降低了采集效率。
另外,现有技术公开了通过直接探测法确定每一个分组的采集时间,这种方式需要实际探测数据采集命令开始发送到接收并解析下位设备返回的数据所经历的整体用时,效率低下;
在一些实施方式中,还公开了通过预测分析法确定每一个分组的采集时间,这种方法基于数据长度预测数据传送时间,无需实际探测过程,能够提高采集时间的计算效率;但是,由于时间是预估得到的,所以相比于实际探测的方式,准确性不高。
发明内容
有鉴于此,本发明提出了一种基于机器学习的数据节点分组方法、***及介质,采用优化分组采集策略,提升边缘采集的效率;同时采用机器学习的方法确定每一个分组采集策略的采集时间,以快速确定最优分组采集策略。
为了实现上述目的,在一些实施方式中,采用如下技术方案:
一种基于机器学习的数据节点分组方法,包括:
将数据节点集合根据起始地址大小进行排序;
根据相邻数据节点间的地址差值,将数据节点集合按照设定的规则拆分为若干子集合;
对于每一个子集合,筛选有效分组,基于筛选的有效分组确定所有可能的分组采集策略;基于机器学习的方法确定每一个分组采集策略的采集时间,确定最优的分组采集策略;
将所有子集合的最优分组采集策略进行组合,得到整个数据节点集合的最优分组采集策略。
在另一些实施方式中,采用如下技术方案:
一种提高边缘采集效率的优化分组***,包括:
用于将数据节点集合根据起始地址大小进行排序的装置;
用于根据相邻数据节点间的地址差值,将数据节点集合按照设定的规则拆分为若干子集合的装置;
用于对于每一个子集合,筛选有效分组,基于筛选的有效分组确定所有可能的分组采集策略;基于机器学习的方法确定每一个分组采集策略的采集时间,确定最优的分组采集策略的装置;
用于将所有子集合的最优分组采集策略进行组合,得到整个数据节点集合的最优分组采集策略的装置。
在另一些实施方式中,采用如下技术方案:
一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行上述的基于机器学习的数据节点分组方法。
在另一些实施方式中,采用如下技术方案:
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行上述的基于机器学习的数据节点分组方法。
与现有技术相比,本发明的有益效果是:
本发明基于数据节点的分布进行优化分组,每个分组内的地址长度根据数据节点的分布动态确定,相比于固定地址长度的分组策略,本发明方法的分组优化策略进行边缘采集所用的时间更短,效率更高,可大大减少边缘采集的时延,提高边缘采集的实时性。
本发明将整个数据节点集合拆分为多个子集分别进行处理,极大减少了单次需要处理的数据量,降低了对于数据处理设备性能的要求。
本发明通过设置多种有效分组筛选策略,能够将不符合要求的分组直接过滤掉,基于筛选出的有效分组确定分组采集策略,降低了数据处理的复杂程度,提高数据处理效率。
本发明基于机器学习的方法确定每一个分组的采集时间,然后获得每一个分组采集策略所需的采集时间;这种方法不仅能够提高采集时间的计算效率,同时能够保证计算结果的准确性。
本发明的附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为本发明实施例中基于机器学习的数据节点分组方法流程图。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
在一个或多个实施方式中,公开了一种基于机器学习的数据节点分组方法,参照图1,包括以下步骤:
步骤S101:将数据节点集合根据起始地址大小进行排序;
步骤S102:根据相邻数据节点间的地址差值,将数据节点集合按照设定的规则拆分为若干子集合;
具体地,首先确定每两个相邻数据节点之间的地址差值,并按照从大到小进行排序;然后按照如下过程进行拆分:
(1)将地址差值最大的两个未被拆分的相邻数据节点进行拆分;
(2)判断数据节点拆分后是否有子集合满足设定条件;
(3)如果没有,进入步骤(4);如果有,将所述子集合截取出来,进入步骤(5);
(4)返回步骤(1)继续进行拆分;
(5)判断是否已将数据节点集合拆分完毕,如果是,结束;否则,返回步骤(1)对剩余数据节点继续进行拆分。
其中,子集合满足设定条件包括:
条件1:子集合内节点个数不超过所限制的值X(X子集合数量限制参数)。
条件2:子集合的地址范围不超过所限制的值Y(Y子集合地址范围限制参数)。
上述两个条件均满足时,判定为子集合满足条件;X与Y的值可根据需求灵活配置;X与Y的值越小子集合数量越多,优化程度越低,时间复杂度越低;X与Y的值越大子集合数量越多,优化程度越高,时间复杂度越高。
本实施例中,根据需要设定子集合的最大数量,如果拆分出来的子集合的数量达到最大数量,则判定数据节点集合拆分完毕。
需要说明的是,连续的数据节点,即相邻数据节点之间的地址差值为1时,不需要拆分。
比如,通过起始地址大小排序后得到的数据节点集合如下:
X表示当前地址下存在节点数据,O表示当前地址下不存在节点数据,1-10为数据节点的地址。
进行拆分时,地址为3和6的两个数据节点之间的地址差值最大,因此,将数据集合拆分为:
判断两个子集是否满足条件,然后再针对不满足条件的子集进行拆分。
步骤S103:对于每一个子集合,筛选有效分组,基于筛选的有效分组确定所有可能的分组采集策略;计算每一个分组采集策略的采集时间,确定最优的分组采集策略;
具体地,筛选有效分组的具体过程包括:
比如:子集合有5个点【0、31、32、63、64】,为方便描述表示为【A、B、C、D、E】。则所有可能的分组方式包括以下15种:
(2)除了单独数据节点的分组以外(比如上述的A、B、C、D、E),对剩余分组方式进行筛选,分组筛选方法包括:
①黏合性分组筛选:
当任意相邻的两个数据节点的地址差值小于设定值Z时,剔除所有仅包含这两个数据节点中任意一个的分组;两个数据节点的差值小于Z的时,这两个数据节点称为一个黏合节点对。Z值越小,过滤的分组数量越多,优化程度越低。
②排斥性分组筛选:
当任意相邻的两个数据节点的地址差值大于设定值L时,剔除所有同时包含这两个节点的分组;这两个节点称为一个排斥节点对。L值越大,过滤的分组数量越多,优化程度越低。
③地址范围分组筛选:
若分组内第一个数据节点与最后一个数据节点的地址差值大于设定的地址范围M时,剔除该分组;M值越小,过滤的分组数量越多,优化程度越低。
④分组效率筛选:
根据该协议的规则生成相应分组的采集指令,确定每一个分组的采集时间,基于采集时间,剔除采集效率低的分组;例如:分组A的采集时间为5秒,分组B的采集时间为3秒,分组AB的采集时间为10秒。认为分组AB的分组效率低下,剔除。
经过层层筛选后剩下的分组为有效分组。
本实施例中,基于机器学习的方法获得每一个分组的采集时间,具体过程包括:
数据采集执行过程,在不改变环境参数的情况下,仅改变起始地址不改变查询寄存器单元长度,那么多次边缘采集的流程完全一致,时间也完全相同。
本实施例中,环境参数包括:协议类型(例如:modbus-RTU,modbus-TCP,modbus-ASCII,PPI等PLC协议)、协议通信介质、寄存器类型(例如西门子PPI协议有I类型、Q类型、M类型、D类型等寄存器类型)、数据类型和通信参数,其中,通信参数又包括:串口、波特率、数据位、停止位、校验位和起始位。上述这些环境参数组合到一起,形成场景;任一环境参数的改变都对应一种新的场景,每一种场景对应一个子分类器。
当然,这并不能构成对本发明技术方案的限制,本领域技术人员可以根据实际需要确定其他环境参数的组合作为场景。
例如:
①采集保持寄存器寄存器,起始地址为0X00 0X64,寄存器单元长度为0X00 0X01
采集命令:01 03 00 64 00 01 C5 D5
回复数据:01 03 02 00 00B8 44回复数据长度2个字节
②采集保持寄存器寄存器,起始地址为0X00 0XC8,寄存器单元长度为0X00 0X01
采集命令:01 03 00 C8 00 01 05 F4
回复数据:01 03 02 00 00 B8 44回复数据长度2个字节
同样的,如果仅仅改变了寄存器单元长度,采集命令以及回复数据的流程以及协议数据的格式是可控的。
例如:
①采集保持寄存器,起始地址为0X00 0X64,寄存器单元长度为0X00 0X02
采集命令:01 03 00 64 00 02 85 D4
回复数据:01 03 04 00 00 00 00 FA 33回复数据长度4个字节
②采集保持寄存器,起始地址为0X00 0XC8,寄存器单元长度为0X00 0X02
采集命令:01 03 00 C8 00 02 45 F5
回复数据:01 03 04 00 00 00 00 FA 33回复数据长度4个字节
因此,寄存器单元长度与交互数据的数量,满足线性关系,即寄存器单元长度与整体执行时间T满足线性回归的关系:T=Lx+b;其中,T为执行时间,L为数据寄存器单元长度,b为固定时间。
如果确定了该场景的线性回归方程,那么在场景不变的情况下,如果仅调整寄存器单元长度L,可以根据线性回归方程直接计算出执行时间T。
每种场景根据自己的特性利用监督学习进行训练学习,得到每种场景的模型。
机器学习的具体过程如下:
数据获取-->数据预处理-->模型训练-->模型验证-->确认模型
①数据的获取
搭建模型场景,创建爬虫脚本爬取与PLC通信的过程数据,包括查询时间,查询的寄存器单元长度。
过程如下:
创建该场景的环境,例如,使用通信使用modbus-RTU协议,采用485总线,9600波特率,8位数据位,1位停止位,无校验位等参数搭建边缘采集的环境。
创建爬虫脚本,实现查询指令的生成,发送查询指令给PLC,接收并解析处理PLC的回复数据,存储本次爬取到的过程数据:寄存器单元长度,发送指令与接收到指令的时间。
②数据预处理
由于爬虫爬取到的大量数据可能存在异常或无效数据或超范围的数据。对这些数据进行预处理:剔除采集失败的数据,超时的数据,寄存器单元长度超过范围的数据,PLC回复异常的数据。
③模型训练
预处理后的数据有大量寄存器单元长度重复的数据。对所有数据根据寄存器单元长度进行分类。
对已根据寄存器单元长度分类过的数据,计算该寄存器单元长度类别数据的边缘采集时间的算术平均数,作为该寄存器单元长度的边缘采集的平均时间。
下面通过一个示例说明拟合寄存器单元长度的线性回归方程的具体过程。
编号: | 寄存器单元长度 | 边缘采集平均时间 | 方程 |
1 | 2 | 16.9 | 16.9=2x+b |
2 | 3 | 22.1 | 22.1=3x+b |
3 | 4 | 27.2 | 27.2=4x+b |
4 | 5 | 31.9 | 31.9=5x+b |
1)求解x
使用编号为n的方程减去编号为n-1的方程
编号 | 方程 | 求解x |
2-1 | 22.1-16.9=(4x+b)-(3x+b) | 5.2=x |
3-2 | 27.2-22.1=(4x+b)-(3x+b) | 5.1=x |
4-3 | 31.9-27.2=(5x+b)-(4x+b) | 4.7=x |
对所有x计算算术平均数(5.2+5.1+4.7)/3=15/3=5,得出X=5。
2)求解b
将得到的x=5带入每一个方程中,求解每一个方程的b
编号 | 寄存器单元长度 | 边缘采集平均时间 | 方程 | b |
1 | 2 | 16.9 | 16.9=2*5+b | b=6.9 |
2 | 3 | 22.1 | 22.1=3*5+b | b=7.1 |
3 | 4 | 27.2 | 27.2=4*5+b | b=7.2 |
4 | 5 | 31.9 | 31.9=5*5+b | b=6.9 |
对所有b计算算术平均数(6.9+7.1+7.2+6.9)/4=28.1/4=7.025,得出b=7.025。
3)带入x和b得出线性回归方程为:
Y=5x+7.025
④模型验证
编号 | 寄存器单元长度 | 边缘采集平均时间 | 方程 |
1 | 2 | 16.9 | 2*5+7.025=17.025 |
2 | 3 | 22.1 | 3*5+7.025=22.025 |
3 | 4 | 27.2 | 4*5+7.025=27.025 |
4 | 5 | 31.9 | 5*5+7.025=32.025 |
将寄存器单元长度带入已得出的线性回归方程得出的边缘采集时间与边缘采集平均时间对比验证。是否在合理误差范围之内,从而评估模型的性能。
⑤模型使用
使用训练好的模型对新的数据进行采集时间预测。
完成模型的训练。
采用上述方法对每一个通信协议下的每一种寄存器类型对应的子分类器分别进行训练,得到每一个子分类器的线性回归模型,进而得到整体的分类器模型;
获取分组采集策略中每一个分组的环境参数,将所述环境参数信息输入到整体的分类器模型中,每个分组可根据当前分组的环境参数找到相应的关系方程T=f(L),根据该分组的寄存器单元长度L,从而得到每一个分组的采集时间T,进而得到分组采集策略的采集时间。
本实施例中,将包含所有节点并且每个节点仅包含一次的多个有效分组的组合,确定为一个分组采集策略。
基于筛选的有效分组确定所有可能的分组采集策略,具体过程包括:
按照每一行内有效分组的起始节点相同为原则,按照起始数据节点的地址进行排序,将有效分组分别放入不同的行中;比如:
第五行:E
第四行:D DE
第三行:C CD CDE
第二行:B BC BCD BCDE
第一行:A AB ABC ABCD ABCDE
首先,选择分组采集策略首分组,依次轮询第一行,选择其中一个分组作为首分组;如果第一行所有分组均遍历完毕,则采集策略遍历完毕。
确定上一个采集策略分组的尾节点,并选择下一个节点为下一分组的起始节点。
找到起始节点所在的行,再依次选择每一个分组;直到找到最后一个节点E。
例如,选择第一行的ABC作为采集策略首分组,将该分组加入采集策略集合中;然后将D节点作为下一分组的首节点,从第四行中选择分组,可以选择D或者DE;假如选取的是节点D,则继续从第五行选择分组E,得到分组采集策略:ABC/D/E;假如选择的是节点DE,则得到分组采集策略:ABC/DE。
计算出每一个分组采集策略中所有分组的采集时间的和,选取采集时间最短的分组采集策略作为本子集合的最优分组采集策略。
步骤S104:将所有子集合的最优分组采集策略进行组合,得到整个数据节点集合的最优分组采集策略。
本实施例方法相较与传统的边缘采集方法或者固定分组的边缘采集方法,能够利用最短的时间找到优化的分组采集策略,进行边缘采集所用的时间更短,效率更高,可大大减少边缘采集的时延,提高边缘采集的实时性。
实施例二
在一个或多个实施方式中,公开了一种基于机器学习的数据节点分组***,包括:
用于将数据节点集合根据起始地址大小进行排序的装置;
用于根据相邻数据节点间的地址差值,将数据节点集合按照设定的规则拆分为若干子集合的装置;
用于对于每一个子集合,筛选有效分组,基于筛选的有效分组确定所有可能的分组采集策略;基于机器学习的方法确定每一个分组采集策略的采集时间,确定最优的分组采集策略的装置;
用于将所有子集合的最优分组采集策略进行组合,得到整个数据节点集合的最优分组采集策略的装置。
需要说明的是,上述装置的具体工作方式采用实施例一中步骤S101-步骤S104公开的方法实现,不再赘述。
实施例三
在一个或多个实施方式中,公开了一种终端设备,包括服务器,所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现实施例一中的基于机器学习的数据节点分组方法。为了简洁,在此不再赘述。
应理解,本实施例中,处理器可以是中央处理单元CPU,处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC,现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如,存储器还可以存储设备类型的信息。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的基于机器学习的数据节点分组方法可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
本领域普通技术人员可以意识到,结合本实施例描述的各示例的单元即算法步骤,能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.一种基于机器学习的数据节点分组方法,其特征在于,包括:
将数据节点集合根据起始地址大小进行排序;
根据相邻数据节点间的地址差值,将数据节点集合按照设定的规则拆分为若干子集合,具体过程包括:
(1)将地址差值最大的两个未被拆分的相邻数据节点进行拆分;
(2)判断数据节点拆分后是否有子集合满足设定条件;所述设定条件,具体包括:
子集合内节点个数不超过设定值X;
子集合的地址范围不超过设定值Y;
(3)如果没有,进入步骤(4);如果有,将所述子集合截取出来,进入步骤(5);
(4)返回步骤(1)继续进行拆分;
(5)判断是否已将数据节点集合拆分完毕,如果是,结束;否则,返回步骤(1)对剩余数据节点继续进行拆分;
对于每一个子集合,筛选有效分组,基于筛选的有效分组确定所有可能的分组采集策略;基于机器学习的方法确定每一个分组采集策略的采集时间,确定最优的分组采集策略;基于机器学习的方法确定每一个分组采集策略的采集时间,具体过程包括:
确定用于组合形成场景的环境参数,每一种环境参数的变化对应一种新的场景,每一种场景对应一个子分类器;
在某一种场景下,爬取不同寄存器单元长度对应的分组采集时间数据;基于爬取的数据对所述场景下的子分类器进行训练,得到所述子分类器的线性回归模型;
采用上述方法对每一场景对应的子分类器分别进行训练,得到每一个子分类器的线性回归模型,进而得到整体的分类器模型;
获取分组采集策略中每一个分组的环境参数信息,将所述信息输入到整体的分类器模型中,输出每一个分组的采集时间,进而得到分组采集策略的采集时间;
将所有子集合的最优分组采集策略进行组合,得到整个数据节点集合的最优分组采集策略。
2.如权利要求1所述的一种基于机器学习的数据节点分组方法,其特征在于,对于每一个子集合,筛选有效分组,具体过程包括:
获取子集合内数据节点的所有可能的分组方式;
除了单独数据节点的分组以外,对剩余分组方式进行筛选,分组筛选方法至少选用下面的一种方式:
①当任意相邻的两个数据节点的地址差值小于设定值Z时,剔除所有仅包含这两个数据节点中任意一个的分组;
②当任意相邻的两个数据节点的地址差值大于设定值L时,剔除所有同时包含这两个节点的分组;
③若分组内第一个数据节点与最后一个数据节点的地址差值大于设定的地址范围M时,剔除该分组;
④确定每一个分组的采集时间,基于采集时间,剔除采集效率低的分组。
3.如权利要求1所述的一种基于机器学习的数据节点分组方法,其特征在于,将包含所有数据节点,并且每个数据节点仅包含一次的多个有效分组的组合确定为一个分组采集策略。
4.如权利要求1所述的一种基于机器学习的数据节点分组方法,其特征在于,计算每一个分组采集策略的采集时间,选取采集时间最短的作为最优的分组采集策略。
5.一种基于机器学习的数据节点分组***,其特征在于,包括:
用于将数据节点集合根据起始地址大小进行排序的装置;
用于根据相邻数据节点间的地址差值,将数据节点集合按照设定的规则拆分为若干子集合的装置;根据相邻数据节点间的地址差值,将数据节点集合按照设定的规则拆分为若干子集合,具体过程包括:
(1)将地址差值最大的两个未被拆分的相邻数据节点进行拆分;
(2)判断数据节点拆分后是否有子集合满足设定条件;所述设定条件,具体包括:
子集合内节点个数不超过设定值X;
子集合的地址范围不超过设定值Y;
(3)如果没有,进入步骤(4);如果有,将所述子集合截取出来,进入步骤(5);
(4)返回步骤(1)继续进行拆分;
(5)判断是否已将数据节点集合拆分完毕,如果是,结束;否则,返回步骤(1)对剩余数据节点继续进行拆分;
用于对于每一个子集合,筛选有效分组,基于筛选的有效分组确定所有可能的分组采集策略;基于机器学习的方法确定每一个分组采集策略的采集时间,确定最优的分组采集策略的装置;基于机器学习的方法确定每一个分组采集策略的采集时间,具体过程包括:
确定用于组合形成场景的环境参数,每一种环境参数的变化对应一种新的场景,每一种场景对应一个子分类器;
在某一种场景下,爬取不同寄存器单元长度对应的分组采集时间数据;基于爬取的数据对所述场景下的子分类器进行训练,得到所述子分类器的线性回归模型;
采用上述方法对每一场景对应的子分类器分别进行训练,得到每一个子分类器的线性回归模型,进而得到整体的分类器模型;
获取分组采集策略中每一个分组的环境参数信息,将所述信息输入到整体的分类器模型中,输出每一个分组的采集时间,进而得到分组采集策略的采集时间;
用于将所有子集合的最优分组采集策略进行组合,得到整个数据节点集合的最优分组采集策略的装置。
6.一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行权利要求1-4任一项所述的基于机器学习的数据节点分组方法。
7.一种计算机可读存储介质,其中存储有多条指令,其特征在于,所述指令适于由终端设备的处理器加载并执行权利要求1-4任一项所述的基于机器学习的数据节点分组方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010878186.6A CN111970374B (zh) | 2020-08-27 | 2020-08-27 | 基于机器学习的数据节点分组方法、***及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010878186.6A CN111970374B (zh) | 2020-08-27 | 2020-08-27 | 基于机器学习的数据节点分组方法、***及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111970374A CN111970374A (zh) | 2020-11-20 |
CN111970374B true CN111970374B (zh) | 2023-02-03 |
Family
ID=73401221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010878186.6A Active CN111970374B (zh) | 2020-08-27 | 2020-08-27 | 基于机器学习的数据节点分组方法、***及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111970374B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114817197A (zh) * | 2022-02-21 | 2022-07-29 | 深圳市玄羽科技有限公司 | 一种工业互联网平台数据处理方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009089A (zh) * | 2017-12-01 | 2018-05-08 | 中南大学 | 一种基于透明计算的增量机器学习方法及*** |
CN108985461A (zh) * | 2018-06-29 | 2018-12-11 | 深圳昂云鼎科技有限公司 | 一种自主机器学习的方法、装置和终端设备 |
CN109026649A (zh) * | 2018-08-28 | 2018-12-18 | 上海弦慧新能源科技有限公司 | 数据采集装置及运行管理方法 |
CN110909888A (zh) * | 2019-11-25 | 2020-03-24 | 深圳前海微众银行股份有限公司 | 泛型决策树构建方法、装置、设备及可读存储介质 |
CN111131379A (zh) * | 2019-11-08 | 2020-05-08 | 西安电子科技大学 | 一种分布式流量采集***和边缘计算方法 |
CN111159002A (zh) * | 2019-12-31 | 2020-05-15 | 山东有人信息技术有限公司 | 一种基于分组的数据边缘采集方法、边缘采集设备及*** |
CN111200547A (zh) * | 2019-12-31 | 2020-05-26 | 苏州数言信息技术有限公司 | 在Modbus RTU网络中基于设备类型的多节点选择通信方法 |
CN111314707A (zh) * | 2020-01-17 | 2020-06-19 | 深圳力维智联技术有限公司 | 数据映射识别方法、装置、设备及可读存储介质 |
CN111325485A (zh) * | 2020-03-22 | 2020-06-23 | 东北电力大学 | 计及物联带宽约束的轻量级梯度提升机电能质量扰动识别方法 |
CN111400040A (zh) * | 2020-03-12 | 2020-07-10 | 重庆大学 | 基于深度学习和边缘计算的工业互联网***及工作方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9836405B2 (en) * | 2016-01-29 | 2017-12-05 | International Business Machines Corporation | Dynamic management of virtual memory blocks exempted from cache memory access |
US11025588B2 (en) * | 2018-10-31 | 2021-06-01 | Hewlett Packard Enterprise Development Lp | Identify assets of interest in enterprise using popularity as measure of importance |
-
2020
- 2020-08-27 CN CN202010878186.6A patent/CN111970374B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009089A (zh) * | 2017-12-01 | 2018-05-08 | 中南大学 | 一种基于透明计算的增量机器学习方法及*** |
CN108985461A (zh) * | 2018-06-29 | 2018-12-11 | 深圳昂云鼎科技有限公司 | 一种自主机器学习的方法、装置和终端设备 |
CN109026649A (zh) * | 2018-08-28 | 2018-12-18 | 上海弦慧新能源科技有限公司 | 数据采集装置及运行管理方法 |
CN111131379A (zh) * | 2019-11-08 | 2020-05-08 | 西安电子科技大学 | 一种分布式流量采集***和边缘计算方法 |
CN110909888A (zh) * | 2019-11-25 | 2020-03-24 | 深圳前海微众银行股份有限公司 | 泛型决策树构建方法、装置、设备及可读存储介质 |
CN111159002A (zh) * | 2019-12-31 | 2020-05-15 | 山东有人信息技术有限公司 | 一种基于分组的数据边缘采集方法、边缘采集设备及*** |
CN111200547A (zh) * | 2019-12-31 | 2020-05-26 | 苏州数言信息技术有限公司 | 在Modbus RTU网络中基于设备类型的多节点选择通信方法 |
CN111314707A (zh) * | 2020-01-17 | 2020-06-19 | 深圳力维智联技术有限公司 | 数据映射识别方法、装置、设备及可读存储介质 |
CN111400040A (zh) * | 2020-03-12 | 2020-07-10 | 重庆大学 | 基于深度学习和边缘计算的工业互联网***及工作方法 |
CN111325485A (zh) * | 2020-03-22 | 2020-06-23 | 东北电力大学 | 计及物联带宽约束的轻量级梯度提升机电能质量扰动识别方法 |
Non-Patent Citations (6)
Title |
---|
"Uncertainty-Aware Resource Provisioning for Workflow Scheduling in Edge Computing Environment";Hao Cao,Xiaolong Xu,Qingxiang Liu,Yuan Xue,Lianyong Qi;《2019 18th IEEE International Conference On Trust, Security And Privacy In Computing And Communications》;20191031;全文 * |
"关于边缘计算和边云协同,看这一篇就够了";Deloitte;《腾讯云-开发者社区https://cloud.tencent.com/developer/news/443851》;20190914;全文 * |
"基于5G和MEC边缘云的智慧商超";李蕾,闻征涛,任容玮;《2019全国边缘计算学术研讨会论文集》;20190916;全文 * |
"基于MEC的移动网络CDN增强及部署场景建议";刘云毅,张建敏,杨峰义;《电信科学》;20191120;全文 * |
制造业生产过程中多源异构数据处理方法综述;陈世超等;《大数据》;20200623(第05期);全文 * |
绿色能源互补智能电厂云控制***研究;夏元清等;《自动化学报》;20200309(第09期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111970374A (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112732222B (zh) | 一种稀疏矩阵加速计算方法、装置、设备及介质 | |
CN111970374B (zh) | 基于机器学习的数据节点分组方法、***及介质 | |
TWI727639B (zh) | 一種區塊鏈交易追溯的方法及裝置 | |
CN107547441B (zh) | Can报文滤波解析方法、***及电子控制单元 | |
CN109558232A (zh) | 并行度的确定方法、装置、设备及介质 | |
CN111324433B (zh) | 一种数据计算的方法及相关设备 | |
CN109857740B (zh) | 字符串的存储方法、匹配方法、电子设备及可读存储介质 | |
CN115599873B (zh) | 基于人工智能物联网的数据采集方法、***及云平台 | |
CN111079830A (zh) | 目标任务模型的训练方法、装置和服务器 | |
CN108449231B (zh) | 一种交易数据的过滤方法、装置及实现装置 | |
CN105095382A (zh) | 样本分布式聚类计算方法及装置 | |
CN113159791A (zh) | 一种基于区块链的分层式交易并行执行方法及*** | |
CN112149696B (zh) | 图嵌入模型的训练方法及装置 | |
CN105378665B (zh) | 一种数据处理方法及装置 | |
CN113268430A (zh) | 一种基于数据分析的can总线模糊测试方法 | |
CN107544928B (zh) | 直接存储器访问控制装置和对此的运行方法 | |
CN109388428B (zh) | 图层遍历方法、控制装置及数据处理*** | |
CN112069927A (zh) | 一种应用于模块化视觉软件的元素集合处理方法及装置 | |
CN113742991A (zh) | 模型和数据联合优化方法及相关装置 | |
CN116756059B (zh) | 查询数据输出方法、加速器件、***、存储介质及设备 | |
CN117170282B (zh) | 一种基于fpga的逻辑分析仪的触发方法及装置 | |
CN110782550B (zh) | 一种数据采集方法、装置及设备 | |
Chabchoub et al. | Analysis of an algorithm catching elephants on the internet | |
CN113822430B (zh) | 事件的推理方法、装置、计算机设备和存储介质 | |
CN117707743B (zh) | 一种智慧车站能源管控***任务执行方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 250101 rooms 1103 and 1105, 11 / F, building 1, Aosheng building, 1166 Xinluo street, high tech Zone, Jinan City, Shandong Province Applicant after: Shandong Youren networking Co.,Ltd. Address before: 250101 rooms 1103 and 1105, 11 / F, building 1, Aosheng building, 1166 Xinluo street, high tech Zone, Jinan City, Shandong Province Applicant before: SHANDONG YOUREN INFORMATION TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |