CN115905924B - 基于人工智能物联网的数据处理方法、***及云平台 - Google Patents
基于人工智能物联网的数据处理方法、***及云平台 Download PDFInfo
- Publication number
- CN115905924B CN115905924B CN202211553057.5A CN202211553057A CN115905924B CN 115905924 B CN115905924 B CN 115905924B CN 202211553057 A CN202211553057 A CN 202211553057A CN 115905924 B CN115905924 B CN 115905924B
- Authority
- CN
- China
- Prior art keywords
- knowledge field
- knowledge
- field
- basic
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的基于人工智能物联网的数据处理方法、***及云平台,通过接收物联传感网络发送的物联网数据包,得到拟处理的物联网数据集合,依据目标知识字段的统计结果,获取第一分配参值和第二分配参值,依据第一分配参值和第二分配参值获取基础搜寻知识字段和基础匹配知识字段间的字段共性结果,对于目标知识字段,获取目标知识字段对应的显著知识字段,最终获取物联网数据集合对应的目标分类结果。本申请通过第一分配参值和第二分配参值获取基础搜寻知识字段各自和基础匹配知识字段间的字段共性结果,再获取显著知识字段,依据分配参值获取目标知识字段对应的显著知识字段,有效缓解计算消耗,提升数据处理的效率,增加分类效率。
Description
技术领域
本申请涉及人工智能与物联网技术领域,具体而言,涉及一种基于人工智能物联网的数据处理方法、***及云平台。
背景技术
随着人工智能和物联网的应用越来越广泛,物联网设备产生大量数据,由人工智能和机器学习来分析和跟踪这些数据。以这种方式将人工智能与物联网相结合,创造出智能设备,并在没有人为干预的情况下做出明智决策。物联网带来的可能性是无限的,连网设备和传感器的快速扩展,使得它们创建的数据量将呈指数级增长,而随之而来的问题是如何分析这些海量性能数据,通过人力显然是不现实的,而人工智能中的机器学习是有效的解决方案。例如,利用人工智能监测工厂设备零件的使用情况,从数据分析中发现可能出现问题的几率,并做出预警提醒,这样一来,会从很大程度上减少故障影响,提高运营效率。而在分析这些数据之前,对数据进行预处理,如数据清理、数据集成、数据变换、数据归约,是必要的过程,而如何将物联网数据进行归纳分类是重要的一环。
发明内容
本发明的目的在于提供一种基于人工智能物联网的数据处理方法、***及云平台,以提高物联网数据分类归纳的准确性。
为了达到上述目的,本申请实施例是这样实现的:
第一方面,本申请实施例提供了一种基于人工智能物联网的数据处理方法,应用于数据处理云平台,所述数据处理云平台与物联传感网络通信连接,所述物联传感网络用于采集物联网数据,所述方法包括:接收所述物联传感网络发送的物联网数据包,响应于数据处理指令,依据所述物联网数据包得到拟处理的物联网数据集合;依据拟处理的物联网数据集合中的目标知识字段的统计结果,获取所述物联网数据集合对应的搜寻本值数表中的每个基础搜寻知识字段的第一分配参值,和所述物联网数据集合对应的匹配融合数表中的每一所述基础匹配知识字段的第二分配参值;依据所述第一分配参值和所述第二分配参值,获取每一所述基础搜寻知识字段各自和每一所述基础匹配知识字段间的字段共性结果;对于所述物联网数据集合中的每一目标知识字段,依据所述目标知识字段对应的基础搜寻知识字段与每一所述基础匹配知识字段间的字段共性结果及所述物联网数据集合对应的结果融合数表中的每一目标结果知识字段,获取所述目标知识字段对应的显著知识字段;依据所述物联网数据集合中每一所述目标知识字段各自对应的显著知识字段,获取所述物联网数据集合对应的目标分类结果。
基于此,通过得到的每个基础搜寻知识字段对应的第一分配参值和每个基础匹配知识字段对应的第二分配参值,获取每个基础搜寻知识字段各自和各个基础匹配知识字段间的字段共性结果,再依据各个字段共性结果和结果融合数表中的每一目标结果知识字段,获取多个目标知识字段对应的显著知识字段,依据分配参值获取多个目标知识字段对应的显著知识字段的方式,可以有效缓解计算消耗,提升数据处理的效率,对于动辄千万级的物联网数据在分类时的计算资源依赖,增加分类效率。
进一步地,所述依据所述第一分配参值和所述第二分配参值,获取每一所述基础搜寻知识字段各自和每一所述基础匹配知识字段间的字段共性结果,包括:通过预设的多个内积算子中的任意的选定内积算子,将每一所述基础搜寻知识字段更新成符合要求的更新搜寻知识字段,并将每个基础匹配知识字段更新成符合要求的更新匹配知识字段;依据每一所述基础匹配知识字段对应的第二分配参值和该基础匹配知识字段对应的更新匹配知识字段,获取每一所述基础匹配知识字段对应的分配计算值weight1;对于每一所述基础搜寻知识字段,依据所述基础搜寻知识字段对应的更新搜寻知识字段和所述基础搜寻知识字段对应的第一分配参值,获取所述基础搜寻知识字段对应的分配计算值weight2;并依据所述分配计算值weight2和每一所述基础匹配知识字段对应所述分配计算值weight1,获取所述基础搜寻知识字段各自和每一所述基础匹配知识字段间的字段共性结果。
基于此,通过选定内积算子,将基础搜寻知识字段更新成符合要求的更新搜寻知识字段,并将基础匹配知识字段更新成符合要求的更新匹配知识字段,可以防止无效的(例如数值为负)基础搜寻知识字段、基础匹配知识字段对字段共性结果获取的负面影响,使得获取到的字段共性结果更加精准。
进一步地,所述依据所述分配计算值weight2和每一所述基础匹配知识字段对应所述分配计算值weight1,获取所述基础搜寻知识字段各自和每一所述基础匹配知识字段间的字段共性结果,包括:依据所述基础搜寻知识字段在所述搜寻本值数表中的第一顺次结果和所述目标知识字段的统计结果,获取所述基础搜寻知识字段对应的第三分配参值,并依据每一所述基础匹配知识字段在所述匹配融合数表中的第二顺次结果,获取每一所述基础匹配知识字段对应的第四分配参值;依据所述第三分配参值和所述基础搜寻知识字段对应的更新搜寻知识字段,获取所述基础搜寻知识字段对应的分配计算值weight3;对于每一所述基础匹配知识字段,依据所述基础匹配知识字段对应的第四分配参值和所述基础匹配知识字段对应的更新匹配知识字段,获取所述基础匹配知识字段对应的第四分配计算值;依据所述分配计算值weight2、所述分配计算值weight3、每一所述基础匹配知识字段对应的分配计算值weight1和第四分配计算值,获取所述基础搜寻知识字段与每一所述基础匹配知识字段间的字段共性结果。
基于此,通过获取的每个基础搜寻知识字段对应的第三分配参值和每个基础匹配知识字段对应的第四分配参值,获取每个基础搜寻知识字段与每个基础匹配知识字段间的字段共性结果,可以再次增加获取到的字段共性结果的精准。
进一步地,所述依据所述目标知识字段对应的基础搜寻知识字段与每一所述基础匹配知识字段间的字段共性结果及所述物联网数据集合对应的结果融合数表中的每一目标结果知识字段,获取所述目标知识字段对应的显著知识字段,包括:对于每一所述基础匹配知识字段,依据所述基础匹配知识字段对应的分配计算值weight1,以及在所述结果融合数表中对应的第三顺次结果与所述基础匹配知识字段对应的第二顺次结果一致的目标结果知识字段,获取所述基础匹配知识字段对应的第一临时计算值;依据所述基础匹配知识字段对应的第四分配计算值,以及在所述结果融合数表中对应的第三顺次结果与所述基础匹配知识字段对应的第二顺次结果一致的目标结果知识字段,获取所述基础匹配知识字段对应的第二临时计算值;将所述基础搜寻知识字段对应的分配计算值weight2和每一所述基础匹配知识字段对应的第一临时计算值进行积运算,得到分配计算值weight5;将所述基础搜寻知识字段对应的分配计算值weight3和每一所述基础匹配知识字段对应的第二临时计算值进行积运算,得到分配计算值weight6;依据所述目标知识字段对应的基础搜寻知识字段与每一所述基础匹配知识字段间的字段共性结果的和值、所述分配计算值weight5的和值及所述分配计算值weight6的和值,获取所述目标知识字段对应的显著知识字段。
基于此,通过第三顺次结果和第二顺次结果,可以在结果融合数表中确定和每个基础匹配知识字段对应的目标结果知识字段,基础匹配知识字段和对应的目标结果知识字段构成配对结果,依据配对结果中的基础匹配知识字段对应的分配计算值,以及配对结果的更新匹配知识字段,可以精确获取每个配对结果各自对应的第一临时计算值和第二临时计算值。那么,依据精确的第一临时计算值和第二临时计算值,便于获取准确的显著知识字段。
进一步地,在所述依据拟处理的物联网数据集合中的目标知识字段的统计结果,获取所述物联网数据集合对应的搜寻本值数表中的每一所述基础搜寻知识字段的第一分配参值的步骤之前,该方法还包括:获取拟处理的所述物联网数据集合,并对所述物联网数据集合进行维度投影,得到维度投影后的所述物联网数据集合;将所述物联网数据集合和维度投影后的所述物联网数据集合进行融合,得到融合物联网数据集合;通过目标知识字段数表分别对融合物联网数据集合进行维度投影操作,得到所述物联网数据集合对应的搜寻本值数表、匹配融合数表和结果融合数表,其中,所述搜寻本值数表、匹配融合数表和结果融合数表各自匹配相应的所述目标知识字段数表。
基于此,通过维度投影处理,在不同维度方向上对拟处理的物联网数据集合进行变换,获得不同延伸方向的维度投影后的物联网数据集合,之后将物联网数据集合和维度投影后的物联网数据集合进行融合,获得包含丰富信息的融合物联网数据集合,通过融合物联网数据集合进行维度投影操作,使得获得的搜寻本值数表、匹配融合数表和结果融合数表中的各个数表涵盖的字段内容更加多样。
进一步地,所述依据所述物联网数据集合中每一所述目标知识字段各自对应的显著知识字段,获取所述物联网数据集合对应的目标分类结果,包括:将所述融合物联网数据集合中的每一目标知识字段和该目标知识字段对应的显著知识字段进行融合,得到多个融合显著知识字段;对多个融合显著知识字段分别进行线性变换,得到完成线性变换后的每个显著知识字段,并对完成线性变换后的每个显著知识字段和该显著知识字段对应的融合显著知识字段进行知识字段组合,得到完成线性变换后的每个显著知识字段各自对应的基础显著知识字段;对每一所述基础显著知识字段进行维度投影处理,得到维度投影后的多个基础显著知识字段,并对每一所述基础显著知识字段和该基础显著知识字段对应的维度投影后的基础显著知识字段进行知识字段组合,得到组合完成的各个基础显著知识字段;对组合完成的各个基础显著知识字段进行标准化处理,得到每一目标知识字段对应的临时显著知识字段,依据每个临时显著知识字段,获取所述物联网数据集合对应的目标分类结果。
基于此,对显著知识字段进行融合处理、线性变换、维度投影处理和标准化处理,获得每一目标知识字段对应的信息内容多样且可以准确指示目标分类结果的临时显著知识字段,因此依据该临时显著知识字段能精确获取目标分类结果。
进一步地,所述依据每个临时显著知识字段,获取所述物联网数据集合对应的目标分类结果,包括:将多个临时显著知识字段构成的集合确定为重新定义的拟处理的物联网数据集合,并将每个临时显著知识字段确定为所述重新定义的拟处理的物联网数据集合中的多个目标知识字段;回转至对所述物联网数据集合进行维度投影,得到维度投影后的所述物联网数据集合的步骤并进行循环,直到循环轮数满足预定的轮数,得到所述拟处理的物联网数据集合对应的每一目标显著知识字段;依据每一所述目标显著知识字段,获取所述目标分类结果,其中,获取所述目标分类结果是基于多个级联的分类输出网络对所述目标显著知识字段进行解码获得的,所述多个级联的分类输出网络中的排序靠前的所述分类输出网络的输出结果为排序靠后的所述分类输出网络的输入,所述目标分类结果是通过所述最末的所述分类输出网络输出的。
基于此,采用上述重复的过程,能将多个目标知识字段指示的信息完整地挖掘出来,获得内容多样的目标显著知识字段,通过每一目标显著知识字段进行分类,能够提升获取到的目标分类结果的精准可靠,而利用多个分类输出网络进行解码,可以对每个目标显著知识字段所代表的信息的解码更加充分,得到准确的目标分类结果。
进一步地,所述基于人工智能物联网的数据处理方法通过事先调校完成的数据处理模型弯完成;所述数据处理模型的调校过程包括:获取拟处理的训练物联网数据集合;将所述训练物联网数据集合输入拟调校的数据处理模型,并通过所述拟调校的数据处理模型对所述训练物联网数据集合进行分析,获取所述训练物联网数据集合对应的多个目标推理显著知识字段;依据多个目标推理显著知识字段,获取所述训练物联网数据集合对应的分类推理结果;依据所述分类推理结果和所述训练物联网数据集合对应的参考分类结果,获取所述拟调校的数据处理模型对应的推理代价值,并通过所述推理代价值对所述拟调校的数据处理模型进行重复调校直到所述数据处理模型收敛,得到调校完成的数据处理模型。
基于此,调校完成的数据处理模型的推理精度高,通过调校完成的数据处理模型进行数据的分类,可以获得准确的目标分类结果。通过依据分类推理结果和参考分类结果获取到的推理代价值对拟调校的数据处理模型进行重复调校,使得数据处理模型的推理准确性得到有效提升。
进一步地,所述分类推理结果包括第一分类推理结果,所述推理代价值包括交叉熵代价值;所述依据多个目标推理显著知识字段,获取所述训练物联网数据集合对应的分类推理结果,包括:通过所述拟调校的数据处理模型中设置的多个分类输出网络,对多个目标推理显著知识字段进行知识字段解码处理,得到所述第一分类推理结果;所述依据所述分类推理结果,获取所述拟调校的数据处理模型对应的推理代价值,包括:依据所述第一分类推理结果和所述参考分类结果,获取所述交叉熵代价值。
基于此,通过分类输出网络对每一目标推理显著知识字段进行知识字段解码处理,得到第一分类推理结果,再依据第一分类推理结果和参考分类结果获取的交叉熵代价值对拟调校的数据处理模型进行重复调校,加强了调校效果,获得推理准确性更高的数据处理模型。
第二方面,本申请实施例提供了一种数据处理***,包括数据处理云平台和与所述数据处理云平台通信连接的物联传感网络,所述数据处理云平台包括处理器和存储器,所述存储器存储有计算机程序,当所述处理器执行所述计算机程序时,执行以上所述的方法。
第三方面,本申请实施例提供了一种数据处理云平台,包括处理器和存储器,所述存储器存储有计算机程序,当所述处理器执行所述计算机程序时,执行以上所述的方法。
在后面的描述中,将部分地陈述其他的特征。在检查后面内容和附图时,本领域的技术人员将部分地发现这些特征,或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面,当前申请中的特征可以被实现和获得。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种基于人工智能物联网的数据处理方法的流程图。
图2是本申请实施例提供的数据处理装置的功能模块架构示意图。
图3是本申请实施例提供的一种数据处理云平台的组成示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
本申请实施例中基于人工智能物联网的数据处理方法的执行主体为数据处理云平台,包括但不限于单个网络服务器、多个网络服务器组成的服务器组或于云计算的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中,计算机设备可单独运行来实现本申请,也可接入网络并通过与网络中的其他服务器的交互操作来实现本申请。其中,数据处理云平台所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。数据处理云平台与物联传感网络通信连接,二者构成数据处理***。
本申请实施例提供了一种基于人工智能物联网的数据处理方法,该方法应用于数据处理云平台,如图1所示,该方法包括以下步骤100~500:
100:接收物联传感网络发送的物联网数据包,响应于数据处理指令,依据所述物联网数据包得到拟处理的物联网数据集合。
本申请实施例中,物联网数据包中包含的数据是物联传感网络通过分布设置在目标区域的传感器依据固定通讯协议采集并整理的数据集合。物联传感网络发送物联网数据集合的方式可以是实时发送的,也可以是非实时发送的,例如定期(按照预设的周期发送)或定量(当数据量达到预设大小时发送)发送。物联网数据集合中的数据可以是静态数据或者动态数据,可以是能源类数据(与能耗相关的,或者是计算能耗所需的相关数据)、资产属性类数据(硬件资产数据)、诊断类数据(设备运行过程中检测其运行状态的数据)和信号类数据,本申请实施例对物联网数据的类型不做限定。
200:依据拟处理的物联网数据集合中的目标知识字段的统计结果,获取物联网数据集合对应的搜寻本值数表中的每个基础搜寻知识字段的第一分配参值,和物联网数据集合对应的匹配融合数表中的每个基础匹配知识字段的第二分配参值。
本申请实施例中,拟处理的物联网数据集合中可以包含多个目标知识字段(即需要关注的特征信息),统计结果表征目标知识字段的含量,物联网数据集合中所涵盖的目标知识字段的统计结果由物联网数据集合的容量大小决定,容易理解,越大则目标知识字段越多。
出于增加拟处理的物联网数据集合分类准确性的考虑,在步骤100~200间,还可以包括数据预处理的过程,具体可以包括如下步骤101~103:
101:获取拟处理的物联网数据集合,并对物联网数据集合进行维度投影,得到维度投影后的物联网数据集合。
本申请该实施例中,对物联网数据集合进行分析处理之前需要先得到该拟处理的物联网数据集合,例如,拟处理的物联网数据集合可以为事先生成的,在接收到数据处理指令时直接调取,在其他实施方式中,可以先获得物联网数据包以进行知识字段挖掘,获得对应的多个目标知识字段,从而获得由多个目标知识字段构成的拟处理的物联网数据集合,该多个目标知识字段中的每一个目标知识字段在拟处理的物联网数据集合中的排列次序取决于该目标知识字段对应在物联网数据包的位置。
维度投影后的物联网数据集合中包含多个维度投影后的目标知识字段,维度投影即进行空间映射,拟处理的物联网数据集合中的目标知识字段的统计结果与维度投影后的物联网数据集合中的维度投影后的目标知识字段的统计结果相同。
本申请实施例中,基于人工智能物联网的数据处理方法可以通过事先调校完成的数据处理模型执行,数据处理模型设置在云平台,获得拟处理的物联网数据集合后,例如通过数据处理模型中的投影网络对拟处理的物联网数据集合进行维度投影,得到维度投影后的物联网数据集合,该投影网络可以为前馈神经网络,对拟处理的物联网数据集合中的每一目标知识字段进行维度投影操作,得到每一目标知识字段各自对应的维度投影后的目标知识字段,多个维度投影后的目标知识字段构成维度投影后的物联网数据集合。
102:将物联网数据集合和维度投影后的物联网数据集合进行融合,得到融合物联网数据集合。
实际运用中,对于物联网数据集合中的每一目标知识字段,可以将目标知识字段和在维度投影后的物联网数据集合中与该目标知识字段对应的维度投影后的目标知识字段进行拼接或相加,得到目标知识字段对应的融合目标知识字段,通过物联网数据集合中的每一目标知识字段各自对应的融合目标知识字段,构建该融合物联网数据集合。
103:通过目标知识字段数表分别对融合物联网数据集合进行维度投影操作,得到物联网数据集合对应的搜寻本值数表、匹配融合数表和结果融合数表,其中,搜寻本值数表、匹配融合数表和结果融合数表各自匹配相应的目标知识字段数表。
本申请该实施例中,搜寻本值数表、匹配融合数表以及结果融合数表中的每个数表(或数组、矩阵)包含的知识字段的统计结果,都和融合物联网数据集合中的融合后的目标知识字段的统计结果相同。
其中,搜寻本值数表是通过该数表相匹配的的预设目标知识字段数表matrix1,对融合物联网数据集合进行维度投影操作后获得的数表,搜寻本值数表中的基础搜寻知识字段可以指示融合后的目标知识字段自己的知识字段信息;匹配融合数表是通过该数表相匹配的预设目标知识字段数表matrix2,对融合物联网数据集合进行维度投影操作后获得的数表,匹配融合数表中的基础匹配知识字段可以指示融合后的目标知识字段在一维度上知识字段挖掘后的知识字段信息,其中,基础匹配知识字段和基础搜寻知识字段对应;结果融合数表是通过该数表相匹配的预设目标知识字段数表matrix3,对融合物联网数据集合进行维度投影操作后获得的数表,结果融合数表中的目标结果知识字段可以指示融合后的目标知识字段在其他维度上知识字段挖掘后的知识字段信息,目标结果知识字段用于获取拟处理的物联网数据集合中的每一目标知识字段对应的显著知识字段(具备注意力的知识字段)。
实际运用中,在获得融合物联网数据集合后,将融合物联网数据集合加载到数据处理模型中的自注意力网络实现维度投影操作,以得到物联网数据集合对应的搜寻本值数表、匹配融合数表和结果融合数表。
在步骤200中,第一分配参值是被配置成对搜寻本值数表中的基础搜寻知识字段对应的更新搜寻知识字段执行权值分配(加权)的参值,更新搜寻知识字段是通过预设的选定内积算子对基础搜寻知识字段进行变换后确定的,其中,内积算子是用于计算映射到高维空间之后的内积的算式,常见的内积算子包括Linear Kernel、Polynomial Kernel、Gaussian Kernel、Sigmoid Kernel、Laplacian Kernel、Rational Quadratic Kernel等,由于其具体的计算实现为现有技术,此处便不做赘述。每个基础搜寻知识字段的第一分配参值是被配置成对该基础搜寻知识字段对应的更新搜寻知识字段执行权值分配的参值。步骤200中的第二分配参值是被配置成对匹配融合数表中的基础匹配知识字段对应的更新匹配知识字段执行权值分配的参值,更新匹配知识字段是通过预设的选定内积算子对基础匹配知识字段进行变换后获得的,每一基础匹配知识字段的第二分配参值是被配置成对该基础匹配知识字段对应的更新匹配知识字段执行权值分配的参值。
实际运用中,可以基于拟处理的物联网数据集合中的目标知识字段的统计结果,以及基础搜寻知识字段在搜寻本值数表中的第一顺次结果(排布顺序值),获取基础搜寻知识字段对应的第一分配参值,例如对第一顺次结果与目标知识字段的数量的比值求余弦值,将结果作为第一分配参值,其中,第一顺次结果和目标知识字段的数量可以通过调节参数调节,平衡计算结果,从而逐个获取每一基础搜寻知识字段的第一分配参值。
基于相同的计算思路,基于目标知识字段的统计结果以及基础匹配知识字段在匹配融合数表中的第二顺次结果,获取基础匹配知识字段对应的第二分配参值,即对第二顺次结果与目标知识字段的数量的比值求余弦值,将结果作为第二分配参值,从而逐一获取每一基础匹配知识字段对应的第二分配参值。
对于获取每个基础搜寻知识字段的第一分配参值,可以在获取搜寻本值数表后,基于物联网数据集合中的目标知识字段的统计结果,以及各个基础搜寻知识字段在搜寻本值数表中的第一顺次结果,直接获取每个基础搜寻知识字段各自对应的第一分配参值,换言之,各个基础搜寻知识字段的第一分配参值在获取搜寻本值数表后一起获取。同样适用于第二分配参值的获取。
300:依据第一分配参值和第二分配参值,获取每个基础搜寻知识字段各自和各个基础匹配知识字段间的字段共性结果。
本申请该实施例中,字段共性结果表示基础搜寻知识字段与基础匹配知识字段间的相似程度,可以通过字段之间的距离(即向量距离)来衡量,例如通过计算曼哈顿距离,距离越小,相似度越高。实际运用中,在获取基础搜寻知识字段与基础匹配知识字段间的字段共性结果时,可以通过基础搜寻知识字段对应的第一分配参值,对基础搜寻知识字段对应的更新搜寻知识字段加权计算,获取分配计算值,即加权后的结果,此外,通过基础匹配知识字段对应的第二分配参值,对基础匹配知识字段对应的更新匹配知识字段加权得到分配计算值,然后依据两个分配计算值获取基础搜寻知识字段和基础匹配知识字段间的字段共性结果。基于该过程,依据每个基础搜寻知识字段对应的第一分配参值和更新搜寻知识字段,以及每个基础匹配知识字段对应的第二分配参值和更新匹配知识字段,可以获得每个基础搜寻知识字段各自和各个基础匹配知识字段间的字段共性结果。
作为一种实施方式,300可以按照以下步骤实施:
301:通过预设的多个内积算子中的任意的选定内积算子,将每个基础搜寻知识字段更新成符合要求的更新搜寻知识字段,并将每个基础匹配知识字段更新成符合要求的更新匹配知识字段。
本申请该实施例中,符合要求可以具体为不是负值,由更新获得的各个更新搜寻知识字段构成的数表也不是负值的数表,进而更新获得的更新匹配知识字段构成的数表也不是负值数表,其中,预设的内积算子的具体选择不做限定,具体请参考上述举例。
302:依据每个基础匹配知识字段对应的第二分配参值和该基础匹配知识字段对应的更新匹配知识字段,获取每个基础匹配知识字段对应的分配计算值weight1。
对于每个基础匹配知识字段,可以将该基础匹配知识字段对应的第二分配参值和该基础匹配知识字段对应的更新匹配知识字段进行积运算,得到乘积,将进行积运算后的结果确定成基础匹配知识字段对应的分配计算值weight1。
303:对于每个基础搜寻知识字段,依据基础搜寻知识字段对应的更新搜寻知识字段和基础搜寻知识字段对应的第一分配参值,获取基础搜寻知识字段对应的分配计算值weight2;并依据分配计算值weight2和各个基础匹配知识字段对应所述分配计算值weight1,获取基础搜寻知识字段各自和各个基础匹配知识字段间的字段共性结果。
实际运用中,对于每个基础搜寻知识字段,可以将该基础搜寻知识字段对应的更新搜寻知识字段和该基础搜寻知识字段对应的第一分配参值进行积运算,将进行积运算后的结果确定为基础搜寻知识字段对应的分配计算值weight2。然后对于该基础搜寻知识字段和任意的基础匹配知识字段,将基础搜寻知识字段对应的分配计算值weight2与基础匹配知识字段对应的分配计算值weight1的转置进行积运算,依据进行积运算的结果,获取基础搜寻知识字段和基础匹配知识字段间的字段共性结果。
作为一种实施方式,对于303中的依据分配计算值weight2和各个基础匹配知识字段对应所述分配计算值weight1,获取基础搜寻知识字段各自和各个基础匹配知识字段间的字段共性结果的步骤,具体可以包括:
3031:依据基础搜寻知识字段在搜寻本值数表中的第一顺次结果和目标知识字段的统计结果,获取基础搜寻知识字段对应的第三分配参值,并依据每个基础匹配知识字段在匹配融合数表中的第二顺次结果,获取每个基础匹配知识字段对应的第四分配参值。
本申请该实施例中,第一顺次结果取决于基础搜寻知识字段在搜寻本值数表的位置,第二顺次结果取决于基础匹配知识字段在匹配融合数表的位置。第三分配参值是被配置成对基础搜寻知识字段对应的更新搜寻知识字段执行权值赋予的参值,第四分配参值是被配置成对基础匹配知识字段对应的更新匹配知识字段执行权值赋予的参值。实际运用中,各个基础搜寻知识字段对应的第三分配参值例如可以是对第一顺次结果与目标知识字段的数量的比值求正弦值,将结果作为第三分配参值,其中,第一顺次结果和目标知识字段的数量可以通过调节参数调节,平衡计算结果,从而逐个获取每一基础搜寻知识字段的第三分配参值,从而获取每个基础搜寻知识字段对应的第三分配参值。基于相同的计算思路,基于目标知识字段的统计结果以及基础匹配知识字段在匹配融合数表中的第二顺次结果,获取基础匹配知识字段对应的第四分配参值,即对第二顺次结果与目标知识字段的数量的比值求正弦值,将结果作为第四分配参值,从而逐一获取每一基础匹配知识字段对应的第四分配参值,分别获取各个基础匹配知识字段各自对应的第四分配参值。
3032:依据第三分配参值和基础搜寻知识字段对应的更新搜寻知识字段,获取基础搜寻知识字段对应的分配计算值weight3。
对于每个基础搜寻知识字段,可以将该基础搜寻知识字段对应的第三分配参值和基础搜寻知识字段对应的更新搜寻知识字段进行积运算,获得基础搜寻知识字段对应的分配计算值weight3。
3033:对于每个基础匹配知识字段,依据基础匹配知识字段对应的第四分配参值和基础匹配知识字段对应的更新匹配知识字段,获取基础匹配知识字段对应的第四分配计算值。
本申请该实施例中,对于基础匹配知识字段可以将该基础匹配知识字段对应的第四分配参值和基础匹配知识字段对应的更新匹配知识字段进行积运算,得到该基础匹配知识字段对应的第四分配计算值。
3034:依据分配计算值weight2、分配计算值weight3、每个基础匹配知识字段对应的分配计算值weight1和第四分配计算值,获取基础搜寻知识字段与每个基础匹配知识字段间的字段共性结果。
本申请该实施例中,对于每个基础搜寻知识字段和任意的基础匹配知识字段,可以将该基础搜寻知识字段对应的分配计算值weight2和基础匹配知识字段对应的分配计算值weight1的转置进行积运算,将基础搜寻知识字段的分配计算值weight3和基础匹配知识字段的第四分配计算值的转置进行积运算,对两次积运算结果进行求和,以得到基础搜寻知识字段与基础匹配知识字段间的字段共性结果。
400:对于物联网数据集合中的每一目标知识字段,依据目标知识字段对应的基础搜寻知识字段与各个基础匹配知识字段间的字段共性结果及物联网数据集合对应的结果融合数表中的每一目标结果知识字段,获取目标知识字段对应的显著知识字段。
作为一种实施方式,对于步骤400具体可以包括如下步骤:
401:对于每个基础匹配知识字段,依据基础匹配知识字段对应的分配计算值weight1,和在结果融合数表中对应的第三顺次结果与基础匹配知识字段对应的第二顺次结果一致的目标结果知识字段,获取基础匹配知识字段对应的第一临时计算值。
402:依据基础匹配知识字段对应的第四分配计算值,和在结果融合数表中对应的第三顺次结果与基础匹配知识字段对应的第二顺次结果一致的目标结果知识字段,获取基础匹配知识字段对应的第二临时计算值。
403:将所述基础搜寻知识字段对应的分配计算值weight2和每一基础匹配知识字段对应的第一临时计算值进行积运算,得到分配计算值weight5。
404:将基础搜寻知识字段对应的分配计算值weight3和每一所述基础匹配知识字段对应的第二临时计算值进行积运算,得到分配计算值weight6。
405:依据目标知识字段对应的基础搜寻知识字段与每一所述基础匹配知识字段间的字段共性结果的和值、分配计算值weight5的和值及分配计算值weight6的和值,获取目标知识字段对应的显著知识字段。
本申请该实施例中,第三顺次结果取决于目标结果知识字段在结果融合数表的位置。
在实际运用中,获取多个目标知识字段对应的显著知识字段的过程,都可以通过调校完成的数据处理模型中的自注意力网络进行,最后通过自注意力网络得到多个目标知识字段对应的显著知识字段。
500:依据物联网数据集合中多个目标知识字段各自对应的显著知识字段,获取物联网数据集合对应的目标分类结果。
本申请该实施例中,目标分类结果即对拟处理的物联网数据集合进行数据分类后产生的结果,例如针对各个数据进行标签标注的结果,每个标签对应一个数据类型。实际运用中,当获得多个目标知识字段各自对应的显著知识字段之后,数据处理模型可以对各个显著知识字段进行再次知识字段分析,获取到物联网数据集合对应的目标分类结果。
作为一种实施方式,对于步骤500具体可以包括以下步骤:
501:将融合物联网数据集合中的每一目标知识字段和该目标知识字段对应的显著知识字段进行融合,得到多个融合显著知识字段。
本申请该实施例中,融合物联网数据集合是将拟处理的物联网数据集合和多个中的收个前馈神经网络产出的维度投影后的物联网数据集合进行融合后得到的物联网数据集合。当获得多个目标知识字段对应的显著知识字段之后,对于每一目标知识字段对应的显著知识字段,将目标知识字段对应的显著知识字段和融合物联网数据集合中,与目标知识字段的融合之后的目标知识字段进行融合操作,获得多个融合显著知识字段,其中,融合显著知识字段的统计结果与拟处理的物联网数据集合中的目标知识字段的统计结果相同,此外,融合显著知识字段和拟处理的物联网数据集合中的目标知识字段相互对应。
502:对多个融合显著知识字段分别进行线性变换,得到完成线性变换后的每个显著知识字段,并对完成线性变换后的每个显著知识字段和该显著知识字段对应的融合显著知识字段进行知识字段组合,得到完成线性变换后的每个显著知识字段各自对应的基础显著知识字段。
实际运用中,把融合之后的多个显著知识字段加载到数据处理模型中的卷积单元,通过卷积单元对多个融合显著知识字段逐个进行线性变换(卷积处理),得到完成线性变换后的每个显著知识字段,之后将完成线性变换后的每个显著知识字段和显著知识字段对应的融合显著知识字段进行知识字段组合,得到完成线性变换后的每个显著知识字段各自对应的基础显著知识字段。基础显著知识字段的统计结果与拟处理的物联网数据集合中的目标知识字段的统计结果相同,此外,基础显著知识字段与拟处理的物联网数据集合中的目标知识字段对应。
503:对每一基础显著知识字段进行维度投影处理,得到维度投影后的多个基础显著知识字段,并对每个基础显著知识字段和该基础显著知识字段对应的维度投影后的基础显著知识字段进行知识字段组合,得到组合完成的各个基础显著知识字段。
实际运用中,将各个基础显著知识字段加载到数据处理模型中的多个中的次个前馈神经网络,对各个基础显著知识字段逐一进行维度投影,得到维度投影后的多个基础显著知识字段,然后将每个基础显著知识字段和该基础显著知识字段对应的维度投影后的基础显著知识字段进行知识字段组合(即融合,例如拼接,相加),得到组合完成的各个基础显著知识字段。
504:对组合完成的各个基础显著知识字段进行标准化处理,得到每一目标知识字段对应的临时显著知识字段,依据每个临时显著知识字段获取物联网数据集合对应的目标分类结果。
实际运用中,将组合完成的各个基础显著知识字段加载至数据处理模型的标准化单元,以对组合完成的各个基础显著知识字段分别进行标准化处理(将字段的数值缩放限制在一个固定的范围,例如[0,1]),得到组合完成的各个基础显著知识字段各自对应的临时显著知识字段,因为组合完成的各个基础显著知识字段与拟处理的物联网数据集合中的目标知识字段对应,那么得到的拟处理的物联网数据集合中的每一目标知识字段各自对应的临时显著知识字段。
此外,数据处理模型可以直接对临时显著知识字段进行分析,以获取物联网数据集合对应的目标分类结果。前述的各个网络和单元都属于数据处理模型中的向量转化网络(编码器encoder),那么,当获得拟处理的物联网数据集合时,将拟处理的物联网数据集合加载到向量转化网络,其中的网络和单元依据拟处理的物联网数据集合产出拟处理的物联网数据集合的目标分类结果。作为其他实施方式,获得每个临时显著知识字段后,把多个临时显著知识字段构成的集合确定为重新定义的拟处理的物联网数据集合,然后把各个临时显著知识字段确定为重新定义的拟处理的物联网数据集合中的多个目标知识字段。
接着回转至对物联网数据集合进行维度投影,得到维度投影后的物联网数据集合的步骤并进行循环,直到循环轮数满足预定的轮数,得到拟处理的物联网数据集合对应的每一目标显著知识字段,本申请该实施例中,预定的轮数取决于数据处理模型中向量转化网络的个数,具体数值不做限定。
多个向量转化网络之间是级联的,后一向量转化网络的输入依赖于前一向量转化网络的输出,即前一向量转化网络产出各个临时显著知识字段,为后一个向量转化网络的输入,将所有编码器产生的各个临时显著知识字段确定为拟处理的物联网数据集合对应的每一目标显著知识字段。一个目标显著知识字段对应于拟处理的物联网数据集合中的一个目标知识字段。
依据输出的每一目标显著知识字段,获取目标分类结果,比如数据处理模型直接对每一目标显著知识字段进行分析并依据分析结果获取目标分类结果。那么,通过多个分类输出网络(解码器decoder)执行多次解码处理,将多个目标知识字段指示的信息进行转化,获得涵盖多样性信息的目标显著知识字段,通过每一目标显著知识字段进行数据分类,提升了获取的目标分类结果的精确性,抑或当获得每一目标显著知识字段时,通过设置的多个分类输出网络对每一目标显著知识字段进行知识字段解码处理,得到目标分类结果,获取目标分类结果是基于多个级联的分类输出网络对目标显著知识字段进行解码获得的,多个级联的分类输出网络中的排序靠前的分类输出网络的输出结果为排序靠后的分类输出网络的输入,目标分类结果是通过最末的分类输出网络输出的。数据处理模型中分类输出网络的个数不做限定。基于上述过程,通过多个分类输出网络进行解码,可以对每一目标显著知识字段指示的信息的解码更加完善,便于获取精确的目标分类结果。
作为一种实施方式,数据处理模型的调校过程可以参照如下步骤:
XI:获取拟处理的训练物联网数据集合。
本申请该实施例中,拟处理的训练物联网数据集合中包含多个训练目标知识字段。
XII:将训练物联网数据集合输入拟调校的数据处理模型,并通过拟调校的数据处理模型对训练物联网数据集合进行分析,获取训练物联网数据集合对应的每一目标推理显著知识字段。
本申请该实施例中,一个目标推理显著知识字段对应于一个训练目标知识字段,目标显著知识字段的统计结果与训练目标知识字段的统计结果相同,目标推理显著知识字段为拟调校的数据处理模型对训练目标知识字段进行分析后,输出的和训练目标知识字段对应的推理知识字段。每个目标推理显著知识字段是拟调校的数据处理模型的最末的向量转化网络输出的。
XIII:依据每一目标推理显著知识字段,获取训练物联网数据集合对应的分类推理结果。
本申请该实施例中,分类推理结果是对训练物联网数据集合进行分类后产生的标签推理结果。实际运用中可以分别对每一目标推理显著知识字段进行知识字段分析,依据分析结果获取训练物联网数据集合对应的分类推理结果。
XIV:依据分类推理结果和训练物联网数据集合对应的参考分类结果,获取拟调校的数据处理模型对应的推理代价值,并通过推理代价值对拟调校的数据处理模型进行重复调校直到所述数据处理模型收敛,得到调校完成的数据处理模型。
本申请该实施例中,参考分类结果为训练物联网数据集合对应的实际结果,模型收敛例如是重复调校次数满足预设次数或推理准确性满足预设要求。实际运用中,基于分类推理结果和参考分类结果,获取拟调校的数据处理模型在进行数据分类时的推理代价值,然后通过推理代价值对拟调校的数据处理模型进行重复调校,在达到预设要求时,将调校获得的数据处理模型确定为调校完成的数据处理模型。
作为一种实施方式,分类推理结果可以包括第一分类推理结果,推理代价值还可以包括交叉熵代价值,其是在包括分类输出网络时确定的推理代价值,本申请该实施例中,在拟调校的数据处理模型中包括一个或多个分类输出网络时,可以通过拟调校的数据处理模型中设置的多个分类输出网络,对每一目标推理显著知识字段进行知识字段解码处理,得到第一分类推理结果。然后,可以依据第一分类推理结果和参考分类结果,获取拟调校的数据处理模型对应的交叉熵代价值。最后通过交叉熵代价值对拟调校的数据处理模型进行重复调校直到所述数据处理模型收敛,得到调校完成的数据处理模型。另外,若物联网数据包的数据是文字或语音,分类推理结果可以包括第二分类推理结果,推理代价值可以包括时序分类代价值,通过上述两个代价值对数据处理模型一起进行调校。
综上,本申请实施例提供的基于人工智能物联网的数据处理方法,通过接收物联传感网络发送的物联网数据包,响应于数据处理指令,依据物联网数据包得到拟处理的物联网数据集合;依据拟处理的物联网数据集合中的目标知识字段的统计结果,获取物联网数据集合对应的搜寻本值数表中的每个基础搜寻知识字段的第一分配参值,和物联网数据集合对应的匹配融合数表中的每一基础匹配知识字段的第二分配参值;依据第一分配参值和第二分配参值,获取每一基础搜寻知识字段各自和每一基础匹配知识字段间的字段共性结果;对于物联网数据集合中的每一目标知识字段,依据目标知识字段对应的基础搜寻知识字段与每一基础匹配知识字段间的字段共性结果及物联网数据集合对应的结果融合数表中的每一目标结果知识字段,获取目标知识字段对应的显著知识字段;依据物联网数据集合中每一目标知识字段各自对应的显著知识字段,获取物联网数据集合对应的目标分类结果。基于上述过程,本申请实施例通过得到的每个基础搜寻知识字段对应的第一分配参值和每个基础匹配知识字段对应的第二分配参值,获取每个基础搜寻知识字段各自和各个基础匹配知识字段间的字段共性结果,再依据各个字段共性结果和结果融合数表中的每一目标结果知识字段,获取多个目标知识字段对应的显著知识字段,依据分配参值获取多个目标知识字段对应的显著知识字段的方式,可以有效缓解计算消耗,提升数据处理的效率,对于动辄千万级的物联网数据在分类时的计算资源依赖,增加分类效率。
基于与图1中所示方法相同的思路和原理,本申请实施例中还提供了一种数据处理装置10,如图2所示,该装置10包括以下功能模块:
预处理模块11,用于接收物联传感网络发送的物联网数据包,响应于数据处理指令,依据物联网数据包得到拟处理的物联网数据集合。
参值获取模块12,用于依据拟处理的物联网数据集合中的目标知识字段的统计结果,获取物联网数据集合对应的搜寻本值数表中的每个基础搜寻知识字段的第一分配参值,和物联网数据集合对应的匹配融合数表中的每一基础匹配知识字段的第二分配参值。
共性确定模块13,用于依据第一分配参值和第二分配参值,获得每一基础搜寻知识字段各自和每一基础匹配知识字段间的字段共性结果。
目标选取模块14,用于对于物联网数据集合中的每一目标知识字段,依据目标知识字段对应的基础搜寻知识字段与每一基础匹配知识字段间的字段共性结果及物联网数据集合对应的结果融合数表中的每一目标结果知识字段,获取目标知识字段对应的显著知识字段。
分类模块15,用于依据物联网数据集合中每一目标知识字段各自对应的显著知识字段,获取物联网数据集合对应的目标分类结果。
由于上述方法已经对各个步骤的原理进行了详细介绍,此处不再针对相同原理进行赘述。
上述实施例从虚拟模块的角度介绍了数据处理装置10,下述从实体模块的角度介绍一种数据处理云平台,具体如下所示:
本申请实施例提供了一种数据处理云平台,如图3所示,数据处理云平台100包括:处理器101和存储器103。其中,处理器101和存储器103相连,如通过总线102相连。可选地,数据处理云平台100还可以包括收发器104。需要说明的是,实际应用中收发器104不限于一个,该数据处理云平台100的结构并不构成对本申请实施例的限定。
处理器101可以是CPU,通用处理器,GPU,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器101也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线102可包括一通路,在上述组件之间传送信息。总线102可以是PCI总线或EISA总线等。总线102可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器103可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器103用于存储执行本申请方案的应用程序代码,并由处理器101来控制执行。处理器101用于执行存储器103中存储的应用程序代码,以实现前述任一方法实施例所示的内容。
本申请实施例提供了一种数据处理云平台,本申请实施例中的数据处理云平台包括:一个或多个处理器;存储器;一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序被处理器执行时,执行上述基于人工智能物联网的数据处理方法。本申请所提供的技术方案,通过接收物联传感网络发送的物联网数据包,响应于数据处理指令,依据物联网数据包得到拟处理的物联网数据集合;依据拟处理的物联网数据集合中的目标知识字段的统计结果,获取物联网数据集合对应的搜寻本值数表中的每个基础搜寻知识字段的第一分配参值,和物联网数据集合对应的匹配融合数表中的每一基础匹配知识字段的第二分配参值;依据第一分配参值和第二分配参值,获取每一基础搜寻知识字段各自和每一基础匹配知识字段间的字段共性结果;对于物联网数据集合中的每一目标知识字段,依据目标知识字段对应的基础搜寻知识字段与每一基础匹配知识字段间的字段共性结果及物联网数据集合对应的结果融合数表中的每一目标结果知识字段,获取目标知识字段对应的显著知识字段;依据物联网数据集合中每一目标知识字段各自对应的显著知识字段,获取物联网数据集合对应的目标分类结果。基于上述过程,本申请实施例通过得到的每个基础搜寻知识字段对应的第一分配参值和每个基础匹配知识字段对应的第二分配参值,获取每个基础搜寻知识字段各自和各个基础匹配知识字段间的字段共性结果,再依据各个字段共性结果和结果融合数表中的每一目标结果知识字段,获取多个目标知识字段对应的显著知识字段,依据分配参值获取多个目标知识字段对应的显著知识字段的方式,可以有效缓解计算消耗,提升数据处理的效率,对于动辄千万级的物联网数据在分类时的计算资源依赖,增加分类效率。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当计算机程序在处理器上运行时,使得处理器可以执行前述方法实施例中相应的内容。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种基于人工智能物联网的数据处理方法,其特征在于,应用于所述数据处理云平台,所述数据处理云平台与物联传感网络通信连接,所述物联传感网络用于采集物联网数据,所述方法包括:
接收所述物联传感网络发送的物联网数据包,响应于数据处理指令,依据所述物联网数据包得到拟处理的物联网数据集合;
依据所述拟处理的物联网数据集合中的目标知识字段的统计结果,获取所述物联网数据集合对应的搜寻本值数表中的每个基础搜寻知识字段的第一分配参值,和所述物联网数据集合对应的匹配融合数表中的每一基础匹配知识字段的第二分配参值,其中,所述搜寻本值数表是通过相匹配的预设目标知识字段数表matrix1,对融合物联网数据集合进行维度投影操作后获得的数表,所述搜寻本值数表中的基础搜寻知识字段用于指示融合后的目标知识字段自己的知识字段信息;所述匹配融合数表是通过相匹配的预设目标知识字段数表matrix2,对融合物联网数据集合进行维度投影操作后获得的数表,所述匹配融合数表中的基础匹配知识字段用于指示融合后的目标知识字段在一维度上知识字段挖掘后的知识字段信息,所述基础匹配知识字段和所述基础搜寻知识字段对应,所述第一分配参值是被配置成对所述搜寻本值数表中的基础搜寻知识字段对应的更新搜寻知识字段执行权值分配的参值,所述第二分配参值是被配置成对所述匹配融合数表中的基础匹配知识字段对应的更新匹配知识字段执行权值分配的参值;
依据所述第一分配参值和所述第二分配参值,获得每一所述基础搜寻知识字段各自和每一所述基础匹配知识字段间的字段共性结果;
对于所述物联网数据集合中的每一目标知识字段,依据所述目标知识字段对应的基础搜寻知识字段与每一所述基础匹配知识字段间的字段共性结果及所述物联网数据集合对应的结果融合数表中的每一目标结果知识字段,获取所述目标知识字段对应的显著知识字段,其中,所述结果融合数表是通过相匹配的预设目标知识字段数表matrix3,对融合物联网数据集合进行维度投影操作后获得的数表,所述结果融合数表中的目标结果知识字段用于指示融合后的目标知识字段在其他维度上知识字段挖掘后的知识字段信息;
依据所述物联网数据集合中每一所述目标知识字段各自对应的显著知识字段,获取所述物联网数据集合对应的目标分类结果。
2.根据权利要求1所述的方法,其特征在于,所述依据所述第一分配参值和所述第二分配参值,获取每一所述基础搜寻知识字段各自和每一所述基础匹配知识字段间的字段共性结果,包括:
通过预设的多个内积算子中的任意的选定内积算子,将每一所述基础搜寻知识字段更新成符合要求的更新搜寻知识字段,并将每个基础匹配知识字段更新成符合要求的更新匹配知识字段字段;
依据每一所述基础匹配知识字段对应的第二分配参值和所述基础匹配知识字段对应的更新匹配知识字段,获取每一所述基础匹配知识字段对应的分配计算值weight1;
对于每一所述基础搜寻知识字段,依据所述基础搜寻知识字段对应的更新搜寻知识字段和所述基础搜寻知识字段对应的第一分配参值,获取所述基础搜寻知识字段对应的分配计算值weight2;
依据所述分配计算值weight2和每一所述基础匹配知识字段对应所述分配计算值weight1,获取所述基础搜寻知识字段各自和每一所述基础匹配知识字段间的字段共性结果。
3.根据权利要求2所述的方法,其特征在于,所述依据所述分配计算值weight2和每一所述基础匹配知识字段对应所述分配计算值weight1,获取所述基础搜寻知识字段各自和每一所述基础匹配知识字段间的字段共性结果,包括:
依据所述基础搜寻知识字段在所述搜寻本值数表中的第一顺次结果和所述目标知识字段的统计结果,获取所述基础搜寻知识字段对应的第三分配参值,并依据每一所述基础匹配知识字段在所述匹配融合数表中的第二顺次结果,获取每一所述基础匹配知识字段对应的第四分配参值;
依据所述第三分配参值和所述基础搜寻知识字段对应的更新搜寻知识字段,获取所述基础搜寻知识字段对应的分配计算值weight3;
对于每一所述基础匹配知识字段,依据所述基础匹配知识字段对应的第四分配参值和所述基础匹配知识字段对应的更新匹配知识字段,获取所述基础匹配知识字段对应的第四分配计算值;
依据所述分配计算值weight2、所述分配计算值weight3、每一所述基础匹配知识字段对应的分配计算值weight1以及第四分配计算值,获取所述基础搜寻知识字段和每一所述基础匹配知识字段间的字段共性结果。
4.根据权利要求3所述的方法,其特征在于,所述依据所述目标知识字段对应的基础搜寻知识字段与每一所述基础匹配知识字段间的字段共性结果及所述物联网数据集合对应的结果融合数表中的每一目标结果知识字段,获取所述目标知识字段对应的显著知识字段,包括:
对于每一所述基础匹配知识字段,依据所述基础匹配知识字段对应的分配计算值weight1,以及在所述结果融合数表中对应的第三顺次结果与所述基础匹配知识字段对应的第二顺次结果一致的目标结果知识字段,获取所述基础匹配知识字段对应的第一临时计算值;
依据所述基础匹配知识字段对应的第四分配计算值,以及在所述结果融合数表中对应的第三顺次结果与所述基础匹配知识字段对应的第二顺次结果一致的目标结果知识字段,获取所述基础匹配知识字段对应的第二临时计算值;
将所述基础搜寻知识字段对应的分配计算值weight2和每一所述基础匹配知识字段对应的第一临时计算值进行积运算,得到分配计算值weight5;
将所述基础搜寻知识字段对应的分配计算值weight3和每一所述基础匹配知识字段对应的第二临时计算值进行积运算,得到分配计算值weight6;
依据所述目标知识字段对应的基础搜寻知识字段与每一所述基础匹配知识字段间的字段共性结果的和值、所述分配计算值weight5的和值及所述分配计算值weight6的和值,获取所述目标知识字段对应的显著知识字段。
5.根据权利要求1所述的方法,其特征在于,所述依据拟处理的物联网数据集合中的目标知识字段的统计结果,获取所述物联网数据集合对应的搜寻本值数表中的每一所述基础搜寻知识字段的第一分配参值的步骤前,所述方法还包括:
获取拟处理的所述物联网数据集合,对所述物联网数据集合进行维度投影,得到维度投影后的所述物联网数据集合;
将所述物联网数据集合和维度投影后的所述物联网数据集合进行融合,得到融合物联网数据集合;
通过目标知识字段数表分别对融合物联网数据集合进行维度投影操作,得到所述物联网数据集合对应的搜寻本值数表、匹配融合数表和结果融合数表,所述搜寻本值数表、匹配融合数表和结果融合数表各自匹配相应的所述目标知识字段数表。
6.根据权利要求5所述的方法,其特征在于,所述依据所述物联网数据集合中每一所述目标知识字段各自对应的显著知识字段,获取所述物联网数据集合对应的目标分类结果,包括:
将所述融合物联网数据集合中的每一目标知识字段和所述目标知识字段对应的显著知识字段进行融合,得到多个融合显著知识字段;
对多个所述融合显著知识字段分别进行线性变换,得到完成线性变换后的每个显著知识字段,并对完成线性变换后的每个显著知识字段和所述显著知识字段对应的融合显著知识字段进行知识字段组合,得到完成线性变换后的每个显著知识字段各自对应的基础显著知识字段;
对每一所述基础显著知识字段进行维度投影处理,得到维度投影后的多个基础显著知识字段,并对每一所述基础显著知识字段和所述基础显著知识字段对应的维度投影后的基础显著知识字段进行知识字段组合,得到组合完成的各个基础显著知识字段;
对所述组合完成的各个基础显著知识字段进行标准化处理,得到每一所述目标知识字段对应的临时显著知识字段,并依据每个临时显著知识字段获取所述物联网数据集合对应的目标分类结果。
7.根据权利要求6所述的方法,其特征在于,所述依据每个临时显著知识字段,获取所述物联网数据集合对应的目标分类结果,包括:
将多个临时显著知识字段构成的集合确定为重新定义的拟处理的物联网数据集合,并将每个所述临时显著知识字段确定为所述重新定义的拟处理的物联网数据集合中的多个目标知识字段;
回转至对所述物联网数据集合进行维度投影,得到维度投影后的所述物联网数据集合的步骤并进行循环,直到循环轮数满足预定的轮数,得到所述拟处理的物联网数据集合对应的每一目标显著知识字段;
依据每一所述目标显著知识字段,获取所述目标分类结果,其中,获取所述目标分类结果是基于多个级联的分类输出网络对所述目标显著知识字段进行解码获得的,所述多个级联的分类输出网络中的排序靠前的所述分类输出网络的输出结果为排序靠后的所述分类输出网络的输入,所述目标分类结果是通过最末的所述分类输出网络输出的。
8.根据权利要求1~7中任一项所述的方法,其特征在于,所述基于人工智能物联网的数据处理方法通过事先调校完成的数据处理模型实现,其中,所述数据处理模型的调校过程包括:
获取拟处理的训练物联网数据集合;
将所述训练物联网数据集合输入拟调校的数据处理模型,并通过所述拟调校的数据处理模型对所述训练物联网数据集合进行分析,得到所述训练物联网数据集合对应的多个目标推理显著知识字段;
依据多个目标推理显著知识字段,获取所述训练物联网数据集合对应的分类推理结果;
依据所述分类推理结果和所述训练物联网数据集合对应的参考分类结果,获取所述拟调校的数据处理模型对应的推理代价值,并通过所述推理代价值对所述拟调校的数据处理模型进行重复调校直到所述数据处理模型收敛,得到调校完成的数据处理模型;
其中,所述分类推理结果包括第一分类推理结果,所述推理代价值包括交叉熵代价值,所述依据多个目标推理显著知识字段,获取所述训练物联网数据集合对应的分类推理结果,包括:
通过所述拟调校的数据处理模型中设置的多个分类输出网络对所述多个目标推理显著知识字段进行知识字段解码处理,得到所述第一分类推理结果;
所述依据所述分类推理结果,获取所述拟调校的数据处理模型对应的推理代价值,包括:依据所述第一分类推理结果和所述参考分类结果,获取所述交叉熵代价值。
9.一种数据处理***,其特征在于,包括数据处理云平台和与所述数据处理云平台通信连接的物联传感网络,所述数据处理云平台包括处理器和存储器,所述存储器存储有计算机程序,当所述处理器执行所述计算机程序时,执行如权利要求1~8任一项所述的方法。
10.一种数据处理云平台,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,当所述处理器执行所述计算机程序时,执行如权利要求1~8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211553057.5A CN115905924B (zh) | 2022-12-06 | 2022-12-06 | 基于人工智能物联网的数据处理方法、***及云平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211553057.5A CN115905924B (zh) | 2022-12-06 | 2022-12-06 | 基于人工智能物联网的数据处理方法、***及云平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115905924A CN115905924A (zh) | 2023-04-04 |
CN115905924B true CN115905924B (zh) | 2023-08-11 |
Family
ID=86483713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211553057.5A Active CN115905924B (zh) | 2022-12-06 | 2022-12-06 | 基于人工智能物联网的数据处理方法、***及云平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115905924B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116384410B (zh) * | 2023-04-14 | 2024-06-07 | 西安信一诺航空科技有限公司 | 一种数字工厂的可视化处理方法及*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109522400A (zh) * | 2018-05-28 | 2019-03-26 | 平安医疗健康管理股份有限公司 | 核保方法、装置、计算机设备和存储介质 |
CN110019012A (zh) * | 2017-12-01 | 2019-07-16 | 中国电信股份有限公司 | 数据预处理方法、装置和计算机可读存储介质 |
CN112241494A (zh) * | 2020-12-10 | 2021-01-19 | 平安科技(深圳)有限公司 | 基于用户行为数据的关键信息推送方法及装置 |
WO2021217931A1 (zh) * | 2020-04-30 | 2021-11-04 | 深圳壹账通智能科技有限公司 | 基于分类模型的字段抽取方法、装置、电子设备及介质 |
CN113947476A (zh) * | 2021-10-19 | 2022-01-18 | 上海孚厘科技有限公司 | 失信客户识别方法、装置、设备及存储介质 |
CN114861112A (zh) * | 2022-07-05 | 2022-08-05 | 广州趣米网络科技有限公司 | 基于数据存取和大数据分类的信息分发方法及*** |
CN115423037A (zh) * | 2022-09-27 | 2022-12-02 | 马萃 | 一种基于大数据的用户分类方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11748382B2 (en) * | 2019-07-25 | 2023-09-05 | International Business Machines Corporation | Data classification |
-
2022
- 2022-12-06 CN CN202211553057.5A patent/CN115905924B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110019012A (zh) * | 2017-12-01 | 2019-07-16 | 中国电信股份有限公司 | 数据预处理方法、装置和计算机可读存储介质 |
CN109522400A (zh) * | 2018-05-28 | 2019-03-26 | 平安医疗健康管理股份有限公司 | 核保方法、装置、计算机设备和存储介质 |
WO2021217931A1 (zh) * | 2020-04-30 | 2021-11-04 | 深圳壹账通智能科技有限公司 | 基于分类模型的字段抽取方法、装置、电子设备及介质 |
CN112241494A (zh) * | 2020-12-10 | 2021-01-19 | 平安科技(深圳)有限公司 | 基于用户行为数据的关键信息推送方法及装置 |
CN113947476A (zh) * | 2021-10-19 | 2022-01-18 | 上海孚厘科技有限公司 | 失信客户识别方法、装置、设备及存储介质 |
CN114861112A (zh) * | 2022-07-05 | 2022-08-05 | 广州趣米网络科技有限公司 | 基于数据存取和大数据分类的信息分发方法及*** |
CN115423037A (zh) * | 2022-09-27 | 2022-12-02 | 马萃 | 一种基于大数据的用户分类方法及*** |
Non-Patent Citations (1)
Title |
---|
"基于人工智能的元数据关系研究";吴文炤等;《电力信息与通信技术》;第30卷(第9期);第43-50页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115905924A (zh) | 2023-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cai et al. | Automl for architecting efficient and specialized neural networks | |
CN113159273B (zh) | 一种神经网络的训练方法及相关设备 | |
CN115905924B (zh) | 基于人工智能物联网的数据处理方法、***及云平台 | |
CN116340315A (zh) | 基于数字工厂的数据归档方法及ai*** | |
CN116244333A (zh) | 一种基于代价因子校准的数据库查询性能预测方法及*** | |
CN115618269A (zh) | 基于工业传感器生产的大数据分析方法及*** | |
CN115809596A (zh) | 一种数字孪生故障诊断方法和装置 | |
Velmurugan et al. | Superior fuzzy enumeration crop prediction algorithm for big data agriculture applications | |
Wang et al. | A smart operator advice model by deep learning for motion recognition in human–robot coexisting assembly line | |
Ocampo et al. | An integrated sustainable manufacturing strategy framework using fuzzy analytic network process | |
Liu et al. | An anomaly detection method based on double encoder–decoder generative adversarial networks | |
CN116739154A (zh) | 一种故障预测方法及其相关设备 | |
CN112748953A (zh) | 基于神经网络模型的数据处理方法、装置及电子设备 | |
CN111460275A (zh) | 一种面向社交网络的动态网络表示学习方法及*** | |
CN116561193A (zh) | 一种多元时间序列预测方法、装置及电子设备 | |
Chaturvedi et al. | SysEvoRecomd: Graph evolution and change learning based system evolution recommender | |
CN116802646A (zh) | 数据处理的方法和装置 | |
Sultana | Towards machine learning-based self-tuning of hadoop-spark system | |
CN111737462A (zh) | 海量数据实体相似对确定方法和*** | |
CN114373090A (zh) | 模型轻量化方法、装置、电子设备及计算机可读存储介质 | |
Globa et al. | Fuzzy logic usage for the data processing in the Internet of Things networks | |
CN117829242B (zh) | 模型处理方法及相关设备 | |
US20240111807A1 (en) | Embedding and Analyzing Multivariate Information in Graph Structures | |
CN116992701B (zh) | 一种基于数字孪生的产品全生命周期监控方法及*** | |
EP4361847A1 (en) | Method and system for restoring consistency of a digital twin database |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230922 Address after: 612, No. 455 Keji Road, Zhonghe Street, Yinzhou District, Ningbo City, Zhejiang Province, 315000 Patentee after: Ningbo Aberdeen Information Technology Co.,Ltd. Address before: Room 407, Block A, Sanqing Century Wealth Center, Shunhua Road, Lixia District, Jinan City, Shandong Province, 250000 Patentee before: Jinan Yahai Linmi Network Technology Service Co.,Ltd. |