CN114595777A - 一种训练分类模型的方法、装置、计算机设备及存储介质 - Google Patents
一种训练分类模型的方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114595777A CN114595777A CN202210247661.9A CN202210247661A CN114595777A CN 114595777 A CN114595777 A CN 114595777A CN 202210247661 A CN202210247661 A CN 202210247661A CN 114595777 A CN114595777 A CN 114595777A
- Authority
- CN
- China
- Prior art keywords
- sample
- node
- topological
- training
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种训练分类模型的方法、装置、计算机设备及存储介质,可以应用于人工智能领域或智能交通领域等,用于解决训练出的分类模型的分类准确性和可靠性较低的问题。该方法至少包括:基于所述多个样本节点组合,在所述样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,并在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,获得训练拓扑图;基于所述训练拓扑图,重新提取所述各个样本节点的训练节点特征,并基于获得的各个训练节点特征,确定相应的预测类别,以进行模型参数调整。从而,通过增强针对当前待训练的分类模型的分类准确性的表征效果,达到提高目标分类模型的分类准确性和可靠性的目的。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种训练分类模型的方法、装置、计算机设备及存储介质。
背景技术
随着科技的不断发展,越来越多的设备可以采用已训练的目标分类模型,对各个数据执行智能化的分类任务。由于各个数据之间可能存在关联关系,因此设备可以将各个数据以拓扑图(graph)的形式存储,再采用目标分类模型,基于拓扑图预测出各个数据的类别。
相关技术中,已训练的目标分类模型是通过对待训练的分类模型进行多轮迭代训练获得的。在对待训练的分类模型进行训练时,通常采用待训练的分类模型,基于样本拓扑图,提取出样本拓扑图包含的各个样本节点的节点特征,再基于各个节点特征,确定各个样本节点的预测类别,最后基于各个预测类别,调整模型参数,达到对待训练的分类模型进行迭代训练的目的。
然而,由于在样本拓扑图中,各个样本节点之间的拓扑关系丰富多样,因此,在基于样本拓扑图对各个样本节点进行分类时,一些拓扑关系可以促进待训练的分类模型提取出正确的节点特征,而一些拓扑关系容易误导待训练的分类模型提取出错误的节点特征,从而使得基于节点特征确定出的各个样本节点的预测类别准确性和可靠性较低,进一步导致训练出的目标分类模型的分类准确性和可靠性较低。
可见,相关技术中,训练得到的目标分类模型的分类准确性和可靠性较低。
发明内容
本申请实施例提供了一种训练分类模型的方法、装置、计算机设备及存储介质,用于解决训练出的分类模型的分类准确性和可靠性较低的问题。
第一方面,提供一种训练分类模型的方法,包括:
获取样本拓扑图,其中,每个样本节点表征一个待分类数据,每两个样本节点之间的拓扑关系表征相应的两个待分类数据之间的数据关联关系;
基于所述样本拓扑图,对待训练的分类模型进行多轮迭代训练,输出已训练的目标分类模型,在每轮迭代训练过程中,至少执行以下操作:
采用当前待训练的分类模型,基于从所述样本拓扑图确定出的所述各个样本节点之间的匹配度,将所述各个样本节点划分为多个样本节点组合;
基于所述多个样本节点组合,在所述样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,并在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,获得训练拓扑图;
基于所述训练拓扑图,重新提取所述各个样本节点的训练节点特征,并基于获得的各个训练节点特征,确定相应的预测类别,以进行模型参数调整。
第二方面,提供一种训练分类模型的装置,包括:
获取模块:用于获取样本拓扑图,其中,每个样本节点表征一个待分类数据,每两个样本节点之间的拓扑关系表征相应的两个待分类数据之间的数据关联关系;
处理模块:用于基于所述样本拓扑图,对待训练的分类模型进行多轮迭代训练,输出已训练的目标分类模型,在每轮迭代训练过程中,至少执行以下操作:
所述处理模块还用于:采用当前待训练的分类模型,基于从所述样本拓扑图确定出的所述各个样本节点之间的匹配度,将所述各个样本节点划分为多个样本节点组合;
所述处理模块还用于:基于所述多个样本节点组合,在所述样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,并在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,获得训练拓扑图;
所述处理模块还用于:基于所述训练拓扑图,重新提取所述各个样本节点的训练节点特征,并基于获得的各个训练节点特征,确定相应的预测类别,以进行模型参数调整。
可选的,所述处理模块具体用于:
对所述样本拓扑图进行特征提取,获得所述各个样本节点各自的初始节点特征;
基于获得的各个初始节点特征,分别预测每个样本节点属于预设的各个参考类别的概率,获得所述各个样本节点各自对应的类别概率分布;
基于获得的各个类别概率分布,确定所述各个样本节点之间的匹配度是否满足预设的匹配条件;
分别将匹配度满足所述匹配条件的各样本节点划分为一组,获得所述多个样本节点组合。
可选的,所述处理模块具体至少用于执行以下一种:
当各类别概率分布包含的最大概率对应的参考类别相同时,确定相应的样本节点之间的匹配度满足匹配条件;
当各类别概率分布之间的概率误差不大于预设的误差阈值时,确定相应的样本节点之间的匹配度满足匹配条件。
可选的,所述处理模块具体用于:
基于所述多个样本节点组合,从所述各个样本节点中,确定至少一个异质节点对,以及,至少一个同质节点对,其中,每个异质节点对包含的两个异质节点分别属于不同的样本节点组合,且所述两个异质节点之间存在拓扑关系,每个同质节点对包含的两个同质节点属于相同的样本节点组合,且所述两个同质节点之间不存在拓扑关系;
在所述样本拓扑图中,删除所述至少一个异质节点对之间的拓扑关系,并在所述至少一个同质节点对之间添加拓扑关系,获得所述训练拓扑图。
可选的,所述各个样本节点各自具有对应的类别概率分布,每个类别概率分布表征采用当前待训练的分类模型预测的相应的样本节点属于预设的各个参考类别的概率;所述处理模块具体用于:
基于峰度函数,分别确定所述各个样本节点各自对应的类别概率分布的预测置信度;
基于每个异质节点对包含的两个异质节点各自对应的预测置信度的乘积,确定所述至少一个异质节点对之间的拓扑关系的拓扑置信度;
在所述样本拓扑图中,删除所述拓扑置信度大于预设的拓扑置信阈值的拓扑关系,并在预测置信度大于预设的预测置信阈值的所述同质节点对之间添加拓扑关系,获得所述训练拓扑图。
可选的,在预测置信度大于所述预测置信阈值的所述同质节点对的数量为多个时,所述处理模块具体用于:
从所述多个同质节点中,按照预设的第一指定数量选取至少一个孤立同质节点对,按照预设的第二指定数量选取至少一个非孤立同质节点对,其中,每个孤立同质节点对包含的两个同质节点分别不存在拓扑关系,每个非孤立同质节点对包含的两个同质节点中,存在一个同质节点不存在拓扑关系;
在所述至少一个孤立同质节点对之间添加拓扑关系,并在所述至少一个非孤立同质节点对之间添加拓扑关系。
可选的,所述获取样本拓扑图关联有每个样本节点各自对应的样本类别标签,所述样本类别标签表征相应样本节点对应的参考类别;所述处理模块具体用于:
基于所述各个训练节点特征,分别预测相应的样本节点属于预设的各个参考类别的概率;
分别将最大概率对应的参考类别,作为相应的样本节点的预测类别,获得所述各个样本节点各自的预测类别;
基于所述各个样本节点各自的预测类别,与相应的样本类别标签之间的误差,确定当前待训练的分类模型的训练损失;
在所述训练损失不满足训练目标时,对当前待训练的分类模型进行模型参数调整。
可选的,所述训练拓扑图包括第一拓扑图和第二拓扑图,所述第一拓扑图是在所述样本拓扑图中,删除至少一条拓扑关系后获得的,所述第二拓扑图是在所述第一拓扑图中,添加至少一条拓扑关系后获得的;所述处理模块具体用于:
采用当前待训练的分类模型,基于所述第一拓扑图,重新提取所述各个样本节点的第一节点特征,并基于获得的各个第一节点特征,确定相应的第一类别,以对当前待训练的分类模型进行模型参数调整,获得调整后的待训练的分类模型;
采用获得的调整后的待训练的分类模型,基于所述第二拓扑图,重新提取所述各个样本节点的第二节点特征,并基于获得的各个第二节点特征,确定相应的第二类别,以对调整后的待训练的分类模型继续进行模型参数调整。
第三方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的方法。
第四方面,提供一种计算机设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行如第一方面所述的方法。
第五方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述的方法。
本申请实施例中,在基于样本拓扑图对待训练的分类模型进行训练时,采用当前待训练的分类模型,基于样本拓扑图将各个样本节点划分为多个样本节点组合。划分出的多个样本节点组合,能够在一定程度上表征当前待训练的分类模型的分类准确性。在此基础之上,基于多个样本节点组合,在样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,增加了满足拓扑关系筛选条件的至少一条拓扑关系各自对应的两个样本节点之间的差异。同时,在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,增加了满足节点筛选条件的各样本节点之间匹配度。从而,获得的训练拓扑图相较于原来的样本拓扑图来说,增强了针对当前待训练的分类模型的分类准确性的表征效果。
因此,基于获得的训练拓扑图,对当前待训练的分类模型进行训练,调整模型参数,使得当前待训练的分类模型在经过本轮训练后,可以准确地保持其中分类准确性较高的部分,调整分类准确性较低的部分,从而,在经过多轮训练后,可以获得分类准确性较高的目标分类模型,达到提高目标分类模型的分类准确性和可靠性的目的。
附图说明
图1a为本申请实施例提供的一种拓扑关系示意图一;
图1b为本申请实施例提供的一种拓扑关系示意图二;
图1c为本申请实施例提供的训练分类模型的方法的一种应用场景;
图2为本申请实施例提供的训练分类模型的方法的一种流程示意图一;
图3a为本申请实施例提供的训练分类模型的方法的一种原理示意图一;
图3b为本申请实施例提供的训练分类模型的方法的一种原理示意图二;
图4为本申请实施例提供的训练分类模型的方法的一种原理示意图三;
图5a为本申请实施例提供的训练分类模型的方法的一种原理示意图四;
图5b为本申请实施例提供的训练分类模型的方法的一种原理示意图五;
图5c为本申请实施例提供的训练分类模型的方法的一种原理示意图六;
图6a为本申请实施例提供的训练分类模型的方法的一种原理示意图七;
图6b为本申请实施例提供的训练分类模型的方法的一种原理示意图八;
图7a为本申请实施例提供的训练分类模型的方法的一种原理示意图九;
图7b为本申请实施例提供的训练分类模型的方法的一种原理示意图十;
图7c为本申请实施例提供的训练分类模型的方法的一种原理示意图十一;
图8为本申请实施例提供的训练分类模型的装置的一种结构示意图一;
图9为本申请实施例提供的训练分类模型的装置的一种结构示意图二。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
下面对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)拓扑图(graph):
拓扑图是一种非欧几里得拓扑结构,由节点以及链接他们之间的边构成,例如:分子结构、计算机网络、社交网络、天体受力关系等。
(2)图卷积神经网络(Graph Convolution Network,GCN):
图卷积神经网络可以通过对每个节点的特征进行带参数的聚合得到节点的嵌入表达,相当于可以用于特征提取的模型。
(3)样本节点标签:
样本节点标签可以用于将图中的某一些节点进行归类的一个属性,通常这个属性具有排他性,这个属性是正交的,例如人际关系中不同的家族可以作为标签。
(4)同质性(Homophily)和异质性(Heterophily):
在拓扑图中的边所链接的两个节点的归类倾向于是相同的,如果这样的边越多,说明拓扑图的同质性越高。
在拓扑图中的边所连接的两个节点如果归类不同则是异质的,如果这样的边越多,说明拓扑图的异质性越高。
(5)邻居(Neighbor):
在拓扑图中,包含某一节点的所有边对应的另一节点的集合构成了该节点的邻居。
(6)嵌入(Embedding)、节点特征和聚合(Aggregation):
嵌入相当于是对每一个节点或边使用一个高维向量进行表达。
节点特征相当于是拓扑图中,每个节点的一组属性,例如社交网络中的每个人的年龄、性别、爱好等。
聚合相当于是拓扑图中,每个节点都通过某种方式将周围邻居的信息集中并映射为自己的新的嵌入。
本申请实施例涉及人工智能(Artificial Intelligence,AI)领域,是基于计算机视觉(Computer Vision,CV)技术和机器学习(Machine Learning,ML)技术设计的,可以应用与云计算、智慧交通、辅助驾驶或地图等领域。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它研究各种机器的设计原理与实现方法,企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,使机器具有感知、推理和决策的功能。
人工智能是一门综合学科,涉及的领域广泛,既有硬件层面的技术,也有软件层面的技术。人工智能的基础技术一般包括传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作交互***、机电一体化等技术。人工智能的软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术、机器学习/深度学习、自动驾驶、智慧交通等几大方向。随着人工智能的发展与进步,人工智能得以在多个领域中展开研究和应用,例如,常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、智能穿戴设备、无人驾驶、自动驾驶、无人机、机器人、智能医疗、车联网、自动驾驶、智慧交通等领域,相信随着未来技术的进一步发展,人工智能将在更多的领域中得到应用,发挥出越来越重要的价值。本申请实施例提供的方案,涉及人工智能的深度学习、增强现实等技术,具体通过如下实施例进一步说明。
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科,专门研究计算机通过模拟人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构,使计算机不断改善自身的性能。
机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域;而机器学习的核心则是深度学习,是实现机器学习的一种技术。机器学习通常包括深度学习、强化学习、迁移学习、归纳学习、人工神经网络、式教学习等技术,深度学习则包括卷积神经网络(Convolutional Neural Networks,CNN)、深度置信网络、递归神经网络、自动编码器、生成对抗网络等技术。
应当说明的是,本申请实施例中,涉及到待分类数据等相关的数据,当本申请以上实施例运用到具体产品或技术中时,每次获取数据需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面对本申请实施例提供的训练分类模型的方法的应用领域进行简单介绍。
随着科技的不断发展,越来越多的设备可以采用已训练的目标分类模型,对各个数据执行智能化的分类任务。由于各个数据之间可能存在关联关系,因此设备可以将各个数据以拓扑图(graph)的形式存储,再采用目标分类模型,基于拓扑图预测出各个数据的类别。
例如,在影视领域中,各个数据可以是各个电影、电视剧或综艺等影视作品,各个影视作品之间可能存在关联关系,如,可能具有相同的导演,也可能具有相同的演员,也可能具有相同的主题,也可能具有相似的剧情,也可能具有相同的影视人物,也可能具有相似年龄段的受众群,也可能具有相同播放平台等,具体不做限制。
请参考图1a,设备可以将各个影视作品以拓扑图的形式存储,每个节点表征一个影视作品,每个拓扑关系表征相应的两个影视作品之间的关联关系。影视A与影视C具有相同的导演,影视C、影视D和影视E具有相同的演员,影视B和影视E具有相似的剧情。
又例如,在应用程序领域中,各个数据可以是各个显示界面或按键等显示元素,各个显示元素之间可能存在关联关系,如,可能具有相同的目的地址,可能具有相同的显示背景,可能用于访问相同的服务器,可能具有相似的功能等,具体不做限制。
请参考图1b,设备可以将各个显示元素以拓扑图的形式存储,每个节点表征一个显示元素,每个拓扑关系表征相应的两个显示元素之间的关联关系。应用程序的首页,与返回按键具有相同的目的地址,首页与详情页具有相同的显示背景,搜索按键与详情页访问相同的服务器。
相关技术中,在采用目标分类模型,基于拓扑图预测各个数据的类别之前,可以通过对待训练的分类模型进行多轮迭代训练,获得已训练的目标分类模型。在对待训练的分类模型进行训练时,通常采用待训练的分类模型,基于样本拓扑图,提取出样本拓扑图包含的各个样本节点的节点特征,再基于各个节点特征,确定各个样本节点的预测类别,最后基于各个预测类别与相应的样本类别之间的误差,调整模型参数,达到对待训练的分类模型进行迭代训练的目的。
然而,由于在样本拓扑图中,各个样本节点之间的拓扑关系丰富多样,因此,在基于样本拓扑图对各个样本节点进行分类时,一些拓扑关系可以促进待训练的分类模型提取出正确的节点特征,而一些拓扑关系容易误导待训练的分类模型提取出错误的节点特征。因此,在基于各个节点特征,确定各个样本节点的预测类别,来调整模型参数时,待训练的分类模型无法准确地保持其中可以提取出正确的节点特征的部分,也无法准确地调整其中提取出错误的节点特征的部分,使得待训练的分类模型无法准确地基于样本拓扑图进行训练学习。从而导致训练出的目标分类模型的分类准确性和可靠性较低。
可见,相关技术中,训练得到的目标分类模型的分类准确性和可靠性较低。
为了解决训练出的分类模型的分类准确性和可靠性较低的问题,本申请提出一种训练分类模型的方法。该方法中,在获取样本拓扑图之后,基于样本拓扑图,对待训练的分类模型进行多轮迭代训练,输出已训练的目标分类模型。每个样本节点表征一个待分类数据,每两个样本节点之间的拓扑关系表征相应的两个待分类数据之间的数据关联关系。
其中,在每轮迭代训练过程中,至少执行以下操作:采用当前待训练的分类模型,基于从样本拓扑图确定出的各个样本节点之间的匹配度,将各个样本节点划分为多个样本节点组合。基于多个样本节点组合,在样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,并在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,获得训练拓扑图。基于训练拓扑图,重新提取各个样本节点的训练节点特征,并基于获得的各个训练节点特征,确定相应的预测类别,以进行模型参数调整。
本申请实施例中,在基于样本拓扑图对待训练的分类模型进行训练时,采用当前待训练的分类模型,基于样本拓扑图将各个样本节点划分为多个样本节点组合。划分出的多个样本节点组合,能够在一定程度上表征当前待训练的分类模型的分类准确性。在此基础之上,基于多个样本节点组合,在样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,增加了满足拓扑关系筛选条件的至少一条拓扑关系各自对应的两个样本节点之间的差异。同时,在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,增加了满足节点筛选条件的各样本节点之间匹配度。从而,获得的训练拓扑图相较于原来的样本拓扑图来说,增强了针对当前待训练的分类模型的分类准确性的表征效果。
因此,基于获得的训练拓扑图,对当前待训练的分类模型进行训练,调整模型参数,使得当前待训练的分类模型在经过本轮训练后,可以准确地保持其中分类准确性较高的部分,调整分类准确性较低的部分,从而,在经过多轮训练后,可以获得分类准确性较高的目标分类模型,达到提高目标分类模型的分类准确性和可靠性的目的。
下面对本申请提供的训练分类模型的方法的应用场景进行说明。
请参考图1c,为本申请提供的训练分类模型的方法的一种应用场景示意图。该应用场景中包括客户端101和服务端102。客户端101和服务端102之间可以通信。通信方式可以是采用有线通信技术进行通信,例如,通过连接网线或串口线进行通信;也可以是采用无线通信技术进行通信,例如,通过蓝牙或无线保真(wireless fidelity,WIFI)等技术进行通信,具体不做限制。
客户端101泛指可以向服务端102提供样本拓扑图的设备,例如,终端设备、终端设备可以访问的第三方应用程序或终端设备可以访问的网页等。终端设备包括但不限于手机、电脑、智能交通设备、智能电器等。服务端102泛指可以训练分类模型的设备,例如,终端设备或服务器等。服务器包括但不限于云服务器、本地服务器或关联的第三方服务器等。客户端101和服务端102均可以采用云计算,以减少本地计算资源的占用;同样也可以采用云存储,以减少本地存储资源的占用。
作为一种实施例,客户端101和服务端102可以是同一个设备,例如,本申请实施例可以仅通过客户端101实现,也可以仅通过服务端102实现等,具体不做限制。本申请实施例中,以客户端101和服务端102分别为不同的设备为例进行介绍。
下面基于图1c,对本申请实施例提供的训练分类模型的方法进行具体介绍。请参考图2,为本申请实施例提供的训练分类模型的方法的一种流程示意图。
S201,获取样本拓扑图。
在对待训练的分类模型进行训练之前,服务器可以获取样本拓扑图。服务器可以从内存中读取预存的样本拓扑图,也可以接收其他设备发送的样本拓扑图,也可以从网络资源中下载样本拓扑图,也可以基于各个待分类数据,生成样本拓扑图等,具体不做限制。
样本拓扑图中,每个样本节点表征一个待分类数据,每两个样本节点之间的拓扑关系表征相应的两个待分类数据之间的数据关联关系。请参考图3a,为一种样本拓扑图,样本拓扑图中包含八个样本节点,分别为第一样本节点、第二样本节点、第三样本节点、第四样本节点、第五样本节点、第六样本节点、第七样本节点和第八样本节点。
第一样本节点和第二样本节点之间存在拓扑关系,第二样本节点和第三样本节点之间存在拓扑关系,第三样本节点和第七样本节点之间存在拓扑关系,第三样本节点和第五样本节点之间存在拓扑关系,第四样本节点和第七样本节点之间存在拓扑关系,第四样本节点和第五样本节点之间存在拓扑关系,第四样本节点和第八样本节点之间存在拓扑关系,第四样本节点和第六样本节点之间存在拓扑关系。
S202,基于样本拓扑图,对待训练的分类模型进行多轮迭代训练,输出已训练的目标分类模型。
在获得样本拓扑图之后,服务器可以基于样本拓扑图,对待训练的分类模型进行多轮迭代训练,输出已训练的目标分类模型。样本拓扑图的数量可以是一个,也可以是多个。在样本拓扑图为一个时,服务器可以反复基于该一个样本拓扑图,对待训练的分类模型进行多轮迭代训练,输出已训练的目标分类模型。在样本拓扑图为多个时,服务器可以依次基于每个样本拓扑图,对待训练的分类模型进行一轮或多轮迭代训练,达到基于多个样本拓扑图对待训练的分类模型进行多轮迭代训练的目的,输出已训练的目标分类模型等,具体不做限制。
下面以基于一个样本拓扑图,对待训练的分类模型进行的一轮迭代训练为例进行介绍,每轮迭代训练过程类似,在此不再赘述,请参考S203~S205。
S203,采用当前待训练的分类模型,基于从样本拓扑图确定出的各个样本节点之间的匹配度,将各个样本节点划分为多个样本节点组合。
服务器可以采用当前待训练的分类模型,从样本拓扑图中,确定出每两个样本节点之间的匹配度,匹配度可以表征各个样本节点之间是否相似或相关等,例如,两个样本节点表征不同的电影时,两个电影的简介相似,那么可以确定两个样本节点的匹配度较高;又例如,两个样本节点表征不同的图片时,在两个图片的背景相似时,确定两个样本节点相关等,具体不做限制。
服务器可以基于各个匹配度,将各个样本节点划分为多个样本节点组合,例如,服务器可以将匹配度大于第一预设阈值的样本节点划分为一组,获得多个样本节点组合;又例如,服务器可以将匹配度小于第二预设阈值的样本节点划分为不同组,获得多个样本节点组合等,具体不做限制。
作为一种实施例,从样本拓扑图中,确定各个样本节点之间的匹配度时,服务器可以基于从样本拓扑图提取的各个样本节点各自的初始节点特征之间的相似程度,确定各个样本节点之间的匹配度;服务器还可以基于从样本拓扑图预测出的各个样本节点各自的类别,确定各个样本节点之间的匹配度等,具体不做限制。
服务器可以采用待训练的分类模型,对样本拓扑图进行特征提取,获得各个样本节点各自的初始节点特征,通过初试节点特征,将样本节点量化。从而,服务器可以基于获得的各个初始节点特征,确定各个样本节点之间的匹配度是否满足预设的匹配条件,例如,两个初始节点特征相似,可以说明两个样本节点之间的匹配度满足预设的匹配条件。服务器可以通过计算两个初始节点特征之间的距离,确定两个初始节点特征是否相似,距离越小越相似,距离越大越相异。服务器可以分别将匹配度满足匹配条件的各样本节点划分为一组,获得多个样本节点组合。
服务器还可以在获得各个初始节点特征之后,基于获得的各个初始节点特征,分别预测每个样本节点属于预设的各个参考类别的概率,获得各个样本节点各自对应的类别概率分布,通过类别概率分布,将样本节点量化。从而,服务器可以基于获得的各个类别概率分布,确定各个样本节点之间的匹配度是否满足预设的匹配条件,例如,两个类别概率分布的分布特性相似,可以说明两个样本节点之间的匹配度满足预设的匹配条件。服务器可以分别将匹配度满足匹配条件的各样本节点划分为一组,获得多个样本节点组合。
作为一种实施例,基于获得的各个类别概率分布,确定各个样本节点之间的匹配度是否满足预设的匹配条件的方法有多种,下面以其中的两种为例进行介绍,具体不做限制。
方法一:
基于每两个类别概率分布包含的最大概率对应的参考类别是否相同,确定相应的两个样本节点之间的匹配度满足匹配条件。
在获得各个类别概率分布之后,服务器可以分别确定每个类别概率分布包含的最大概率所对应的参考类别,可以将该参考类别作为当前待训练的分类模型针对相应样本节点预测的类别。那么服务器可以在确定各类别概率分布包含的最大概率对应的参考类别相同时,确定相应的样本节点之间的匹配度满足匹配条件,在确定各类别概率分布包含的最大概率对应的参考类别不同时,确定相应的样本节点之间的匹配度不满足匹配条件。
请参考图3b,预设的参考类别包括第一类别、第二类别、第三类别和第四类别。服务器分别获得第一样本节点的类别概率分布,请参考图3b(1);第二样本节点的类别概率分布,请参考图3b(2);第三样本节点的类别概率分布,请参考图3b(3)。
第一样本节点的类别概率分布中,最大概率对应的参考类别为第三类别;第二样本节点的类别概率分布中,最大概率对应的参考类别为第三类别;第三样本节点的类别概率分布中,最大概率对应的参考类别为第二类别。
那么,服务器可以确定第一样本节点和第二样本节点之间的匹配度满足匹配条件,从而可以将第一样本节点和第二样本节点划分为相同的样本节点组合。第一样本节点和第三样本节点之间的匹配度不满足匹配条件,第二样本节点和第三样本节点之间的匹配度不满足匹配条件,因此,可以将第三样本节点划分为与第一样本节点和第二样本节点不同的样本节点组合。
方法二:
基于每两个类别概率分布之间的概率误差是否大于误差阈值,确定相应的两个样本节点之间的匹配度满足匹配条件。
在获得各个类别概率分布之后,服务器可以分别确定每两个类别概率分布之间的误差,两个类别概率分布之间的误差可以是对应参考类别上的概率间的平均差值,两个类别概率分布之间的误差可以反映两个类别概率分布的分布特性是否相似。那么服务器可以在确定各类别概率分布之间的概率误差不大于预设的误差阈值时,时,确定相应的样本节点之间的匹配度满足匹配条件,在确定各类别概率分布之间的概率误差大于预设的误差阈值时,确定相应的样本节点之间的匹配度不满足匹配条件。
例如,请参考图4,三个样本节点分别为电影A、电影B和电影C,电影A讲述了一个校园爱情故事,电影B讲述了一个大学生活故事,电影C讲述了一个科幻故事。采用待训练的分类模型,分别对电影A、电影B和电影C进行特征提取,获得相应的初始节点特征A、初始节点特征B和初始节点特征C。初始节点特征A表征校园爱情,初始节点特征B表征大学生活,初始节点特征C表征科幻。基于初始节点特征A、初始节点特征B和初始节点特征C。
服务器确定电影A属于青春影视类别的概率为0.7,属于悬疑影视类别的概率为0.2,属于科幻影视类别的概率为0.1。服务器确定电影B属于青春影视类别的概率为0.8,属于悬疑影视类别的概率为0.1,属于科幻影视类别的概率为0.1。服务器确定电影C属于青春影视类别的概率为0,属于悬疑影视类别的概率为0.1,属于科幻影视类别的概率为0.9。
服务器确定电影A为青春影视类别,电影B为青春影视类别,电影C为科幻影视类别。电影A和电影B的类别相同,电影A和电影C,以及电影B和电影C的类别不同,因此,服务器确定电影A和电影B之间的匹配度满足匹配条件,将电影A和电影B划分为一个样本节点组合,电影A和电影C之间的匹配度,以及电影B和电影C之间的匹配度均不满足匹配条件,将电影C划分为与电影A和电影B不同的另一样本节点组合。
作为一种实施例,待训练的分类模型中,包含浅层的GCN模型,在将各个样本节点划分为多个样本节点组合的过程中,服务器可以采用待训练的分类模型包含的浅层GCN模型实现,通过浅层GCN模型学习各个样本节点的聚合知识。
服务器采用待训练的分类模型包含的浅层GCN模型,对样本拓扑图进行特征提取,获得各个样本节点各自的特征矩阵。继续采用浅层GCN模型,依次对每个特征矩阵进行融合处理,获得相应的嵌入(embedding),即为初始节点特征h,请参考公式(1)。
h=GCN1(g,feat) (1)
其中,GCN1(·)表示GCN模型,g表示样本拓扑图,feat表示每个特征矩阵。
在获得各个初始节点特征之后,服务器可以采用逻辑回归函数softmax,分别对各个初始节点特征进行预测,确定每个样本节点属于各个参考类别的类别概率分布,请参考公式(2)。
S204,基于多个样本节点组合,在样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,并在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,获得训练拓扑图。
在获得各个样本节点组合之后,服务器可以基于多个样本节点组合,在样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,并在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,获得训练拓扑图。
通过删除满足拓扑关系筛选条件的至少一条拓扑关系,可以增加每个拓扑关系对应的两个样本节点之间的差异,从而,在基于删除了至少一条拓扑关系之后的拓扑图进行学习训练时,待训练的分类模型可以更加准确地学习到两个样本节点是否属于同一个样本节点组合,从而提高训练出的目标分类模型的准确性和可靠性。
通过在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,可以增加拓扑关系对应的两个样本节点之间的相似性,从而,在基于添加了至少一条拓扑关系之后的拓扑图进行学习训练时,待训练的分类模型可以更加准确地学习到两个样本节点是否属于同一个样本节点组合,从而提高训练出的目标分类模型的准确性和可靠性。
在满足拓扑关系筛选条件的拓扑关系为一个时,服务器可以删除该拓扑关系。在满足拓扑关系筛选条件的拓扑关系为多个时,服务器可以删除满足拓扑关系筛选条件的所有拓扑关系,也可以删除满足拓扑关系筛选条件的各个拓扑关系中的一个或多个拓扑关系。
在满足节点筛选条件的样本节点为一对时,服务器可以在这一对样本节点之间添加拓扑关系。在满足节点筛选条件的样本节点多对时,服务器可以分别在每对样本节点之间添加拓扑关系,也可以在其中一对样本节点或多对样本节点之间添加拓扑关系。
作为一种实施例,拓扑关系筛选条件至少包括拓扑关系对应的两个样本节点分别属于不同的样本节点组合,从而,在删除满足拓扑关系筛选条件的拓扑关系时,可以增加拓扑关系对应的属于不同的样本节点组合的两个样本节点之间的差异性。
服务器可以基于多个样本节点组合,从各个样本节点中,确定至少一个异质节点对,其中,每个异质节点对包含的两个异质节点分别属于不同的样本节点组合,且两个异质节点之间存在拓扑关系。服务器在确定出至少一个异质节点对之后,可以在样本拓扑图中,删除至少一个异质节点对之间的拓扑关系,从而实现删除满足拓扑关系筛选条件的至少一条拓扑关系。
节点筛选条件至少包括各样本节点属于相同的样本节点组合,且两个同质节点之间不存在拓扑关系,从而,在满足节点筛选条件至的各样本节点之间添加拓扑关系时,可以增加属于相同的样本节点组合,但没有拓扑关系的各样本节点之间的相似性。
服务器可以基于多个样本节点组合,从各个样本节点中,确定至少一个同质节点对,其中,每个同质节点对包含的两个同质节点属于相同的样本节点组合,且两个同质节点之间不存在拓扑关系。服务器在确定出至少一个同质节点对之后,在至少一个同质节点对之间添加拓扑关系,从而实现在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系。
服务器在调整拓扑关系之后,可以获得训练拓扑图,训练拓扑图相较于样本拓扑图进行了优化,当前待训练的分类模型可以基于训练拓扑图准确地学习到当前的模型参数中准确的部分,以及不准确的部分,从而在对当前的模型参数进行调整时,可以进行准确地调整,使得训练获得的目标分类模型更加准确可靠。
作为一种实施例,在各个样本节点各自具有对应的类别概率分布,每个类别概率分布表征采用当前待训练的分类模型预测的相应的样本节点属于预设的各个参考类别的概率时,服务器可以基于类别概率分布,确定各个样本节点各自对应的预测置信度,预测置信度越高,表征当前待训练的分类模型将相应的样本节点预测为相应的参考类别的概率越大;还可以确定各个拓扑关系的拓扑置信度,拓扑置信度越高,表征当前待训练的分类模型将相应的两个样本节点预测为不同参考类别的概率越大。本申请实施例中,在删除拓扑关系或添加拓扑关系时,选取置信度高的进行删除或添加,降低删错或错加拓扑关系,对训练效果的误导。
从而,服务器可以根据拓扑置信度,从各个拓扑关系中,选取属于不同参考类别的可能性更大的各不同参考类别之间的拓扑关系进行删除。服务器还可以根据预测置信度,从各个样本节点中,选取预测准确的可能性更大的各样本节点添加拓扑关系。
服务器可以基于峰度函数,分别确定各个样本节点各自对应的类别概率分布的预测置信度,峰度函数kurtosis(·)可以参考公式(3)。
服务器也可以基于极差函数、方差函数或标准差函数等,确定各个样本节点的预测置信度,具体不做限制,本申请实施例中,以基于峰度函数确定各个样本节点的预测置信度为例进行介绍。
作为一种实施例,在根据峰度函数对类别概率分布进行计算之后,为了便于计算,可以对计算结果进行进一步归一化处理,请参考公式(4)。
其中,min(x)表示各个计算结果中的最小值,max(x)表示各个计算结果中的最大值。
从而,服务器可以将归一化后的结果,作为各个样本节点各自的预测置信度。
服务器在获得各个样本节点各自对应的预测置信度之后,可以基于每个异质节点对包含的两个异质节点各自对应的预测置信度的乘积,确定至少一个异质节点对之间的拓扑关系的拓扑置信度,拓扑置信度confidence(·)可以参考公式(5)。
其中,ni表示属于样本节点组合i的样本节点,nj表示属于样本节点组合j的样本节点,eij表示样本节点ni与样本节点nj之间的拓扑关系。
服务器可以在样本拓扑图中,确定出需要删除的拓扑关系ecut,请参考公式(6)。
从而,服务器可以在样本拓扑图中,删除拓扑置信度大于预设的拓扑置信阈值的拓扑关系,获得删除拓扑关系后的拓扑图g′,请参考公式(7)。
其中,v表示样本节点,e表示拓扑关系,ecut表示已删除的拓扑关系,g表示样本拓扑图。
服务器可以从各个样本节点中,确定出预测置信度大于预设的预测置信阈值的同质节点对gc,请参考公式(8)。
服务器可以在样本拓扑图中,在预测置信度大于预设的预测置信阈值的同质节点对之间添加拓扑关系。
作为一种实施例,在预测置信度大于预测置信阈值的同质节点对的数量为多个时,服务器可以从多个同质节点中,按照预设的第一指定数量选取至少一个孤立同质节点对,按照预设的第二指定数量选取至少一个非孤立同质节点对,其中,每个孤立同质节点对包含的两个同质节点分别不存在拓扑关系,每个非孤立同质节点对包含的两个同质节点中,存在一个同质节点不存在拓扑关系。通过设置第一指定数量和第二指定数量,使得当前待训练的分类模型可以有针对性对优化后的拓扑图进行学习,避免需要学习的知识较多造成当前待训练的分类模型无法准确地确定出需要调整的模型参数,造成模型参数调整不准确的问题等。
其中,n表示拓扑关系,v.neighbor表示样本节点v与其所属样本节点组合中的样本节点之间的拓扑关系,∑n∈v.neighbor 1=0表示样本节点v与其所属样本节点组合中的样本节点之间不存在拓扑关系。
其中,n表示拓扑关系,v.neighbor表示样本节点v与其所属样本节点组合中的样本节点之间的拓扑关系,∑n∈v.neighbor 1>0表示样本节点v与其所属样本节点组合中的样本节点之间存在拓扑关系。
从而,服务器可以在至少一个孤立同质节点对之间添加拓扑关系,并在至少一个非孤立同质节点对之间添加拓扑关系。
第一指定数量和第二指定数量可以相同也可以不同,可以是大于或等于0的整数,可以预先设定,也可以在训练过程中学习得到等,具体不做限制。
其中,||·||表示范数,α表示预设系数。
其中,||·||表示范数,β表示预设系数。
服务器在添加拓扑关系后,可以获得训练拓扑图g″,请参考公式(13)。
请参考图5a,样本拓扑图中包含八个样本节点,分别为第一样本节点、第二样本节点、第三样本节点、第四样本节点、第五样本节点、第六样本节点、第七样本节点和第八样本节点,拓扑关系如图5a(1)所示。
通过执行S203,将八个样本节点划分为三个样本节点组合,第一样本节点组合包括第一样本节点、第二样本节点、第三样本节点和第四样本节点,第二样本节点组合包括第五样本节点和第六样本节点,第三样本节点组合包括第七样本节点和第八样本节点,请参考图5a(2)。
异质节点对包括第三样本节点和第五样本节点、第三样本节点和第七样本节点,第四样本节点和第五样本节点,第四样本节点和第六样本节点,第四样本节点和第七样本节点,第四样本节点和第八样本节点。服务器可以在样本拓扑图,请参考图5b(1)中,删除各个异质节点对之间的拓扑关系,从而可以得到删除了拓扑关系之后的拓扑图,请参考图5b(2)。
同质节点对包括第一样本节点和第四样本节点,第三样本节点和第四样本节点,第五样本节点和第六样本节点,第七样本节点和第八样本节点。服务器可以在删除了拓扑关系之后的拓扑图,请参考图5c(1)中,为同质节点对之间添加拓扑关系,获得添加拓扑关系后的拓扑图,请参考图5c(2)。
S205,基于训练拓扑图,重新提取各个样本节点的训练节点特征,并基于获得的各个训练节点特征,确定相应的预测类别,以进行模型参数调整。
在获得训练拓扑图之后,服务器可以基于训练拓扑图,重新提取各个样本节点的训练节点特征,并基于获得的各个训练节点特征,确定相应的预测类别。服务器可以基于各个预测类别,确定当前待训练的分类模型的训练损失是否满足训练目标,在不满足训练目标时,进行模型参数调整,并进入下一轮迭代训练,在满足训练目标时,将当前待训练的分类模型输出,获得已训练的目标分类模型。本申请实施例中,同时能获取同质信息和异质信息,提高了样本拓扑图的鲁棒性的同时,相较于直接基于了样本拓扑图进行模型训练的方法来说,可以准确地学习到有效信息,使得训练出的目标分类模型的分类准确性和可靠性较高。
作为一种实施例,在获取样本拓扑图关联有每个样本节点各自对应的样本类别标签,样本类别标签表征相应样本节点对应的参考类别时,服务器可以基于各个训练节点特征,分别预测相应的样本节点属于预设的各个参考类别的概率。分别将最大概率对应的参考类别,作为相应的样本节点的预测类别,获得各个样本节点各自的预测类别。基于各个样本节点各自的预测类别,与相应的样本类别标签之间的误差,确定当前待训练的分类模型的训练损失。在训练损失不满足训练目标时,对当前待训练的分类模型进行模型参数调整,并进入下一轮迭代训练。在训练损失满足训练目标时,将当前待训练的分类模型输出,获得已训练的目标分类模型。
作为一种实施例,训练拓扑图可以包括第一拓扑图和第二拓扑图,第一拓扑图是在样本拓扑图中,删除至少一条拓扑关系后获得的,第二拓扑图是在第一拓扑图中,添加至少一条拓扑关系后获得的。
请参考图6a,继续以图5a~图5c所示的拓扑图为例,服务器在确定出样本拓扑图中需要删除的拓扑关系之后,在样本拓扑图中删除相应的拓扑关系,获得第一拓扑图。服务器在确定出需要添加的拓扑关系之后,可以在获得的第一拓扑图中添加相应的拓扑关系,获得第二拓扑图。服务器可以将第一拓扑图和第二拓扑图作为训练拓扑图。
服务器可以采用当前待训练的分类模型,基于第一拓扑图,重新提取各个样本节点的第一节点特征。基于获得的各个第一节点特征,预测分类各个样本节点,确定相应的第一类别,以对当前待训练的分类模型进行模型参数调整,获得调整后的待训练的分类模型。
服务器可以采用获得的调整后的待训练的分类模型,基于第二拓扑图,重新提取各个样本节点的第二节点特征,并基于获得的各个第二节点特征,确定相应的第二类别,以对调整后的待训练的分类模型继续进行模型参数调整。
请参考图6b,在获得第一拓扑图之后,服务器采用当前待训练的分类模型,对第一拓扑图进行特征提取,获得各个样本节点各自的第一节点特征,包括第一节点特征A、第一节点特征B、……和第一节点特征M。采用当前待训练的分类模型,分别对第一节点特征A、第一节点特征B、……和第一节点特征M进行预测分类,获得各个样本节点各自的第一类别,包括第一类别A、第一类别B、……和第一类别M。服务器可以基于各个样本节点各自的第一类别,对当前待训练的分类模型进行模型参数调整,获得调整后的待训练的分类模型。
服务器采用调整后的待训练的分类模型,对第二拓扑图进行特征提取,获得各个样本节点各自的第二节点特征,包括第二节点特征A、第二节点特征B、……和第二节点特征M。采用调整后的待训练的分类模型,分别对第二节点特征A、第二节点特征B、……和第二节点特征M进行预测分类,获得各个样本节点各自的第二类别,包括第二类别A、第二类别B、……和第二类别M。服务器可以基于各个样本节点各自的第二类别,对调整后的待训练的分类模型进行模型参数调整,并进行下一轮迭代训练。
作为一种实施例,在获得各个样本节点的初始节点特征之后的训练过程,可以采用深层GCN模型实现,也可以采用其他模型实现,如GraphSAGE模型、GraphSAINT模型、GAT模型、SIGN模型、SAGN模型等,具体不做限制。在删除拓扑关系之后,服务器可以获得第一拓扑图。服务器可以采用深层GCN模型基于第一拓扑图,重新提取各个样本节点的第一节点特征,请参考公式(14)。
h′=GCN2(g′,concatenate(h,feat)) (14)
其中,GCN2(·)表示深层的GCN模型,g′表示第一拓扑图,concatenate(h,feat)表示当前待训练的分类模型训练过程中与从样本拓扑图提取的初始节点特征之间的关联性。
采用深层GCN模型,基于获得的各个第一节点特征,确定相应的第一类别,以对当前待训练的分类模型进行模型参数调整,获得调整后的待训练的分类模型。
在添加除拓扑关系之后,服务器可以获得第二拓扑图。服务器可以采用深层GCN模型基于第二拓扑图,重新提取各个样本节点的第二节点特征,请参考公式(15)。
h″=GCN3(g″,concatenate(h″,h′,feat)) (15)
其中,GCN3(·)与GCN2(·)为同一个深层的GCN模型,g″表示第二拓扑图,concatenate(h″,h′,feat)表示当前待训练的分类模型训练过程中与从样本拓扑图提取的初始节点特征,以及与从第一拓扑图提取的第一节点特征之间的关联性。
采用深层GCN模型,基于获得的各个第二节点特征,确定相应的第二类别,以对当前待训练的分类模型进行模型参数调整,获得调整后的待训练的分类模型。
下面对使用已训练的目标分类模型的过程进行示例介绍。
八个待分类节点分别为电影A、电影B、电影C、电影D、电影E、电影F、电影G和电影H。服务器基于电影A、电影B、电影C、电影D、电影E、电影F、电影G和电影H各自的电影简介、导演、演员、拍摄地点等信息,基于各个待分类节点,生成待分类拓扑图,请参考图7a。
服务器采用目标分类模型,对待分类拓扑图进行特征提取,获得各个待分类节点各自的节点特征,包括节点特征A、节点特征B、节点特征C、节点特征D、节点特征E、节点特征F、节点特征G和节点特征H,请参考图7b。
服务器采用目标分类模型,对各个待分类节点各自的节点特征进行预测分类,确定每个待分类节点是属于预设的各个参考类别中的哪个参考类别的概率最大,就将最大概率对应的参考类别,作为相应待分类节点的目标类别,获得各个待分类节点的目标类别。其中,各个参考类别包括第一类别、第二类别和第三类别,从而可以确定出电影A、电影B、电影C、电影D的目标类别为第一类别,电影E和电影F的目标类别为第二类别,电影G和电影H的目标类别为第三类别,请参考图7c。
作为一种实施例,仅基于样本拓扑图训练得到的分类模型A,仅基于删除拓扑关系获得的拓扑图训练得到的分类模型B,仅基于添加拓扑关系获得的拓扑图训练得到的分类模型C,以及同时基于删除拓扑关系和添加拓扑关系获得的拓扑图训练得到的目标分类模型,在cora数据集上的分类准确性,请参考表1。
表1
分类模型A | 分类模型B | 分类模型C | 目标分类模型 |
0.814 | 0.823 | 0.824 | 0.840 |
基于同一发明构思,本申请实施例提供一种训练分类模型的装置,能够实现前述的训练分类模型的方法对应的功能。请参考图8,该装置包括获取模块801和处理模块802,其中:
获取模块801:用于获取样本拓扑图,其中,每个样本节点表征一个待分类数据,每两个样本节点之间的拓扑关系表征相应的两个待分类数据之间的数据关联关系;
处理模块802:用于基于样本拓扑图,对待训练的分类模型进行多轮迭代训练,输出已训练的目标分类模型,在每轮迭代训练过程中,至少执行以下操作:
处理模块802还用于:采用当前待训练的分类模型,基于从样本拓扑图确定出的各个样本节点之间的匹配度,将各个样本节点划分为多个样本节点组合;
处理模块802还用于:基于多个样本节点组合,在样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,并在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,获得训练拓扑图;
处理模块802还用于:基于训练拓扑图,重新提取各个样本节点的训练节点特征,并基于获得的各个训练节点特征,确定相应的预测类别,以进行模型参数调整。
在一种可能的实施例中,处理模块802具体用于:
对样本拓扑图进行特征提取,获得各个样本节点各自的初始节点特征;
基于获得的各个初始节点特征,分别预测每个样本节点属于预设的各个参考类别的概率,获得各个样本节点各自对应的类别概率分布;
基于获得的各个类别概率分布,确定各个样本节点之间的匹配度是否满足预设的匹配条件;
分别将匹配度满足匹配条件的各样本节点划分为一组,获得多个样本节点组合。
在一种可能的实施例中,处理模块802具体至少用于执行以下一种:
当各类别概率分布包含的最大概率对应的参考类别相同时,确定相应的样本节点之间的匹配度满足匹配条件;
当各类别概率分布之间的概率误差不大于预设的误差阈值时,确定相应的样本节点之间的匹配度满足匹配条件。
在一种可能的实施例中,处理模块802具体用于:
基于多个样本节点组合,从各个样本节点中,确定至少一个异质节点对,以及,至少一个同质节点对,其中,每个异质节点对包含的两个异质节点分别属于不同的样本节点组合,且两个异质节点之间存在拓扑关系,每个同质节点对包含的两个同质节点属于相同的样本节点组合,且两个同质节点之间不存在拓扑关系;
在样本拓扑图中,删除至少一个异质节点对之间的拓扑关系,并在至少一个同质节点对之间添加拓扑关系,获得训练拓扑图。
在一种可能的实施例中,各个样本节点各自具有对应的类别概率分布,每个类别概率分布表征采用当前待训练的分类模型预测的相应的样本节点属于预设的各个参考类别的概率;处理模块802具体用于:
基于峰度函数,分别确定各个样本节点各自对应的类别概率分布的预测置信度;
基于每个异质节点对包含的两个异质节点各自对应的预测置信度的乘积,确定至少一个异质节点对之间的拓扑关系的拓扑置信度;
在样本拓扑图中,删除拓扑置信度大于预设的拓扑置信阈值的拓扑关系,并在预测置信度大于预设的预测置信阈值的同质节点对之间添加拓扑关系,获得训练拓扑图。
在一种可能的实施例中,在预测置信度大于预测置信阈值的同质节点对的数量为多个时,处理模块802具体用于:
从多个同质节点中,按照预设的第一指定数量选取至少一个孤立同质节点对,按照预设的第二指定数量选取至少一个非孤立同质节点对,其中,每个孤立同质节点对包含的两个同质节点分别不存在拓扑关系,每个非孤立同质节点对包含的两个同质节点中,存在一个同质节点不存在拓扑关系;
在至少一个孤立同质节点对之间添加拓扑关系,并在至少一个非孤立同质节点对之间添加拓扑关系。
在一种可能的实施例中,获取样本拓扑图关联有每个样本节点各自对应的样本类别标签,样本类别标签表征相应样本节点对应的参考类别;处理模块802具体用于:
基于各个训练节点特征,分别预测相应的样本节点属于预设的各个参考类别的概率;
分别将最大概率对应的参考类别,作为相应的样本节点的预测类别,获得各个样本节点各自的预测类别;
基于各个样本节点各自的预测类别,与相应的样本类别标签之间的误差,确定当前待训练的分类模型的训练损失;
在训练损失不满足训练目标时,对当前待训练的分类模型进行模型参数调整。
在一种可能的实施例中,训练拓扑图包括第一拓扑图和第二拓扑图,第一拓扑图是在样本拓扑图中,删除至少一条拓扑关系后获得的,第二拓扑图是在第一拓扑图中,添加至少一条拓扑关系后获得的;处理模块802具体用于:
采用当前待训练的分类模型,基于第一拓扑图,重新提取各个样本节点的第一节点特征,并基于获得的各个第一节点特征,确定相应的第一类别,以对当前待训练的分类模型进行模型参数调整,获得调整后的待训练的分类模型;
采用获得的调整后的待训练的分类模型,基于第二拓扑图,重新提取各个样本节点的第二节点特征,并基于获得的各个第二节点特征,确定相应的第二类别,以对调整后的待训练的分类模型继续进行模型参数调整。
请参照图9,上述训练分类模型的装置可以运行在计算机设备900上,数据存储程序的当前版本和历史版本以及数据存储程序对应的应用软件可以安装在计算机设备900上,该计算机设备900包括处理器980以及存储器920。在一些实施例中,该计算机设备900可以包括显示单元940,显示单元940包括显示面板941,用于显示由用户交互操作界面等。
在一种可能的实施例中,可以采用液晶显示器(Liquid Crystal Display,LCD)或有机发光二极管OLED(Organic Light-Emitting Diode)等形式来配置显示面板941。
处理器980用于读取计算机程序,然后执行计算机程序定义的方法,例如处理器980读取数据存储程序或文件等,从而在该计算机设备900上运行数据存储程序,在显示单元940上显示对应的界面。处理器980可以包括一个或多个通用处理器,还可包括一个或多个DSP(Digital Signal Processor,数字信号处理器),用于执行相关操作,以实现本申请实施例所提供的技术方案。
存储器920一般包括内存和外存,内存可以为随机存储器(RAM),只读存储器(ROM),以及高速缓存(CACHE)等。外存可以为硬盘、光盘、USB盘、软盘或磁带机等。存储器920用于存储计算机程序和其他数据,该计算机程序包括各客户端对应的应用程序等,其他数据可包括操作***或应用程序被运行后产生的数据,该数据包括***数据(例如操作***的配置参数)和用户数据。本申请实施例中程序指令存储在存储器920中,处理器980执行存储器920中的程序指令,实现前文图论述的任意的一种方法。
上述显示单元940用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势,以及产生与计算机设备900的用户设置以及功能控制有关的信号输入等。具体地,本申请实施例中,该显示单元940可以包括显示面板941。显示面板941例如触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在显示面板941上或在显示面板941的操作),并根据预先设定的程式驱动相应的连接装置。
在一种可能的实施例中,显示面板941可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测玩家的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器980,并能接收处理器980发来的命令并加以执行。
其中,显示面板941可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了显示单元940,在一些实施例中,计算机设备900还可以包括输入单元930,输入单元930可以包括图像输入设备931和其他输入设备932,其中其他输入设备可以但不限于包括物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
除以上之外,计算机设备900还可以包括用于给其他模块供电的电源990、音频电路960、近场通信模块970和RF电路910。计算机设备900还可以包括一个或多个传感器950,例如加速度传感器、光传感器、压力传感器等。音频电路960具体包括扬声器961和麦克风962等,例如计算机设备900可以通过麦克风962采集用户的声音,进行相应的操作等。
作为一种实施例,处理器980的数量可以是一个或多个,处理器980和存储器920可以是耦合设置,也可以是相对独立设置。
作为一种实施例,图9中的处理器980可以用于实现如图8中的获取模块801和处理模块802的功能。
作为一种实施例,图9中的处理器980可以用于实现前文论述的服务器或终端设备对应的功能。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,例如,通过计算机程序产品体现,该计算机程序产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (12)
1.一种训练分类模型的方法,其特征在于,包括:
获取样本拓扑图,其中,每个样本节点表征一个待分类数据,每两个样本节点之间的拓扑关系表征相应的两个待分类数据之间的数据关联关系;
基于所述样本拓扑图,对待训练的分类模型进行多轮迭代训练,输出已训练的目标分类模型,在每轮迭代训练过程中,至少执行以下操作:
采用当前待训练的分类模型,基于从所述样本拓扑图确定出的所述各个样本节点之间的匹配度,将所述各个样本节点划分为多个样本节点组合;
基于所述多个样本节点组合,在所述样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,并在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,获得训练拓扑图;
基于所述训练拓扑图,重新提取所述各个样本节点的训练节点特征,并基于获得的各个训练节点特征,确定相应的预测类别,以进行模型参数调整。
2.根据权利要求1所述的方法,其特征在于,所述采用当前待训练的分类模型,基于从所述样本拓扑图确定出的所述各个样本节点之间的匹配度,将所述各个样本节点划分为多个样本节点组合,包括:
对所述样本拓扑图进行特征提取,获得所述各个样本节点各自的初始节点特征;
基于获得的各个初始节点特征,分别预测每个样本节点属于预设的各个参考类别的概率,获得所述各个样本节点各自对应的类别概率分布;
基于获得的各个类别概率分布,确定所述各个样本节点之间的匹配度是否满足预设的匹配条件;
分别将匹配度满足所述匹配条件的各样本节点划分为一组,获得所述多个样本节点组合。
3.根据权利要求2所述的方法,其特征在于,所述基于获得的各个类别概率分布,确定所述各个样本节点之间的匹配度是否满足预设的匹配条件,至少包括以下一种:
当各类别概率分布包含的最大概率对应的参考类别相同时,确定相应的样本节点之间的匹配度满足匹配条件;
当各类别概率分布之间的概率误差不大于预设的误差阈值时,确定相应的样本节点之间的匹配度满足匹配条件。
4.根据权利要求1所述的方法,其特征在于,所述基于所述多个样本节点组合,在所述样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,并在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,获得训练拓扑图,包括:
基于所述多个样本节点组合,从所述各个样本节点中,确定至少一个异质节点对,以及,至少一个同质节点对,其中,每个异质节点对包含的两个异质节点分别属于不同的样本节点组合,且所述两个异质节点之间存在拓扑关系,每个同质节点对包含的两个同质节点属于相同的样本节点组合,且所述两个同质节点之间不存在拓扑关系;
在所述样本拓扑图中,删除所述至少一个异质节点对之间的拓扑关系,并在所述至少一个同质节点对之间添加拓扑关系,获得所述训练拓扑图。
5.根据权利要求4所述的方法,其特征在于,所述各个样本节点各自具有对应的类别概率分布,每个类别概率分布表征采用当前待训练的分类模型预测的相应的样本节点属于预设的各个参考类别的概率;
所述在所述样本拓扑图中,删除所述至少一个异质节点对之间的拓扑关系,并在所述至少一个同质节点对之间添加拓扑关系,获得所述训练拓扑图,包括:
基于峰度函数,分别确定所述各个样本节点各自对应的类别概率分布的预测置信度;
基于每个异质节点对包含的两个异质节点各自对应的预测置信度的乘积,确定所述至少一个异质节点对之间的拓扑关系的拓扑置信度;
在所述样本拓扑图中,删除所述拓扑置信度大于预设的拓扑置信阈值的拓扑关系,并在预测置信度大于预设的预测置信阈值的所述同质节点对之间添加拓扑关系,获得所述训练拓扑图。
6.根据权利要求5所述的方法,其特征在于,在预测置信度大于所述预测置信阈值的所述同质节点对的数量为多个时,所述在预测置信度大于预设的预测置信阈值的所述同质节点对之间添加拓扑关系,包括:
从所述多个同质节点中,按照预设的第一指定数量选取至少一个孤立同质节点对,按照预设的第二指定数量选取至少一个非孤立同质节点对,其中,每个孤立同质节点对包含的两个同质节点分别不存在拓扑关系,每个非孤立同质节点对包含的两个同质节点中,存在一个同质节点不存在拓扑关系;
在所述至少一个孤立同质节点对之间添加拓扑关系,并在所述至少一个非孤立同质节点对之间添加拓扑关系。
7.根据权利要求1~6任一项所述的方法,其特征在于,所述获取样本拓扑图关联有每个样本节点各自对应的样本类别标签,所述样本类别标签表征相应样本节点对应的参考类别;
所述基于获得的各个训练节点特征,确定相应的预测类别,以进行模型参数调整,包括:
基于所述各个训练节点特征,分别预测相应的样本节点属于预设的各个参考类别的概率;
分别将最大概率对应的参考类别,作为相应的样本节点的预测类别,获得所述各个样本节点各自的预测类别;
基于所述各个样本节点各自的预测类别,与相应的样本类别标签之间的误差,确定当前待训练的分类模型的训练损失;
在所述训练损失不满足训练目标时,对当前待训练的分类模型进行模型参数调整。
8.根据权利要求1~6任一项所述的方法,其特征在于,所述训练拓扑图包括第一拓扑图和第二拓扑图,所述第一拓扑图是在所述样本拓扑图中,删除至少一条拓扑关系后获得的,所述第二拓扑图是在所述第一拓扑图中,添加至少一条拓扑关系后获得的;
所述基于所述训练拓扑图,重新提取所述各个样本节点的训练节点特征,并基于获得的各个训练节点特征,确定相应的预测类别,以进行模型参数调整,包括:
采用当前待训练的分类模型,基于所述第一拓扑图,重新提取所述各个样本节点的第一节点特征,并基于获得的各个第一节点特征,确定相应的第一类别,以对当前待训练的分类模型进行模型参数调整,获得调整后的待训练的分类模型;
采用获得的调整后的待训练的分类模型,基于所述第二拓扑图,重新提取所述各个样本节点的第二节点特征,并基于获得的各个第二节点特征,确定相应的第二类别,以对调整后的待训练的分类模型继续进行模型参数调整。
9.一种训练分类模型的装置,其特征在于,包括:
获取模块:用于获取样本拓扑图,其中,每个样本节点表征一个待分类数据,每两个样本节点之间的拓扑关系表征相应的两个待分类数据之间的数据关联关系;
处理模块:用于基于所述样本拓扑图,对待训练的分类模型进行多轮迭代训练,输出已训练的目标分类模型,在每轮迭代训练过程中,至少执行以下操作:
所述处理模块还用于:采用当前待训练的分类模型,基于从所述样本拓扑图确定出的所述各个样本节点之间的匹配度,将所述各个样本节点划分为多个样本节点组合;
所述处理模块还用于:基于所述多个样本节点组合,在所述样本拓扑图中,删除满足拓扑关系筛选条件的至少一条拓扑关系,并在满足节点筛选条件的各样本节点之间添加至少一条拓扑关系,获得训练拓扑图;
所述处理模块还用于:基于所述训练拓扑图,重新提取所述各个样本节点的训练节点特征,并基于获得的各个训练节点特征,确定相应的预测类别,以进行模型参数调整。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1~8中任一项所述的方法。
11.一种计算机设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行如权利要求1~8中任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1~8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210247661.9A CN114595777A (zh) | 2022-03-14 | 2022-03-14 | 一种训练分类模型的方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210247661.9A CN114595777A (zh) | 2022-03-14 | 2022-03-14 | 一种训练分类模型的方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114595777A true CN114595777A (zh) | 2022-06-07 |
Family
ID=81809535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210247661.9A Pending CN114595777A (zh) | 2022-03-14 | 2022-03-14 | 一种训练分类模型的方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114595777A (zh) |
-
2022
- 2022-03-14 CN CN202210247661.9A patent/CN114595777A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105630856B (zh) | 在线用户简档的自动聚合 | |
CN112348117B (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
CN112084331A (zh) | 文本处理、模型训练方法、装置、计算机设备和存储介质 | |
CN112819023B (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
CN111125422A (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
CN111582409A (zh) | 图像标签分类网络的训练方法、图像标签分类方法及设备 | |
CN113761153B (zh) | 基于图片的问答处理方法、装置、可读介质及电子设备 | |
CN114298122B (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
CN111783903B (zh) | 文本处理方法、文本模型的处理方法及装置、计算机设备 | |
CN111709398A (zh) | 一种图像识别的方法、图像识别模型的训练方法及装置 | |
CN113033507B (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
CN112364912B (zh) | 信息分类方法、装置、设备及存储介质 | |
CN115131604A (zh) | 一种多标签图像分类方法、装置、电子设备及存储介质 | |
CN113705596A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
CN112749291A (zh) | 一种图文匹配的方法和装置 | |
CN116955707A (zh) | 内容标签的确定方法、装置、设备、介质及程序产品 | |
CN112749558A (zh) | 一种目标内容获取方法、装置、计算机设备和存储介质 | |
CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
CN114283899A (zh) | 一种训练分子结合模型的方法、分子筛选方法及装置 | |
CN114329004A (zh) | 数字指纹生成、数据推送方法、装置和存储介质 | |
CN113705293A (zh) | 图像场景的识别方法、装置、设备及可读存储介质 | |
CN113762041A (zh) | 视频分类方法、装置、计算机设备和存储介质 | |
Liu et al. | 3D models retrieval algorithm based on multimodal data | |
CN112507912B (zh) | 一种识别违规图片的方法及装置 | |
CN117010480A (zh) | 模型训练方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |