CN116881450A - 资讯分类方法、装置、计算机设备、存储介质和程序产品 - Google Patents
资讯分类方法、装置、计算机设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN116881450A CN116881450A CN202310686902.4A CN202310686902A CN116881450A CN 116881450 A CN116881450 A CN 116881450A CN 202310686902 A CN202310686902 A CN 202310686902A CN 116881450 A CN116881450 A CN 116881450A
- Authority
- CN
- China
- Prior art keywords
- classification model
- information classification
- information
- module
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013145 classification model Methods 0.000 claims abstract description 375
- 238000012549 training Methods 0.000 claims abstract description 86
- 238000013528 artificial neural network Methods 0.000 claims description 138
- 238000004590 computer program Methods 0.000 claims description 37
- 238000002372 labelling Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及人工智能技术领域,涉及一种资讯分类方法、装置、计算机设备、存储介质和程序产品。上述方法包括:获取待分类资讯数据;将待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果;目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;输出待分类资讯数据的资讯分类结果。采用本方法能够提高目标资讯分类模型的部署性能。
Description
技术领域
本申请涉及人工智能技术领域,特别是涉及一种资讯分类方法、装置、计算机设备、存储介质和程序产品。
背景技术
随着银行应用软件的发展,可以在银行应用软件中加入查看新闻资讯的功能。由于每天都会产生各种新闻资讯,为了更好地管理各种新闻资讯,需要根据新闻资讯的标题和内容对各种新闻资讯进行分类。
传统方法中,通常采用神经网络模型对新闻资讯进行分类。然而,传统的采用神经网络模型进行资讯分类的方式,存在模型部署性能不佳的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高模型部署性能的资讯分类方法、装置、计算机设备、存储介质和程序产品。
第一方面,本申请提供了一种资讯分类方法。所述方法包括:
获取待分类资讯数据;
将所述待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成所述待分类资讯数据的资讯分类结果;所述目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;
输出所述待分类资讯数据的资讯分类结果。
在其中一个实施例中,所述方法还包括:
获取多个所述历史资讯数据;各所述历史资讯数据包括历史资讯内容及所述历史资讯内容对应的标注分类结果;
根据多个所述历史资讯数据对所述初始资讯分类模型进行训练,生成中间资讯分类模型;
根据多个所述历史资讯数据对所述中间资讯分类模型进行简化及训练,生成所述目标资讯分类模型。
在其中一个实施例中,所述根据多个所述历史资讯数据对所述中间资讯分类模型进行简化及训练,生成所述目标资讯分类模型,包括:
按照预设分类标准对所述中间资讯分类模型中的各层神经网络进行划分,生成多个模块;所述模块包括至少一层神经网络;
对所述多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,根据多个所述历史资讯数据对所述简化后的中间资讯分类模型进行训练,生成第一中间资讯分类模型;
将所述第一中间资讯分类模型中第一模块的下一模块作为新的第一模块,循环执行对所述中间资讯分类模型中所述新的第一模块进行简化,生成新的简化后的中间资讯分类模型,根据多个所述历史资讯数据对所述新的简化后的中间资讯分类模型进行训练,生成新的第一中间资讯分类模型;直到迭代至所述中间资讯分类模型中的最后一个模块为止,生成所述目标资讯分类模型。
在其中一个实施例中,所述按照预设分类标准对所述中间资讯分类模型中的各层网络进行划分,生成多个模块,包括:
基于所述中间资讯分类模型中神经网络的总层数,确定各模块中神经网络的目标层数;
按照所述各模块中神经网络的目标层数,对所述中间资讯分类模型中的各层神经网络进行划分,生成多个模块。
在其中一个实施例中,所述对所述多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,包括:
针对所述多个模块中的第一模块,从所述第一模块所包含的神经网络中选取目标神经网络;
采用所述目标神经网络替换所述第一模块,生成简化后的第一模块;
基于所述简化后的第一模块及所述中间资讯分类模型中的其他模块,生成所述简化后的中间资讯分类模型。
在其中一个实施例中,所述根据多个所述历史资讯数据对初始资讯分类模型进行训练,生成所述中间资讯分类模型,包括:
针对各所述历史资讯数据,将所述历史资讯内容输入至所述初始资讯分类模型中进行处理,生成所述历史资讯内容对应的预测分类结果;
根据各所述历史资讯内容对应的预测分类结果及各所述历史资讯内容对应的标注分类结果,对所述初始资讯分类模型进行训练,生成所述中间资讯分类模型。
第二方面,本申请还提供了一种资讯分类装置。所述装置包括:
获取模块,用于获取待分类资讯数据;
资讯分类模块,用于将所述待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成所述待分类资讯数据的资讯分类结果;所述目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;
输出模块,用于输出所述待分类资讯数据的资讯分类结果。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任一项实施例中的方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一项实施例中的方法的步骤。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面中任一项实施例中的方法的步骤。
上述资讯分类方法、装置、计算机设备、存储介质和程序产品,获取待分类资讯数据;将待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果;目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;输出待分类资讯数据的资讯分类结果。由于本申请中的目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的,因此,本申请中的目标资讯分类模型能够在保证模型准确性的前提下,减少模型中所包含的模型参数。因此,本申请中的目标资讯分类模型具有较好的部署性能。从而,使用部署性能较好的目标资讯分类模型对待分类资讯数据进行资讯分类,能够较准确地生成待分类资讯数据的资讯分类结果,并能够提高目标资讯分类模型的部署性能。
附图说明
图1为一个实施例中资讯分类方法的应用环境图;
图2为一个实施例中资讯分类方法的流程示意图;
图3为另一个实施例中模型简化及训练步骤的流程示意图;
图4为一个实施例中目标资讯分类模型生成步骤的流程示意图;
图5为一个实施例中模块划分步骤的流程示意图;
图6为一个实施例中简化后的中间资讯分类模型生成步骤的流程示意图;
图7为一个可选的实施例中资讯分类方法的流程示意图;
图8为一个实施例中资讯分类装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
随着银行应用软件的发展,可以在银行应用软件中加入查看新闻资讯的功能。由于每天都会产生各种新闻资讯,为了更好地管理各种新闻资讯,需要根据新闻资讯的标题和内容对各种新闻资讯进行分类。
传统方法中,通常采用神经网络模型对新闻资讯进行分类。然而,由于传统的神经网络模型中包含较多的模型参数,因此,采用传统的采用神经网络模型进行资讯分类的方式,存在模型部署性能不佳的问题。
本申请实施例提供的资讯分类方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上,也可以放在云上或其他网络服务器上。服务器104获取待分类资讯数据;服务器104将待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果;目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;服务器104向终端102输出待分类资讯数据的资讯分类结果。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种资讯分类方法,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤:
S220,获取待分类资讯数据。
其中,待分类资讯数据是指需要进行资讯分类的新闻资讯数据。待分类资讯数据可以包括新闻资讯的内容以及新闻资讯的标题。可选地,服务器104可以直接从终端102中获取用户上传的待分类资讯数据。或者,服务器104也可以先确定需要进行资讯分类的新闻资讯,从而,服务器104可以获取该新闻资讯中所包含的数据(即待分类资讯数据)。当然,本申请实施例对于待分类资讯数据的获取方式不做限定。
S240,将待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果;目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的。
可选地,服务器104可以将待分类资讯数据直接输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果。或者,服务器104也可以先将待分类资讯数据进行数据预处理,生成预处理的待分类资讯数据;再将预处理的待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果。示例性的,数据预处理的过程可以包括但不局限于数据筛选、数据去重等过程。其中,目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的。目标资讯分类模型可以是已完成模型训练的神经网络模型中的任意一种。示例性的,目标资讯分类模型可以包括但不局限于已完成模型训练的稠密神经网络模型、已完成模型训练的卷积神经网络模型以及已完成模型训练的循环神经网络模型等。
S260,输出待分类资讯数据的资讯分类结果。
可选地,服务器104可以将待分类资讯数据的资讯分类结果输出至终端102,从而用户可以从终端102上获取待分类资讯数据的资讯分类结果。或者,服务器104也可以将待分类资讯数据的资讯分类结果存储在预设数据库中,从而用户可以从预设数据库中获取待分类资讯数据的资讯分类结果。其中,待分类资讯数据的资讯分类结果是指对待分类资讯数据进行资讯分类后所得到的资讯分类结果。示例性的,资讯分类结果可以包括但不局限于娱乐资讯、政策新闻以及财经新闻等。
上述资讯分类方法中,获取待分类资讯数据;将待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果;目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;输出待分类资讯数据的资讯分类结果。由于本申请中的目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的,因此,本申请中的目标资讯分类模型能够在保证模型准确性的前提下,减少模型中所包含的模型参数。因此,本申请中的目标资讯分类模型具有较好的部署性能。从而,使用部署性能较好的目标资讯分类模型对待分类资讯数据进行资讯分类,能够较准确地生成待分类资讯数据的资讯分类结果,并能够提高目标资讯分类模型的部署性能。
在上面的实施例中,涉及到了目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的,下面就对模型训练及简化的具体方法进行介绍。在一个实施例中,如图3所示,上述资讯分类方法还包括:
S320,获取多个历史资讯数据;各历史资讯数据包括历史资讯内容及历史资讯内容对应的标注分类结果。
可选地,服务器104可以直接从终端102或者预设数据库中获取多个历史资讯数据。或者,服务器104也可以先从公开新闻网站中获取多个历史资讯内容;再对多个历史资讯内容进行资讯分类,得到各历史资讯内容对应的标注分类结果;从而,可以基于历史资讯内容及历史资讯内容对应的标注分类结果,生成多个历史资讯数据。其中,各历史资讯数据中包括各历史资讯内容及各历史资讯内容对应的标注分类结果。历史资讯内容是指历史新闻资讯的内容或者标题信息。历史资讯内容对应的标注分类结果是指历史资讯内容对应的真实的资讯分类结果。
S340,根据多个历史资讯数据对初始资讯分类模型进行训练,生成中间资讯分类模型。
可选地,服务器104可以先构建初始资讯分类模型。其中,初始资讯分类模型可以是未进行模型训练的神经网络模型中的任意一种。示例性的,初始资讯分类模型可以包括但不局限于未进行模型训练的稠密神经网络模型、未进行模型训练的卷积神经网络模型以及未进行模型训练的循环神经网络模型等。从而,服务器104可以根据多个历史资讯内容及多个历史资讯内容对应的标注分类结果对初始资讯分类模型进行训练,生成中间资讯分类模型。其中,中间资讯分类模型是指对中间资讯分类模型进行一轮训练之后所得到的模型。
在其中一个可选的实施例中,S340包括:
S342,针对各历史资讯数据,将历史资讯内容输入至初始资讯分类模型中进行处理,生成历史资讯内容对应的预测分类结果。
可选地,针对各历史资讯数据,服务器104可以将历史资讯内容输入至初始资讯分类模型中进行资讯分类,生成历史资讯内容对应的预测分类结果。其中,历史资讯内容对应的预测分类结果是指历史资讯内容对应的预测的资讯分类结果。或者,服务器104也可以先将历史资讯内容进行数据预处理,生成预处理的历史资讯内容;再将预处理的历史资讯内容输入至初始资讯分类模型中进行资讯分类,生成历史资讯内容对应的预测分类结果。其中,历史资讯内容对应的预测分类结果是指历史资讯内容对应的预测的资讯分类结果。
S344,根据各历史资讯内容对应的预测分类结果及各历史资讯内容对应的标注分类结果,对初始资讯分类模型进行训练,生成中间资讯分类模型。
可选地,针对各历史资讯数据,服务器104可以根据历史资讯内容对应的预测分类结果及历史资讯内容对应的标注分类结果进行计算,得到损失函数的值。从而,根据计算出的损失函数的值,服务器104可以对初始资讯分类模型的初始模型参数进行调整,从而得到预设模型参数,以及预设模型参数对应的预设资讯分类模型。再将历史资讯内容输入预设资讯分类模型中,得到新的预测分类结果。之后,服务器104可以根据标注分类结果和新的预测分类结果再次计算新的损失函数的值,直到新的损失函数的值达到最小值(即模型收敛)时,将此时损失函数的值所对应的预设模型参数作为目标模型参数。并基于目标模型参数对初始资讯分类模型的初始模型参数进行更新,生成中间资讯分类模型。
S360,根据多个历史资讯数据对中间资讯分类模型进行简化及训练,生成目标资讯分类模型。
可选地,服务器104可以先对中间资讯分类模型进行简化,生成简化后的中间资讯分类模型;之后,服务器104可以根据多个历史资讯数据,对简化后的中间资讯分类模型进行训练,生成目标资讯分类模型。或者,服务器104也可以先对中间资讯分类模型中的一部分进行简化,生成部分简化后的中间资讯分类模型;再根据多个历史资讯数据对部分简化后的中间资讯分类模型进行训练,生成一轮简化及训练后的中间资讯分类模型;之后,服务器104可以对一轮简化及训练后的中间资讯分类模型中的其他部分进行简化,生成再次简化后的中间资讯分类模型;再根据多个历史资讯数据对再次简化后的中间资讯分类模型进行训练,生成目标资讯分类模型。
本实施例中,获取多个历史资讯数据,能够为初始资讯分类模型提供较准确的历史资讯内容及历史资讯内容对应的标注分类结果。之后,根据较准确的多个历史资讯数据对初始资讯分类模型进行训练,能够生成较准确的中间资讯分类模型。从而,根据较准确的多个历史资讯数据对中间资讯分类模型进行简化及训练,能够生成模型简化后的、且较准确的目标资讯分类模型。
在上面的实施例中,涉及到了根据多个历史资讯数据对中间资讯分类模型进行简化及训练,生成目标资讯分类模型,下面就对其具体方法进行介绍。在一个实施例中,如图4所示,S360包括:
S420,按照预设分类标准对中间资讯分类模型中的各层神经网络进行划分,生成多个模块;模块包括至少一层神经网络。
可选地,服务器104可以按照预设分类标准对中间资讯分类模型中的各层神经网络进行划分,生成中间资讯分类模型中的多个模块。其中,中间资讯分类模型中包括至少一层神经网络。中间资讯分类模型中的各模块包括至少一层神经网络。预设分类标准是指划分模块时需要采用的分类标准。示例性的,预设分类标准可以包括但不局限于根据神经网络的层数平均划分多个模块、根据各层神经网络中模型参数的数目划分多个模块等。当然,本实施例对于预设分类标准不做限定。
示例性的,服务器104可以获取中间资讯分类模型中各层神经网络所包含的模型参数数目,从而可以确定出模型参数数目相等的各层神经网络。之后,服务器104可以根据模型参数数目对模型参数数目相等的各层神经网络进行划分,生成中间资讯分类模型中的多个模块。
S440,对多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,根据多个历史资讯数据对简化后的中间资讯分类模型进行训练,生成第一中间资讯分类模型。
可选地,针对多个模块中的第一模块,服务器104可以基于第一模块中的各层神经网络对第一模块进行简化,生成简化后的中间资讯分类模型。之后,服务器104可以针对各历史资讯数据,将历史资讯内容输入至简化后的中间资讯分类模型中进行处理,生成历史资讯内容对应的中间预测分类结果。从而,服务器104可以根据各历史资讯内容对应的中间预测分类结果及各历史资讯内容对应的标注分类结果,对简化后的中间资讯分类模型进行训练,生成第一中间资讯分类模型。其中,历史资讯内容对应的中间预测分类结果是指采用简化后的中间资讯分类模型所得到的、历史资讯内容对应的预测的资讯分类结果。第一中间资讯分类模型是指对简化后的中间资讯分类模型进行一轮训练之后所得到的模型。
S460,将第一中间资讯分类模型中第一模块的下一模块作为新的第一模块,循环执行对中间资讯分类模型中新的第一模块进行简化,生成新的简化后的中间资讯分类模型,根据多个历史资讯数据对新的简化后的中间资讯分类模型进行训练,生成新的第一中间资讯分类模型;直到迭代至中间资讯分类模型中的最后一个模块为止,生成目标资讯分类模型。
可选地,服务器104可以将第一中间资讯分类模型中第一模块的下一模块作为新的第一模块,循环执行针对新的第一模块,服务器104可以基于新的第一模块中的各层神经网络对新的第一模块进行简化,生成新的简化后的中间资讯分类模型。之后,服务器104可以针对各历史资讯数据,将历史资讯内容输入至新的简化后的中间资讯分类模型中进行处理,生成历史资讯内容对应的新的中间预测分类结果。从而,服务器104可以根据各历史资讯内容对应的新的中间预测分类结果及各历史资讯内容对应的标注分类结果,对新的简化后的中间资讯分类模型进行训练,生成新的第一中间资讯分类模型。直到迭代至中间资讯分类模型中的最后一个模块为止,服务器104可以将最终的新的第一中间资讯分类模型作为目标资讯分类模型。其中,目标资讯分类模型是指对模型中各模块的层数均进行减少后的、且完成训练的资讯分类模型。
本实施例中,按照预设分类标准对中间资讯分类模型中的各层神经网络进行划分,能够生成中间资讯分类模型中的多个模块。对多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,并根据多个历史资讯数据对简化后的中间资讯分类模型进行训练,能够生成第一轮简化及训练后的第一中间资讯分类模型。将第一中间资讯分类模型中第一模块的下一模块作为新的第一模块,循环执行对中间资讯分类模型中新的第一模块进行简化及训练的步骤,能够生成第二轮简化及训练后的新的第一中间资讯分类模型;直到迭代至中间资讯分类模型中的最后一个模块为止,能够生成多轮简化及训练后的目标资讯分类模型。因此,本申请中的目标资讯分类模型能够在保证模型准确性的前提下,减少模型中所包含的模型参数。
在上面的实施例中,涉及到了按照预设分类标准对中间资讯分类模型中的各层网络进行划分,生成多个模块,下面就对其具体方法进行介绍。在一个实施例中,如图5所示,S420包括:
S520,基于中间资讯分类模型中神经网络的总层数,确定各模块中神经网络的目标层数。
可选地,服务器104可以确定中间资讯分类模型中神经网络的总层数。从而,服务器104可以基于中间资讯分类模型中神经网络的总层数,确定各模块中神经网络的目标层数。其中,各模块中神经网络的目标层数是指各模块中所包含的神经网络的层数。示例性的,假设中间资讯分类模型中包括K层神经网络,即中间资讯分类模型中神经网络的总层数为K层,那么,服务器104可以确定各模块中神经网络的目标层数为M层。需要说明的是,K可以被M整除。
S540,按照各模块中神经网络的目标层数,对中间资讯分类模型中的各层神经网络进行划分,生成多个模块。
可选地,服务器104可以按照各模块中神经网络的目标层数,对中间资讯分类模型中的各层神经网络进行划分,生成多个模块。示例性的,假设中间资讯分类模型中神经网络的总层数为K层,且各模块中神经网络的目标层数为M层。那么,服务器104可以将中间资讯分类模型中的K层神经网络划分为L个模块。其中,模块的数目L等于K除以M,即各模块中包括M层神经网络。需要说明的是,K可以被L整除。
本实施例中,基于中间资讯分类模型中神经网络的总层数,确定各模块中神经网络的目标层数;按照各模块中神经网络的目标层数,对中间资讯分类模型中的各层神经网络进行划分,生成多个模块。能够基于各模块中所包含的神经网络的目标层数,较准确地将中间资讯分类模型中划分为多个模块。
在上面的实施例中,涉及到了对多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,下面就对其具体方法进行介绍。在一个实施例中,如图6所示,S440包括:
S620,针对多个模块中的第一模块,从第一模块所包含的神经网络中选取目标神经网络。
可选地,针对多个模块中的第一模块,服务器104可以从多个模块中第一模块所包含的神经网络中选取目标神经网络。其中,目标神经网络可以是第一模块中所包含的任一层神经网络。可选地,可以随机地选取目标神经网络;或者,也可以按照预设顺序选取目标神经网络。示例性的,可以从第一模块中选取第一层神经网络作为第一模块的目标神经网络,可以从第二模块中选取第二层神经网络作为第二模块的目标神经网络,可以从第三模块中选取第三层神经网络作为第三模块的目标神经网络,等等。其中,预设顺序可以是根据神经网络进行设置的。当然,本申请实施例对于预设顺序及目标神经网络的选取方式不做限定。
S640,采用目标神经网络替换第一模块,生成简化后的第一模块。
可选地,服务器104可以采用目标神经网络替换第一模块,生成简化后的第一模块。其中,简化后的第一模块是指对神经网络进行替换后所得到的第一模块。示例性的,假设在未进行简化之前,第一模块中包含M层神经网络,且选取该M层神经网络中的第i层神经网络作为目标神经网络。那么,可以采用第i层神经网络替换整个第一模块,生成简化后的第一模块,且简化后的第一模块中仅包含第i层神经网络。其中,模型简化的公式如下式所示。
fi(xi)=fM(fM-1(…(f2(f1(xi))))) (1)
其中,xi表示第i层神经网络对应模块的输入数据,fi()表示第i层神经网络的输出数据。基于此,假设各模块中神经网络的目标层数为M层,且每层神经网络均包含N个模型参数。那么,在未进行简化之前,每个模块中所包含的模型参数的数目等于N乘以M。在进行简化之后,简化后的第一模块中所包含的模型参数的数目等于N。
S660,基于简化后的第一模块及中间资讯分类模型中的其他模块,生成简化后的中间资讯分类模型。
可选地,服务器104可以基于简化后的第一模块及中间资讯分类模型中的其他模块,生成简化后的中间资讯分类模型。示例性的,假设简化后的第一模块中仅包含第i层神经网络,且中间资讯分类模型中的其他模块均包含M层神经网络,中间资讯分类模型中包括L个模块。那么,中间资讯分类模型中的其他模块共包含(L-1)乘以M层神经网络。基于此,服务器104可以将第i层神经网络以及其他模块中的(L-1)乘以M层神经网络进行连接,从而生成简化后的中间资讯分类模型。
本实施例中,针对多个模块中的第一模块,从第一模块所包含的神经网络中选取目标神经网络;采用目标神经网络替换第一模块,生成简化后的第一模块;基于简化后的第一模块及中间资讯分类模型中的其他模块,生成简化后的中间资讯分类模型。能够通过对神经网络进行替换的方式进行模型简化,从而得到神经网络层数较少的中间资讯分类模型,即能够得到模型参数较少的中间资讯分类模型。因此,能够提高中间资讯分类模型的部署性能。
在一个可选的实施例中,如图7所示,提供了一种资讯分类方法,应用于服务器104,包括:
S702,获取多个历史资讯数据;各历史资讯数据包括历史资讯内容及历史资讯内容对应的标注分类结果;
S704,针对各历史资讯数据,将历史资讯内容输入至初始资讯分类模型中进行处理,生成历史资讯内容对应的预测分类结果;
S706,根据各历史资讯内容对应的预测分类结果及各历史资讯内容对应的标注分类结果,对初始资讯分类模型进行训练,生成中间资讯分类模型;
S708,基于中间资讯分类模型中神经网络的总层数,确定各模块中神经网络的目标层数;
S710,按照各模块中神经网络的目标层数,对中间资讯分类模型中的各层神经网络进行划分,生成多个模块;
S712,针对多个模块中的第一模块,从第一模块所包含的神经网络中选取目标神经网络;
S714,采用目标神经网络替换第一模块,生成简化后的第一模块;
S716,基于简化后的第一模块及中间资讯分类模型中的其他模块,生成简化后的中间资讯分类模型;
S718,根据多个历史资讯数据对简化后的中间资讯分类模型进行训练,生成第一中间资讯分类模型;
S720,将第一中间资讯分类模型中第一模块的下一模块作为新的第一模块,循环执行对中间资讯分类模型中新的第一模块进行简化,生成新的简化后的中间资讯分类模型,根据多个历史资讯数据对新的简化后的中间资讯分类模型进行训练,生成新的第一中间资讯分类模型;直到迭代至中间资讯分类模型中的最后一个模块为止,生成目标资讯分类模型;
S722,获取待分类资讯数据;
S724,将待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果;目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;
S726,输出待分类资讯数据的资讯分类结果。
上述资讯分类方法中,由于本申请中的目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的,因此,本申请中的目标资讯分类模型能够在保证模型准确性的前提下,减少模型中所包含的模型参数。因此,本申请中的目标资讯分类模型具有较好的部署性能。从而,使用部署性能较好的目标资讯分类模型对待分类资讯数据进行资讯分类,能够较准确地生成待分类资讯数据的资讯分类结果,并能够提高目标资讯分类模型的部署性能。因此,本申请提出一种资讯分类方法,可以在模型训练的过程中,采用各模块中的随机一层神经网络更换整个模块的方式以及多阶段训练的方式,训练出一个模型参数更少、同时精度较高的目标资讯分类模型,从而提升目标资讯分类模型的部署性能。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的资讯分类方法的资讯分类装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个资讯分类装置实施例中的具体限定可以参见上文中对于资讯分类方法的限定,在此不再赘述。
在一个实施例中,如图8所示,提供了一种资讯分类装置800,包括:获取模块820、资讯分类模块840和输出模块860,其中:
获取模块820,用于获取待分类资讯数据。
资讯分类模块840,用于将待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果;目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的。
输出模块860,用于输出待分类资讯数据的资讯分类结果。
在一个实施例中,资讯分类装置800还包括:
历史资讯数据获取模块,用于获取多个历史资讯数据;各历史资讯数据包括历史资讯内容及历史资讯内容对应的标注分类结果;
中间资讯分类模型生成模块,用于根据多个历史资讯数据对初始资讯分类模型进行训练,生成中间资讯分类模型;
目标资讯分类模型生成模块,用于根据多个历史资讯数据对中间资讯分类模型进行简化及训练,生成目标资讯分类模型。
在一个实施例中,目标资讯分类模型生成模块包括:
模块划分单元,用于按照预设分类标准对中间资讯分类模型中的各层神经网络进行划分,生成多个模块;模块包括至少一层神经网络;
第一中间资讯分类模型生成单元,用于对多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,根据多个历史资讯数据对简化后的中间资讯分类模型进行训练,生成第一中间资讯分类模型;
目标资讯分类模型生成单元,用于将第一中间资讯分类模型中第一模块的下一模块作为新的第一模块,循环执行对中间资讯分类模型中新的第一模块进行简化,生成新的简化后的中间资讯分类模型,根据多个历史资讯数据对新的简化后的中间资讯分类模型进行训练,生成新的第一中间资讯分类模型;直到迭代至中间资讯分类模型中的最后一个模块为止,生成目标资讯分类模型。
在一个实施例中,模块划分单元包括:
目标层数确定子单元,用于基于中间资讯分类模型中神经网络的总层数,确定各模块中神经网络的目标层数;
模块划分子单元,用于按照各模块中神经网络的目标层数,对中间资讯分类模型中的各层神经网络进行划分,生成多个模块。
在一个实施例中,第一中间资讯分类模型生成单元包括:
目标神经网络选取子单元,用于针对多个模块中的第一模块,从第一模块所包含的神经网络中选取目标神经网络;
简化后的第一模块生成子单元,用于采用目标神经网络替换第一模块,生成简化后的第一模块;
简化后的中间资讯分类模型生成子单元,用于基于简化后的第一模块及中间资讯分类模型中的其他模块,生成简化后的中间资讯分类模型。
在一个实施例中,中间资讯分类模型生成模块包括:
预测分类结果生成单元,用于针对各历史资讯数据,将历史资讯内容输入至初始资讯分类模型中进行处理,生成历史资讯内容对应的预测分类结果;
中间资讯分类模型生成单元,用于根据各历史资讯内容对应的预测分类结果及各历史资讯内容对应的标注分类结果,对初始资讯分类模型进行训练,生成中间资讯分类模型。
上述资讯分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储资讯分类数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种资讯分类方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待分类资讯数据;
将待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果;目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;
输出待分类资讯数据的资讯分类结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取多个历史资讯数据;各历史资讯数据包括历史资讯内容及历史资讯内容对应的标注分类结果;
根据多个历史资讯数据对初始资讯分类模型进行训练,生成中间资讯分类模型;
根据多个历史资讯数据对中间资讯分类模型进行简化及训练,生成目标资讯分类模型。
在一个实施例中,根据多个历史资讯数据对中间资讯分类模型进行简化及训练,生成目标资讯分类模型,处理器执行计算机程序时还实现以下步骤:
按照预设分类标准对中间资讯分类模型中的各层神经网络进行划分,生成多个模块;模块包括至少一层神经网络;
对多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,根据多个历史资讯数据对简化后的中间资讯分类模型进行训练,生成第一中间资讯分类模型;
将第一中间资讯分类模型中第一模块的下一模块作为新的第一模块,循环执行对中间资讯分类模型中新的第一模块进行简化,生成新的简化后的中间资讯分类模型,根据多个历史资讯数据对新的简化后的中间资讯分类模型进行训练,生成新的第一中间资讯分类模型;直到迭代至中间资讯分类模型中的最后一个模块为止,生成目标资讯分类模型。
在一个实施例中,按照预设分类标准对中间资讯分类模型中的各层网络进行划分,生成多个模块,处理器执行计算机程序时还实现以下步骤:
基于中间资讯分类模型中神经网络的总层数,确定各模块中神经网络的目标层数;
按照各模块中神经网络的目标层数,对中间资讯分类模型中的各层神经网络进行划分,生成多个模块。
在一个实施例中,对多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,处理器执行计算机程序时还实现以下步骤:
针对多个模块中的第一模块,从第一模块所包含的神经网络中选取目标神经网络;
采用目标神经网络替换第一模块,生成简化后的第一模块;
基于简化后的第一模块及中间资讯分类模型中的其他模块,生成简化后的中间资讯分类模型。
在一个实施例中,根据多个历史资讯数据对初始资讯分类模型进行训练,生成中间资讯分类模型,处理器执行计算机程序时还实现以下步骤:
针对各历史资讯数据,将历史资讯内容输入至初始资讯分类模型中进行处理,生成历史资讯内容对应的预测分类结果;
根据各历史资讯内容对应的预测分类结果及各历史资讯内容对应的标注分类结果,对初始资讯分类模型进行训练,生成中间资讯分类模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待分类资讯数据;
将待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果;目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;
输出待分类资讯数据的资讯分类结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取多个历史资讯数据;各历史资讯数据包括历史资讯内容及历史资讯内容对应的标注分类结果;
根据多个历史资讯数据对初始资讯分类模型进行训练,生成中间资讯分类模型;
根据多个历史资讯数据对中间资讯分类模型进行简化及训练,生成目标资讯分类模型。
在一个实施例中,根据多个历史资讯数据对中间资讯分类模型进行简化及训练,生成目标资讯分类模型,计算机程序被处理器执行时还实现以下步骤:
按照预设分类标准对中间资讯分类模型中的各层神经网络进行划分,生成多个模块;模块包括至少一层神经网络;
对多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,根据多个历史资讯数据对简化后的中间资讯分类模型进行训练,生成第一中间资讯分类模型;
将第一中间资讯分类模型中第一模块的下一模块作为新的第一模块,循环执行对中间资讯分类模型中新的第一模块进行简化,生成新的简化后的中间资讯分类模型,根据多个历史资讯数据对新的简化后的中间资讯分类模型进行训练,生成新的第一中间资讯分类模型;直到迭代至中间资讯分类模型中的最后一个模块为止,生成目标资讯分类模型。
在一个实施例中,按照预设分类标准对中间资讯分类模型中的各层网络进行划分,生成多个模块,计算机程序被处理器执行时还实现以下步骤:
基于中间资讯分类模型中神经网络的总层数,确定各模块中神经网络的目标层数;
按照各模块中神经网络的目标层数,对中间资讯分类模型中的各层神经网络进行划分,生成多个模块。
在一个实施例中,对多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,计算机程序被处理器执行时还实现以下步骤:
针对多个模块中的第一模块,从第一模块所包含的神经网络中选取目标神经网络;
采用目标神经网络替换第一模块,生成简化后的第一模块;
基于简化后的第一模块及中间资讯分类模型中的其他模块,生成简化后的中间资讯分类模型。
在一个实施例中,根据多个历史资讯数据对初始资讯分类模型进行训练,生成中间资讯分类模型,计算机程序被处理器执行时还实现以下步骤:
针对各历史资讯数据,将历史资讯内容输入至初始资讯分类模型中进行处理,生成历史资讯内容对应的预测分类结果;
根据各历史资讯内容对应的预测分类结果及各历史资讯内容对应的标注分类结果,对初始资讯分类模型进行训练,生成中间资讯分类模型。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待分类资讯数据;
将待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成待分类资讯数据的资讯分类结果;目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;
输出待分类资讯数据的资讯分类结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取多个历史资讯数据;各历史资讯数据包括历史资讯内容及历史资讯内容对应的标注分类结果;
根据多个历史资讯数据对初始资讯分类模型进行训练,生成中间资讯分类模型;
根据多个历史资讯数据对中间资讯分类模型进行简化及训练,生成目标资讯分类模型。
在一个实施例中,根据多个历史资讯数据对中间资讯分类模型进行简化及训练,生成目标资讯分类模型,计算机程序被处理器执行时还实现以下步骤:
按照预设分类标准对中间资讯分类模型中的各层神经网络进行划分,生成多个模块;模块包括至少一层神经网络;
对多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,根据多个历史资讯数据对简化后的中间资讯分类模型进行训练,生成第一中间资讯分类模型;
将第一中间资讯分类模型中第一模块的下一模块作为新的第一模块,循环执行对中间资讯分类模型中新的第一模块进行简化,生成新的简化后的中间资讯分类模型,根据多个历史资讯数据对新的简化后的中间资讯分类模型进行训练,生成新的第一中间资讯分类模型;直到迭代至中间资讯分类模型中的最后一个模块为止,生成目标资讯分类模型。
在一个实施例中,按照预设分类标准对中间资讯分类模型中的各层网络进行划分,生成多个模块,计算机程序被处理器执行时还实现以下步骤:
基于中间资讯分类模型中神经网络的总层数,确定各模块中神经网络的目标层数;
按照各模块中神经网络的目标层数,对中间资讯分类模型中的各层神经网络进行划分,生成多个模块。
在一个实施例中,对多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,计算机程序被处理器执行时还实现以下步骤:
针对多个模块中的第一模块,从第一模块所包含的神经网络中选取目标神经网络;
采用目标神经网络替换第一模块,生成简化后的第一模块;
基于简化后的第一模块及中间资讯分类模型中的其他模块,生成简化后的中间资讯分类模型。
在一个实施例中,根据多个历史资讯数据对初始资讯分类模型进行训练,生成中间资讯分类模型,计算机程序被处理器执行时还实现以下步骤:
针对各历史资讯数据,将历史资讯内容输入至初始资讯分类模型中进行处理,生成历史资讯内容对应的预测分类结果;
根据各历史资讯内容对应的预测分类结果及各历史资讯内容对应的标注分类结果,对初始资讯分类模型进行训练,生成中间资讯分类模型。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种资讯分类方法,其特征在于,所述方法包括:
获取待分类资讯数据;
将所述待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成所述待分类资讯数据的资讯分类结果;所述目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;
输出所述待分类资讯数据的资讯分类结果。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取多个所述历史资讯数据;各所述历史资讯数据包括历史资讯内容及所述历史资讯内容对应的标注分类结果;
根据多个所述历史资讯数据对所述初始资讯分类模型进行训练,生成中间资讯分类模型;
根据多个所述历史资讯数据对所述中间资讯分类模型进行简化及训练,生成所述目标资讯分类模型。
3.根据权利要求2所述的方法,其特征在于,所述根据多个所述历史资讯数据对所述中间资讯分类模型进行简化及训练,生成所述目标资讯分类模型,包括:
按照预设分类标准对所述中间资讯分类模型中的各层神经网络进行划分,生成多个模块;所述模块包括至少一层神经网络;
对所述多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,根据多个所述历史资讯数据对所述简化后的中间资讯分类模型进行训练,生成第一中间资讯分类模型;
将所述第一中间资讯分类模型中第一模块的下一模块作为新的第一模块,循环执行对所述中间资讯分类模型中所述新的第一模块进行简化,生成新的简化后的中间资讯分类模型,根据多个所述历史资讯数据对所述新的简化后的中间资讯分类模型进行训练,生成新的第一中间资讯分类模型;直到迭代至所述中间资讯分类模型中的最后一个模块为止,生成所述目标资讯分类模型。
4.根据权利要求3所述的方法,其特征在于,所述按照预设分类标准对所述中间资讯分类模型中的各层网络进行划分,生成多个模块,包括:
基于所述中间资讯分类模型中神经网络的总层数,确定各模块中神经网络的目标层数;
按照所述各模块中神经网络的目标层数,对所述中间资讯分类模型中的各层神经网络进行划分,生成多个模块。
5.根据权利要求3或4所述的方法,其特征在于,所述对所述多个模块中的第一模块进行简化,生成简化后的中间资讯分类模型,包括:
针对所述多个模块中的第一模块,从所述第一模块所包含的神经网络中选取目标神经网络;
采用所述目标神经网络替换所述第一模块,生成简化后的第一模块;
基于所述简化后的第一模块及所述中间资讯分类模型中的其他模块,生成所述简化后的中间资讯分类模型。
6.根据权利要求2-4任一项所述的方法,其特征在于,所述根据多个所述历史资讯数据对初始资讯分类模型进行训练,生成所述中间资讯分类模型,包括:
针对各所述历史资讯数据,将所述历史资讯内容输入至所述初始资讯分类模型中进行处理,生成所述历史资讯内容对应的预测分类结果;
根据各所述历史资讯内容对应的预测分类结果及各所述历史资讯内容对应的标注分类结果,对所述初始资讯分类模型进行训练,生成所述中间资讯分类模型。
7.一种资讯分类装置,其特征在于,所述装置包括:
获取模块,用于获取待分类资讯数据;
资讯分类模块,用于将所述待分类资讯数据输入至目标资讯分类模型中进行资讯分类,生成所述待分类资讯数据的资讯分类结果;所述目标资讯分类模型为基于历史资讯数据对初始资讯分类模型进行训练及简化所生成的;
输出模块,用于输出所述待分类资讯数据的资讯分类结果。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310686902.4A CN116881450A (zh) | 2023-06-09 | 2023-06-09 | 资讯分类方法、装置、计算机设备、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310686902.4A CN116881450A (zh) | 2023-06-09 | 2023-06-09 | 资讯分类方法、装置、计算机设备、存储介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116881450A true CN116881450A (zh) | 2023-10-13 |
Family
ID=88265118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310686902.4A Pending CN116881450A (zh) | 2023-06-09 | 2023-06-09 | 资讯分类方法、装置、计算机设备、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116881450A (zh) |
-
2023
- 2023-06-09 CN CN202310686902.4A patent/CN116881450A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11922308B2 (en) | Generating neighborhood convolutions within a large network | |
CN114297509A (zh) | 用户兴趣向量生成方法、产品推荐方法、装置、设备、介质 | |
CN113901395A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN115905687A (zh) | 基于元学习图神经网络面向冷启动的推荐***及方法 | |
CN116108697B (zh) | 基于多元性能退化的加速试验数据处理方法、装置和设备 | |
CN117131222A (zh) | 基于开放世界大模型的半自动化标注方法和装置 | |
CN116738983A (zh) | 模型进行金融领域任务处理的词嵌入方法、装置、设备 | |
CN116108752A (zh) | 模型压缩方法、装置、电子设备和存储介质 | |
CN116881450A (zh) | 资讯分类方法、装置、计算机设备、存储介质和程序产品 | |
CN112085040A (zh) | 对象标签确定方法、装置和计算机设备 | |
CN116881543A (zh) | 金融资源对象推荐方法、装置、设备、存储介质和产品 | |
CN116611506B (zh) | 用户分析模型训练方法、用户标签确定方法和装置 | |
CN117235584B (zh) | 图数据分类方法、装置、电子装置和存储介质 | |
CN118133044A (zh) | 问题扩展方法、装置、计算机设备、存储介质和产品 | |
CN117435279A (zh) | 个人资源管理方法、装置、计算机设备和存储介质 | |
WO2022037756A1 (en) | Data processing apparatus and method for operating multi-output neural networks | |
CN116485096A (zh) | 资源处理方法、装置、计算机设备和存储介质 | |
CN116881122A (zh) | 测试案例生成方法、装置、设备、存储介质和程序产品 | |
CN117665972A (zh) | 天气信息的预测方法、装置、服务器和存储介质 | |
CN116980471A (zh) | 内容推送方法、装置、设备、存储介质和计算机程序产品 | |
CN117376410A (zh) | 业务推送方法、装置、计算机设备和存储介质 | |
CN116306985A (zh) | 预测模型训练方法、装置、计算机设备和存储介质 | |
CN117454956A (zh) | 项目推荐模型的训练方法、项目推荐方法及相关设备 | |
CN115496158A (zh) | 对象价值预测方法、装置、计算机设备和存储介质 | |
CN118172619A (zh) | 困难样本挖掘方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |