CN111309706A - 模型训练方法、装置、可读存储介质及电子设备 - Google Patents
模型训练方法、装置、可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN111309706A CN111309706A CN202010066345.2A CN202010066345A CN111309706A CN 111309706 A CN111309706 A CN 111309706A CN 202010066345 A CN202010066345 A CN 202010066345A CN 111309706 A CN111309706 A CN 111309706A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- sample set
- training
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012360 testing method Methods 0.000 claims abstract description 51
- 238000012795 verification Methods 0.000 claims abstract description 48
- 230000000694 effects Effects 0.000 claims abstract description 5
- 230000008859 change Effects 0.000 claims description 15
- 230000006399 behavior Effects 0.000 claims description 11
- 238000012417 linear regression Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 238000007477 logistic regression Methods 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims 3
- 230000008569 process Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 235000006694 eating habits Nutrition 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种模型训练方法、装置、可读存储介质及电子设备，所述方法包括：获取包括多个人员的数据记录的数据集，所述数据记录包括已知人员的至少一项行为的数据；检测所述数据集中数据记录的属性是否发生变化，所述属性包括数据的类型、单位时间内对应的每种类型的数据的数量；如果数据集中数据记录的属性发生变化，则从所述数据集中获取与变化后的属性对应的训练样本集、验证样本集以及测试样本集；依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。本申请提供的方案能够自动地对模型进行更新，确保模型与环境的一致性。
Description
技术领域
本申请涉及模型训练技术领域，具体而言，涉及一种模型训练方法、装置、可读存储介质及电子设备。
背景技术
大数据中包含着大量的信息，潜藏着巨大的价值。通过对大数据进行分析，过滤掉不感兴趣的信息，从而能够获得感兴趣的信息。
在大数据处理的过程中，通常会先训练一个模型，从而通过模型来进行相关的数据处理。目前，训练模型时通常是由专业人员来搭建网络结构，然后进行训练。但是随着技术等的发展，数据产生的环境在不断变化，不同类型的数据的价值、数量、质量等对数据分析的结果在不同的时期可能会产生不同的影响，模型的准确度会随着环境的变化而变化，因此，对模型的更新提出了更高的要求。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的之一在于提供一种模型训练方法，所述方法包括：
获取包括多个人员的数据记录的数据集，所述数据记录包括已知人员的至少一项行为的数据；
检测所述数据集中数据记录的属性是否发生变化，所述属性包括数据的类型、单位时间内对应的每种类型的数据的数量；
如果数据集中数据记录的属性发生变化，则从所述数据集中获取与变化后的属性对应的训练样本集、验证样本集以及测试样本集；
依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。
可选地，所述方法还包括：获取预先配置的模型训练规则，其中，所述模型训练规则包括模型训练采用的算法；
所述依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型的步骤包括：
依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型，并根据预先配置的模型训练规则进行模型训练，获得所述目标模型。
可选地，所述方法还包括：
获取用户确定的模型训练方法，其中，所述模型训练方法包括线性回归、梯度下降、多项式回归、学习曲线、线性模型正则化、逻辑回归中的至少一种。
可选地，所述依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型，并根据预先配置的模型训练规则进行模型训练，获得所述目标模型的步骤包括：
依次将各个训练样本集、验证样本集以及测试样本集输入所述预配置模型，分别采用所述模型训练规则中的算法进行训练，得到每种所述算法对应的子模型；
根据每种所述算法对应的子模型获得目标模型。
可选地，依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型前，所述方法还包括：
如果所述数据的数据类型发生变化，则获取每种类型的数据的比例；
根据每种类型的数据的比例获得各个类型的数据的权重系数；
根据所述权重系数调整所述预配置模型中对应的网络参数，获得新的预配置模型。
可选地，所述依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型的步骤包括：
检测硬件资源的状态和/或获取当前时间；
判断所述硬件资源的状态是否满足预设硬件条件，和/或所述当前时间是否达到预设开始时间；
如果所述硬件资源的状态满足预设硬件条件，和/或所述当前时间达到预设开始时间，则依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。
可选地，所述检测所述数据集中数据记录的属性是否发生变化的步骤包括：
获取当前时间段内所产生的数据记录的属性作为第一属性；
获取当前时间段前一预设时间段内所述产生的数据记录的属性作为第二属性；
判断所述第一属性与所述第二属性是否一致；
如果所述第一属性与所述第二属性不一致，则判定所述数据集中数据记录的属性发生变化。
本申请的另一目的还在于提供一种模型训练装置，所述装置包括：
第一获取模块，用于获取包括多个人员的数据记录的数据集，所述数据记录包括描述已知人员行为的至少一项数据；
检测模块，用于检测所述数据集中数据记录的属性是否发生变化，所述属性包括数据的类型、单位时间内对应的每种类型的数据的数量；
第二获取模块，用于在数据集中数据记录的属性发生变化时，从所述数据集中获取与变化后的属性对应的训练样本集、验证样本集以及测试样本集；
训练模块，用于依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。
本申请的另一目的还在于提供一种可读存储介质，所述可读存储介质存储有可执行程序，处理器在执行所述可执行程序时，实现如本申请任一项所述的方法。
本申请的另一目的还在于提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器和所述处理器电性连接，所述存储器中存储有可执行程序，所述处理器在执行所述可执行程序时，实现如本申请任一项所述的方法。
相对于现有技术而言，本申请具有以下有益效果：
本申请实施例提供的模型训练方法、装置、可读存储介质及电子设备，通过检测环境中数据的变化情况，从而根据数据的变化情况来对数据获取训练样本集、验证样本集以及测试样本集，并根据获取到的训练样本集、验证样本集以及测试样本集来进行模型训练，获得目标模型。本申请由于能够根据环境的变化而选取不同的训练样本集、验证样本集以及测试样本集来进行模型训练，这样，训练出来的目标模型就是与环境一致的，从而能够提高模型识别的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的电子设备的结构示意框图；
图2是本申请实施例提供的模型训练方法的流程示意图一；
图3是本申请实施例提供的模型训练方法的流程示意图二；
图4是本申请实施例提供的模型训练方法的流程示意图三；
图5是本申请实施例提供的模型训练装置的结构示意框图。
图标：100-电子设备；110-模型训练装置；111-第一获取模块；112-检测模块；113-第二获取模块；114-训练模块；120-存储器；130-处理器；140-通信单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
庞大的数据，例如公安大数据中蕴含着巨大的数据价值，这些价值往往通过数据之间的关系体现出来，对不同维度(类型)的数据进行统计分析便能够得到我们需要的结果。在对庞大的数据进行分析的过程中，庞大的数据往往能够通过模型进行处理，从而能够输出直观的结果。如果需要使模型输出一个准确的结果，那么必然需要经过一个漫长的训练过程。
在实际中，模型的训练通常是由人工来完成的，由于数据本身以及模型的应用场景等是在不断发生变化的，因此，在数据变化后或者模型的应用场景发生变化后，要得到准确的模型，就会消耗非常多的人力和物力。
为了解决上述问题，本实施例提供了一种模型训练方案，请参照图1，图1是本申请实施例提供的电子设备100的结构示意框图，所述电子设备100包括模型训练装置110，存储器120和处理器130，存储器120和处理器130相互之间直接或间接电性连接，用于实现数据交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述模型训练装置110包括至少一个可以软件或固件(Firmware)的形式存储于所述存储器120中或固化在所述电子设备100的操作***(Operating System，OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述模型训练装置110所包括的软件功能模块及计算机程序等。
本实施例中，所述电子设备100还可以包括通信单元140，其中所述通信单元140与所述处理器130、所述存储器120通信连接。
请参照图2，本申请实施例还提供了一种可应用于上述电子设备100的模型训练方法，所述方法包括步骤S110-步骤S140。
步骤S110，获取包括多个人员的数据记录的数据集，所述数据记录包括已知人员的至少一项行为的数据。
由于人在平时的生活过程中，会有不同的行为，这些不同的行为可以从侧面反映人员的生活习惯等信息，因此，可以将大量人员的数据记录收集起来，这些大量人员的数据记录就构成了数据集，这样就可以将这些数据集中的数据记录作为模型训练的基础。
本实施例中的数据，可以根据模型的具体作用来进行确定，例如，当需要分析人员的饮食习惯时，可以根据用户点外卖时的菜品种类、口味等方面来进行。当需要分析人员是否存在某种特定违规行为时，可以根据人员所使用的聊天工具如微信、QQ等来进行分析。
步骤S120，检测所述数据集中数据记录的属性是否发生变化，所述属性包括数据的类型、单位时间内对应的每种类型的数据的数量。
对于一个特定的人员而言，其在不同的时期行为的类型、不同行为的频次等都可能会存在不同，这些行为的变化能够反映人员的生活习惯、偏好等人员特征等等的变化，其中，行为的类型是与数据的类型相对应的，行为类型的变化，那么也就意味着人员的对应的数据的类型发生了变化。
本实施例中，检测数据记录的属性是否发生变化的过程可以在检测到数据记录的属性未发生变化的情况下循环执行。本实施例中，数据记录的属性发生变化，则意味着数据产生的环境发生了变化。
步骤S130，如果数据集中数据记录的属性发生变化，则从所述数据集中获取与变化后的属性对应的训练样本集、验证样本集以及测试样本集。
当数据集中数据记录的属性发生变化，那么说明数据记录中的不同数据对模型的输出结果可能产生的影响发生了变化，因此，本实施例需要重新获取训练样本集、验证样本集以及测试样本集，此时，获取的训练样本集、验证样本集以及测试样本集应该是与变化后的属性一致的，比如说训练样本集、验证样本集以及测试样本集中的每个样本(训练样本、验证样本、测试样本)，其所包含的数据的类型应当是与变化后的属性相对应的。本实施例中训练样本集包括多个训练样本，测试样本集包括多个测试样本，验证样本集包括多个验证样本。训练样本、测试样本、验证样本的数据组成相同，也就是说，训练样本、测试样本、验证样本中包含相同类型的数据。当然，本实施例中，训练样本也可以包含同一人员的一条数据记录以及对应的标签，验证样本可以包含同一人员的一条数据记录、测试样本可以包含同一人员的一条数据记录。
步骤S140，对预配置模型进行模型训练，获得目标模型。
具体地，依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。本实施例中，预配置模型是预先配置在电子设备100中的模型，该模型中的各个网络参数可以是已经预先确定了一个初始值，也可以没有经过确定初始值。
本实施例中，通过检测数据集中的数据记录的属性，并根据数据记录的属性情况来确定训练样本、验证样本和测试样本，从而来触发模型训练过程，对预配置模型进行训练，由于用于对预配置模型进行模型训练时所采用的训练样本、验证样本、测试样本都是与属性变化后的场景对应的，如此，便可以使模型与使用场景(环境)更加一致，从而使得训练出的目标模型的识别结果更加准确。
可选地，本实施例中，所述方法还包括，获取预先配置的模型训练规则，其中，所述模型训练规则包括模型训练采用的算法。
步骤S140包括，依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型，并根据预先配置的模型训练规则进行模型训练，获得所述目标模型。
本实施例中，训练模型所采用的算法可以包括，线性回归(Linear Regression)，其中，线性回归可以包括线性回归模型解析解、计算复杂度(Computational Complexity)中的至少一种；梯度下降(Gradient Descent)，其中所述梯度下降可以包括批量梯度下降(Batch Gradient Descent,BGD)、随机梯度下降(Stochastic Gradient Descent,SGD)、最小批量下降(Mini-batch Gradient Descent)中的至少一种；多项式回归(PolynomialRegression)；学习曲线(Learning Curves)，线性模型正则化(Regularized LinearModels)，其中，所述线性模型正则化可以包括岭回归(Redge Regression)、套索回归(Lasso Regression)、弹性网络(Elastic Net)、提前停止训练(Early Stopping)中的至少一种；逻辑回归(Logistic Regression)，逻辑回归可以包括评估概率(EstimatingProbabiliteis)、训练和损失函数(Training and Cost Function)、决策边界(DecisionBoundaries)、Softmax回归(Softmax Regression)中的至少一种。
可以理解的是，本实施例中，训练模型时，还可以采用用于训练模型的其他算法来实现，在此不再一一列举。需要说明的是，本实施例中，所述算法可以是预先存储在电子设备100中的，也可以由用户在需要训练模型时根据需要自行导入电子设备100中。
本实施例中，设置模型训练规则，并根据模型训练规则中的算法进行模型训练，这样，可以使不同场景下训练出来的模型更具有一致性。本实施例中，由用户自动导入算法来进行模型训练，可以使训练出来的目标模型更加符合用户的要求。
可选地，本实施例中，模型训练规则可以包括硬件条件和/或时间条件。
在一种实施方式中，模型训练规则可以包括硬件条件，此时，所述依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型的步骤包括，检测硬件资源的状态，在硬件资源的状态满足预设硬件条件时，则依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。
在另一种实施方式中，模型训练规则可以包括时间条件，此时，所述依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型的步骤包括，获取当前时间，判断当前时间是否到达预设开始时间，如果当前时间到达预设时间，则依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。当模型训练规则仅包括时间条件时，时间条件可以设置为检测到数据记录的属性变化的时间点，也就是说，模型的训练过程可以在检测到数据记录的属性发生变化后立即开始执行。当模型训练规则仅包括时间条件时，时间条件也可以设置为检测到数据记录的属性变化后的任意一个时间点或者预设时间长度内的任意一个时间点或者预设时间长度后的时间点，也就是说，模型的训练过程可以在检测到数据记录的属性发生变化后开始执行。
在另一种实施方式中，模型训练规则既包括硬件条件又包括时间条件。此时，所述依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型的步骤包括，检测硬件资源的状态和获取当前时间；判断所述硬件资源的状态是否满足预设硬件条件和所述当前时间是否达到预设开始时间；如果硬件资源的状态满足预设硬件条件且当前时间达到预设开始时间，则依次将训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。
在此种情况下，模型满足硬件条件且满足时间条件下才开始模型的训练过程。
本实施例中，硬件条件是指对硬件资源的要求，包括对以下硬件的要求：中央处理器130(CPU，central processing unit)、内存、显存、硬盘存储。具体地，硬件条件可以包括，但不限于，CPU使用率、CPU核数、内存占用率、显存大小、硬盘存储大小等。
本实施例中，在模型训练中加入硬件条件，如此，便可以满足模型训练过程中对资源的要求，确保模型训练过程顺利进行。此外，可以在硬件资源足够的情况下进行模型训练，避免对其他进程造成影响，更加合理地利用硬件资源。在模型训练中加入时间条件，同样可以避免模型训练过程对其他进程造成干扰。
本实施例中，模型训练的规则还可以包括训练次数，通过设置训练次数，能够确保模型训练过程的时间长度，同时还能够达到足够的准确度。
可选地，本实施例中，所述方法还包括，获取用户确定的模型训练方法，其中，所述模型训练方法包括线性回归、梯度下降、多项式回归、学习曲线、线性模型正则化、逻辑回归中的至少一种。
可以理解的是，本实施例中，用户确定的模型训练方法还可以是其他能够用于进行模型训练的算法。
在具体获取用户确定的模型训练方法时，可以根据用户的具体操作来获取。例如，如果需要用来进行模型训练的算法是预先配置好的，例如预先配置在了电子设备100中，那么，用户可以直接输入对应算法的标识信息以及算法选择命令，然后根据算法的标识信息以及用户的算法选择命令来获取与算法的标识信息对应的算法。
如果需要用来进行模型训练的算法不是预先配置好的，那么，用户可以手动导入算法，这样，在获取用来进行模型训练的算法时，直接获取用户导入的算法即可。
在获取用户确定的模型训练方法后，就可以执行所述依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型，并根据预先配置的模型训练规则进行模型训练，获得所述目标模型的步骤，该步骤具体执行过程包括，依次将各个训练样本集、验证样本集以及测试样本集输入所述预配置模型，分别采用所述模型训练规则中的算法进行训练，得到每种所述算法对应的子模型；然后根据每种所述算法对应的子模型获得目标模型。
本实施例中，采用每种算法来分别对预配置模型进行训练，这样，就可以获得与每种算法对应的子模型，将每种算法对应的子模型进行模型融合，这样，就可以得到目标模型。
例如，可以为每个子模型确定一个对应的权重，然后将每个子模型的输出分别乘以各自对应的权重，这样，就可以得到目标模型。其中，每个子模型对应的权重时，可以根据每种算法的子模型自身的特点来设置。根据每个子模型得到的目标模型，目标模型的输出结果会受到每种子模型的输出结果的影响，因此目标模型的输出结果更加精确。
请参照图3，可选地，本实施例中，依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型前，所述方法还包括步骤S210-步骤S230。
步骤S210，如果所述数据的数据类型发生变化，则获取每种类型的数据的比例。
步骤S220，根据每种类型的数据的比例获得各个类型的数据的权重系数。
步骤S230，根据所述权重系数调整所述预配置模型中对应的网络参数，获得新的预配置模型。
本实施例中，所述数据类型可以是根据数据分类规则进行分类的得到的每种类型。其中，数据分类规则中可以根据数据的来源渠道进行分类的，也可以是根据其他的一些分类方法进行分类的。
例如，在训练用于识别不法分子，例如涉黄人员的模型时，在以前活动的渠道比较单一，通常是在一些实际的场所中活动。然而，随着新事物的诞生，在新的载体上仍然会存在不法分子的踪迹。例如不法分子的通讯渠道可能会从最初的电话、短信到其他更多的社交软件，也可能进一步发展为包括直播平台、交友软件等。不法分子的交易方式也可能从原有的现金支付发展为更多的支付方式，例如微信、支付宝、在线转账、虚拟货币的。在这种情况下，如果采用数据记录的属性变化前的数据来训练的模型，那么在数据记录的属性变化后，这个模型识别出不法分子的准确率必然就会降低。例如，当通讯工具由微信、QQ变为微信、QQ、直播平台、交友软件后，如果仍然只通过微信、QQ上所采集的数据来进行不法分子识别，那么，如果在不法分子大部分通讯都是通过直播平台、交友软件所得到的结果必然就是不准确的。
例如，数据类型是根据用户所使用的聊天软件进行分类的，那么，在本实施例中，如果人员最开始使用的微信和QQ这两种聊天软件，那么，当人员的聊天软件由微信、QQ变为微信、QQ、直播平台和其他交友软件之后，此时，则可以将预配置模型中，与QQ、微信中所采集的数据对应的网络部分的网络参数调小。这样，就会获得新的预配置模型。
本实施例用于根据不同类型的数据的比例来确定各个类型的数据的权重系数，然后根据该权重系数来调整预配置模型中对应的网络参数，如此，可以使训练出来的目标模型更加精确。
本实施例用于调整所述预配置模型，并对调整后的预配置模型进行训练，如此，便可以使得训练得到的目标模型更加精确。
请参照图4，可选地，本实施例中，所述检测所述数据集中数据记录的属性是否发生变化的步骤S120包括子步骤S121-子步骤S125。
步骤S121，获取当前时间段内所产生的数据记录的属性作为第一属性。
步骤S122，获取当前时间段前一预设时间段内所述产生的数据记录的属性作为第二属性。
步骤S123，判断所述第一属性与所述第二属性是否一致。
步骤S124，如果所述第一属性与所述第二属性一致，判定所述数据记录的属性未发生变化。
步骤S125，如果所述第一属性与所述第二属性不一致，则判定所述数据集中数据记录的属性发生变化。
本实施例中，第一属性、第二属性都可以包括数据的质量、类型(维度)、单位时间内的数量、价值等。在判断第一属性与第二属性是否一致时，可以通过质量、类型、数量或者价值中的至少一个来进行判断，只要质量、类型、数量或者价值中的任意一个发生变化，那么就可以认为第一属性与第二属性不一致，此时，就可以判断数据记录的属性发生变化。
本实施例中，数据记录的质量可以根据数据记录中的数据里所包含的对识别结果没有影响的数据来确定，例如，在原来单位时间内所产生的数据中，能够对识别结果产生影响的数据的比例是百分之九十，但是后来变为了百分之五十，那么就说明数据质量发生了变化。又如，在上述识别人员的饮食习惯的方案中，采集的数据包括人员所点外卖菜品种类，如果该人员在X地点，该人员的朋友在Y地点，那么，该人员为在Y地点的朋友所点的外卖的数据的质量就是低质量的。
本实施例中，数据的类型是数据所属的类别。例如，在上述按照通讯工具的类型来换分数据类型时，如果人员最开始只是通过微信、QQ通讯工具进行通信，而后还增加了直播平台等进行通讯，那么就说明数据的类型发生了变化。
本实施例中，单位时间内的数量，是指单位时间内某种类型的数量，例如，在上述判断人员饮食习惯的方案中，如果一个人员在第一月内点外卖的次数为三十次，该人员在第二个月内点外卖的次数为二十次，那么说明该人员的数据记录中，数据在单位时间内的数量降低。
在本实施例中，检测所述数据集中数据记录的属性是否发生变化时，可以根据不同情况采用不同的方式来获取数据。以下详细对不同情况下的数据获取方式进行说明。
在一种实施方式中，数据记录中所包含的数据实时地汇入数据集中，此时，可以获取当前的一段时间段(第一时间段)内汇入数据集中的数据记录的属性作为第一属性，然后将该时间段前的一个时间段(第二时间质量、类型(维度)、单位时间内的数量、价值等都是将第一时间段和第二时间段中的进行比较，从而根据比较的结果来判断数据记录的属性是否发生变化。当然，本实施例中，在判断数据在单位时间内的数量时，可以设置一个比例阈值，然后根据数据在第一时间段和第二时间段内的比例与比例阈值的大小关系来判断，具体的比较阈值可以根据第一时间段和第二时间段的时间长度来进行。比如，当第一时间段是第二时间段的两倍时，那么，可以将比例阈值设置为2。
在另一种实施方式中，数据记录中所包含的数据定时地汇入数据集中，此时，可以最近一次汇入数据的时刻点(第一时刻点)汇入数据集中的数据记录的属性作为第一属性，将第一时刻点前的预设时长时的时刻点(第二时刻点)汇入的数据记录的属性作为第二属性，然后第一时间点汇入的数据的质量、类型(维度)、单位时间内的数量、价值与第二时间点汇入的数据的质量、类型(维度)、单位时间内的数量、价值对应进行比较，从而根据比较的结果来判断数据记录的属性是否发生变化。
在另一种实施例中，可以根据目标模型的输出时间来确定用于比较的数据，具体的原理与数据记录中所包含的数据定时地汇入数据集中时相似，在此不再赘述。
本实施例中，上述方法可以在预先配置在电子设备100上的模型训练平台上进行，其中，模型训练平台可以中可以包括数据汇入的部分，数据记录中的数据可以来自于应用程序(APP)、网页(WEB)、数据库(Database)、日志(Log)等，具体地，来自于应用程序的数据可以从代理服务器(Agent)中获取。来自于网页的数据也可以从代理服务器(Agent)中获取，来自于数据库的数据可以从抓拍***中获取，来自于日志的数据可以从日志***(Flume)中获取。从各个渠道获取的数据，在消息队列集群中形成消息队列，数据汇入平台则将消息队列中所采集的数据按照多个类型(维度)进行分类，从而获得数据集。
请参照图5，本申请的实施例还提供一种模型训练装置110，所述装置包括第一获取模块111、检测模块112、第二获取模块113、训练模块114。所述模型训练装置110包括一个可以软件或固件的形式存储于所述存储器120中或固化在所述电子设备100的操作***(operating system，OS)中的软件功能模块。
第一获取模块111，用于获取包括多个人员的数据记录的数据集，所述数据记录包括描述已知人员行为的至少一项数据。
本实施例中的第一获取模块111用于执行步骤S110，关于所述第一获取模块111的具体描述可参照对所述步骤S110的描述。
检测模块112，用于检测所述数据集中数据记录的属性是否发生变化，所述属性包括数据的类型、单位时间内对应的每种类型的数据的数量。
本实施例中的检测模块112用于执行步骤S120，关于所述检测模块112的具体描述可参照对所述步骤S120的描述。
第二获取模块113，用于在数据集中数据记录的属性发生变化时，从所述数据集中获取与变化后的属性对应的训练样本集、验证样本集以及测试样本集。
本实施例中的第二获取模块113用于执行步骤S130，关于所述第二获取模块113的具体描述可参照对所述步骤S130的描述。
训练模块114，用于依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。
本实施例中的训练模块114用于执行步骤S140，关于所述训练模块114的具体描述可参照对所述步骤S140的描述。
本实施例还提供一种可读存储介质，所述可读存储介质存储有可执行程序，处理器130在执行所述可执行程序时，实现如本实施例任一项所述的方法。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种模型训练方法，其特征在于，所述方法包括：
获取包括多个人员的数据记录的数据集，所述数据记录包括已知人员的至少一项行为的数据；
检测所述数据集中数据记录的属性是否发生变化，所述属性包括数据的类型、单位时间内对应的每种类型的数据的数量；
如果数据集中数据记录的属性发生变化，则从所述数据集中获取与变化后的属性对应的训练样本集、验证样本集以及测试样本集；
依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取预先配置的模型训练规则，其中，所述模型训练规则包括模型训练采用的算法；
所述依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型的步骤包括：
依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型，并根据预先配置的模型训练规则进行模型训练，获得所述目标模型。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取用户确定的模型训练方法，其中，所述模型训练方法包括线性回归、梯度下降、多项式回归、学习曲线、线性模型正则化、逻辑回归中的至少一种。
4.根据权利要求3所述的方法，其特征在于，所述依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型，并根据预先配置的模型训练规则进行模型训练，获得所述目标模型的步骤包括：
依次将各个训练样本集、验证样本集以及测试样本集输入所述预配置模型，分别采用所述模型训练规则中的算法进行训练，得到每种所述算法对应的子模型；
根据每种所述算法对应的子模型获得目标模型。
5.根据权利要求1-4任一项所述的方法，其特征在于，依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型前，所述方法还包括：
如果所述数据的数据类型发生变化，则获取每种类型的数据的比例；
根据每种类型的数据的比例获得各个类型的数据的权重系数；
根据所述权重系数调整所述预配置模型中对应的网络参数，获得新的预配置模型。
6.根据权利要求5所述的方法，其特征在于，所述依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型的步骤包括：
检测硬件资源的状态和/或获取当前时间；
判断所述硬件资源的状态是否满足预设硬件条件，和/或所述当前时间是否达到预设开始时间；
如果所述硬件资源的状态满足预设硬件条件，和/或所述当前时间达到预设开始时间，则依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。
7.根据权利要求1所述的方法，其特征在于，所述检测所述数据集中数据记录的属性是否发生变化的步骤包括：
获取当前时间段内所产生的数据记录的属性作为第一属性；
获取当前时间段前一预设时间段内所述产生的数据记录的属性作为第二属性；
判断所述第一属性与所述第二属性是否一致；
如果所述第一属性与所述第二属性不一致，则判定所述数据集中数据记录的属性发生变化。
8.一种模型训练装置，其特征在于，所述装置包括：
第一获取模块，用于获取包括多个人员的数据记录的数据集，所述数据记录包括描述已知人员行为的至少一项数据；
检测模块，用于检测所述数据集中数据记录的属性是否发生变化，所述属性包括数据的类型、单位时间内对应的每种类型的数据的数量；
第二获取模块，用于在数据集中数据记录的属性发生变化时，从所述数据集中获取与变化后的属性对应的训练样本集、验证样本集以及测试样本集；
训练模块，用于依次将所述训练样本集、验证样本集以及测试样本集输入预配置模型进行模型训练，获得目标模型。
9.一种可读存储介质，其特征在于，所述可读存储介质存储有可执行程序，处理器在执行所述可执行程序时，实现如权利要求1-7任一项所述的方法。
10.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器和所述处理器电性连接，所述存储器中存储有可执行程序，所述处理器在执行所述可执行程序时，实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010066345.2A CN111309706A (zh) | 2020-01-20 | 2020-01-20 | 模型训练方法、装置、可读存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010066345.2A CN111309706A (zh) | 2020-01-20 | 2020-01-20 | 模型训练方法、装置、可读存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111309706A true CN111309706A (zh) | 2020-06-19 |
Family
ID=71156456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010066345.2A Pending CN111309706A (zh) | 2020-01-20 | 2020-01-20 | 模型训练方法、装置、可读存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111309706A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114469089A (zh) * | 2021-12-30 | 2022-05-13 | 北京津发科技股份有限公司 | 基于虚拟现实技术的多模态数据抗压能力测评方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105718490A (zh) * | 2014-12-04 | 2016-06-29 | 阿里巴巴集团控股有限公司 | 一种用于更新分类模型的方法及装置 |
| US20170177924A1 (en) * | 2014-07-17 | 2017-06-22 | Nec Solution Innovators, Ltd. | Attribute factor analysis method, device, and program |
| CN108875963A (zh) * | 2018-06-28 | 2018-11-23 | 北京字节跳动网络技术有限公司 | 机器学习模型的优化方法、装置、终端设备和存储介质 |
| CN108898504A (zh) * | 2018-07-09 | 2018-11-27 | 北京精友世纪软件技术有限公司 | 一种移动查勘定损***的智能训练及完善方法 |
| CN109978062A (zh) * | 2019-03-28 | 2019-07-05 | 北京九章云极科技有限公司 | 一种模型在线监控方法及*** |
| CN110610415A (zh) * | 2019-09-26 | 2019-12-24 | 北京明略软件***有限公司 | 一种模型更新的方法和装置 |
| CN110705717A (zh) * | 2019-09-30 | 2020-01-17 | 支付宝(杭州)信息技术有限公司 | 计算机执行的机器学习模型的训练方法、装置及设备 |
-
2020
- 2020-01-20 CN CN202010066345.2A patent/CN111309706A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170177924A1 (en) * | 2014-07-17 | 2017-06-22 | Nec Solution Innovators, Ltd. | Attribute factor analysis method, device, and program |
| CN105718490A (zh) * | 2014-12-04 | 2016-06-29 | 阿里巴巴集团控股有限公司 | 一种用于更新分类模型的方法及装置 |
| CN108875963A (zh) * | 2018-06-28 | 2018-11-23 | 北京字节跳动网络技术有限公司 | 机器学习模型的优化方法、装置、终端设备和存储介质 |
| CN108898504A (zh) * | 2018-07-09 | 2018-11-27 | 北京精友世纪软件技术有限公司 | 一种移动查勘定损***的智能训练及完善方法 |
| CN109978062A (zh) * | 2019-03-28 | 2019-07-05 | 北京九章云极科技有限公司 | 一种模型在线监控方法及*** |
| CN110610415A (zh) * | 2019-09-26 | 2019-12-24 | 北京明略软件***有限公司 | 一种模型更新的方法和装置 |
| CN110705717A (zh) * | 2019-09-30 | 2020-01-17 | 支付宝(杭州)信息技术有限公司 | 计算机执行的机器学习模型的训练方法、装置及设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114469089A (zh) * | 2021-12-30 | 2022-05-13 | 北京津发科技股份有限公司 | 基于虚拟现实技术的多模态数据抗压能力测评方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10943186B2 (en) | Machine learning model training method and device, and electronic device | |
| CN108121795B (zh) | 用户行为预测方法及装置 | |
| CN110162717B (zh) | 一种推荐好友的方法和设备 | |
| US20150278706A1 (en) | Method, Predictive Analytics System, and Computer Program Product for Performing Online and Offline Learning | |
| US9462313B1 (en) | Prediction of media selection consumption using analysis of user behavior | |
| US20130268520A1 (en) | Incremental Visualization for Structured Data in an Enterprise-level Data Store | |
| CN110442712B (zh) | 风险的确定方法、装置、服务器和文本审理*** | |
| JP6547070B2 (ja) | プッシュ情報粗選択ソーティングの方法、デバイス、およびコンピュータ記憶媒体 | |
| CN111026971A (zh) | 内容的推送方法及装置、计算机存储介质 | |
| CN111258593B (zh) | 应用程序预测模型的建立方法、装置、存储介质及终端 | |
| WO2019061664A1 (zh) | 电子装置、基于用户上网数据的产品推荐方法及存储介质 | |
| CN110929799A (zh) | 用于检测异常用户的方法、电子设备和计算机可读介质 | |
| CN111340233B (zh) | 机器学习模型的训练方法及装置、样本处理方法及装置 | |
| CN112329816A (zh) | 数据分类方法、装置、电子设备和可读存储介质 | |
| CN112114986A (zh) | 数据异常识别方法、装置、服务器和存储介质 | |
| CN112784168B (zh) | 信息推送模型训练方法以及装置、信息推送方法以及装置 | |
| CN111460384A (zh) | 策略的评估方法、装置和设备 | |
| US20230069999A1 (en) | Method and apparatus for updating recommendation model, computer device and storage medium | |
| CN111435369A (zh) | 音乐推荐方法、装置、终端及存储介质 | |
| CN110602207A (zh) | 基于离网预测推送信息的方法、装置、服务器和存储介质 | |
| CN111309706A (zh) | 模型训练方法、装置、可读存储介质及电子设备 | |
| TW202111592A (zh) | 學習模型應用系統、學習模型應用方法及程式產品 | |
| CN109145207B (zh) | 一种基于分类指标预测的信息个性化推荐方法及装置 | |
| CN114697127B (zh) | 一种基于云计算的业务会话风险处理方法及服务器 | |
| CN110717653A (zh) | 风险识别方法及装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200619 |
|
| WD01 | Invention patent application deemed withdrawn after publication |