CN112990958A - 数据处理方法、装置、存储介质及计算机设备 - Google Patents
数据处理方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN112990958A CN112990958A CN202110069802.8A CN202110069802A CN112990958A CN 112990958 A CN112990958 A CN 112990958A CN 202110069802 A CN202110069802 A CN 202110069802A CN 112990958 A CN112990958 A CN 112990958A
- Authority
- CN
- China
- Prior art keywords
- model
- model parameter
- loss function
- preset
- updating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 129
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 177
- 238000009795 derivation Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims description 221
- 239000011159 matrix material Substances 0.000 claims description 84
- 238000000034 method Methods 0.000 claims description 58
- 238000004590 computer program Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000007477 logistic regression Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 238000011478 gradient descent method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000012417 linear regression Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0206—Price or cost determination based on market factors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- Mathematical Physics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Technology Law (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种数据处理方法，通过获取训练样本数据；将训练样本数据输入至预设模型，并对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数；对目标损失函数进行多阶求导处理，并根据多阶求导的结果对第一模型参数进行更新，得到第二模型参数；基于第二模型参数更新第一模型参数，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至第一模型参数收敛。以此，通过对损失函数中的模型参数进行预补偿，使得模型参数可以进行多阶迭代更新，从而提升了模型参数迭代更新的效率。即提升了数据处理效率，进而提高了模型训练的速度。
Description
技术领域
本发明涉及机器学习技术领域，具体涉及一种数据处理方法、装置、存储介质及计算机设备。
背景技术
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能核心，是使计算机具有智能的根本途径。
在机器学习领域中，逻辑回归模型扮演者十分重要的角色，逻辑回归模型非常广泛地用于数据挖掘，疾病自动诊断，经济预测等领域。
在现有技术中，当训练样本数据量较大时，逻辑回归模型的模型参数计算的效率较低。
发明内容
本发明实施例提供一种数据处理方法、装置、存储介质及计算机设备，该方法可以对模型进行多阶迭代训练，提升了数据处理的效率，进而提高了模型的训练效率。
本申请第一方面提供一种数据处理方法，包括：
获取训练样本数据；
将所述训练样本数据输入至预设模型，并对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数；
对所述目标损失函数进行多阶求导处理，并根据多阶求导的结果对所述第一模型参数进行更新，得到第二模型参数；
基于所述第二模型参数更新所述第一模型参数，并返回执行对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至所述第一模型参数收敛。
相应的，本发明实施例第二方面提供一种数据处理装置，包括：
获取单元，用于获取训练样本数据；
补偿单元，用于将所述训练样本数据输入至预设模型，并对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数；
更新单元，用于对所述目标损失函数进行多阶求导处理，并根据多阶求导的结果对所述第一模型参数进行更新，得到第二模型参数；
训练单元，用于基于所述第二模型参数更新所述第一模型参数，并返回执行对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至所述第一模型参数收敛。
在一些实施例中，所述补偿单元，包括：
第一确定子单元，用于根据所述训练样本数据确定所述预设模型的损失函数；
获取子单元，用于获取所述预设模型的第一模型参数的权重约束；
补偿子单元，用于根据所述权重约束对所述损失函数中的第一模型参数进行补偿处理。
在一些实施例中，所述获取子单元，包括：
获取模块，用于获取所述预设模型中的第一模型参数对所述预设模型的期望贡献度；
第一确定模块，用于根据所述期望贡献度确定所述预设模型的第一模型参数的权重约束。
在一些实施例中，所述第一确定子单元，包括：
预处理模块，用于对所述训练样本数据进行预处理，得到目标训练样本数据；
第二确定模块，用于根据所述目标训练样本数据确定所述预设模型的损失函数。
在一些实施例中，所述更新单元，包括：
第一计算子单元，用于计算所述目标损失函数的一阶导矩阵与二阶导矩阵；
第二确定子单元，用于根据所述一阶导矩阵、所述二阶导矩阵以及所述第一模型参数确定所述预设模型的模型参数更新规则；
运算子单元，用于基于所述模型参数更新规则进行运算，得到运算后的第二模型参数。
在一些实施例中，所述训练单元，包括：
第一训练子单元，用于根据所述第二模型参数的值对所述损失函数中所述第一模型参数进行更新，并返回执行对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练；
统计子单元，用于在每次进行迭代训练后统计迭代训练次数；
第三确定子单元，用于当所述迭代训练次数达到预设次数时，确定当前第一模型参数为所述预设模型的模型参数。
在一些实施例中，所述训练单元，包括：
第二训练子单元，根据所述第二模型参数的值对所述损失函数中所述第一模型参数进行更新，并返回执行对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练；
第二计算子单元，用于在每次更新第一模型参数后，计算当前第一模型参数与当前次更新前的第一模型参数的差值的绝对值；
第四确定子单元，当所述差值的绝对值小于预设值时，确定当前第一模型参数为所述预设模型的模型参数。
本申请实施例第三方面提供一种权限预测方法，所述方法包括：
接收用户请求信息，所述用户请求信息包括用户授权使用的用户数据；
将所述用户数据输入至训练后的预设模型，所述预设模型的模型参数为采用第一方面提供的数据处理方法训练得到；
将所述训练后的预设模型的输出结果确定为用户的权限。
本申请实施例第四方面还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请第一方面所提供的数据处理方法中的步骤。
本申请实施例第五方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请第一方面所提供的数据处理方法中的步骤。
本申请实施例第六方面提供一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行第一方面提供的数据处理方法中的步骤。
本申请实施例提供的数据处理方法，通过获取训练样本数据；将训练样本数据输入至预设模型，并对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数；目标损失函数进行多阶求导处理，并根据多阶求导的结果对第一模型参数进行更新，得到第二模型参数；基于第二模型参数更新第一模型参数，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至第一模型参数收敛。以此，通过对模型损失函数中的模型参数进行补偿，使得模型参数可以进行多阶迭代更新，从而提升了模型参数迭代更新的效率。即提升了数据处理效率，进而提高了模型训练的速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的数据处理的场景示意图；
图2是本申请提供的数据处理方法的流程示意图；
图3是本申请提供的数据处理方法的另一流程示意图；
图4是本申请提供的数据处理装置的结构示意图；
图5是本申请提供的数据处理装置的另一结构示意图；
图6是本申请提供的数据处理装置的又一结构示意图；
图7是本申请提供的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种数据处理方法、装置、存储介质及计算机设备。其中，该数据处理方法可以使用于数据处理装置中。该数据处理装置可以集成在计算机设备中，该计算机设备可以是具有数据处理功能的终端。其中，该终端可以是智能手机、平板电脑、笔记本电脑、台式计算机以及智能手表等，但并不局限于此。该计算机设备也可以是服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
请参阅图1，为本申请提供的数据处理的场景示意图；如图所示，计算机设备获取训练样本数据后将训练样本数据输入至预设模型，并根据输入至预设模型的训练样本数据确定预设模型的损失函数。在确定了预设模型的损失函数后，对损失函数中的模型参数进行补偿，得到目标损失函数。计算机设备进一步对目标损失函数进行多阶求导，并根据求导结果对模型参数进行更新，然后返回重复执行前述补偿和更新步骤，持续对预设模型的模型参数进行更新，直至预设模型的模型参数收敛，从而得到预设模型的模型参数。
需要说明的是，图1所示的数据处理的场景示意图仅仅是一个示例，本申请实施例描述的数据处理场景是为了更加清楚地说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定。本领域普通技术人员可知，随着数据处理的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。
基于上述实施场景以下分别进行详细说明。
本申请实施例将从数据处理装置的角度进行描述，该数据处理装置可以集成在计算机设备中。其中，计算机设备可以是终端也可以是服务器，本申请在此不作限制。如图2所示，为本申请提供的数据处理方法的流程示意图，该方法包括：
步骤101，获取训练样本数据。
其中，获取训练样本数据可以是从与数据处理装置连接的存储器中获取，也可以从其他数据存储终端获取。可以从实体终端的存储器中获取，也可以从虚拟的存储空间如云盘中获取。在一些实施例中，训练样本数据可以从一个存储位置获取，也可以从多个存储位置获取，例如训练样本数据可以保存于区块链上，数据处理装置从区块链上获取上述训练样本数据。数据处理装置可以是响应于某一训练样本数据获取指令后在一个时间段中集中获取训练样本数据，也可以是根据某一数据获取逻辑持续进行训练样本数据获取。
训练样本数据包含了输入样本数据以及与输入样本数据对应的输出样本数据(或标签数据)，输入样本数据可以是图像数据、语音数据、文本数据等等，当输入样本数据为图像数据时，对应的输出样本数据可以为图像描述文本数据(例如鸟儿飞在天空中)，也可以是图像分类数据(图像中为狗或者猫)等等。可以理解的是，训练样本数据包含不同的输入样本数据以及与其对应的输出样本数据，便会得到不同的模型训练结果。
步骤102，将训练样本数据输入至预设模型，并对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数。
其中，数据处理装置将获取到的训练样本数据输入至预设模型中并根据训练样本数据对预设模型进行模型训练，该预设模型可以为逻辑回归模型。对于逻辑回归模型，可以使用模型参数的损失函数(或者代价函数)来展示模型的拟合程度，一般情况下，损失函数的值越小则模型的拟合程度越好，进一步地，为了防止模型过拟合，会在损失函数中添加L2正则项。在相关技术中，通过求解损失函数的最小值来求解模型拟合效果最好时对应的模型参数，而求解损失函数的最小值的方法便是通过梯度下降法进行迭代求解，直至模型参数收敛并确定收敛时的模型参数为该预设模型的模型参数。然而使用梯度下降法进行迭代求解需要先确定一个合适的步长，步长过大则会导致拟合效果变差，而步长过小则会使得迭代次数过多，影响模型参数的计算效率。
在本申请实施例中，本申请的发明人通过研究发现，现有技术中采用梯度下降法迭代求解损失函数最小值，不仅存在步长选择困难的缺点，而且由于梯度下降法的步长固定，并且是采用一阶迭代方法进行梯度下降，其迭代求解效率较低。因此本申请发明人提出多阶迭代方法求解损失函数，该多阶迭代方法可以为二阶迭代法、也可以是三阶迭代法等多阶迭代法。在本申请实施例中，以二阶迭代为例，在迭代训练过程中，会涉及损失函数的二阶导矩阵(海森矩阵)奇异问题，当海森矩阵为奇异矩阵时，会导致模型参数无法进行迭代更新。为解决上述问题，本申请发明人提出对模型损失函数中的第一模型参数进行补偿处理，具体地可以在损失函数的第一模型参数中添加补偿因子，得到补偿后的目标损失函数。由于在损失函数中添加了第一模型参数的补偿因子，可以保证损失函数的二阶矩阵(即海森矩阵)不是奇异矩阵，即可保证模型参数的更新可以正常进行。可以理解的是，此处第一模型参数中的第一只是为了与下文更新后的模型参数进行区分，不对模型参数的数量造成限制。该第一模型参数可以包含多个子模型参数，而对第一模型参数进行补偿，是对第一模型参数中包含的多个子模型参数分别进行补偿。
在一些实施例中，对预设模型的损失函数中的第一模型参数进行补偿，包括：
1、根据训练样本数据确定预设模型的损失函数；
2、获取预设模型的第一模型参数的权重约束；
3、根据权重约束对损失函数中的第一模型参数进行补偿处理。
其中，此处预设模型的损失函数为添加了L2正则项的损失函数，预设模型的第一模型参数的权重约束包括第一模型参数中包含的每一子模型参数的权重约束。每一子模型参数的权重约束可以是预先设置的，也可以是数据处理装置根据统计结果统计得到的。获取到每一子模型参数的权重约束后，使用该权重约束对损失函数中的第一模型参数进行补偿处理，从而得到新的损失函数，此处称为目标损失函数。此处的权重约束可以理解为对模型参数对模型的影响进行控制的约束参数。
在一些实施例中，获取预设模型的第一模型参数的权重约束，包括：
a、获取预设模型中的第一模型参数对预设模型的期望贡献度；
b、根据期望贡献度确定预设模型的第一模型参数的权重约束。
其中，以一具体的示例来说明模型参数对模型的期望贡献度的含义。以一房价预估模型为例，输入数据包括房屋所在的城市、房屋所在的区域、房屋包含的学位、房屋附近的交通、房屋附近的商圈及配套、房屋的楼层、房屋的朝向以及房屋的面积等，输出数据为房屋的价格。可以理解的是，在该模型中房屋所在的城市、房屋所在的区域、房屋包含的学位、房屋附近的交通、房屋附近的商圈及配套、房屋的楼层、房屋的朝向以及房屋的面积等数据为自变量，房屋的价格为因变量。根据获取的训练样本数据对模型进行训练，即确定这些自变量的系数，该系数即可称为该房价预估模型的模型参数。然而，由于获取的训练样本数据为历史数据，而房价由市场因素以及政策因素的影响，各个自变量对房价的影响会发生变化。例如房屋所在的城市对房价的影响增大而房屋附近的交通对房价的影响降低，那么为了使得训练得到的模型的房价预估结果更为准确，则需要控制房屋所在的城市对应的模型参数对模型的期望贡献度增大，而房屋附近的交通对应的模型参数对模型的期望贡献度降低。进一步地，在获取了第一模型参数对预设模型的期望贡献度后，根据期望贡献度确定预设模型的第一模型参数的权重约束。具体地，当需要控制某一子模型参数对模型的期望贡献度增大时，可以设置该子模型参数对应的权重约束小于1。当需要控制某一子模型参数对模型的期望贡献度降低时，可以设置该子模型参数对应的权重约束大于1。
进一步地，在一些实施例中，获取预设模型中的第一模型参数对预设模型的期望贡献度，可以获取人为输入的每个子模型参数对预设模型的期望贡献度。也可以是数据处理装置对每一子模型参数的重要度进行动态评估后确定的每一子模型参数对预设模型的期望贡献度。
在一些实施例中，根据训练样本数据确定预设模型的损失函数，包括：
对训练样本数据进行预处理，得到目标训练样本数据；
根据目标训练样本数据确定预设模型的损失函数。
其中，对训练样本数据进行预处理，包括但不限于对训练样本数据进行数据清洗，例如对训练样本数据中包含的异常值、缺失值进行剔除，以及对训练样本数据进行标准化处理。对训练样本数据进行预处理后，得到目标训练样本数据。再将目标训练样本数据输入至预设模型中进行模型训练，并根据该目标训练样本数据确定预设模型的损失函数。
步骤103，对目标损失函数进行多阶求导处理，并根据多阶求导的结果对第一模型参数进行更新，得到第二模型参数。
其中，如上所述，本申请实施例中，发明人提出一种可实现的多阶迭代求解损失函数的值最小时对应的模型参数的方法。以二阶迭代为例，由于对损失函数中的模型参数进行了补偿，使得在对损失函数进行二阶求导得到的海森矩阵非奇异，进而保证了模型参数的二阶迭代更新可以稳定进行。
在一些实施例中，对目标损失函数进行多阶求导，并根据多阶求导的结果对第一模型参数进行更新，得到第二模型参数，包括：
1、计算所述目标损失函数的一阶导矩阵与二阶导矩阵；
2、根据一阶导矩阵、二阶导矩阵以及第一模型参数确定预设模型得模型参数更新规则；
3、基于模型参数更新规则进行运算，得到运算后的第二模型参数。
其中，在对损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数后，可以对目标损失函数进行二阶迭代求解甚至进行三阶迭代求解。由于迭代阶数越高，求解多阶矩阵的难度越大，如此便会对求解效率造成影响。因此，本申请的发明人通过研究发现，二阶迭代求解方法在实际应用中可以达到最好的求解效率。因此，在本申请实施例中，在得到目标损失函数后，计算目标损失函数的一阶导矩阵以及二阶导矩阵，并根据一阶导矩阵、二阶导矩阵以及第一模型参数确定预设模型的模型参数更新规则，再进一步根据该模型参数更新规则对第一模型参数进行更新，得到更新后的第二模型参数。此处第二模型参数仅用于与更新前的第一模型参数进行区分，不对模型参数的数量造成限制。可以理解的是，第二模型参数中同样包括与第一模型参数同样数量个子模型参数。
在一些实施例中，根据一阶导矩阵、二阶导矩阵以及第一模型参数确定预设模型参数更新规则，包括：
1.1、计算一阶导矩阵与二阶导矩阵的比值；
1.2、确定预设模型参数的模型参数更新规则为计算第一模型参数与比值的差值。
其中，在一些实施例中，二阶迭代方法可以采用牛顿迭代法进行迭代求解。牛顿迭代法是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。牛顿迭代法的核心迭代方法为：先确定待求解函数在更新前的函数解处的函数值与函数在该点的偏导数的比值，更新后的函数解等于更新前的函数解与该比值的差值。而求解目标损失函数的最小值，即求解目标损失函数的一阶导函数等于0时的函数值，采用牛顿迭代法就可以求解目标损失函数的一阶导函数等于0时的函数值的问题。进一步地，便可以推导出预设模型的模型参数的更新规则为：将第一模型参数与一阶导矩阵和二阶导矩阵比值的差值确定为第二模型参数。
步骤104，基于第二模型参数更新第一模型参数，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至第一模型参数收敛。
其中，当对第一模型参数进行更新得到第二模型参数后，基于第二模型参数对第一模型参数进行更新。将更新后的第一模型参数代入到目标损失函数中再返回重复执行步骤102以及步骤103，不断对更新后的第一模型参数进行补偿，得到新的目标损失函数，再对新的目标损失函数进行多阶求导并根据多阶求导结果对更新后的第一模型参数进行再次更新，实现对第一模型参数的不断迭代更新，直到第一模型参数收敛。
在一些实施例中，基于第二模型参数更新第一模型参数，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至第一模型参数收敛，包括：
1、根据第二模型参数的值对损失函数中第一模型参数进行更新，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练；
2、在每次进行迭代训练后统计迭代训练次数；
3、当迭代训练次数达到预设次数时，确定当前第一模型参数为所述预设模型的模型参数。
其中，在本实施例中，可以预先设置一个迭代训练的目标次数，当每次进行迭代训练后，都对已经迭代训练的次数进行统计，并将统计次数与目标次数进行比对。当统计次数达到预先设置的目标次数后，确定当前的第一模型参数为预设模型的模型参数。如此，对于部分模型参数精度要求不高的模型，可以通过设置迭代训练次数以使得模型训练尽快收敛，从而提升了模型训练的效率。
在一些实施例中，基于第二模型参数更新第一模型参数，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至第一模型参数收敛，包括：
a、根据第二模型参数的值对损失函数中第一模型参数进行更新，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练；
b、在每次更新第一模型参数后，计算当前第一模型参数与当前次更新前的第一模型参数的差值的绝对值；
c、当差值的绝对值小于预设值时，确定当前第一模型参数为预设模型的模型参数。
其中，在本实施例中，在每次对第一模型参数进行更新后，都对本次更新前后的第一模型参数中每一子模型参数进行误差计算，此处误差计算即为计算本次更新前后每一子模型参数的差值的绝对值。当每一子模型参数的差值的绝对值均小于一个预设的阈值时，可以确定模型参数收敛，模型训练完成，此时确定最后一次更新后的第一模型参数为预设模型的模型参数。如此，对于模型参数精度要求较高的模型，可以通过控制更新前后模型参数的误差对模型训练进行控制，知道更新前后模型参数的误差满足设定条件才完成模型训练，提高了模型参数的精度。
根据上述描述可知，本申请提供的数据处理方法，通过获取训练样本数据；将训练样本数据输入至预设模型，并对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数；目标损失函数进行多阶求导处理，并根据多阶求导的结果对第一模型参数进行更新，得到第二模型参数；基于第二模型参数更新第一模型参数，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至第一模型参数收敛。以此，通过对模型损失函数中的模型参数进行补偿，使得模型参数可以进行多阶迭代更新，从而提升了模型参数迭代更新的效率。即提升了数据处理效率，进而提高了模型参数的求解速度。
相应地，本申请实施例将从计算机设备的角度进一步对本申请提供的数据处理方法进行详细的描述。本实施例中的计算机设备可以是终端，也可以是服务器。如图3所示，为本申请提供的数据处理方法的另一流程示意图，该方法包括：
步骤201，计算机设备获取训练样本数据。
其中，计算机设备可以从服务器中获取训练样本数据，训练样本数据包括输入数据集Xt以及输出数据集Yt。计算机设备获取到训练样本数据后，可以对训练样本数据进行预处理，对训练样本数据进行预处理可以是对训练样本数据进行数据清洗。数据清洗可以包括对训练样本数据进行检测以确定训练样本数据中是否存在异常值或缺失值，然后将异常值和缺失值对应的输入或输出数据进行剔除。然后再将剔除异常数据后的训练样本数据进行标准化处理，得到目标训练样本数据。目标训练样本数据包括输入数据集X′t以及输出数据集X′p。
步骤202，计算机设备将目标训练样本数据输入至逻辑回归模型。
其中，在本实施例中提供的方案针对逻辑回归模型的模型训练效率进行优化。与线性回归模型不同的是，在线性回归模型中，线性回归模型的输出值可以有多种可能，而逻辑回归模型的输出值为0或1。或者，在一定程度上可以将逻辑回归模型理解为在线性回归的基础上套用了一个逻辑函数，该逻辑函数将线性回归模型的输出值映射到0或者1中。因此可以理解的是，目标训练样本数据中的输出数据集X′p中包含的元素只有0或者1。此处0或者1并非只代表数字0或者1，而是一个分类结果，例如是与非，猫或狗等将输出结果进行分类的元素。即逻辑回归模型也可以理解为一个简单的二元分类模型。计算机设备在将训练样本数据进行数据清洗得到目标训练样本数据后，将目标训练样本数据输入至逻辑回归模型中对该逻辑回归模型进行训练。
步骤203，计算机设备确定逻辑回归模型的损失函数。
其中，对逻辑回归模型的模型参数的拟合效果的评估，可以采用逻辑回归模型的损失函数进行评价，损失函数越小，则说明逻辑回归模型的模型参数的拟合效果越好。而且，一般情况下，为了避免逻辑回归模型中出现过拟合现象，且为使得模型更为稳定，会在逻辑回归模型的损失函数中添加L2正则项。具体地，由于逻辑回归模型的输出结果为0或者1，将事件发生的概率视为p，则输出结果为1的概率为：
其中Py＝1表示输出结果为1的概率，亦即事件发生的概率；x为输入数据，y为与输入数据x对应的输出数据，wT为模型参数构成的对角矩阵的转置矩阵。通过最大化条件似然估计，可以推得添加L2正则化的损失函数为：
其中argmin为求最小值，N为目标训练样本数据中的样本个数，λ为L2正则化系数，‖wi‖表示所有模型参数的平方和。
其中，在相关技术中，求解逻辑回归模型的模型参数，采用梯度下降法求解损失函数的最小值，当损失函数最小时，对应的模型参数值便为逻辑回归模型的模型参数。具体地，梯度下降法求解模型参数wi的更新公式为：
其中，wt+1为更新后的模型参数，wt为更新前的模型参数，η为梯度下降的步长，
为损失函数L在更新前的模型参数wt处的一阶导数。
步骤204，计算机设备对损失函数中的模型参数添加权重约束，得到目标损失函数。
其中，相关技术中采用梯度下降法求解逻辑回归模型的损失函数，需要先确定梯度下降的步长η，合适步长η的确定较为困难，若步长确定偏大会导致模型拟合效果差，若步长偏小则会导致梯度下降效率低，模型训练速率下降。而且进一步地，梯度下降法以固定的步长进行一阶迭代求解，其迭代效率低，迭代次数多。当训练样本数据量较大时，每次迭代都需要经过大量运算，迭代次数多便会大大降低模型训练效率。对此，本申请的发明人经研究后提出二阶迭代法以提升迭代效率，该二阶迭代法依据牛顿法推导而来，下面将进行详细描述。进一步地，由于在用牛顿法进行迭代求解损失函数中的模型参数时有较大概率会遇到海森矩阵奇异问题，对此本申请的发明人提出解决方案为对损失函数中的模型参数进行补偿，以避免海森矩阵奇异，进而使得二阶迭代可以稳定进行。具体地，对损失函数中的模型参数进行补偿，可以是对损失函数中的模型参数添加约束权重。得到新的损失函数，此处称为目标损失函数，目标损失函数的公式如下：
其中，βi为第i个模型参数的约束权重，且βi>0；wi为第i个模型参数。
可以理解的是，由于式(3)中的
等价于式(2)中的
因此βi的值会对模型参数对模型的贡献度造成影响，具体如下:
1、当βi＝1时，模型参数对模型的贡献度不变；
2、当βi>1时，模型参数对模型的贡献度下降；
3、当βi<1时，模型参数对模型的贡献度上升。
每个模型参数的约束权重βi的值可以根据实际需要进行设置。例如在一个预测能否给用户贷款的逻辑回归模型中，训练样本数据中中输入数据集(即自变量)可以为用户授权使用的用户数据，例如用户的支出流水、资产信息等数据，输出数据集(即因变量)为可以贷款或不可以贷款。对模型进行训练即求解该模型中每个自变量的影响系数，这些影响系数也就是逻辑回归模型的模型参数。由于训练数据为历史数据，当国家或银行的一些放贷政策发生变化时，不同自变量对模型评估结果的影响会发生变化，因此可以在损失函数中添加模型参数的权重约束使得模型参数对模型的贡献度(即影响)发生变化。例如当政策变化后，资产信息对放贷结果的影响降低，那么可以在损失函数中对资产信息对应的模型参数添加一个大于1的约束权重，以使得资产信息对应的模型参数对模型的贡献度下降。这样训练得到的模型参数更为准确，进而使用该模型进行预测的结果也更为准确。如此，通过对逻辑回归模型的损失函数中的模型参数进行补偿(即添加权重约束)，使得模型训练的训练结果更为合理，进而使得根据训练得到的模型进行预测的结果更为准确。另一方面，通过对逻辑回归模型的损失函数中的模型参数进行补偿，使得损失函数的二阶导矩阵不奇异，即保证了二阶迭代求解可稳定执行，降低了迭代次数，提高了模型训练的效率。
步骤205，计算机设备计算目标损失函数的一阶导矩阵与二阶导矩阵，并根据一阶导矩阵与二阶导矩阵确定模型参数的更新规则。
其中，在本申请中采用的二阶迭代方法为依据牛顿法推导而来，具体地，牛顿法基本迭代公式为：
其中xt+1为函数f(x)＝0更新后的解，xt为函数f(x)＝0更新前的解，f(xt)为函数f(x)在x＝xt处的值，f′(xt)为函数f(x)在x＝xt处的导数。由于牛顿法为迭代求解函数f(x)＝0的解的方法，我们对目标损失函数的求解是求解目标损失函数的最小值，而求目标损失函数的最小值即为求解目标损失函数的一阶导数为0的解。如此，可以根据牛顿法基本迭代公式推导出目标损失函数中模型参数的更新规则：
wnew＝wols-(HL|w)-1GL|w 式(4)
其中wnew为更新后的模型参数，wold为更新前的模型参数。GL|w为目标损失函数对模型参数的一阶导矩阵，HL|w为目标损失函数对模型参数的二阶导矩阵。具体地，一阶导矩阵可以改写为：
GL|w＝-(XT(y-p)-λβw) 式(5)
二阶导矩阵可以改写为：
HL|w＝XTPX+λβI 式(6)
其中，X为由输入数据组成的N*m矩阵(N表示样本数量，m表示模型参数数量)，XT为X的转置矩阵；y为由输出数据组成的N维向量；p为由p(xi；w)组成的N维向量，其中
其中sigmiod为似然函数，xi为每一输入数据在不同模型参数维度的值组成的m维向量，
为xi的转置向量，w为需要求解的模型参数构成的m维向量；β为由各模型参数的系数约束βi构成的m*m对角矩阵；P为N*N对角矩阵，其对角元素为p(xi；w)(1-p(xi；w))，I为单位向量。
可以理解的是，若未对目标损失函数中的模型参数wi添加权重系数或L2正则化系数，则求得目标损失函数的二阶导矩阵(即海森矩阵)为XTPX，该海森矩阵有较大概率为奇异矩阵，当海森矩阵为奇异矩阵时，如式(4)的更新公式无法执行更新。而对目标损失函数中的模型参数wi添加权重系数βi后，求得目标损失函数的海森矩阵为XTPX+λβI，由于λβI为对角线非0的对角矩阵，添加该项后可以保证海森矩阵非奇异，进而可以保证模型参数可以稳定更新。
进一步地，将式(5)及式(6)代入到式(4)中并化简，由此推导出模型参数的更新规则为：
wnew＝[I-λβ(XTPX+λβI)-1]wold+(XTPX+λβI)-1XT(y-p) 式(7)
步骤206，计算机设备根据更新规则对模型参数进行持续更新直至模型参数收敛。
其中，确定了模型参数的更新规则后，可以根据一个初始局部最优的模型参数进行不断迭代更新知道模型参数收敛。其中，在根据式(7)进行迭代更新模型参数时，会涉及求大矩阵乘法XTPX的问题，当目标训练样本数据的数量不断增大时，会导致计算量过大甚至超过计算机设备最大内存产生内存溢出问题。对此，本申请提出一种简化的计算方法，由于矩阵P为对角矩阵，可以根据对角矩阵的特殊性质：矩阵右乘一个对角矩阵等于用对角矩阵的对角线元素分别作用于矩阵的每一列进行计算。由于XT为m*N矩阵，P为N*N对角矩阵，其中m<<N；对XT的每一行分别执行与对角线元素的元素乘，得到：
row(XTP)ij＝row(XT)ij*diag(pjj) 式(8)
其中，row(XTP)ij表示矩阵XTP中第i行第j列的元素，row(XT)ij表示矩阵XT的第i行第j列的元素，diag(pjj)表示对角矩阵P的第j行第j列的元素。如此计算得到矩阵XTP后再将该矩阵右乘矩阵X，以此简化了计算过程，提高了计算速度。
在一些实施例中，可以在每次更新得到更新后的模型参数后，计算更新后的模型参数与更新前的模型参数的差值的绝对值，当该绝对值小于一个预设的阈值时，例如10-6，则可以确定该逻辑回归模型的模型参数收敛，并确定最后一次更新后的模型参数为该逻辑回归模型的模型参数。
根据上述描述可知，本申请提供的数据处理方法，通过获取训练样本数据，将目标训练样本数据输入至逻辑回归模型，确定逻辑回归模型的损失函数，对损失函数中的模型参数添加权重约束，得到目标损失函数；计算目标损失函数的一阶导矩阵与二阶导矩阵，并根据一阶导矩阵与二阶导矩阵确定模型参数的更新规则；根据更新规则对模型参数进行持续更新直至模型参数收敛。以此，通过对逻辑回归模型的损失函数中的模型参数添加权重约束，再对损失函数进行二阶迭代求解直到逻辑回归模型的模型参数收敛。该方法可以有效提高逻辑回归模型的模型参数求解效率，提升了逻辑回归模型的训练速度。
进一步地，本申请实施例还提供了一种权限预测方法，该方法可以使用于权限预测装置中，该权限预测方法包括：
接收用户请求信息，用户请求信息包括用户授权使用的用户数据；
将用户数据输入至训练后的预设模型，预设模型的模型参数为采用上述图2或者图3的各种可选实现方式中提供的数据处理方法进行训练得到；
将训练后的预设模型的输出结果确定为用户的权限。
其中，可以理解的是，预设模型也是一个逻辑回归模型，即二元分类模型，因此预设模型的输出结果为有权限或没有权限中的任一种。本申请提供的权限预测方法可以用于对用户的贷款请求进行权限分析，根据用户提供的相关用户数据确定用户是否具有贷款资格，或者是否能够给用户放贷。本申请提供的权限预测方法还可以用于对用户对某一服务器资源是否具有访问权限进行权限预估，例如用户在对某一服务器资源提出访问请求后，服务器邀请用户回答若干个预设的问题，并根据用户的回答结果对用户是否具有访问该服务器的权限进行预测。
其中，该预设模型(逻辑回归模型)在使用前也需要使用一定数量的历史数据进行训练，以确定该预设模型的模型参数。对于不同的模型功能，需要使用不同的训练样本数据。例如该权限预测模型的功能是对用户贷款权限进行预测时，则用于训练的训练样本数据为用户授权使用的用户数据以及每组用户数据对应的权限结果。而模型训练的过程，即对模型参数进行训练的过程，可以采用前述实施例中所提供的任一种数据处理方法进行训练得到。
为了更好地实施以上方法，本发明实施例还提供一种数据处理装置，该数据处理装置可以集成在计算机设备中，该计算机设备可以为移动终端也可以为服务器。
例如，如图4所示，为本申请实施例提供的数据处理装置的结构示意图，该数据处理装置可以包括获取单元301、补偿单元302、更新单元303以及训练单元304，如下：
获取单元301，用于获取训练样本数据；
补偿单元302，用于将训练样本数据输入至预设模型，并对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数；
更新单元303，用于对目标损失函数进行多阶求导处理，并根据多阶求导的结果对第一模型参数进行更新，得到第二模型参数；
训练单元304，用于基于第二模型参数更新第一模型参数，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至第一模型参数收敛。
在一些实施例中，如图5所示，为本申请提供的数据处理装置的另一结构示意图，补偿单元302，包括：
第一确定子单元3021，用于根据训练样本数据确定预设模型的损失函数；
获取子单元3022，用于获取预设模型的第一模型参数的权重约束；
补偿子单元3023，用于根据权重约束对损失函数中的第一模型参数进行补偿处理。
在一些实施例中，获取子单元，包括：
获取模块，用于获取预设模型中的第一模型参数对预设模型的期望贡献度；
第一确定模块，用于根据期望贡献度确定预设模型的第一模型参数的权重约束。
在一些实施例中，第一确定子单元，包括：
预处理模块，用于对训练样本数据进行预处理，得到目标训练样本数据；
第二确定模块，用于根据目标训练样本数据确定预设模型的损失函数。
在一些实施例中，如图6所示，为本申请提供的数据处理方法的又一结构示意图，更新单元303，包括：
第一计算子单元3031，用于计算目标损失函数的一阶导矩阵与二阶导矩阵；
第二确定子单元3032，用于根据一阶导矩阵、二阶导矩阵以及第一模型参数确定预设模型的模型参数更新规则；
运算子单元3033，用于基于模型参数更新规则进行运算，得到运算后的第二模型参数。
在一些实施例中，训练单元304，包括：
第一训练子单元，用于根据第二模型参数的值对损失函数中第一模型参数进行更新，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练；
统计子单元，用于在每次进行迭代训练后统计迭代训练次数；
第三确定子单元，用于当迭代训练次数达到预设次数时，确定当前第一模型参数为预设模型的模型参数。
在一些实施例中，训练单元304，包括：
第二训练子单元，根据第二模型参数的值对损失函数中第一模型参数进行更新，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练；
第二计算子单元，用于在每次更新第一模型参数后，计算当前第一模型参数对应的目标损失函数值与更新前的第一模型参数对应的目标损失函数值的差值的绝对值；
第四确定子单元，当差值的绝对值小于预设值时，确定当前第一模型参数为预设模型的模型参数。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由以上可知，本实施例提供的数据处理装置，通过获取单元301获取训练样本数据；补偿单元302将训练样本数据输入至预设模型，并对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数；更新单元303对目标损失函数进行多阶求导处理，并根据多阶求导的结果对第一模型参数进行更新，得到第二模型参数；训练单元304基于第二模型参数更新第一模型参数，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至第一模型参数收敛。以此，通过对损失函数中的模型参数进行补偿，使得模型参数可以进行多阶迭代更新，从而提升了模型参数迭代更新的效率。即提升了数据处理效率，进而提高了模型训练的速度。
本申请实施例还提供一种计算机设备，如图7所示，为本申请提供的计算机设备的结构示意图。具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图7中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能以及网页访问等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取训练样本数据；将训练样本数据输入至预设模型，并对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数；目标损失函数进行多阶求导处理，并根据多阶求导的结果对第一模型参数进行更新，得到第二模型参数；基于第二模型参数更新第一模型参数，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至第一模型参数收敛。
应当说明的是，本申请实施例提供的计算机设备与上文实施例中的数据处理方法属于同一构思，以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种数据处理方法中的步骤。例如，该指令可以执行如下步骤：
获取训练样本数据；将训练样本数据输入至预设模型，并对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数；目标损失函数进行多阶求导处理，并根据多阶求导的结果对第一模型参数进行更新，得到第二模型参数；基于第二模型参数更新第一模型参数，并返回执行对预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至第一模型参数收敛。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种数据处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种数据处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或者图3的各种可选实现方式中提供的数据处理方法。
以上对本发明实施例所提供的一种数据处理方法、装置、存储介质及计算机设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种数据处理方法，其特征在于，所述方法包括：
获取训练样本数据；
将所述训练样本数据输入至预设模型，并对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数；
对所述目标损失函数进行多阶求导处理，并根据多阶求导的结果对所述第一模型参数进行更新，得到第二模型参数；
基于所述第二模型参数更新所述第一模型参数，并返回执行对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至所述第一模型参数收敛。
2.根据权利要求1所述的方法，其特征在于，所述对所述预设模型的损失函数中的第一模型参数进行补偿处理，包括：
根据所述训练样本数据确定所述预设模型的损失函数；
获取所述预设模型的第一模型参数的权重约束；
根据所述权重约束对所述损失函数中的第一模型参数进行补偿处理。
3.根据权利要求2所述的方法，其特征在于，所述获取所述预设模型的第一模型参数的权重约束，包括：
获取所述预设模型中的第一模型参数对所述预设模型的期望贡献度；
根据所述期望贡献度确定所述预设模型的第一模型参数的权重约束。
4.根据权利要求2所述的方法，其特征在于，所述根据所述训练样本数据确定所述预设模型的损失函数，包括：
对所述训练样本数据进行预处理，得到目标训练样本数据；
根据所述目标训练样本数据确定所述预设模型的损失函数。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述对所述目标损失函数进行多阶求导，并根据多阶求导的结果对所述第一模型参数进行更新，得到第二模型参数，包括：
计算所述目标损失函数的一阶导矩阵与二阶导矩阵；
根据所述一阶导矩阵、所述二阶导矩阵以及所述第一模型参数确定所述预设模型的模型参数更新规则；
基于所述模型参数更新规则进行运算，得到运算后的第二模型参数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述一阶导矩阵、所述二阶导矩阵以及所述第一模型参数确定所述预设模型参数更新规则，包括：
计算所述一阶导矩阵与所述二阶导矩阵的比值；
确定所述预设模型参数的模型参数更新规则为计算所述第一模型参数与所述比值的差值。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第二模型参数更新所述第一模型参数，并返回执行对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至所述第一模型参数收敛，包括：
根据所述第二模型参数对所述损失函数中所述第一模型参数进行更新，并返回执行对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练；
在每次进行迭代训练后统计迭代训练次数；
当所述迭代训练次数达到预设次数时，确定当前第一模型参数为所述预设模型的模型参数。
8.根据权利要求1所述的方法，其特征在于，所述基于所述第二模型参数更新所述第一模型参数，并返回执行对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至所述第一模型参数收敛，包括：
根据所述第二模型参数的值对所述损失函数中所述第一模型参数进行更新，并返回执行对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练；
在每次更新第一模型参数后，计算当前第一模型参数与当前次更新前的第一模型参数的差值的绝对值；
当所述差值的绝对值小于预设值时，确定当前第一模型参数为所述预设模型的模型参数。
9.一种权限预测方法，其特征在于，所述方法包括：
接收用户请求信息，所述用户请求信息包括用户授权使用的用户数据；
将所述用户数据输入至训练后的预设模型，所述预设模型的模型参数为采用权利要求1至8中任一项所述的数据处理方法训练得到；
将所述训练后的预设模型的输出结果确定为用户的权限。
10.一种数据处理装置，其特征在于，所述装置包括：
获取单元，用于获取训练样本数据；
补偿单元，用于将所述训练样本数据输入至预设模型，并对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数；
更新单元，用于对所述目标损失函数进行多阶求导处理，并根据多阶求导的结果对所述第一模型参数进行更新，得到第二模型参数；
训练单元，用于基于所述第二模型参数更新所述第一模型参数，并返回执行对所述预设模型的损失函数中的第一模型参数进行补偿处理，得到补偿处理后的目标损失函数并进行迭代训练，直至所述第一模型参数收敛。
11.根据权利要求10所述的装置，其特征在于，所述补偿单元，包括：
第一确定子单元，用于根据所述训练样本数据确定所述预设模型的损失函数；
获取子单元，用于获取所述预设模型的第一模型参数的权重约束；
补偿子单元，用于根据所述权重约束对所述损失函数中的第一模型参数进行补偿处理。
12.根据权利要求11所述的装置，其特征在于，所述获取子单元，包括：
获取模块，用于获取所述预设模型中的第一模型参数对所述预设模型的期望贡献度；
确定模块，用于根据所述期望贡献度确定所述预设模型的第一模型参数的权重约束。
13.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8中任一项所述的数据处理方法中的步骤。
14.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的数据处理方法。
15.一种计算机程序，其特征在于，所述计算机程序包括计算机指令，所述计算机指令存储在存储介质中，计算机设备的处理器从所述存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行权利要求1至8任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110069802.8A CN112990958A (zh) | 2021-01-19 | 2021-01-19 | 数据处理方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110069802.8A CN112990958A (zh) | 2021-01-19 | 2021-01-19 | 数据处理方法、装置、存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112990958A true CN112990958A (zh) | 2021-06-18 |
Family
ID=76344463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110069802.8A Pending CN112990958A (zh) | 2021-01-19 | 2021-01-19 | 数据处理方法、装置、存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990958A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256181A (zh) * | 2021-07-13 | 2021-08-13 | 平安科技（深圳）有限公司 | 风险因子预测方法、装置、设备及介质 |
| CN113469645A (zh) * | 2021-06-21 | 2021-10-01 | 广州政企互联科技有限公司 | 一种政策数据智能入库方法 |
| CN115048434A (zh) * | 2022-08-15 | 2022-09-13 | 南京灿能电力自动化股份有限公司 | 一种电能质量数据处理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064878A (zh) * | 2012-11-19 | 2013-04-24 | 北京大学 | 一种快速序列标注方法 |
| CN103795058A (zh) * | 2014-02-12 | 2014-05-14 | 国家电网公司 | 电力***的静态电压稳定裕度分析及***故障排序方法 |
| CN107341540A (zh) * | 2016-04-29 | 2017-11-10 | 北京中科寒武纪科技有限公司 | 一种用于执行Hessian-Free训练算法的装置和方法 |
| CN109800884A (zh) * | 2017-11-14 | 2019-05-24 | 阿里巴巴集团控股有限公司 | 模型参数的处理方法、装置、设备和计算机存储介质 |
| CN111667010A (zh) * | 2020-06-08 | 2020-09-15 | 平安科技（深圳）有限公司 | 基于人工智能的样本评估方法、装置、设备及存储介质 |
-
2021
- 2021-01-19 CN CN202110069802.8A patent/CN112990958A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064878A (zh) * | 2012-11-19 | 2013-04-24 | 北京大学 | 一种快速序列标注方法 |
| CN103795058A (zh) * | 2014-02-12 | 2014-05-14 | 国家电网公司 | 电力***的静态电压稳定裕度分析及***故障排序方法 |
| CN107341540A (zh) * | 2016-04-29 | 2017-11-10 | 北京中科寒武纪科技有限公司 | 一种用于执行Hessian-Free训练算法的装置和方法 |
| CN109800884A (zh) * | 2017-11-14 | 2019-05-24 | 阿里巴巴集团控股有限公司 | 模型参数的处理方法、装置、设备和计算机存储介质 |
| CN111667010A (zh) * | 2020-06-08 | 2020-09-15 | 平安科技（深圳）有限公司 | 基于人工智能的样本评估方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李旭超;刘燕;李玉叶;: "牛顿迫近迭代算法在图像恢复中的应用", 计算机应用与软件, no. 11, 15 November 2017 (2017-11-15), pages 210 - 215 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469645A (zh) * | 2021-06-21 | 2021-10-01 | 广州政企互联科技有限公司 | 一种政策数据智能入库方法 |
| CN113256181A (zh) * | 2021-07-13 | 2021-08-13 | 平安科技（深圳）有限公司 | 风险因子预测方法、装置、设备及介质 |
| CN115048434A (zh) * | 2022-08-15 | 2022-09-13 | 南京灿能电力自动化股份有限公司 | 一种电能质量数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112990958A (zh) | 数据处理方法、装置、存储介质及计算机设备 | |
| Islam et al. | Empirical prediction models for adaptive resource provisioning in the cloud | |
| CN108280538A (zh) | 基于云计算环境下分布式物流库存优化方法 | |
| CN106548210A (zh) | 机器学习模型训练方法及装置 | |
| CN112052948B (zh) | 一种网络模型压缩方法、装置、存储介质和电子设备 | |
| CN112329948A (zh) | 一种多智能体策略预测方法及装置 | |
| CN112633567A (zh) | 一种等待时长的预测方法、设备及存储介质 | |
| CN107609583A (zh) | 分类模型的参数优化方法、装置、计算机设备及存储介质 | |
| US20210342691A1 (en) | System and method for neural time series preprocessing | |
| CN115249081A (zh) | 一种对象类型的预测方法、装置、计算机设备和存储介质 | |
| CN109925718A (zh) | 一种分发游戏微端地图的***及方法 | |
| CN114896899A (zh) | 一种基于信息交互的多智能体分散式决策方法及*** | |
| Luo et al. | Timeliness online regularized extreme learning machine | |
| Hung | Robust Kalman filter based on a fuzzy GARCH model to forecast volatility using particle swarm optimization | |
| CN116662815A (zh) | 时间预测模型的训练方法以及相关设备 | |
| US20160042277A1 (en) | Social action and social tie prediction | |
| CN111027709B (zh) | 信息推荐方法、装置、服务器及存储介质 | |
| CN115168722A (zh) | 内容交互预测方法以及相关设备 | |
| Wittek et al. | Quantum probabilistic description of dealing with risk and ambiguity in foraging decisions | |
| CN111931994A (zh) | 一种短期负荷及光伏功率预测方法及其***、设备、介质 | |
| Toscano-Palmerin et al. | Stratified bayesian optimization | |
| Jin et al. | Common structures in resource management as driver for Reinforcement Learning: a survey and research tracks | |
| Papadimitriou | Monte Carlo bias correction in Q-learning | |
| WO2022230038A1 (ja) | 学習装置、学習方法および学習プログラム | |
| Örenbaş et al. | Clustered Exact Daum‐Huang Particle Flow Filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40045981 Country of ref document: HK |