CN117349728A - 一种智能化模型的质量评测方法及装置 - Google Patents

一种智能化模型的质量评测方法及装置 Download PDF

Info

Publication number
CN117349728A
CN117349728A CN202311296163.4A CN202311296163A CN117349728A CN 117349728 A CN117349728 A CN 117349728A CN 202311296163 A CN202311296163 A CN 202311296163A CN 117349728 A CN117349728 A CN 117349728A
Authority
CN
China
Prior art keywords
sample
score
model
samples
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311296163.4A
Other languages
English (en)
Inventor
魏庆成
陆逸波
刘瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202311296163.4A priority Critical patent/CN117349728A/zh
Publication of CN117349728A publication Critical patent/CN117349728A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例公开了一种智能化模型的质量评测方法及装置。该方法包括：形成初始样本集；将初始样本集中的样本依次输入打分模型并通过打分模型给每一样本确定一初始样本分值；通过初始样本分值计算每一样本的最终样本分值；通过最终样本分值对初始样本集中的样本进行分类；根据分类后的样本形成最终样本集；通过最终样本集中的样本对智能化模型进行质量评测。该装置基于上述方法实现，该装置包括：第一样本集形成模块，用于形成初始样本集；第一分值确定模块，用于将初始样本集中的样本依次输入打分模型并通过打分模型给每一样本确定一初始样本分值；第二分值确定模块，用于通过初始样本分值计算每一样本的最终样本分值。

Description

一种智能化模型的质量评测方法及装置
技术领域
本说明书实施例主要涉及保险技术领域，具体为一种智能化模型的质量评测方法及装置。
背景技术
智能化模型是指基于人工智能技术的模型，通过使用机器学习、深度学习等算法，对大量的数据进行训练和优化，以提取出数据中的特征和规律。这些模型可以根据输入的数据进行推理和预测，从而帮助人们做出决策或者预测未来的结果。
智能化模型在使用之前，需要通过准确率、精确率、召回率、F1分数、均方误差等指标中的一个或多个指标对智能化模型进行质量评测。以精确率这一指标为例，如果某一智能化模型的质量评测结果的精确率为95％，而实际上该智能化模型的质量评测结果的精确率为60％，那么表示智能化模型的质量评测结果的准确率较低。
如果智能化模型的质量评测结果的准确率较低，那么会出现某一智能化模型的质量其实并没有达标，但因质量评测结果不准而误判定其达标并将其使用的现象。又由于该智能化模型的质量实际上并不好，所以导致实际使用效果也不好。
发明内容
本说明书实施例针对现有技术存在的问题，提出了一种智能化模型的质量评测方法及装置，其技术方案如下：
第一方面，本说明书实施例提供了一种智能化模型的质量评测方法，包括：
形成初始样本集；
将初始样本集中的样本依次输入打分模型并通过打分模型给每一样本确定一初始样本分值；
通过初始样本分值计算每一样本的最终样本分值；
通过最终样本分值对初始样本集中的样本进行分类；
根据分类后的样本形成最终样本集；
通过最终样本集中的样本对智能化模型进行质量评测。
第二方面，本说明书实施例提供了一种智能化模型的质量评测装置，包括：
第一样本集形成模块，用于形成初始样本集；
第一分值确定模块，用于将初始样本集中的样本依次输入打分模型并通过打分模型给每一样本确定一初始样本分值；
第二分值确定模块，用于通过初始样本分值计算每一样本的最终样本分值；
样本分类模块，用于通过最终样本分值对初始样本集中的样本进行分类；
第二样本集形成模块，用于根据分类后的样本形成最终样本集；
质量评测模块，用于通过最终样本集中的样本对智能化模型进行质量评测。
第三方面，本说明书实施例提供了一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行第一方面的质量评测方法。
第四方面，本说明书实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现第一方面的质量评测方法。
有益效果
本说明书实施例的质量评测方法及装置，通过先形成初始样本集，然后通过打分模型给初始样本集中每一样本确定一初始样本分值，再通过初始样本分值计算每一样本的最终样本分值，然后通过最终样本分值对初始样本集中的样本进行分类，最后根据分类后的样本形成最终样本集的方式对质量评测样本进行优化，通过优化后的质量评测样本来对智能化模型进行质量评测，使得智能化模型的质量评测结果较为准确性，进而不会影响实际使用效果。
进一步地或者更细节的有益效果将在具体实施方式中结合具体实施例进行说明。
附图说明
为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例1提供的智能化模型的质量评测方法的流程示意图；
图2为本说明书实施例1提供的形成初始样本集的流程示意图；
图3为本说明书实施例1提供的确定初始样本分值的流程示意图；
图4为本说明书实施例1提供的打分模型版本更新后重新确定初始样本分值的流程示意图；
图5为本说明书实施例1提供的通过最终样本分值对初始样本集中的样本进行分类的流程示意图；
图6为本说明书实施例1提供的根据分类后的样本形成最终样本集的流程示意图；
图7为本说明书实施例2提供的智能化模型的质量评测装置的结构示意图；
图8为本说明书实施例3提供的电子设备的结构示意图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述。
本说明书中的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
智能化模型需要通过输入一定量的样本进行质量评测，现有技术在选择质量评测样本时是随机的。如果选择的质量评测样本不合适，那么会导致智能化模型的质量评测结果不准确，进而影响智能化模型的后续使用。
基于此，本说明书实施例优化了智能化模型的质量评测样本，通过优化后的质量评测样本来对智能化模型进行质量评测，进而使得智能化模型的质量评测结果较为准确性。
实施例1：
一种智能化模型的质量评测方法，如图1所示，包括：
步骤102.形成初始样本集。
具体的，如图2所示，形成初始样本集具体包括：
步骤202.确定需要进行质量评测的智能化模型。
在保险领域，智能化模型包括风险评估模型、智能核保模型、保险理赔模型、客户行为模型、欺诈检测模型等等。
风险评估模型：利用机器学习和数据挖掘技术，根据历史数据和特征，对风险进行评估和预测。这可以帮助保险公司更准确地定价、制定保险政策，并识别潜在的欺诈行为。
智能核保模型：基于大数据和机器学习算法，自动评估保险申请人的风险，从而快速决策是否接受或拒绝保险申请。这可以提高核保的效率，并减少人工处理的工作量。
保险理赔模型：通过自然语言处理和图像识别等技术，对理赔申请进行自动审查和处理。这可以加快理赔的速度，并提高对欺诈和异常行为的检测能力。
客户行为模型：通过分析客户的行为数据和交互记录，建立客户画像和行为模型，用于个性化推荐、定价和客户关系管理。这可以提高客户满意度和保险销售的效果。
欺诈检测模型：通过分析大量的数据和模式，识别潜在的保险欺诈行为，并提供实时警报和风险预警。这可以帮助保险公司及时发现和应对欺诈行为，减少损失。
保险理赔模型又涉及医疗保险理赔领域、车辆保险理赔领域、财产保险理赔领域、人寿保险理赔领域等等。假设本实施例需要进行质量评测的智能化模型为医疗保险理赔领域的保险理赔模型。而医疗保险理赔领域的保险理赔模型又包括医疗费用审核模型、医疗报告分析模型、医疗凭证识别模型、医疗历史数据挖掘模型等等。
本实施例将医疗凭证识别模型作为需要进行质量评测的智能化模型。
步骤204.根据所确定的智能化模型获取样本并对样本进行打标处理。
本实施例所确定的智能化模型为医疗凭证识别模型，医疗凭证识别模型需要输入的样本包括入院诊断、出院证明、处方笺、费用清单等等医疗凭证。在确定智能化模型为医疗凭证识别模型后，需要人工从线上/线下数据库获取入院诊断、出院证明、处方笺、费用清单等医疗凭证作为医疗凭证识别模型(即所确定的智能化模型)的输入样本。
在样本获取得到后，并不是直接放入样本集中。而是需要先人工对每一个获取到的样本进行打标处理。本实施例中的打标处理就是对样本设置正确的分类识别答案。例如，某一个医疗凭证(即样本)实际上是出院证明，那么将这个医疗凭证的分类识别结果设置成出院证明。
步骤206.将完成打标处理的样本存入初始样本集。
一个样本打标处理完成后就将其存入一个样本集中，当全部的样本都打标处理完成并存入该样本集后，那么初始样本集就形成了。初始样本集中不同类型的样本数量尽可能设置一样多。
本实施例的智能化模型的质量评测方法，如图1所示，还包括：
步骤104.将初始样本集中的样本依次输入打分模型并通过打分模型给每一样本确定一初始样本分值。
如图3所示，该步骤具体包括：
步骤302.确定需要进行质量评测的智能化模型，将智能化模型作为打分模型。
本步骤中的智能化模型与步骤202中所确定的智能化模型相同，由于本实施例的步骤202所确定的智能化模型为医疗凭证识别模型，所以本步骤中的智能化模型也是医疗凭证识别模型。此时，将医疗凭证识别模型作为打分模型。
步骤304.将初始样本集中的样本输入打分模型，通过打分模型获取样本判定正确的概率。
当一个样本输入打分模型后，打分模型会自动输出该样本分入某一类的概率。例如，将一个医疗凭证输入医疗凭证识别模型，医疗凭证识别模型会自动输出将该医疗凭证分入入院诊断这一类的概率、分入出院证明这一类的概率、分入处方笺这一类的概率以及分入费用清单这一类的概率。该技术为现有技术。
假设医疗凭证总共就只有入院诊断、出院证明、处方笺、费用清单这4类。本实施例将某一医疗凭证输入医疗凭证识别模型后，医疗凭证识别模型自动输出：将该医疗凭证分入入院诊断的概率为21％，将该医疗凭证分入出院证明的概率为33％，将该医疗凭证分入处方笺的概率为42％，将该医疗凭证分入费用清单的概率为4％。
因为初始样本集中的样本事先已经打标处理过了，所以此时能够知道该医疗凭证实际是属于哪一类。假设该医疗凭证实际属于处方笺，那么将医疗凭证分入处方笺这一类是判定正确的，而将医疗凭证分入处方笺这一类的概率为42％，所以此时能够得到样本判定正确的概率为42％。
步骤306.通过样本判定正确的概率得到样本的初始样本分值。
本实施例将样本判定正确的概率的百分号去掉，以作为样本的初始样本分值。例如，当样本判定正确的概率为42％时，该样本的初始样本分值为42。
假设本实施例中的初始样本集中有15个样本，这15个样本按存入初始样本集的先后顺序进行排序。例如，1号样本(入院诊断)、2号样本(入院诊断)、3号样本(入院诊断)、4号样本(处方笺)、5号样本(处方笺)、6号样本(处方笺)、7号样本(处方笺)、8号样本(出院证明)、9号样本(出院证明)、10号样本(出院证明)、11号样本(出院证明)、12号样本(费用清单)、13号样本(费用清单)、14号样本(费用清单)、15号样本(费用清单)。
本实施例先将1号样本(入院诊断)输入打分模型(即医疗凭证识别模型)，得到1号样本(入院诊断)的样本判定正确的概率为85％，进而得到1号样本(入院诊断)的初始样本分值为85。接着将2号样本(入院诊断)输入打分模型，得到2号样本(入院诊断)的初始样本分值为49。再接着将3号样本(入院诊断)输入打分模型，得到3号样本(入院诊断)的初始样本分值为77。再然后不断重复步骤304和步骤306，得到4号样本(处方笺)的初始样本分值为92，5号样本(处方笺)的初始样本分值为40，6号样本(处方笺)的初始样本分值为75，7号样本(处方笺)的初始样本分值为88，8号样本(出院证明)的初始样本分值为90，9号样本(出院证明)的初始样本分值为52，10号样本(出院证明)的初始样本分值为73，11号样本(出院证明)的初始样本分值为87，12号样本(费用清单)的初始样本分值为86，13号样本(费用清单)的初始样本分值为55，14号样本(费用清单)的初始样本分值为72，15号样本(费用清单)的初始样本分值为93。
即初始样本集中15个样本的初始样本分值别为：85，49，77，92，40，75，88，90，52，73，87，86，55，72，93。
另外，如图4所示，步骤104还包括：
步骤402.确定打分模型是否更新版本，当打分模型更新版本时，重新将初始样本集中的样本依次输入打分模型并通过打分模型给每一样本确定一初始样本分值。
打分模型(本实施例中为医疗凭证识别模型)的版本并不是一直不变的，打分模型的版本很有可能每隔一段时间就更新一次，当打分模型的版本更新后，就需要重新将初始样本集中的样本输入打分模型以得到初始样本集中每一样本的初始样本分值。
例如，当本实施例中的医疗凭证识别模型第1次更新后，初始样本集中的样本就会重新输入医疗凭证识别模以得到每个样本的初始样本分值。具体的，此时初始样本集中15个样本的初始样本分值别为：83，47，75，90，38，73，86，88，50，71，85，84，53，70，91。
当本实施例中的医疗凭证识别模型第2次更新后，初始样本集中的样本又会重新输入医疗凭证识别模以得到每个样本的初始样本分值。具体的，此时初始样本集中15个样本的初始样本分值别为：82，46，74，89，37，72，85，87，49，70，84，83，52，69，90。
当本实施例中的医疗凭证识别模型第3次更新后，初始样本集中的样本再次重新输入医疗凭证识别模以得到每个样本的初始样本分值。具体的，此时初始样本集中15个样本的初始样本分值别为：83，47，75，90，38，73，86，88，50，71，85，84，53，70，91。
打分模型的版本每更新一次，就会新得到一组初始样本分值，假设本实施例中的打分模型的版本仅更新了3次，那么此时初始样本分值一共有4组。
本实施例的智能化模型的质量评测方法，如图1所示，还包括：
步骤106.通过初始样本分值计算每一样本的最终样本分值。
每一样本的最终样本分值具体通过以下公式计算得到：
y表示一个样本的最终样本分值，N为归一化函数，n为一个样本的初始样本分值的总个数，f(xi)为一个样本的第i个初始样本分值，βi为第i个初始样本分值的权重值，i为初始样本分值的序号。
而βi的值具体通过以下公式计算得到：
a为经验常量，a可以是-0.1，也可以是-1。假设本实施例中a是-1。i越大，βi的值就越大，即一组初始样本分值中，越后面的初始样本分值(即通过越新版本的打分模型获取得到的初始样本分值)的权重越大。
本实施例中，对于初始样本集中的第1个样本，因为打分模型的版本总共更新了3次，所以第1个样本总共有4个初始样本分值，即n的值为4。其中，4个初始样本分值分别为：85，83，82，83。当i为1时，β1为0.73，f(x1)为85；当i为2时，β2为0.88，f(x2)为83；当i为3时，β3为0.95，f(x3)为82；当i为4时，β4为0.98，f(x4)为83。最后，通过上述公式可以计算得到第1个样本的最终样本分值为0.74。
本实施例中，对于初始样本集中的第2个样本，因为打分模型的版本总共更新了3次，所以第2个样本总共有4个初始样本分值，即n的值为4。其中，4个初始样本分值分别为：49，47，46，47。当i为1时，β1为0.73，f(x1)为49；当i为2时，β2为0.88，f(x2)为47；当i为3时，β3为0.95，f(x3)为46；当i为4时，β4为0.98，f(x4)为47。最后，通过上述公式可以计算得到第2个样本的最终样本分值为0.42。
本实施例中，对于初始样本集中的第3个样本，因为打分模型的版本总共更新了3次，所以第3个样本总共有4个初始样本分值，即n的值为4。其中，4个初始样本分值分别为：77，75，74，75。当i为1时，β1为0.73，f(x1)为77；当i为2时，β2为0.88，f(x2)为75；当i为3时，β3为0.95，f(x3)为74；当i为4时，β4为0.98，f(x4)为75。最后，通过上述公式可以计算得到第3个样本的最终样本分值为0.67。
本实施例中，对于初始样本集中的第4个样本，因为打分模型的版本总共更新了3次，所以第3个样本总共有4个初始样本分值，即n的值为4。其中，4个初始样本分值分别为：92，90，89，90。当i为1时，β1为0.73，f(x1)为92；当i为2时，β2为0.88，f(x2)为90；当i为3时，β3为0.95，f(x3)为89；当i为4时，β4为0.98，f(x4)为90。最后，通过上述公式可以计算得到第4个样本的最终样本分值为0.80。
如此不断循环，最终通过上述公式计算得到第5个样本的最终样本分值为0.34，第6个样本的最终样本分值为0.65，第7个样本的最终样本分值为0.76，第8个样本的最终样本分值为0.78，第9个样本的最终样本分值为0.44，第10个样本的最终样本分值为0.63，第11个样本的最终样本分值为0.72，第12个样本的最终样本分值为0.75，第13个样本的最终样本分值为0.47，第14个样本的最终样本分值为0.62，第15个样本的最终样本分值为0.81。
即本实施例中初始样本集中15个样本的最终样本分值为：0.74(1号样本)；0.42(2号样本)；0.67(3号样本)；0.80(4号样本)；0.34(5号样本)；0.65(6号样本)；0.76(7号样本)；0.78(8号样本)；0.44(9号样本)；0.63(10号样本)；0.72(11号样本)；0.75(12号样本)；0.47(13号样本)；0.62(14号样本)；0.81(15号样本)。
本实施例的智能化模型的质量评测方法，如图1所示，还包括：
步骤108.通过最终样本分值对初始样本集中的样本进行分类。
本实施例需要对初始样本集中的样本分类进行，而样本是与其最终样本分值一一对应的，最终样本分值如何分类，那么样本就如何分类。
如图5所示，本步骤具体包括：
步骤502.确定分类模型，并设置样本分类个数。
本实施例通过分类模型对最终样本分值进行分类。设置样本的分类个数可以是3个。而分类模型具体可以是：
L表示最终样本分值的分类结果，x为最终样本分值，μ为第一分类阈值，v为第二分类阈值，ye表示最终样本分值属于第一类，yn表示最终样本分值属于第二类，yh表示最终样本分值属于第三类。
因为本实例设置样本的分类个数为3个，所以最终样本分值的分类个数也是3个。那么，分类阈值需要设置两个：第一分类阈值μ和第二分类阈值v。本实施例中，第一分类阈值μ具体可以是0.80，第二分类阈值v具体可以是0.60。
当最终样本分值x的值大于等于第一分类阈值μ时，表示最终样本分值分入第一类ye，分入该类的最终样本分值对应的样本是比较容易识别的，即识别难度较低。当最终样本分值x的值大于等于第二分类阈值v且小于第一分类阈值μ时，表示最终样本分值分入第二类yn，分入该类的最终样本分值对应的样本的识别难度是比较正常的。当最终样本分值x的值小于第二分类阈值v时，表示最终样本分值分入第三类yh，分入该类的最终样本分值对应的样本是比较难识别的，即识别难度较高。
步骤504.将最终样本分值输入分类模型，通过分类模型将最终样本分值分成M类，M为样本分类个数。
本实施例将初始样本集中15个样本的最终样本分值输入分类模型后，得到的分类结果为：0.80(4号样本)，0.81(15号样本)属于第一类ye。
0.74(1号样本)，0.67(3号样本)，0.65(6号样本)，0.76(7号样本)；0.78(8号样本)，0.63(10号样本)，0.72(11号样本)，0.75(12号样本)，0.62(14号样本)属于第二类yn。
0.42(2号样本)，0.34(5号样本)，0.44(9号样本)，0.47(13号样本)属于第三类yh。
步骤506.根据最终样本分值的分类结果确定初始样本集中的样本分类。
本实施例根据最终样本分值的分类结果来对样本进行分类。
第一类为：4号样本(处方笺)、15号样本(费用清单)。
第二类为：1号样本(入院诊断)、3号样本(入院诊断)、6号样本(处方笺)、7号样本(处方笺)、8号样本(出院证明)、10号样本(出院证明)、11号样本(出院证明)、12号样本(费用清单)、14号样本(费用清单)。
第三类为：2号样本(入院诊断)、5号样本(处方笺)、9号样本(出院证明)、13号样本(费用清单)。
假设初始样本集中还有两个样本：16号样本(入院诊断)和17号样本(出院证明)，且这两个样本是分入第一类的，那么第一类就变为：4号样本(处方笺)、15号样本(费用清单)、16号样本(入院诊断)、17号样本(出院证明)。
本实施例的智能化模型的质量评测方法，如图1所示，还包括：
步骤110.根据分类后的样本形成最终样本集。
如图6所示，本步骤具体包括：
步骤602.结合样本类型从每一类样本中获取相同数量的样本。
假设在每一类样本中，每一个样本类型的样本都需要获取至少1个样本。
由于第一类样本中，每一个样本类型均只有一个样本，所以从第一类样本中获取4个样本：4号样本、15号样本、16号样本、17号样本。
由于第一类样本只获取了4个样本，所以第二类也只获取4个样本，且每一个样本的样本类型需不同。例如，从第二类样本中获取4个样本：1号样本、6号样本、8号样本、12号样本。
由于第一类样本只获取了4个样本，所以第三类也只获取4个样本，且每一个样本的样本类型需不同。例如，从第三类样本中获取4个样本：2号样本、5号样本、9号样本、13号样本。
步骤604.将所获取的样本存入最终样本集。
本实施例最后将所获取的样本，即4号样本、15号样本、16号样本、17号样本、1号样本、6号样本、8号样本、12号样本、2号样本、5号样本、9号样本、13号样本存入样本集以得到最终样本集。
本实施例的智能化模型的质量评测方法，如图1所示，还包括：
步骤112.通过最终样本集中的样本对智能化模型进行质量评测。
最后，本实施例通过最终样本集中的样本(即4号样本、15号样本、16号样本、17号样本、1号样本、6号样本、8号样本、12号样本、2号样本、5号样本、9号样本、13号样本)对本实施例的智能化模型(即医疗凭证识别模型)进行质量评测。
本实施例的智能化模型的质量评测方法，通过先形成初始样本集，然后通过打分模型给初始样本集中每一样本确定一初始样本分值，再通过初始样本分值计算每一样本的最终样本分值，然后通过最终样本分值对初始样本集中的样本进行分类，最后根据分类后的样本形成最终样本集的方式对质量评测样本进行优化，通过优化后的质量评测样本来对智能化模型进行质量评测，使得智能化模型的质量评测结果较为准确性，进而不会影响实际使用效果。
实施例2：
一种智能化模型的质量评测装置，如图7所示，包括：第一样本集形成模块，第一分值确定模块，第二分值确定模块，样本分类模块，第二样本集形成模块和质量评测模块。
第一样本集形成模块用于形成初始样本集。第一分值确定模块用于将初始样本集中的样本依次输入打分模型并通过打分模型给每一样本确定一初始样本分值。第二分值确定模块用于通过初始样本分值计算每一样本的最终样本分值。样本分类模块用于通过最终样本分值对初始样本集中的样本进行分类。第二样本集形成模块用于根据分类后的样本形成最终样本集。质量评测模块用于通过最终样本集中的样本对智能化模型进行质量评测。
其中，第一样本集形成模块包括：智能化模型确定单元，样本获取处理单元和初始样本集形成单元。智能化模型确定单元用于确定需要进行质量评测的智能化模型。样本获取处理单元用于根据所确定的智能化模型获取样本并对样本进行打标处理。初始样本集形成单元用于将完成打标处理的样本存入初始样本集。
第一分值确定模块包括：打分模型确定单元，概率获取单元和初始样本分值获取单元。打分模型确定单元用于确定需要进行质量评测的智能化模型，将智能化模型作为打分模型。概率获取单元用于将初始样本集中的样本输入打分模型，通过打分模型获取样本判定正确的概率。初始样本分值获取单元用于通过样本判定正确的概率得到样本的初始样本分值。
第一分值确定模块还包括：版本更新确定单元。版本更新确定单元用于确定打分模型是否更新版本，当打分模型更新版本时，重新将初始样本集中的样本依次输入打分模型并通过打分模型给每一样本确定一初始样本分值。
第二分值确定模块具体通过以下公式计算得到：
y表示一个样本的最终样本分值，N为归一化函数，n为一个样本的初始样本分值的总个数，f(xi)为一个样本的第i个初始样本分值，βi为第i个初始样本分值的权重值，i为初始样本分值的序号。
βi的值具体通过以下公式计算得到：
a为经验常量。
样本分类模块包括：分类模型确定单元，分值分类单元和样本分类单元。分类模型确定单元用于确定分类模型，并设置样本分类个数。分值分类单元用于将最终样本分值输入分类模型，通过分类模型将最终样本分值分成M类，M为样本分类个数。样本分类单元用于根据最终样本分值的分类结果确定初始样本集中的样本分类。
分类模型具体为：
L表示最终样本分值的分类结果，x为最终样本分值，μ为第一分类阈值，v为第二分类阈值，ye表示最终样本分值属于第一类，yn表示最终样本分值属于第二类，yh表示最终样本分值属于第三类。
第二样本集形成模块包括：样本获取单元和最终样本集形成单元。样本获取单元用于结合样本类型从每一类样本中获取相同数量的样本。最终样本集形成单元用于将所获取的样本存入最终样本集。
本实施例的智能化模型的质量评测装置，通过先形成初始样本集，然后通过打分模型给初始样本集中每一样本确定一初始样本分值，再通过初始样本分值计算每一样本的最终样本分值，然后通过最终样本分值对初始样本集中的样本进行分类，最后根据分类后的样本形成最终样本集的方式对质量评测样本进行优化，通过优化后的质量评测样本来对智能化模型进行质量评测，使得智能化模型的质量评测结果较为准确性，进而不会影响实际使用效果。
实施例3：
一种电子设备，如图8所示，包括：存储器和处理器。存储器用于存储程序。处理器用于运行存储器中存储的程序，以执行实施例1中的智能化模型的质量评测方法。
具体的，本实施例的电子设备可以包括：至少一个处理器、至少一个网络接口、用户接口、存储器以及至少一个通信总线。
其中，通信总线可用于实现上述各个部件的连接通信。
用户接口可以包括按键，可选用户接口还可以包括标准的有线接口、无线接口。
网络接口可以但不局限于包括蓝牙模块、NFC模块、Wi-Fi模块等。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行路由设备的各种功能和处理数据。可选的，处理器可以采用DSP、FPGA、PLA中的至少一种硬件形式来实现。处理器可集成CPU、GPU和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块芯片进行实现。
存储器可以包括RAM，也可以包括ROM。可选的，该存储器包括非瞬时性计算机可读介质。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器可选的还可以是至少一个位于远离前述处理器的存储装置。
实施例4：
一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现实施例1中的智能化模型的质量评测方法。实施例3中的电子设备的各组成部件如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在本实施例的计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本说明书实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(Digital Versatile Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。在不冲突的情况下，本实施例和实施方案中的技术特征可以任意组合。
以上所述的实施例仅仅是本说明书的优选实施例方式进行描述，并非对本说明书的范围进行限定，在不脱离本说明书的设计精神的前提下，本领域普通技术人员对本说明书的技术方案作出的各种变形及改进，均应落入本说明书的权利要求书确定的保护范围内。

Claims (20)

1.一种智能化模型的质量评测方法，包括：
形成初始样本集；
将所述初始样本集中的样本依次输入打分模型并通过所述打分模型给每一所述样本确定一初始样本分值；
通过所述初始样本分值计算每一所述样本的最终样本分值；
通过所述最终样本分值对所述初始样本集中的样本进行分类；
根据分类后的样本形成最终样本集；
通过所述最终样本集中的样本对所述智能化模型进行质量评测。
2.根据权利要求1所述的质量评测方法，形成初始样本集具体包括：
确定需要进行质量评测的智能化模型；
根据所确定的智能化模型获取样本并对所述样本进行打标处理；
将完成打标处理的样本存入初始样本集。
3.根据权利要求1所述的质量评测方法，将所述初始样本集中的样本依次输入打分模型并通过所述打分模型给每一所述样本确定一初始样本分值具体包括：
确定需要进行质量评测的智能化模型，将所述智能化模型作为打分模型；
将所述初始样本集中的样本输入打分模型，通过所述打分模型获取样本判定正确的概率；
通过样本判定正确的概率得到所述样本的初始样本分值。
4.根据权利要求3所述的质量评测方法，还包括：
确定所述打分模型是否更新版本，当所述打分模型更新版本时，重新将所述初始样本集中的样本依次输入打分模型并通过所述打分模型给每一所述样本确定一初始样本分值。
5.根据权利要求4所述的质量评测方法，每一样本的最终样本分值具体通过以下公式计算得到：
y表示一个样本的最终样本分值，N为归一化函数，n为一个样本的初始样本分值的总个数，f(xi)为一个样本的第i个初始样本分值，βi为第i个初始样本分值的权重值，i为初始样本分值的序号。
6.根据权利要求5所述的质量评测方法，βi的值具体通过以下公式计算得到：
a为经验常量。
7.根据权利要求1所述的质量评测方法，通过所述最终样本分值对所述初始样本集中的样本进行分类具体包括：
确定分类模型，并设置样本分类个数；
将最终样本分值输入分类模型，通过所述分类模型将最终样本分值分成M类，M为样本分类个数；
根据最终样本分值的分类结果确定所述初始样本集中的样本分类。
8.根据权利要求7所述的质量评测方法，所述分类模型具体为：
L表示最终样本分值的分类结果，x为最终样本分值，μ为第一分类阈值，v为第二分类阈值，ye表示最终样本分值属于第一类，yn表示最终样本分值属于第二类，yh表示最终样本分值属于第三类。
9.根据权利要求7所述的质量评测方法，根据分类后的样本形成最终样本集具体包括：
结合样本类型从每一类样本中获取相同数量的样本；
将所获取的样本存入最终样本集。
10.一种智能化模型的质量评测装置，包括：
第一样本集形成模块，用于形成初始样本集；
第一分值确定模块，用于将所述初始样本集中的样本依次输入打分模型并通过所述打分模型给每一所述样本确定一初始样本分值；
第二分值确定模块，用于通过所述初始样本分值计算每一所述样本的最终样本分值；
样本分类模块，用于通过所述最终样本分值对所述初始样本集中的样本进行分类；
第二样本集形成模块，用于根据分类后的样本形成最终样本集；
质量评测模块，用于通过所述最终样本集中的样本对所述智能化模型进行质量评测。
11.根据权利要求10所述的质量评测装置，所述第一样本集形成模块包括：
智能化模型确定单元，用于确定需要进行质量评测的智能化模型；
样本获取处理单元，用于根据所确定的智能化模型获取样本并对所述样本进行打标处理；
初始样本集形成单元，用于将完成打标处理的样本存入初始样本集。
12.根据权利要求10所述的质量评测装置，所述第一分值确定模块包括：
打分模型确定单元，用于确定需要进行质量评测的智能化模型，将所述智能化模型作为打分模型；
概率获取单元，用于将所述初始样本集中的样本输入打分模型，通过所述打分模型获取样本判定正确的概率；
初始样本分值获取单元，用于通过样本判定正确的概率得到所述样本的初始样本分值。
13.根据权利要求12所述的质量评测装置，所述第一分值确定模块还包括：
版本更新确定单元，用于确定所述打分模型是否更新版本，当所述打分模型更新版本时，重新将所述初始样本集中的样本依次输入打分模型并通过所述打分模型给每一所述样本确定一初始样本分值。
14.根据权利要求13所述的质量评测装置，所述第二分值确定模块具体通过以下公式计算得到：
y表示一个样本的最终样本分值，N为归一化函数，n为一个样本的初始样本分值的总个数，f(xi)为一个样本的第i个初始样本分值，βi为第i个初始样本分值的权重值，i为初始样本分值的序号。
15.根据权利要求14所述的质量评测装置，βi的值具体通过以下公式计算得到：
a为经验常量。
16.根据权利要求10所述的质量评测装置，所述样本分类模块包括：
分类模型确定单元，用于确定分类模型，并设置样本分类个数；
分值分类单元，用于将最终样本分值输入分类模型，通过所述分类模型将最终样本分值分成M类，M为样本分类个数；
样本分类单元，用于根据最终样本分值的分类结果确定所述初始样本集中的样本分类。
17.根据权利要求16所述的质量评测装置，所述分类模型具体为：
L表示最终样本分值的分类结果，x为最终样本分值，μ为第一分类阈值，v为第二分类阈值，ye表示最终样本分值属于第一类，yn表示最终样本分值属于第二类，yh表示最终样本分值属于第三类。
18.根据权利要求16所述的质量评测装置，所述第二样本集形成模块包括：
样本获取单元，用于结合样本类型从每一类样本中获取相同数量的样本；
最终样本集形成单元，用于将所获取的样本存入最终样本集。
19.一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行权利要求1-9中任意一权利要求所述的质量评测方法。
20.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现权利要求1-9中任意一权利要求所述的质量评测方法。
CN202311296163.4A 2023-10-08 2023-10-08 一种智能化模型的质量评测方法及装置 Pending CN117349728A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311296163.4A CN117349728A (zh) 2023-10-08 2023-10-08 一种智能化模型的质量评测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311296163.4A CN117349728A (zh) 2023-10-08 2023-10-08 一种智能化模型的质量评测方法及装置

Publications (1)

Publication Number Publication Date
CN117349728A true CN117349728A (zh) 2024-01-05

Family

ID=89364372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311296163.4A Pending CN117349728A (zh) 2023-10-08 2023-10-08 一种智能化模型的质量评测方法及装置

Country Status (1)

Country Link
CN (1) CN117349728A (zh)

Similar Documents

Publication Publication Date Title
CN110009174B (zh) 风险识别模型训练方法、装置及服务器
WO2017143919A1 (zh) 一种建立数据识别模型的方法及装置
CN111507831A (zh) 信贷风险自动评估方法和装置
CN110689438A (zh) 企业类金融风险评分方法、装置、计算机设备及存储介质
CN110246031A (zh) 企业信用的评估方法、***、设备及存储介质
CN113011973B (zh) 基于智能合约数据湖的金融交易监管模型的方法及设备
CN105931068A (zh) 一种持卡人消费画像的生成方法及装置
CN107633030A (zh) 基于数据模型的信用评估方法及装置
CN111583012B (zh) 融合文本信息的信用债发债主体违约风险评估方法
CN110033284A (zh) 房源验真方法、装置、设备及存储介质
CN107633455A (zh) 基于数据模型的信用评估方法及装置
CN111882420A (zh) 响应率的生成方法、营销方法、模型训练方法及装置
CN111275338A (zh) 一种企业欺诈行为的判定方法、装置、设备及存储介质
CN112990989B (zh) 价值预测模型输入数据生成方法、装置、设备和介质
CN117132383A (zh) 一种信贷数据处理方法、装置、设备及可读存储介质
CN116821759A (zh) 类别标签的识别预测方法、装置和处理器及电子设备
CN110335145A (zh) 一种影响因素动态展示方法、装置、电子设备及存储介质
CN112926989B (zh) 一种基于多视图集成学习的银行贷款风险评估方法及设备
CN114612239A (zh) 基于算法、大数据、人工智能的股票舆情监测和风控***
CN117349728A (zh) 一种智能化模型的质量评测方法及装置
TW201539217A (zh) 文件分析系統、文件分析方法、以及文件分析程式
CN114092216A (zh) 企业信贷评级方法、装置、计算机设备和存储介质
CN113706258A (zh) 基于组合模型的产品推荐方法、装置、设备及存储介质
CN112001381A (zh) 一种智能预填单审核方法及装置
CN118037430A (zh) 用户信贷违约的预测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination