CN115422028A - 标签画像体系的可信度评估方法、装置、电子设备及介质 - Google Patents
标签画像体系的可信度评估方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN115422028A CN115422028A CN202211088236.6A CN202211088236A CN115422028A CN 115422028 A CN115422028 A CN 115422028A CN 202211088236 A CN202211088236 A CN 202211088236A CN 115422028 A CN115422028 A CN 115422028A
- Authority
- CN
- China
- Prior art keywords
- label
- data
- service
- evaluated
- service type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000004088 simulation Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008774 maternal effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/008—Reliability or availability analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/865—Monitoring of software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种标签画像体系的可信度评估方法、装置、电子设备及介质。包括:获取待评估标签画像体系;其中,待评估标签画像体系中包括多个业务类型所对应的业务数据,业务数据中包括业务基础数据以及相应的标签数据;根据各业务数据所对应的标签数据以及相应的标签配置预设规则,更新待评估标签画像体系中的业务数据;基于预先训练得到与各业务类型相对应的标签预测模型,以及更新后的业务数据,确定相应业务类型所对应的加工质量系数;基于各业务类型所对应的加工质量系数以及与待评估标签画像体系所对应的模拟准确率,确定待评估标签画像体系的可信度评估属性。实现了对标签画像体系的可信度评估,进而实现对该体系中数据的质量监测。
Description
技术领域
本发明涉及可信度评估技术领域,尤其涉及一种标签画像体系的可信度评估方法、装置、电子设备及介质。
背景技术
用户画像是企业实现用户个性化分析,辅助精细化营运决策的有效技术手段。如今越来越多的行业开始重视标签画像体系的应用。标签画像体系是对“一个客户的所有属性和标签”的整体描述,标签采用自然语言的方式描述业务对象特征,是对业务对象特征的符号化表示。
现有的标签画像体系中的数据质量评价是针对用户标签画像体系中的事实、模型、预测标签目前业界主流的分析验证方法是通过准确率的高低来判定数据的质量。
但是由于不同行业有不同的行业背景、应用场景和用户需求,因此不同行业的用户画像不能同一而论。所以,标签画像体系准确率的高低不能评价数据在实际应用在不同的行业背景、应用场景和用户需求时的数据质量,无法实现对实际应用过程中的数据质量的监测。
发明内容
本发明提供了一种标签画像体系的可信度评估方法、装置、电子设备及介质,以解决目前的信用评估方式规则不清晰、主观性较强而导致的信用评估准确性低的技术问题。
根据本发明的一方面,提供了一种标签画像体系的可信度评估方法,包括:
获取待评估标签画像体系;其中,待评估标签画像体系中包括多个业务类型所对应的业务数据,业务数据中包括业务基础数据以及相应的标签数据;
根据各业务数据所对应的标签数据以及相应的标签配置预设规则,更新待评估标签画像体系中的业务数据;
基于预先训练得到与各业务类型相对应的标签预测模型,以及更新后的业务数据,确定相应业务类型所对应的加工质量系数;
基于各业务类型所对应的加工质量系数以及与待评估标签画像体系所对应的模拟准确率,确定待评估标签画像体系的可信度评估属性。
根据本发明的另一方面,提供了一种标签画像体系的可信度评估装置,包括:
标签画像体系获取模块,用于获取待评估标签画像体系;其中,待评估标签画像体系中包括多个业务类型所对应的业务数据,业务数据中包括业务基础数据以及相应的标签数据;
业务数据更新模块,用于根据各业务数据所对应的标签数据以及相应的标签配置预设规则,更新待评估标签画像体系中的业务数据;
加工质量系数确认模块,用于基于预先训练得到与各业务类型相对应的标签预测模型,以及更新后的业务数据,确定相应业务类型所对应的加工质量系数;
可信度评估模块,用于基于各业务类型所对应的加工质量系数以及与待评估标签画像体系所对应的模拟准确率,确定待评估标签画像体系的可信度评估属性。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的一种标签画像体系的可信度评估方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种标签画像体系的可信度评估方法。
本发明实施例的技术方案,通过计算数据在应用于实际的场景和/或需求时的可信度评估结果,解决了现有的技术中无法对实际应用在不同的行业背景、应用场景和用户需求时的数据质量监测的问题,实现对实际应用过程中的数据质量的监测。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供了一种标签画像体系的可信度评估方法的流程图;
图2是本发明实施例三提供的一种标签画像体系的可信度评估装置的结构示意图;
图3是实现本发明实施例的一种标签画像体系的可信度评估方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是本发明实施例一提供了一种标签画像体系的可信度评估方法的流程图,本实施例可适用于实际在不同行业背景、场景和应用需求需要对标签画像体系进行数据质量可信度评估的情况,该方法可以由标签画像体系的可信度评估装置来执行,该标签画像体系的可信度评估装置可以采用硬件和/或软件的形式实现,该标签画像体系的可信度评估装置可集成在计算机设备中。如图1所示,该方法包括:
S110、获取待评估标签画像体系;其中,待评估标签画像体系中包括多个业务类型所对应的业务数据,业务数据中包括业务基础数据以及相应的标签数据。
其中,标签画像体系是作为网络标签的一种深化应用方式的体系,用户画像是以某种用户特征的符号表示观察和描述用户的某个角度,它是基于用户的特征数据、行为数据和消费数据进行统计得到的,包含了用户的各个维度。常见的维度包括事实、模型和预测标签的维度。待评估标签画像体系是需要进行下一步评估的标签画像体系。业务类型是各行业中需要处理的实务的不同所进行的种类划分。业务数据可以包括用户数据、行为数据或者商品数据等各种可以提供给业务使用的数据。业务基础数据包括用户数据、行为数据或者商品数据等可以提供给业务使用的基础数据。标签数据可以是用来描述业务实体特征的数据。通过标签可以有效扩充业务实体的分析角度,且通过对不同标签的简单操作,便可进行数据筛选和分析。具体的,待评估标签画像体系中包括多个业务类型所对应的业务数据可以一个需要进行评估的标签画像体系可能是具有多种不同的业务类型,根据不同的业务类型都有不同的业务数据。业务数据包括业务基础数据以及相对应的标签数据,其中,业务基础数据包括但不限于用户信息、用户使用业务的信息、业务的基础信息等。这些业务基础信息相对应的标签数据也在业务数据中。示例性的,一个需要进行质量体系中具有多个业务类型所对应的业务数据可以是观看时长类的时长数据、点击数据等数据。使用时长数据、点击数据等没有经过标签处理的数据可以属于业务基础数据。业务数据中包括的业务基础数据相应的标签数据可以是观看时长数据较长的业务基础数据被“打”上“喜爱观看视频”的标签,这个“喜爱观看视频”的标签就属于观看时长类业务基础数据中相对应的标签数据。
S120、根据各业务数据所对应的标签数据以及相应的标签配置预设规则,更新待评估标签画像体系中的业务数据。
其中,预设规则可以是预先标定的用于确认是否属于设定的标签类型、业务数据等的规则。具体的,配置预设规则是用来判断标签数据、业务基础数据等是否符合其数据应有的类型的规则。配置预设规则可以包括结构数据的规则和非结构数据的规则。可选的,结构数据的规则可以包括字节长度、格式是否与标签数据应有的字节长度、格式一致等。非结构数据的规则可以通过是否符合实际的数据进行设定规则。根据预设规则判断后,业标签画像体系中的业务数据将会更新。示例性的,一个业务数据在常规情况下只能处于a、b、c三种数据类型,那么该业务数据对应的预设规则可以是只能a、b、c三种类型的数据范围内进行筛选。或者,标签数据应该为用户的年龄时,如果出现120岁这样的数据按照预设的规则可以进行剔除。
通过这样的预设规则来更新和/或替代原有的业务数据。
进一步的,所述根据各业务数据所对应的标签数据以及相应的标签配置预设规则,更新所述待评估标签画像体系中的业务数据,包括:
调取预先配置的与各业务类型相对应的标签预设规则;
若所述业务数据中的标签数据与相应的标签预设规则不匹配,则将所述业务数据从所述待评估标签画像体系中剔除,以更新所述待评估标签画像体系中的业务数据。
其中,标签预设规则可以是预先标定的用于确认是否属于设定的标签类型的规则。具体的,由于不同的业务类型所对应的标签画像体系不同并且侧重点也不同,导致预设规则可能根据不同的业务类型有所调整,示例性的,汽车行业的标签画像体系与母婴行业的标签画像体系存在着不同,汽车行业的标签画像体系对应的服务人群为具有购买力的成年人,而母婴行业的标签画像体系对应的服务人群为需要母婴产品的人群。因此由于市场的不同,标签画像体系也存在不同。可以这样理解,同样是48岁的成年男性,在汽车行业的标签为高度潜在客户,而在母婴行业的标签为低度潜在客户。即使是相近的业务类型也存在着侧重点的偏差,而往往标签画像体系的建立不能适应所有类型的业务。因此需要根据不同的业务类型对应不同的标签。
预设的规则可以是对标签数据值、数据值类型、数据结构类型的规则。可选的,预设规则对标签数据值的规则可以是判断是否存在超过阈值的数据或者是为空和null。预设规则对数据值类型的规则可以是判断是否符合数据值类型,例如,数据值类型应当为int类型,其他的数据值类型可以被判断为不符合的数据值类型。预设规则对数据结构类型的规则可以是判断数据结构是否符合常理或预设的数据结构变化范围。其中,一个表示用户年龄的数据为120岁,那么这个数据可以被判定为不符合常理或超出数据结构变化的范围。这样做的好处是,处理掉数据与标签的无效值,保证可信度评估结果的准确率。示例性的,如果业务数据在常规情况下只能处于a、b、c三种数据类型,该业务数据对应的预设规则可以是只能a、b、c三种类型的数据范围内,如果一个出现异常或错误的标签为d类型,那么可以剔除这个标签为d类型所对应的业务数据。
S130、基于预先训练得到与各业务类型相对应的标签预测模型,以及更新后的业务数据,确定相应业务类型所对应的加工质量系数。
其中,标签预测模型可以是在实际应用在不同的场景之前进行训练所得出的一种标签模型。加工质量系数可以是标签预测模型的数据分析过程中的数据准确性。准确性可以是指数据中记录的信息和数据是否准确,数据记录的信息是否存在异常或错误。在实际的应用过程中,预先训练可以得到各业务类型相对应的标签预测模型,此模型可以应用计算机算法根据现有的数据获得到。加工质量系数是为了检测一个标签画像体系模型的准确率而产生的系数。加工质量系数越高,标签画像体系模型的准确率就越高。根据在实际应用前获得到的标签预测模型可以通过计算与统计测试或得到加工质量系数。示例性的,加工质量系数的计算可以使用下列的方式,令加工质量系数为P,TP是模型预测值为正,并且模型输出结果也为正的数量;FP是模型预测值为否,但是模型的输出结果为正的数量;FN是模型预测值为正,但是模型的输出结果为否的数量;TN是模型预测值为否,并且模型输出结果也为否的数量。
这时,标签预测模型的加工质量系数为
进一步的,所述基于预先训练得到与各业务类型相对应的标签预测模型,以及更新后的业务数据,确定相应业务类型所对应的加工质量系数,包括:
针对各业务类型,获取与当前业务类型相对应的标签预测模型以及与所述当前业务类型相对应的业务数据;
将所述业务数据中的业务基础数据输入至所述标签预测模型中,得到与所述业务数据相对应的预测标签数据;
根据同一业务数据所对应的预测标签数据和相应的标签数据,确定与相应业务类型所对应的加工质量系数。
具体的,由于市场上运用的标签预测模型提供的选择有限,不能很好的适应各种各样行业的标签预测行为,获取到与当前业务类型相应的标签预测模型可以更好地适应当前业务,因此需要获取与当前业务相同或相近的标签预测模型。此标签预测模型具备更多的与当前业务类型相关的标签信息,所以获取当前业务类型相对应的标签预测模型以及当前业务类型所对应的业务数据。
可选的,可以将需要获得的预测标签数据的业务基础数据输入到上述的标签预测模型中,得到对应的预测标签数据。可以根据这个业务数据的预测标签数据和真实的标签数据进行计算和/或统计获得到加工质量系数。
进一步的,所述根据同一业务数据所对应的预测标签数据和相应的标签数据,确定与相应业务类型所对应的加工质量系数,包括:
对于各业务类型,获取当前业务类型相关联的各业务数据的预测标签数据和相应的标签数据;
确定所述当前业务类型中预测标签数据和标签数据相应的第一数量;
根据所述第一数量和所述当前业务类型的业务数据的总数量,确定所述当前业务类型的加工质量系数。
不同的业务类型所应用的标签画像体系模型也存在差异,因此需要确定当前的业务类型寻找与之相对的业务类型,以免存在较大的误差以及不准确的情况发生。和标签数据相应的第一数量是当前业务类型中预测标签数据和标签数据相应的数量,可以理解为,根据当前业务类型中的标签数据与预测标签数据存在相应的数据,存在相应的数据后进行统计获得到相应数据的数量,可以称为是第一数量。业务数据的总数量是预测标签模型数据中当前业务类型的业务数据的所有标签数据相对应的总数量。根据第一数量与总数量可以经过一定的数学计算获得加工质量系数。通常情况下,加工质量系数经过处理后将跟随者标签画像体系一起提供给用户。示例性的,通过第一数量与总数量相除可以得到相应的第一数量占总数量的比值。
具体的,由于不同的业务数据具有不同的数据规则,因此调取预先配置的与各业务类型相对应的标签预设规则的好处是:调用与业务类型相适配的标签预设规则来针对不同的业务数据进行相关的处理,剔除异常值,保证结果的准确性与可靠性。
具体的,将与相应的标签预设规则不匹配的数据在待评估标签画像体系中剔除以便更新待评估标签画像体系中的业务数据。
S140、基于各业务类型所对应的加工质量系数以及与待评估标签画像体系所对应的模拟准确率,确定待评估标签画像体系的可信度评估属性。
其中,模拟准确率可以是待评估标签画像体系在应用在实际的业务类型时通过计算获得的评估标签画像体系所对应的准确率。可信度评估可以是可靠性评估、功能性评估、有效性评估等各类评估。可信度评估属性可以是对标签画像体系的属性进行的评估。具体的,模拟准确率可以通过抽样匹配方法计算。可选的,模拟准确率可以使用随机抽样、分层抽样、整群抽样等方法统计和计算。根据各业务类型所对应的加工质量系数和待评估的标签画像体系所对应的模拟准确率可以通过简单计算获得可以用来评估该标签画像体系可信度的值。可以使用如下的方式对可信度进行计算,也可以通过其他的计算方法进行可信度评估。示例性的,如果正确样本标签数量n,错误样本或为空标签数量m,那么模拟准确率K的计算公式可以是:
基于此,如果待评估标签画像体系所对应的模拟准确率为K,各业务类型所对应的加工质量系数为P,那么可信度的评价得分可以通过他们之间相乘获得,根据实际需要也可以通过不同的算法获取可信度得分来获得可信度评估属性。
本实施例,通过获取待评估标签画像体系;其中,待评估标签画像体系中包括多个业务类型所对应的业务数据,业务数据中包括业务基础数据以及相应的标签数据;根据各业务数据所对应的标签数据以及相应的标签配置预设规则,更新待评估标签画像体系中的业务数据;基于预先训练得到与各业务类型相对应的标签预测模型,以及更新后的业务数据,确定相应业务类型所对应的加工质量系数;基于各业务类型所对应的加工质量系数以及与待评估标签画像体系所对应的模拟准确率,确定待评估标签画像体系的可信度评估属性的方式,实现了对不同的业务中的标签画像中的实际可信度评价,对实际应用中的标签画像体系进行质量管理,进而提高了标签画像体系的可用性,便于企业在获取到标签画像体系后做精准的策划决策。
实施例二
本实施例在上述实施例的基础上,增加了一个可选的实施方法,提供了一种可选的模拟准确率的计算方式。该方法包括:
将所述待评估标签画像体系中各业务类型部署于相应的节点上,以确定各业务类型所对应的模拟准确率。
具体的,将待评估标签画像体系中的各业务类型部署与相应的节点上,其目的是,方便确定各业务所对应的模拟准确率。由于不同的业务类型所对应的业务数据不同,因此可以将其分别部署在对应的节点上,方便对不同的业务类型进行下一步的计算。
进一步地,对于各节点,抽样获取当前节点所对应的标签结果;其中,所述标签结果包括正确标签结果或错误标签结果;
根据所述正确标签结果的正确数量和所述标签结果的标签总数量,确定与所述当前节点的当前业务类型相对应的模拟准确率。
其中,标签结果可以是与事实相符的正确标签结果和与事实不符的错误标签结果。具体的,抽样获取当前节点所对应的标签结果的好处是在保证准确率的情况下减少了计算量。正确标签结果的正确数量和错误标签结果的错误数量的和是标签结果的标签总数量。可以通过正确标签数量与标签总数量之间进行简单计算就可以得到相应的模拟准确率。示例性的,抽取5个性别标签结果,实际的数据应该是1-3号为女性,4-5号为男性,但是输出的标签结果为1-2号为女生,3-5号为男性。此时正确的标签结果就是1号、2号、4号和5号,错误的标签结果就是3号。
本实施例通过将所述待评估标签画像体系中各业务类型部署于相应的节点上,以确定各业务类型所对应的模拟准确率的方式,实现了对模拟准确率的计算,提供了在各种业务中应用的标签画像体系的准确率的计算,进而可以通过与训练过程中的标签画像体系进行比对获取可信度,为可信度评估属性提供了参考。
实施例三
图2是本发明实施例三提供的一种标签画像体系的可信度评估装置的结构示意图。如图2所示,该装置包括:
标签画像体系获取模块31,用于获取待评估标签画像体系;其中,所述待评估标签画像体系中包括多个业务类型所对应的业务数据,所述业务数据中包括业务基础数据以及相应的标签数据;
业务数据更新模块32,用于根据各业务数据所对应的标签数据以及相应的标签配置预设规则,更新所述待评估标签画像体系中的业务数据;
加工质量系数确认模块33,用于基于预先训练得到与各业务类型相对应的标签预测模型,以及更新后的业务数据,确定相应业务类型所对应的加工质量系数;
可信度评估模块34,用于基于各业务类型所对应的加工质量系数以及与所述待评估标签画像体系所对应的模拟准确率,确定所述待评估标签画像体系的可信度评估属性。
在上述各技术方案的基础上,还可以包括模拟准确率确定模块。
模拟准确率确定模块,用于将所述待评估标签画像体系中各业务类型部署于相应的节点上,以确定各业务类型所对应的模拟准确率。
在上述技术方案的基础上,模拟准确率确定模块包括标签结果抽样子模块和准确率确定子模块。
标签结果抽样子模块,用于对于各节点,抽样获取当前节点所对应的标签结果;其中,所述标签结果包括正确标签结果或错误标签结果;
准确率确定子模块,用于根据所述正确标签结果的正确数量和所述标签结果的标签总数量,确定与所述当前节点的当前业务类型相对应的模拟准确率。
在上述各技术方案的基础上,业务数据更新模块32包括预设规则调取子模块和匹配与剔除子模块。
预设规则调取子模块,用于调取预先配置的与各业务类型相对应的标签预设规则;
匹配与剔除子模块,用于若所述业务数据中的标签数据与相应的标签预设规则不匹配,则将所述业务数据从所述待评估标签画像体系中剔除,以更新所述待评估标签画像体系中的业务数据。
在上述各技术方案的基础上,加工质量系数确认模块33包括模型与数据获取子模块、标签数据获取子模块和质量系数确定子模块。
模型与数据获取子模块,用于针对各业务类型,获取与当前业务类型相对应的标签预测模型以及与所述当前业务类型相对应的业务数据;
标签数据获取子模块,用于将所述业务数据中的业务基础数据输入至所述标签预测模型中,得到与所述业务数据相对应的预测标签数据;
质量系数确定子模块,用于根据同一业务数据所对应的预测标签数据和相应的标签数据,确定与相应业务类型所对应的加工质量系数。
在上述各技术方案的基础上,质量系数确定子模块包括预测与标签获取单元、第一数量确定单元和系数确定单元。
预测与标签获取单元,用于对于各业务类型,获取当前业务类型相关联的各业务数据的预测标签数据和相应的标签数据;
第一数量确定单元,用于确定所述当前业务类型中预测标签数据和标签数据相应的第一数量;
系数确定单元,用于根据所述第一数量和所述当前业务类型的业务数据的总数量,确定所述当前业务类型的加工质量系数。
在上述各技术方案的基础上,可信度评估模块34包括第一准确率确定子模块和评估属性子模块。
第一准确率确定子模块,用于针对各业务类型,计算当前业务类型的加工质量系数和相应的模拟准确率,确定所述当前业务类型的第一准确率;
评估属性子模块,用于根据各业务类型的第一准确率,确定所述标签画像体系的可信度评估属性。
本发明实施例所提供的标签画像体系的可信度评估装置可执行本发明任意实施例所提供的标签画像体系的可信度评估方法,通过标签画像体系获取模块31,用于获取待评估标签画像体系;其中,所述待评估标签画像体系中包括多个业务类型所对应的业务数据,所述业务数据中包括业务基础数据以及相应的标签数据;业务数据更新模块32,用于根据各业务数据所对应的标签数据以及相应的标签配置预设规则,更新所述待评估标签画像体系中的业务数据;加工质量系数确认模块33,用于基于预先训练得到与各业务类型相对应的标签预测模型,以及更新后的业务数据,确定相应业务类型所对应的加工质量系数;可信度评估模块34,用于基于各业务类型所对应的加工质量系数以及与所述待评估标签画像体系所对应的模拟准确率,确定所述待评估标签画像体系的可信度评估属性。该装置实现了对不同的业务中的标签画像中的实际可信度评价,对实际应用中的标签画像体系进行质量管理,进而提高了标签画像体系的可用性,便于企业在获取到标签画像体系后做精准的策划决策。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本公开实施例的保护范围。
实施例四
图3示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图3所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如标签画像体系的可信度评估方法。
在一些实施例中,标签画像体系的可信度评估方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的标签画像体系的可信度评估的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行标签画像体系的可信度评估方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的***和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种标签画像体系的可信度评估方法,其特征在于,包括:
获取待评估标签画像体系;其中,所述待评估标签画像体系中包括多个业务类型所对应的业务数据,所述业务数据中包括业务基础数据以及相应的标签数据;
根据各业务数据所对应的标签数据以及相应的标签配置预设规则,更新所述待评估标签画像体系中的业务数据;
基于预先训练得到与各业务类型相对应的标签预测模型,以及更新后的业务数据,确定相应业务类型所对应的加工质量系数;
基于各业务类型所对应的加工质量系数以及与所述待评估标签画像体系所对应的模拟准确率,确定所述待评估标签画像体系的可信度评估属性。
2.根据权利要求1所述的方法,其特征在于,所述根据各业务数据所对应的标签数据以及相应的标签配置预设规则,更新所述待评估标签画像体系中的业务数据,包括:
调取预先配置的与各业务类型相对应的标签预设规则;
若所述业务数据中的标签数据与相应的标签预设规则不匹配,则将所述业务数据从所述待评估标签画像体系中剔除,以更新所述待评估标签画像体系中的业务数据。
3.根据权利要求1所述的方法,其特征在于,所述基于预先训练得到与各业务类型相对应的标签预测模型,以及更新后的业务数据,确定相应业务类型所对应的加工质量系数,包括:
针对各业务类型,获取与当前业务类型相对应的标签预测模型以及与所述当前业务类型相对应的业务数据;
将所述业务数据中的业务基础数据输入至所述标签预测模型中,得到与所述业务数据相对应的预测标签数据;
根据同一业务数据所对应的预测标签数据和相应的标签数据,确定与相应业务类型所对应的加工质量系数。
4.根据权利要求3所述的方法,其特征在于,所述根据同一业务数据所对应的预测标签数据和相应的标签数据,确定与相应业务类型所对应的加工质量系数,包括:
对于各业务类型,获取当前业务类型相关联的各业务数据的预测标签数据和相应的标签数据;
确定所述当前业务类型中预测标签数据和标签数据相应的第一数量;
根据所述第一数量和所述当前业务类型的业务数据的总数量,确定所述当前业务类型的加工质量系数。
5.根据权利要求1所述的方法,其特征在于,还包括:
将所述待评估标签画像体系中各业务类型部署于相应的节点上,以确定各业务类型所对应的模拟准确率。
6.根据权利要求5所述的方法,其特征在于,所述确定各业务类型所对应的准确率,包括:
对于各节点,抽样获取当前节点所对应的标签结果;其中,所述标签结果包括正确标签结果或错误标签结果;
根据所述正确标签结果的正确数量和所述标签结果的标签总数量,确定与所述当前节点的当前业务类型相对应的模拟准确率。
7.根据权利要求1所述的方法,其特征在于,所述基于各业务类型所对应的加工质量系数以及与所述待评估标签画像体系所对应的模拟准确率,确定所述待评估标签画像体系的可信度评估属性,包括:
针对各业务类型,计算当前业务类型的加工质量系数和相应的模拟准确率,确定所述当前业务类型的第一准确率;
根据各业务类型的第一准确率,确定所述标签画像体系的可信度评估属性。
8.一种标签画像体系的可信度评估装置,其特征在于,包括:
标签画像体系获取模块,用于获取待评估标签画像体系;其中,所述待评估标签画像体系中包括多个业务类型所对应的业务数据,所述业务数据中包括业务基础数据以及相应的标签数据;
业务数据更新模块,用于根据各业务数据所对应的标签数据以及相应的标签配置预设规则,更新所述待评估标签画像体系中的业务数据;
加工质量系数确认模块,用于基于预先训练得到与各业务类型相对应的标签预测模型,以及更新后的业务数据,确定相应业务类型所对应的加工质量系数;
可信度评估模块,用于基于各业务类型所对应的加工质量系数以及与所述待评估标签画像体系所对应的模拟准确率,确定所述待评估标签画像体系的可信度评估属性。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的标签画像体系的可信度评估方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的标签画像体系的可信度评估方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211088236.6A CN115422028A (zh) | 2022-09-07 | 2022-09-07 | 标签画像体系的可信度评估方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211088236.6A CN115422028A (zh) | 2022-09-07 | 2022-09-07 | 标签画像体系的可信度评估方法、装置、电子设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115422028A true CN115422028A (zh) | 2022-12-02 |
Family
ID=84202229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211088236.6A Pending CN115422028A (zh) | 2022-09-07 | 2022-09-07 | 标签画像体系的可信度评估方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115422028A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115831219A (zh) * | 2022-12-22 | 2023-03-21 | 郑州思昆生物工程有限公司 | 一种质量预测方法、装置、设备及存储介质 |
CN117710094A (zh) * | 2024-01-10 | 2024-03-15 | 江苏金融租赁股份有限公司 | 用户信用画像生成方法及装置 |
-
2022
- 2022-09-07 CN CN202211088236.6A patent/CN115422028A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115831219A (zh) * | 2022-12-22 | 2023-03-21 | 郑州思昆生物工程有限公司 | 一种质量预测方法、装置、设备及存储介质 |
CN117710094A (zh) * | 2024-01-10 | 2024-03-15 | 江苏金融租赁股份有限公司 | 用户信用画像生成方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115422028A (zh) | 标签画像体系的可信度评估方法、装置、电子设备及介质 | |
CN110688536A (zh) | 一种标签预测方法、装置、设备和存储介质 | |
CA3053894A1 (en) | Defect prediction using historical inspection data | |
CN115794916A (zh) | 多源数据融合的数据处理方法、装置、设备和存储介质 | |
CN112860672A (zh) | 标签权重的确定方法和装置 | |
CN115048352B (zh) | 一种日志字段提取方法、装置、设备和存储介质 | |
CN116578925A (zh) | 基于特征画像的行为预测方法、装置及存储介质 | |
CN115545481A (zh) | 一种风险等级确定方法、装置、电子设备及存储介质 | |
CN116401372A (zh) | 知识图谱表示学习方法、装置、电子设备及可读存储介质 | |
CN115906135A (zh) | 目标数据泄露路径的溯源方法、装置、电子设备和存储介质 | |
CN115034762A (zh) | 一种岗位推荐方法、装置、存储介质、电子设备及产品 | |
CN114722162A (zh) | 特征类别确定方法、装置、电子设备及存储介质 | |
CN114443493A (zh) | 一种测试案例生成方法、装置、电子设备和存储介质 | |
CN114116688A (zh) | 数据处理与数据质检方法、装置及可读存储介质 | |
CN115392403B (zh) | 一种异常变更检测方法、装置、设备及存储介质 | |
CN115391160B (zh) | 一种异常变更检测方法、装置、设备及存储介质 | |
CN113836291B (zh) | 数据处理方法、装置、设备和存储介质 | |
CN116467198A (zh) | 性能实测必要性确定方法、装置、电子设备和存储介质 | |
CN116167978A (zh) | 一种模型更新方法、装置、电子设备及存储介质 | |
CN117493785A (zh) | 数据处理方法、装置及电子设备 | |
CN114595339A (zh) | 一种三元组关系变化检测方法、装置、电子设备及介质 | |
CN114936802A (zh) | 一种指标***构建方法、装置、存储介质及电子设备 | |
Göbbels | Hawkes Processes in Large-Scale Service Systems: Improving service management at ING | |
CN117312288A (zh) | 数据质检方法、装置、电子设备及存储介质 | |
CN115827743A (zh) | 一种审核方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |