CN117745121A - 模型输入指标管理方法、装置、电子设备及可读存储介质 - Google Patents
模型输入指标管理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN117745121A CN117745121A CN202311552434.8A CN202311552434A CN117745121A CN 117745121 A CN117745121 A CN 117745121A CN 202311552434 A CN202311552434 A CN 202311552434A CN 117745121 A CN117745121 A CN 117745121A
- Authority
- CN
- China
- Prior art keywords
- index
- input
- model
- input index
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 abstract description 18
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 4
- 238000003032 molecular docking Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种模型输入指标管理方法、装置、电子设备及可读存储介质,涉及数据处理技术领域,包括:获取多个第一模型分别对应的第一输入指标集合;基于所有第一输入指标集合,确定不包含重复指标的目标输入指标集合;确定第一模型与目标输入指标集合中目标输入指标之间的对应关系;确定目标输入指标集合中各个目标输入指标分别对应的指标获取程序;存储对应关系和指标获取程序。能够使用户在使用模型时可以通过调用模型相应的指标获取程序自动生成相应模型入参,还能够仅通过一次指标获取程序的运行得到多个模型的模型入参,有助于节省生成模型入参的时间和计算量,有助于提升模型使用效率。
Description
技术领域
本申请实施例涉及数据处理技术领域,尤其涉及一种模型输入指标管理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着技术的不断发展,越来越多的公司和组织开始使用大量的模型处理业务中面临的实际问题,例如对于金融机构来说,其通常需要设计海量的风险检测模型对业务中可能具有金融风险的账户和事件进行识别。如何对这些海量的模型进行管理成为了亟待解决的问题。
相关技术中,通常会将海量的模型集中到管理***中,组织中的各个部门或个人通过访问管理***,查找需要使用的模型,然后根据模型的使用说明为模型编写收集和计算模型输入指标所需的代码,然后在服务器或本地消耗运算资源运行上述代码得到模型运算所需的模型入参,使用模型入参完成模型的调用工作。
但是,虽然相关技术对模型进行了集中管理,在一定程度上方便了各个部门使用海量模型,但对于模型的海量输入指标并没有进行有效管理,用户在使用模型时依然效率较低。
发明内容
本申请实施例提供一种模型输入指标管理方法、装置、电子设备及计算机可读存储介质,以解决相关技术用户在使用模型时效率较低的问题。
第一方面,本申请实施例提供了一种模型输入指标管理方法,所述方法包括:
获取多个第一模型分别对应的第一输入指标集合;
基于所述第一输入指标集合,确定目标输入指标集合;其中,所述目标输入指标集合中不包含重复指标;
确定所述第一模型与所述目标输入指标集合中目标输入指标之间的对应关系;
确定所述目标输入指标集合中各个目标输入指标分别对应的指标获取程序;
存储所述对应关系和所述指标获取程序;其中,所述对应关系和所述指标获取程序用于确定所述第一模型的模型入参。
可选地,所述获取多个第一模型分别对应的第一输入指标集合,包括:
获取所述第一模型的运算规则信息,解析所述运算规则信息,得到所述第一模型的第一输入指标,或者,获取所述第一模型的说明信息,解析所述说明信息,得到所述第一模型的第一输入指标。
可选地,所述解析所述运算规则信息,得到所述第一模型的第一输入指标,包括:
解析所述运算规则信息得到第一运算指标集合;
去除所述第一运算指标集合中的重复指标,得到第二运算指标集合;
去除所述第二运算指标集合中的运算结果指标,得到所述第一输入指标。
可选地,所述基于所述第一输入指标集合,确定目标输入指标集合,包括:
获取所述第一输入指标集合中第一输入指标的指标描述信息;
基于所述指标描述信息,从所述第一输入指标中确定重复输入指标和非重复输入指标;
基于所述重复输入指标确定对应的替代输入指标,得到由所述非重复输入指标和所述替代输入指标构成的所述目标输入指标集合。
可选地,所述基于所述指标描述信息,从所述第一输入指标中确定重复输入指标和非重复输入指标,包括:
基于所述指标描述信息提取对应第一输入指标的指标特征;
基于所述指标特征对所有所述第一输入指标进行聚类,得到指标聚类结果;
将所述指标聚类结果中多元素类群包含的第一输入指标确定为一组重复输入指标,将所述指标聚类结果中单元素类群包含的第一输入指标确定为非重复输入指标。
可选地,所述方法还包括:
确定第二模型对应的第二输入指标集合;
基于所述第二输入指标集合更新所述目标输入指标集合,得到更新后的目标输入指标集合;其中,所述更新后的目标输入指标集合中不包含重复指标。
可选地,所述方法还包括:
基于所述对应关系确定所述第一模型对应的目标输入指标;
调用所述第一输入指标对应的目标输入指标的指标获取程序,得到所述第一模型对应的目标模型入参;
将所述目标模型入参输入所述第一模型,得到所述第一模型输出的运行结果。
第二方面,本申请实施例提供了一种模型输入指标管理装置,所述装置包括:
获取模块,用于获取多个第一模型分别对应的第一输入指标集合;
指标模块,用于基于所述第一输入指标集合,确定目标输入指标集合;其中,所述目标输入指标集合中不包含重复指标;
对应关系模块,用于确定所述第一模型与所述目标输入指标集合中目标输入指标之间的对应关系;
指标获取程序模块,用于确定所述目标输入指标集合中各个目标输入指标分别对应的指标获取程序;
存储模块,用于存储所述对应关系和所述指标获取程序;其中,所述对应关系和所述指标获取程序用于确定所述第一模型的模型入参。
可选地,所述获取模块,还用于获取所述第一模型的运算规则信息,解析所述运算规则信息,得到所述第一模型的第一输入指标,或者,获取所述第一模型的说明信息,解析所述说明信息,得到所述第一模型的第一输入指标。
可选地,所述获取模块包括:
第一运算指标集合子模块,用于解析所述运算规则信息得到第一运算指标集合;
第二运算指标集合子模块,用于去除所述第一运算指标集合中的重复指标,得到第二运算指标集合;
第一输入指标子模块,用于去除所述第二运算指标集合中的运算结果指标,得到所述第一输入指标。
可选地,所述指标模块包括:
指标描述信息子模块,用于获取所述第一输入指标集合中第一输入指标的指标描述信息;
重复判别子模块,用于基于所述指标描述信息,从所述第一输入指标中确定重复输入指标和非重复输入指标;
目标输入指标集合子模块,用于基于所述重复输入指标确定对应的替代输入指标,得到由所述非重复输入指标和所述替代输入指标构成的所述目标输入指标集合。
可选地,所述重复判别子模块包括:
指标特征单元,用于基于所述指标描述信息提取对应第一输入指标的指标特征;
指标聚类结果单元,用于基于所述指标特征对所有所述第一输入指标进行聚类,得到指标聚类结果;
重复判别单元,用于将所述指标聚类结果中多元素类群包含的第一输入指标确定为一组重复输入指标,将所述指标聚类结果中单元素类群包含的第一输入指标确定为非重复输入指标。
可选地,所述装置还包括:
第二输入指标模块,用于确定第二模型对应的第二输入指标集合;
更新模块,用于基于所述第二输入指标集合更新所述目标输入指标集合,得到更新后的目标输入指标集合;其中,所述更新后的目标输入指标集合中不包含重复指标。
可选地,所述装置还包括:
目标输入指标模块,用于基于所述对应关系确定所述第一模型对应的目标输入指标;
目标模型入参模块,用于调用所述第一输入指标对应的目标输入指标的指标获取程序,得到所述第一模型对应的目标模型入参;
运行结果模块,用于将所述目标模型入参输入所述第一模型,得到所述第一模型输出的运行结果。
第三方面,本申请实施例还提供了一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现所述的模型输入指标管理方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行所述的模型输入指标管理方法。
在本申请实施例中,包括:获取多个第一模型分别对应的第一输入指标集合;基于所有第一输入指标集合,确定目标输入指标集合;其中,目标输入指标集合中不包含重复指标;确定第一模型与目标输入指标集合中目标输入指标之间的对应关系;确定目标输入指标集合中各个目标输入指标分别对应的指标获取程序;存储对应关系和指标获取程序;其中,对应关系和指标获取程序用于确定第一模型的模型入参。能够实现对多个模型的大量第一输入指标进行处理,得到不重复的目标输入指标,并生成目标输入指标对应的指标获取程序,从而能够使用户在使用模型时可以通过调用模型相应的指标获取程序自动生成相应模型入参,并且由于输入指标本质相同的模型可以对应于同一个目标输入指标,因此还能够仅通过一次指标获取程序的运行得到多个模型的模型入参,有助于节省生成模型入参的时间和计算量,有助于提升模型使用效率。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本申请实施例提供的一种模型输入指标管理方法的步骤流程图;
图2是本申请实施例提供的另一种模型输入指标管理方法的步骤流程图;
图3是本申请实施例提供的一种管理***示意图;
图4是本申请实施例提供的一种管理***运行流程示意图;
图5是本申请实施例提供的一种模型输入指标管理装置结构图;
图6是本申请实施例提供的一个实施例的电子设备的逻辑框图;
图7是本申请实施例提供的另一个实施例的电子设备的逻辑框图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
图1是本申请实施例提供的一种模型输入指标管理方法的步骤流程图,如图1所示,该方法包括:
步骤101,获取多个第一模型分别对应的第一输入指标集合。
公司或组织在日常的业务中可能需要用到海量的模型,而这些模型基于不同的部门或者标准开发,导致各个模型之间的输入指标实质上相同,但在形式上存在差异,例如命名、描述等存在差异,用户通过管理***对其进行调用和使用时容易产生较大的不便利性,也容易导致模型入参的重复计算。例如,随着反电诈领域的快速发展,各种反诈模型(风险检测模型的其中一类)不断涌现,这些模型可能来自于不同的研究团队或者不同的设计规范,因此它们的输入指标或特征可能会有所不同,为方便使用模型,统一和管理这些模型的输入指标是非常关键的。
举例来说,模型A是用来预测一个电话号码是否属于电诈的,其输入指标包括:前一个0点至24点之间的通话频率。模型B也是用来预测一个电话号码是否属于电诈的,其输入指标包括:前一天之内的通话频率。可以看到,上述输入指标“前一个0点至24点之间的通话频率”和“前一天之内的通话频率”本质上是相同的指标。
在本申请实施例中,可以获取多个第一模型分别对应的第一输入指标集合,其中,第一模型可以包括但不限于数学模型、神经网络模型、规则模型、多个规则构成的策略集等,第一模型的第一输入指标可以包括第一模型在应用时需要的最小粒度的数据。需要说明的是,上述第一输入指标可以表示第一模型的所需指标的名称、描述等定义内容,例如,第一模型的第一输入指标集合可以包含“该金融账户过去24小时转入金额之和”以及“该金融账户过去24小时转出金额之和”这两个第一输入指标。具体地,第一模型的第一输入指标可以通过用户输入、主动采集第一模型的描述信息等方式获取,本申请实施例不作具体限定。
步骤102,基于所述第一输入指标集合,确定目标输入指标集合;其中,所述目标输入指标集合中不包含重复指标。
在本申请实施例中,获取到所有第一模型的分别对应的第一输入指标集合之后,可以对所有第一输入指标进行识别和去重,从而得到目标输入指标集合,使得目标输入指标集合中的所有目标输入指标之间不包含重复指标。
具体地,在一种实施方式中,可以直接对第一输入指标进行比对,得到任意两个第一输入指标之间的相似度,然后将相似度大于或等于第一阈值的第一输入指标确定为一组重复输入指标,对于每组重复输入指标,保留其中一个第一输入指标作为目标输入指标。对于与其他任意第一输入指标的相似度均小于第一阈值的第一输入指标,则直接作为目标输入指标。从而得到由所有目标输入指标构成的目标输入指标集合。
在另一种实施方式中,可以首先通过标准化算法或标准化规则,对各个第一输入指标进行标准化,得到各个第一输入指标分别对应的标准输入指标,再比对各个第一输入指标分别对应的标准输入指标,将标准输入指标相同的所有第一输入指标确定为一组重复输入指标,对于每组重复输入指标,保留其中一个第一输入指标作为目标输入指标。对于唯一的标准输入指标对应的第一输入指标,则直接将其作为目标输入指标。从而得到由所有目标输入指标构成的目标输入指标集合。需要说明的是,也可以根据上述第一输入指标对应的标准输入指标构建目标输入指标集合。
步骤103,确定所述第一模型与所述目标输入指标集合中目标输入指标之间的对应关系。
在本申请实施例中,在获取到目标输入指标集合之后,还可以建立第一模型与目标输入指标之间的对应关系,以便在使用第一模型时,可以根据该对应关系,确定出其所需的目标输入指标。
举例来说,若第一模型A对应的第一输入指标集合包含第一输入指标a、第一输入指标b和第一输入指标c,第一模型B对应的第一输入指标集合包含第一输入指标d、第一输入指标e和第一输入指标f。其中,第一输入指标a和第一输入指标e本质相同,第一输入指标b和第一输入指标f本质相同,则对上述两个第一输入指标集合进行处理后得到目标输入指标集合可以包含,目标输入指标a、目标输入指标b、目标输入指标c和输入指标d。其中,第一模型与目标输入指标的对应关系可以如下表1所示:
表1
需要说明的是,可以将上述对应关系存储于管理***中,以便用户通过管理***使用模型时,对模型对应的目标输入指标进行检索和匹配。
步骤104,确定所述目标输入指标集合中各个目标输入指标分别对应的指标获取程序。
本申请实施例中,为了便于用户对第一模型进行使用,提高用户使用模型的效率,可以确定目标输入指标集合中各个目标输入指标分别对应的指标获取程序,从而可以通过运行第一模型对应的指标获取程序,直接得到第一模型所需的模型入参。其中,指标获取程序的形式可以包括但不限于代码、应用、脚本等。
具体地,在一种实施方式中,指标获取程序可以由技术人员编写,技术人员可以根据目标输入指标编写对应的指标获取程序进行上传。在另一种实施方式中,某些第一模型的第一输入指标对应的指标获取程序可能已经存在于管理***中,则可以直接获取这些第一输入指标的指标获取程序,作为对应目标输入指标的指标获取程序。在又一种实施方式中,由于目标输入指标本质上是对于模型入参的描述,因此可以通过解析目标输入指标的语义并自动生成对应的代码,从而得到目标输入指标的指标获取程序。举例来说,若目标输入指标为一段自然语言,则可以将目标输入指标输入能够将自然语言转换成代码的神经网络模型,例如大语言模型(Large Language Model,LLM),得到神经网络模型输出的指标获取程序。需要说明的是,技术人员还可以采用其他方式确定目标输入指标对应的指标获取程序,本申请实施例不作具体限定。
步骤105,存储所述对应关系和所述指标获取程序;其中,所述对应关系和所述指标获取程序用于确定所述第一模型的模型入参。
在本申请实施例中,可以对上述确定出的对应关系和各个目标输入指标对应的指标获取程序进行存储。通过上述对应关系可以确定第一模型对应的目标输入指标,进一步可以获取目标输入指标对应的指标获取程序,从而通过运行第一模型的各个目标输入指标对应的指标获取程序得到第一模型所需的各个模型入参。
例如,可以将上述对应关系和指标获取程序存储至管理***中。用户生成相应的模型调用任务,该模型调用任务中可以包括调用模型、调用时间、计算样本等参数,通过执行模型调用任务,基于上述对应关系获取调用模型对应的目标输入指标,再获取目标输入指标对应的指标获取程序,通过指标获取程序获取计算样本对应的数据并计算相应的模型入参。
本申请实施例提供的一种模型输入指标管理方法,包括:获取多个第一模型分别对应的第一输入指标集合;基于所有第一输入指标集合,确定目标输入指标集合;其中,目标输入指标集合中不包含重复指标;确定第一模型与目标输入指标集合中目标输入指标之间的对应关系;确定目标输入指标集合中各个目标输入指标分别对应的指标获取程序;存储对应关系和指标获取程序;其中,对应关系和指标获取程序用于确定第一模型的模型入参。能够实现对多个模型的大量第一输入指标进行处理,得到不重复的目标输入指标,并生成目标输入指标对应的指标获取程序,从而能够使用户在使用模型时可以通过调用模型相应的指标获取程序自动生成相应模型入参,并且由于输入指标本质相同的模型可以对应于同一个目标输入指标,因此还能够仅通过一次指标获取程序的运行得到多个模型的模型入参,有助于节省生成模型入参的时间和计算量,有助于提升模型使用效率。
图2是本申请实施例提供的另一种模型输入指标管理方法的步骤流程图,如图2所示,该方法包括:
步骤201,获取所述第一模型的运算规则信息,解析所述运算规则信息,得到所述第一模型的第一输入指标,或者,获取所述第一模型的说明信息,解析所述说明信息,得到所述第一模型的第一输入指标。
在本申请实施例中,一种情况下,第一模型的运算规则信息以明文形式记录,则可以直接获取第一模型的运算规则信息,并对运算规则信息进行解析,从中获取到第一模型的第一输入指标。其中,运算规则信息表示第一模型的运算规则,例如,在第一模型为多个判定规则构成的规则集的情况下,其对应的运算规则信息即为判定规则本身,在第一模型为数学模型的情况下,其对应的运算规则信息即为其运算公式。
另一种情况下,第一模型可能为一个可执行程序、神经网络模型等黑箱模型,则可以获取此类第一模型的说明信息,其中,说明信息可以包括但不限于帮助信息、使用信息、简介信息、描述信息等。通过对上述说明信息进行解析,得到第一模型的第一输入指标。
通过解析第一模型的运算规则信息或说明信息可以自动获取第一模型的第一输入指标,有助于提升确定第一输入指标的效率,且能够满足批量处理需求。
可选地,上述通过运算规则信息解析得到第一输入指标的过程可以如下子步骤2011至子步骤2013所示:
子步骤2011,解析所述运算规则信息得到第一运算指标集合。
模型的运算规则信息中通常包含多个参与模型运算过程的运算指标,一些运算指标属于输入指标,一些运算指标属于中间指标,还有的运算指标属于结果指标。这些指标均参与模型运算过程,可以称为运算指标。
举例来说,某个第一模型的运算规则信息包括:首先确定金融账户过去24小时转入金额和转出金额的比值,然后确定该比值与1的差值,差值小于1.1且大于0.9,则判定金融账户为2级风险账户,否则判定金融账户为0级风险账户。其中,“金融账户过去24小时转入金额”、“金融账户过去24小时转出金额”即为输入指标,“金融账户过去24小时转入金额和转出金额的比值”即为中间指标,“2级风险账户”、“0级风险账户”即为结果指标。通过对该第一模型的运算规则信息进行解析,可以得到第一运算指标“金融账户过去24小时转入金额”、“金融账户过去24小时转出金额”、“比值”、“比值”、“差值”、“差值”、“2级风险账户”、“0级风险账户”。需要说明的是,上述第一运算指标“比值”和“差值”在运算规则信息中出现两次,所以解析出两个第一运算指标“比值”。
子步骤2012,去除所述第一运算指标集合中的重复指标,得到第二运算指标集合。
由于模型运算过程中,在运算中间阶段产生的第一运算指标通常会在运算规则信息出现多次(至少包含一次产出过程和一次使用过程),因此,针对运算中间阶段产生的第一运算指标,在全量的第一运算指标中会存在重复,可以从第一模型的第一运算指标中去除全量的重复指标。
沿用上述示例,可以将重复指标“比值”和“差值”从全量第一运算指标构成的集合中移除,得到第二运算指标集合。
子步骤2013,去除所述第二运算指标集合中的运算结果指标,得到所述第一输入指标。
在本申请实施例中,经过上述子步骤2012,已经得到消除了中间指标的第二运算指标集合,可以进一步从第二运算指标集合中消除运算结果指标,即可得到第一输入指标。
具体地,可以根据第二运算指标集合中各个运算指标在运算规则信息中的位置特征、上下文特征等,判定其是否属于运算结果指标,并将属于运算结果指标的运算指标从第二运算指标集合中去除,例如,可以将运算规则信息中句子末尾的运算指标确定为运算结果指标,也可以将运算规则信息中等式右侧的运算指标确定为运算结果指标,技术人员还可以采用其他方式判定运算结果指标,本申请实施例并不进行具体限定。
沿用上述示例,第二运算指标集合包含“金融账户过去24小时转入金额”、“金融账户过去24小时转出金额”、“2级风险账户”、“0级风险账户”。可以将其中的运算结果指标“2级风险账户”、“0级风险账户”移除,得到第一输入指标“金融账户过去24小时转入金额”、“金融账户过去24小时转出金额”。
通过解析运算规则信息得到第一运算指标集合,去除第一运算指标集合中的重复指标,得到第二运算指标集合,去除第二运算指标集合中的运算结果指标,得到第一输入指标,可以通过对运算规则信息进行解析,并去除其中非输入指标的方式,能够自动生成各个第一模型的第一输入指标,能够提高确定第一输入指标的效率和准确性。
步骤202,获取所述第一输入指标集合中第一输入指标的指标描述信息。
在本申请实施例中,为了准确从第一输入指标集合中去除重复输入指标,可以获取第一输入指标集合中第一输入指标的指标描述信息,该指标描述信息可以由技术人员录入,也可以从第一模型相关的信息存储器中获取。举例来说,一个第一模型的第一输入指标可以为avg_daily_out,该第一输入指标的指标描述信息可以为“指标avg_daily_out表示账户的每日平均转出金额”。
步骤203,基于所述指标描述信息,从所述第一输入指标中确定重复输入指标和非重复输入指标。
在本申请实施例中,可以根据指标描述信息,判断对应的第一输入指标是否本质相同,从而确定出第一输入指标中的重复输入指标和非重复输入指标。具体地,可以对两个第一输入指标对应的指标描述信息进行比对,若一个第一输入指标对应的指标描述信息与其他第一输入指标对应的指标描述信息相同或相似度高于第二阈值,则可以确定该第一输入指标为重复输入指标,若一个第一输入指标对应的指标描述信息与其他所有第一输入指标对应的指标描述信息的相似度均小于或等于第二阈值,则可以确定该第一输入指标为非重复指标。
可选地,上述指标描述信息之间的相似度可以通过特征法判断,例如,可以提取两个指标描述信息的指标特征,通过比对指标特征确定两个指标描述信息的相似度,步骤203可以包括:
子步骤2031,基于所述指标描述信息提取对应第一输入指标的指标特征。
在本申请实施例中,针对每个第一输入指标的指标描述信息,可以对其进行特征提取,得到每个第一输入指标对应的指标特征。具体地,可以采用词袋模型(Bag of Words,BoW)、词嵌入(Word Embeddings)、句子嵌入(Sentence Embeddings)等方法从指标描述信息中提取第一输入指标的指标特征,本申请实施例不做具体限定。
子步骤2032,基于所述指标特征对所有所述第一输入指标进行聚类,得到指标聚类结果。
本申请实施例中,确定出所有第一输入指标对应的指标特征之后,可以根据指标特征对第一输入指标进行聚类,进行特征聚类。特征聚类是一种数据分析技术,能够基于数据的特征将数据点组织成相似的聚类,得到聚类结果。具体可以采用的特征聚类方法包括但不限于K-均值聚类(K-means Clustering)、谱聚类(Spectral Clustering)等,本申请实施例不作具体限定。在聚类结果中,相似度较高的指标特征对应的第一输入指标会被聚合为同一个类群。
子步骤2033,将所述指标聚类结果中多元素类群包含的第一输入指标确定为一组重复输入指标,将所述指标聚类结果中单元素类群包含的第一输入指标确定为非重复输入指标。
在本申请实施例中,若一个类群包含多个第一输入指标,则该类群为多元素类群,多元素类群中的各个第一输入指标可以认为是本质相同的输入指标,可以将多元素类群中的第一输入指标确定为一组重复输入指标。若一个类群仅包含一个第一输入指标,则该类群为单元素类群,单元素类群中的第一输入指标,则可以将单元素类群中的第一输入指标确定为非重复输入指标。
通过指标描述信息提取对应第一输入指标的指标特征,基于指标特征对所有第一输入指标进行聚类,得到指标聚类结果,将指标聚类结果中多元素类群包含的第一输入指标确定为一组重复输入指标,将指标聚类结果中单元素类群包含的第一输入指标确定为非重复输入指标。能够自动准确判定出第一输入指标中的非重复指标和重复指标,有助于提高指标判定的效率。
步骤204,基于所述重复输入指标确定对应的替代输入指标,得到由所述非重复输入指标和所述替代输入指标构成的所述目标输入指标集合。
在本申请实施例中,由于一组重复输入指标包含多个本质相同的第一输入指标,为了便于进行输入指标管理,提升管理***效率和用户使用便利性,可以针对每组重复输入指标,确定出对应的替代输入指标,通过该替代输入指标取代重复输入指标,避免输入指标混乱的情况发生。
在一种实施方式中,可以通过统一的编写格式,基于重复输入指标的语义对重复输入指标进行重新编写,得到对应的替代输入指标。上述重复指标的语义可以是一组重复输入指标中某个特定输入指标的语义,也可以是一组重复输入指标中多个输入指标的平均语义。
在另一种实施方式中,可以从重复输入指标选取一个第一输入指标作为替代输入指标。具体地,可以计算一组重复输入指标中每一个第一输入指标与其他输入指标的平均相似度,将平均相似度最大的第一输入指标确定为替代输入指标,从而确保基于一组重复输入指标确定出的替代输入指标尽可能准确表示这些重复输入指标。
在本申请实施例中,替代输入指标和非重复输入指标可以形成目标输入指标集合,用户可以通过目标输入指标集合获取到所有第一模型的任意第一输入指标,且所有第一模型的任意第一输入指标在目标输入指标集合中具有唯一对应的目标输入指标。
通过获取第一输入指标集合中第一输入指标的指标描述信息,基于指标描述信息,从第一输入指标中确定重复输入指标和非重复输入指标,基于重复输入指标确定对应的替代输入指标,得到由非重复输入指标和替代输入指标构成的目标输入指标集合。能够自动高效对所有第一模型对应的第一输入指标集合进行去重,并生成输入指标唯一的目标输入指标,有助于提升对第一模型的第一输入指标进行指标清洗的效率。
步骤205,确定所述第一模型与所述目标输入指标集合中目标输入指标之间的对应关系。
此步骤可参见步骤103,本申请实施例不再赘述。
可选地,还可以采用如下步骤A1至A2示出的方式对目标输入指标集合进行更新。
步骤A1,确定第二模型对应的第二输入指标集合。
在本申请实施例中,随着***的运行和业务的持续,还可以需要对新产生的第二模型进行管理,此时可以确定第二模型对应的第二输入指标集合,确定第二输入指标集合的方式与上述确定第一输入指标集合的方式类似,本申请实施例不再赘述。
步骤A2,基于所述第二输入指标集合更新所述目标输入指标集合,得到更新后的目标输入指标集合;其中,所述更新后的目标输入指标集合中不包含重复指标。
在一种实施方式中,可以将第二输入指标集合与上述第一输入指标集合进行合并,得到第三输入指标集合,再采用上述基于第一输入指标生成目标输入指标集合的方式,对第三输入指标集合进行处理,得到更新后的目标输入指标集合。在另一种实施方式中,可以将第二输入指标集合与上述目标输入指标集合进行合并,得到第三输入指标集合,再采用上述基于第一输入指标生成目标输入指标集合的方式,对第三输入指标集合进行处理,得到更新后的目标输入指标集合。
此外,随着目标输入指标集合的更新,还可以同步对上述对应关系进行更新,即基于第二模型与更新后的目标输入指标集合的关系添加至上述对应关系中。
通过确定第二模型对应的第二输入指标集合,基于第二输入指标集合更新目标输入指标集合,得到更新后的目标输入指标集合。可以在***运行过程中,持续对目标输入指标集合和对应关系进行自动维护更新,能够使***长期稳定满足用户对模型的使用需求。
步骤206,确定所述目标输入指标集合中各个目标输入指标分别对应的指标获取程序。
此步骤可参见步骤104,本申请实施例不再赘述。
步骤207,基于所述对应关系确定所述第一模型对应的目标输入指标。
在本申请实施例中,用户要对第一模型进行使用时,可以通过上述记录的第一模型与目标输入指标集合中目标输入指标之间的对应关系,确定出第一模型对应的目标输入指标。其中,用户可以通过直接选取第一模型对第一模型进行调用,也可以通过生成包含第一模型的预测任务等方式调用第一模型,本申请实施例不作具体限定。
步骤208,调用所述第一输入指标对应的目标输入指标的指标获取程序,得到所述第一模型对应的目标模型入参。
确定某个第一模型对应的目标输入指标后,可以从***中获取目标输入指标对应的指标获取程序,并通过执行目标输入指标对应的指标获取程序,得到该第一模型所需的目标模型入参。
步骤209,将所述目标模型入参输入所述第一模型,得到所述第一模型输出的运行结果。
在本申请实施例中,可以将目标模型入参输入需要执行的第一模型,从而得到第一模型输出的运行结果。
本申请实施例提供的另一种模型输入指标管理方法,获取多个第一模型分别对应的第一输入指标集合;基于所有第一输入指标集合,确定目标输入指标集合;其中,目标输入指标集合中不包含重复指标;确定第一模型与目标输入指标集合中目标输入指标之间的对应关系;确定目标输入指标集合中各个目标输入指标分别对应的指标获取程序;存储对应关系和指标获取程序;其中,对应关系和指标获取程序用于确定第一模型的模型入参。能够实现对多个模型的大量第一输入指标进行处理,得到不重复的目标输入指标,并生成目标输入指标对应的指标获取程序,从而能够使用户在使用模型时可以通过调用模型相应的指标获取程序自动生成相应模型入参,并且由于输入指标本质相同的模型可以对应于同一个目标输入指标,因此还能够仅通过一次指标获取程序的运行得到多个模型的模型入参,有助于节省生成模型入参的时间和计算量,有助于提升模型使用效率。
与上述本申请的模型输入指标管理方法实施例所提供的方法相对应,参见图3,本申请还提供了一种管理***示意图,在本实施例中,该***包括:
数据对接模块,该模块专门设计用于与外部数据仓库或相关机构(例如金融机构)的数据平台进行精确对接,从而获取数据资产,包括但不限于模型本身、模型输入指标、模型预测所需的原始数据(例如业务数据、用户数据等)等。还可以进一步对抽取的数据进行数据字段的标准化,多个数据表的融合,构建表之间的同步机制等等数据处理工作。
举例来说,针对一个反诈业务的反诈资产管理***,其数据对接模块可以对接外部数据来源,从数据仓库或者金融机构的大数据平台获取反诈资产,并对反诈资产进行预处理。其中,反诈资产可以包括但不限于反诈业务相关的数据名单、模型(包括数学模型、规则、策略集合等)、监管文件解读等与反电诈业务相关的数据。
知识资产管理模块,该模块用于对用户进展的业务所需的数据资产进行管理,可以将散落在各个业务部门和子***的数据资产汇集在当前***上做统一管理。还可以将数据资产进行部署上线,以便用户对上线后的数据资产进行日常调度、运行、评价、决策等。举例来说,针对反诈业务,数据资产可以包括但不限于反诈模型、反诈模型的输入指标集合、反诈监管文解析、反诈名单库等。
在本申请实施例中,知识资产管理模块不仅可以收集第一模型,还可以获取多个第一模型分别对应的第一输入指标集合。
模型输入指标管理模块,该模块可以对模型的输入指标进行管理,保证输入指标的全局唯一和通用性,并对输入指标的指标获取程序进行配置,同时还能提供针对输入指标的日志管理和历史调度查询功能,能够查看输入指标的指标获取程序的调度状态,也可以根据需求进行人工触发针对输入指标的调度任务。
在本申请实施例中,模型输入指标管理模块可以基于所有第一输入指标集合,确定目标输入指标集合;确定第一模型与目标输入指标集合中目标输入指标之间的对应关系;确定目标输入指标集合中各个目标输入指标分别对应的指标获取程序;存储对应关系和指标获取程序;其中,目标输入指标集合中不包含重复指标,对应关系和指标获取程序用于确定第一模型的模型入参。
数据资产服务模块,该模块可以通过批量调度功能、构建预测任务等方式实现对上述知识资产管理模块管理的模型的调度,完成数据资产在***的运行执行,并且可以将按照用户设置的配置要求把模型运行结果写入数据仓库。
数据资产运营管理模块,该模块可以对数据资产服务模块产生的模型运行结果进行运营评估和自定义融合,还可以为模型运行结果提供自定义查询服务、结果筛选服务、固定模板和自定义模板的分析报告产出服务,还能通过内置的多种评估指标对模型运行结果进行效果评估。此外,数据资产运行管理模块还能对数据资产进行运营监控,通过内置的***监控和预警功能,结合第一模型的运行情况、模型运行结果、效果评估等维度,对第一模型的稳定性和效果变化进行监控和预警。该模块能够输出包含效果评估、监控信息、预警信息等运营数据构成的运营管理结果。
业务决策模块,该模块能够根据数据资产服务模块的模型运行结果和数据资产运营管理模块的运营管理结果,对具体的业务场景进行决策。例如,在反诈识别业务场景下,业务决策模块能够综合模型运行结果和数据资产运营管理模块的运营管理结果,判断出当前业务场景下的目标事件(例如欺诈事件)。业务决策模块还能够对识别出的目标事件进行事件管理,管理内容可以包括但不限于事件核查、事件分类、事件处置、事件结果回传、事件相关账户名单更新等。业务决策模块还能够将决策结果进行存档,并将决策结果对接至上述数据资产运营管理模块,以便数据资产运营管理模块对决策结果进行效果评估。
示例性地,在实际业务应用过程中,本申请实施例提供的管理***运行主要运行步骤可以如下所示:
参照图4,图4示出了本申请实施例提供的一种管理***运行流程示意图,如图4所示,首先,数据对接模块从数据仓库或者其他数据平台对接数据资产,并对数据资产进行对应的清洗、对齐、数据筛选等数据加工操作,知识资产管理模块将数据资产对接给管理***的其他模块。上述数据资产可以包括多个客户账户的静态数据和动态数据构成的客户数据。然后,模型输入指标管理模块可以调用指标获取程序对上述客户数据进行运算,得到各个目标输入指标对应的模型入参。其次,数据资产服务模块可以根据调用多个第一模型,使用第一模型的目标输入指标对应的模型入参进行模型运算,得到多个第一模型对应的模型运行结果。最后,由数据资产运营管理模块对上述多个第一模型对应的模型运行结果进行融合处理,得到融合结果,并对这些模型运行结果和融合结果进行效果评估,还可以对模型运行结果进行筛选,将相应账户或事件放入业务核查名单,并对业务核查名单中的账户或事件进行核查,得到目标账户(例如诈骗账户)或目标事件(例如诈骗事件)。
本申请实施例提供的一种管理***,可以以模型输入指标管理模块为基础形成对整个基于模型的业务全流程进行管理的管理***,不仅能够提升用户使用模型的效率,还能够对完整的模型使用周期进行管理,提升用户基于模型开展相关业务的便利性和效率。
与上述本申请的模型输入指标管理方法实施例所提供的方法相对应,参见图5,本申请还提供了一种模型输入指标管理装置结构图,在本实施例中,该装置包括:
获取模块501,用于获取多个第一模型分别对应的第一输入指标集合;
指标模块502,用于基于所述第一输入指标集合,确定目标输入指标集合;其中,所述目标输入指标集合中不包含重复指标;
对应关系模块503,用于确定所述第一模型与所述目标输入指标集合中目标输入指标之间的对应关系;
指标获取程序模块504,用于确定所述目标输入指标集合中各个目标输入指标分别对应的指标获取程序;
存储模块505,用于存储所述对应关系和所述指标获取程序;其中,所述对应关系和所述指标获取程序用于确定所述第一模型的模型入参。
可选地,所述获取模块,还用于获取所述第一模型的运算规则信息,解析所述运算规则信息,得到所述第一模型的第一输入指标,或者,获取所述第一模型的说明信息,解析所述说明信息,得到所述第一模型的第一输入指标。
可选地,所述获取模块包括:
第一运算指标集合子模块,用于解析所述运算规则信息得到第一运算指标集合;
第二运算指标集合子模块,用于去除所述第一运算指标集合中的重复指标,得到第二运算指标集合;
第一输入指标子模块,用于去除所述第二运算指标集合中的运算结果指标,得到所述第一输入指标。
可选地,所述指标模块包括:
指标描述信息子模块,用于获取所述第一输入指标集合中第一输入指标的指标描述信息;
重复判别子模块,用于基于所述指标描述信息,从所述第一输入指标中确定重复输入指标和非重复输入指标;
目标输入指标集合子模块,用于基于所述重复输入指标确定对应的替代输入指标,得到由所述非重复输入指标和所述替代输入指标构成的所述目标输入指标集合。
可选地,所述重复判别子模块包括:
指标特征单元,用于基于所述指标描述信息提取对应第一输入指标的指标特征;
指标聚类结果单元,用于基于所述指标特征对所有所述第一输入指标进行聚类,得到指标聚类结果;
重复判别单元,用于将所述指标聚类结果中多元素类群包含的第一输入指标确定为一组重复输入指标,将所述指标聚类结果中单元素类群包含的第一输入指标确定为非重复输入指标。
可选地,所述装置还包括:
第二输入指标模块,用于确定第二模型对应的第二输入指标集合;
更新模块,用于基于所述第二输入指标集合更新所述目标输入指标集合,得到更新后的目标输入指标集合;其中,所述更新后的目标输入指标集合中不包含重复指标。
可选地,所述装置还包括:
目标输入指标模块,用于基于所述对应关系确定所述第一模型对应的目标输入指标;
目标模型入参模块,用于调用所述第一输入指标对应的目标输入指标的指标获取程序,得到所述第一模型对应的目标模型入参;
运行结果模块,用于将所述目标模型入参输入所述第一模型,得到所述第一模型输出的运行结果。
本申请实施例提供的一种模型输入指标管理装置,包括:获取模块,用于获取多个第一模型分别对应的第一输入指标集合;指标模块,用于基于所有第一输入指标集合,确定目标输入指标集合;其中,目标输入指标集合中不包含重复指标;对应关系模块,用于确定第一模型与目标输入指标集合中目标输入指标之间的对应关系;指标获取程序模块,用于确定目标输入指标集合中各个目标输入指标分别对应的指标获取程序;存储模块,用于存储对应关系和指标获取程序;其中,对应关系和指标获取程序用于确定第一模型的模型入参。能够实现对多个模型的大量第一输入指标进行处理,得到不重复的目标输入指标,并生成目标输入指标对应的指标获取程序,从而能够使用户在使用模型时可以通过调用模型相应的指标获取程序自动生成相应模型入参,并且由于输入指标本质相同的模型可以对应于同一个目标输入指标,因此还能够仅通过一次指标获取程序的运行得到多个模型的模型入参,有助于节省生成模型入参的时间和计算量,有助于提升模型使用效率。
图6是本申请一个实施例的电子设备600的逻辑框图。例如电子设备600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图6,电子设备600可以包括以下一个或多个组件:处理组件602,存储器604,电力组件606,多媒体组件608,音频组件610,输入/输出(I/O)的接口612,传感器组件614,以及通信组件616。
处理组件602通常控制电子设备600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如处理组件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604用于存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理***,一个或多个电源,及其他与为电子设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。若屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的分界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件610用于输出和/或输入音频信号。例如音频组件610包括一个麦克风(MIC),当电子设备600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为电子设备600提供各个方面的状态评估。例如传感器组件614可以检测到电子设备600的打开/关闭状态,组件的相对定位,例如所述组件为电子设备600的显示器和小键盘,传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变,用户与电子设备600接触的存在或不存在,电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616用于便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件616经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件616还包括近场通信(NFC)模块,以促进短程通信。例如在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于实现本申请实施例提供的一种模型输入指标管理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由电子设备600的处理器620执行以完成上述方法。例如所述非临时性存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图7是本申请一个实施例的电子设备700的逻辑框图。例如电子设备700可以被提供为一服务器。参照图7,电子设备700包括处理组件722,其进一步包括一个或多个处理器,以及由存储器732所代表的存储器资源,用于存储可由处理组件722的执行的指令,例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件722被配置为执行指令,以执行本申请实施例提供的一种模型输入指标管理方法。
电子设备700还可以包括一个电源组件726被配置为执行电子设备700的电源管理,一个有线或无线网络接口750被配置为将电子设备700连接到网络,和一个输入输出(I/O)接口758。电子设备700可以操作基于存储在存储器732的操作***,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本申请实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现所述的模型输入指标管理方法。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种模型输入指标管理方法,其特征在于,所述方法包括:
获取多个第一模型分别对应的第一输入指标集合;
基于所述第一输入指标集合,确定目标输入指标集合;其中,所述目标输入指标集合中不包含重复指标;
确定所述第一模型与所述目标输入指标集合中目标输入指标之间的对应关系;
确定所述目标输入指标集合中各个目标输入指标分别对应的指标获取程序;
存储所述对应关系和所述指标获取程序;其中,所述对应关系和所述指标获取程序用于确定所述第一模型的模型入参。
2.根据权利要求1所述的方法,其特征在于,所述获取多个第一模型分别对应的第一输入指标集合,包括:
获取所述第一模型的运算规则信息,解析所述运算规则信息,得到所述第一模型的第一输入指标,或者,获取所述第一模型的说明信息,解析所述说明信息,得到所述第一模型的第一输入指标。
3.根据权利要求2所述的方法,其特征在于,所述解析所述运算规则信息,得到所述第一模型的第一输入指标,包括:
解析所述运算规则信息得到第一运算指标集合;
去除所述第一运算指标集合中的重复指标,得到第二运算指标集合;
去除所述第二运算指标集合中的运算结果指标,得到所述第一输入指标。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第一输入指标集合,确定目标输入指标集合,包括:
获取所述第一输入指标集合中第一输入指标的指标描述信息;
基于所述指标描述信息,从所述第一输入指标中确定重复输入指标和非重复输入指标;
基于所述重复输入指标确定对应的替代输入指标,得到由所述非重复输入指标和所述替代输入指标构成的所述目标输入指标集合。
5.根据权利要求4所述的方法,其特征在于,所述基于所述指标描述信息,从所述第一输入指标中确定重复输入指标和非重复输入指标,包括:
基于所述指标描述信息提取对应第一输入指标的指标特征;
基于所述指标特征对所有所述第一输入指标进行聚类,得到指标聚类结果;
将所述指标聚类结果中多元素类群包含的第一输入指标确定为一组重复输入指标,将所述指标聚类结果中单元素类群包含的第一输入指标确定为非重复输入指标。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定第二模型对应的第二输入指标集合;
基于所述第二输入指标集合更新所述目标输入指标集合,得到更新后的目标输入指标集合;其中,所述更新后的目标输入指标集合中不包含重复指标。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述对应关系确定所述第一模型对应的目标输入指标;
调用所述第一输入指标对应的目标输入指标的指标获取程序,得到所述第一模型对应的目标模型入参;
将所述目标模型入参输入所述第一模型,得到所述第一模型输出的运行结果。
8.一种模型输入指标管理装置,其特征在于,所述装置包括:
获取模块,用于获取多个第一模型分别对应的第一输入指标集合;
指标模块,用于基于所述第一输入指标集合,确定目标输入指标集合;其中,所述目标输入指标集合中不包含重复指标;
对应关系模块,用于确定所述第一模型与所述目标输入指标集合中目标输入指标之间的对应关系;
指标获取程序模块,用于确定所述目标输入指标集合中各个目标输入指标分别对应的指标获取程序;
存储模块,用于存储所述对应关系和所述指标获取程序;其中,所述对应关系和所述指标获取程序用于确定所述第一模型的模型入参。
9.一种电子设备,其特征在于,包括:处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的模型输入指标管理方法。
10.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的模型输入指标管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311552434.8A CN117745121A (zh) | 2023-11-20 | 2023-11-20 | 模型输入指标管理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311552434.8A CN117745121A (zh) | 2023-11-20 | 2023-11-20 | 模型输入指标管理方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117745121A true CN117745121A (zh) | 2024-03-22 |
Family
ID=90276602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311552434.8A Pending CN117745121A (zh) | 2023-11-20 | 2023-11-20 | 模型输入指标管理方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117745121A (zh) |
-
2023
- 2023-11-20 CN CN202311552434.8A patent/CN117745121A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111859020B (zh) | 推荐方法、装置、电子设备及计算机可读存储介质 | |
CN105528403B (zh) | 目标数据识别方法及装置 | |
CN111428032B (zh) | 内容质量评价方法及装置、电子设备、存储介质 | |
CN113705210A (zh) | 一种文章大纲生成方法、装置和用于生成文章大纲的装置 | |
CN112183953A (zh) | 客服资源的分配方法、装置、电子设备和存储介质 | |
CN115909127A (zh) | 异常视频识别模型的训练方法、异常视频识别方法和装置 | |
CN110232181B (zh) | 评论分析方法及装置 | |
CN113779257A (zh) | 文本分类模型的解析方法、装置、设备、介质及产品 | |
CN111813932B (zh) | 文本数据的处理方法、分类方法、装置及可读存储介质 | |
CN113723995A (zh) | 一种确定营销任务的方法和装置 | |
CN111428806B (zh) | 图像标签确定方法、装置、电子设备及存储介质 | |
CN116541238A (zh) | 日志文件采集方法、装置、电子设备及可读存储介质 | |
CN112528017A (zh) | 对话流自动分析方法及装置 | |
CN117745121A (zh) | 模型输入指标管理方法、装置、电子设备及可读存储介质 | |
CN116091208A (zh) | 基于图神经网络的信贷风险企业识别方法和装置 | |
CN116127062A (zh) | 预训练语言模型的训练方法、文本情感分类方法及装置 | |
CN112884040B (zh) | 训练样本数据的优化方法、***、存储介质及电子设备 | |
CN107301188B (zh) | 一种获取用户兴趣的方法及电子设备 | |
CN114153954A (zh) | 测试用例推荐方法、装置、电子设备及存储介质 | |
CN110362686B (zh) | 一种词库的生成方法、装置、终端设备和服务器 | |
CN111489260A (zh) | 项目分类方法及装置、电子设备和存储介质 | |
CN114338587B (zh) | 一种多媒体数据处理方法、装置、电子设备及存储介质 | |
CN113704315B (zh) | 一种用户推荐方法、装置、电子设备及存储介质 | |
CN115983502B (zh) | 数据处理方法、装置及介质 | |
CN112989172B (zh) | 内容推荐方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |