CN115063010A - 配送资源的评估方法、装置、电子设备及存储介质 - Google Patents
配送资源的评估方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115063010A CN115063010A CN202210774701.5A CN202210774701A CN115063010A CN 115063010 A CN115063010 A CN 115063010A CN 202210774701 A CN202210774701 A CN 202210774701A CN 115063010 A CN115063010 A CN 115063010A
- Authority
- CN
- China
- Prior art keywords
- evaluation
- sample
- distribution
- resource
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000011156 evaluation Methods 0.000 claims abstract description 301
- 238000009825 accumulation Methods 0.000 claims abstract description 87
- 238000000926 separation method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 18
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 230000019771 cognition Effects 0.000 abstract description 6
- 238000005457 optimization Methods 0.000 abstract description 4
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 201000009032 substance abuse Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例提供了一种配送资源的评估方法、装置、电子设备及计算机可读存储介质,涉及互联网信息处理领域。该方法包括:获取多个配送资源分别在第一历史时期内和第二历史时期内的、至少一个评价维度的积累程度;从多个配送资源中确定第一正样本和第一负样本,对多个配送资源进行分箱处理,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个配送资源在对应维度的子评估结果;对于每个配送资源,根据配送资源在所有评价维度的子评估结果,获得配送资源的第一评估结果。本申请实施例可对配送资源更合理地分层,并且更符合认知,也更容易被配送资源所接受,为后期对配送资源进行告警以及行为优化奠定基础。
Description
技术领域
本申请涉及互联网信息处理技术领域,具体而言,本申请涉及一种配送资源的评估方法、装置、电子设备及计算机可读存储介质。
背景技术
随着互联网技术的快速发展,基于互联网的应用越来越多,例如外卖类应用以及购物类应用等。基于这些应用,用户足不出户即可获取自己所需的物品。这些应用在便利用户的同时,配送资源的安全也不容忽视。
相关技术通常基于固定行为的加减分规则进行计算,或者直接套用评分卡模型进行打分。
1)对于固定行为的加减分的规则的方法,在实际应用时很容易出现难以刻画区分性的情况,整体上计算分数要么都过高,要么都过低,难以进行实际的业务投入使用。
2)对于直接套用评分卡模型进行打分的方式,由于评分卡模型是按照数据的分布进行分箱统计的,因此在数据稀疏的情况下,容易出现大众认知不符的情况,例如,在一般认知中,好评率高的配送资源的分数应该高于好评率低的配送资源的分数,但在实际的评分卡模型计算应用时,会出现相反的情况。
发明内容
本申请实施例提供了一种配送资源的评估方法、装置、电子设备以及计算机可读存储介质,可以解决现有技术的上述问题。所述技术方案如下:
根据本申请实施例的一个方面,提供了一种配送资源的评估方法,该方法包括:
获取多个配送资源分别在第一历史时期内和第二历史时期内的、至少一个评价维度的积累程度;其中,第一历史时期早于第二历史时期;
从所述多个配送资源中确定第一正样本和第一负样本,所述第一负样本为在第二历史时期内至少一个负面的评价维度的积累程度超过预设程度的配送资源,所述第一正样本为所述多个配送资源中除所述第一负样本以外的配送资源;
对于每个评价维度,根据所述多个配送资源在第一历史时期内的所述评价维度的积累程度,对所述多个配送资源进行分箱处理,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果;
对于每个配送资源,根据所述配送资源在所有评价维度的子评估结果,获得所述配送资源的第一评估结果。
作为一种可选的实施方式,对多个配送资源进行分箱处理,包括:
确定多个分箱,每个分箱对应所述评价维度的一个积累程度区间,各个分箱对应的积累程度区间不存在交集且存在单一性;
根据每个配送资源在所述评价维度的积累程度,确定所述配送资源所在的目标分箱;
其中,所述配送资源的在所述评价维度的积累程度位于所述目标分箱对应的积累程度区间中。
作为一种可选的实施方式,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果,包括:
对各个分箱根据预设顺序依次进行遍历,对于当前遍历的分箱,根据所述当前遍历的分箱以及已经遍历的分箱中所有第一负样本占第一负样本总数的比例,确定所述分箱中的各个配送资源在所述评价维度的子评估结果。
作为一种可选的实施方式,所述根据所述配送资源在所有评价维度的子评估结果,获得所述配送资源的第一评估结果,包括:
获取每个评价维度的权重;
根据所述配送资源在所有评价维度的子评估结果以及对应的权重进行加权求和,获得所述配送资源的第一评估结果。
作为一种可选的实施方式,所述获取每个评价维度的权重,之前还包括确定每个评价维度的权重的步骤:
获取多个样本配送资源分别在第三历史时期内和第四历史时期内的、至少一个评价维度的积累程度;其中,第三历史时期早于第四历史时期;
从多个样本配送资源中确定第二正样本和第二负样本,所述第二负样本为在第四历史时期内至少一个负面的评价维度的积累程度超过预设程度的配送资源,所述第二正样本为所述多个样本配送资源中除所述第一负样本以外的配送资源;
对于每个评价维度,确定各个第二正样本和各个第二负样本在所述评价维度的子评估结果,对于每个样本配送资源,根据所述样本配送资源在所有评价维度的子评估结果以及对应的初始权重进行加权求和,获得所述样本配送资源的第一样本评估结果;
根据所述第一样本评估结果与目标值间的差异调整所述初始权重,直至所述差异收敛,获得所述权重;其中,当所述样本配送资源为正样本时,所述目标值为第一目标值,当所述样本配送资源为负样本时,所述目标值为第二目标值。
作为一种可选的实施方式,评估方法还包括:
获取所述多个配送资源分别在所述第一历史时期内的至少一个安全维度的积累程度;
对于每个配送资源,根据所述配送资源在所述第一历史时期内的至少一个安全维度的积累程度,获得所述配送资源的第二评估结果;
根据所述配送资源的第一评估结果和第二评估结果,获得所述配送资源的综合评估结果。
作为一种可选的实施方式,评估方法还包括:
向第一评估结果、第二评估结果或综合评估结果中的至少一种评估结果符合预设条件的配送资源发送告警信息。
根据本申请实施例的另一个方面,提供了一种配送资源的评估装置,该装置包括:
信息获取模块,应用获取多个配送资源分别在第一历史时期内和第二历史时期内的、至少一个评价维度的积累程度;其中,第一历史时期早于第二历史时期;
正负样本确定模块,应用从所述多个配送资源中确定第一正样本和第一负样本,所述第一负样本为在第二历史时期内至少一个负面的评价维度的积累程度超过预设程度的配送资源,所述第一正样本为所述多个配送资源中除所述第一负样本以外的配送资源;
子评估结果模块,用于对于每个评价维度,根据所述多个配送资源在第一历史时期内的所述评价维度的积累程度,对所述多个配送资源进行分箱处理,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果;
第一结果获取模块,用于对于每个配送资源,根据所述配送资源在所有评价维度的子评估结果,获得所述配送资源的第一评估结果。
根据本申请实施例的另一个方面,提供了一种电子设备,该电子设备包括:存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现上述方面的配送资源的评估方法。
根据本申请实施例的再一个方面,提供了一种计算机可读存储介质,上存储有计算机程序,计算机程序被处理器执行时实现上述方面的配送资源的评估方法。
本申请实施例提供的技术方案带来的有益效果是:
通过获取多个配送资源分别在第一历史时期内和第二历史时期内的、至少一个评价维度的积累程度,利用更晚的第二历史时期的评价维度的积累程度确定第一正样本和负样本,更细粒度地实现了数据分工,为更准确地评估配送资源奠定了基础,针对每个评价维度,利用述多个配送资源在第一历史时期内的所述评价维度的积累程度,对所述多个配送资源进行分箱处理,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果,相比现有技术能够解决风险相关性缺失问题,每个分箱对应的自评估结果可对应积累程度呈现单调性,从而对配送资源更合理地分层,并且由于更符合认知,因此也更容易被配送资源所接受,为后期对配送资源进行告警以及行为优化奠定基础。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为相关技术确定的某一评价维度的评估结果的示意图;
图2为本申请实施例提供的一种实现配置资源的评估***的架构示意图;
图3为本申请实施例提供的一种配送资源的评估方法的流程示意图;
图4为本申请实施例提供的一种目标应用程序的评价界面的示意图;
图5为本申请实施例另一个实施例的评估方法的流程示意图;
图6为本申请实施例提供的一种配送资源的评估装置的结构示意图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解,下面结合附图所阐述的实施方式,是用于解释本申请实施例的技术方案的示例性描述,对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是,本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件,但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解,当我们称一个元件被“连接”或“耦接”到另一元件时,该一个元件可以直接连接或耦接到另一元件,也可以指该一个元件和另一元件通过中间元件建立连接关系。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个,例如“A和/或B”可以实现为“A”,或者实现为“B”,或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍和解释:
1)配送资源,实现配送所需的资源,常见的配送资源包括骑手、配送无人机等等。
2)评分卡模型,根据评价对象的各种属性和行为数据,利用信用评分模型,对客户的信用进行评分,从而判断是否存在风险、风险程度等。在评分卡建模中,分箱(binning)是对连续变量离散化(discretization)的一种称呼。
评分卡模型中的一个重要参数是证据权重(WeightofEvidence,WOE),对每一个分箱结果进行。假设good为正样本,bad为负样本,则存在:WOEi=ln(good占比/bad占比),其中good占比可通过第i个分箱中好评价对象的数量与好评价对象的总数量的比值确定,bad占比可通过第i个分箱中坏评价对象的数量与坏评价对象的总数量的比值确定。
在配送资源的评估领域,一个配送资源作为正样本还是负样本可以根据该配送资源在一定时间内收到负面评价的程度确定,例如如果一个配送资源在最近一个月收到1次负面评价,则认为是负样本。
在配送资源的评估领域,不同分箱对应评价维度的不同积累程度,一般地,积累程度可以用百分比表示,例如评价维度:包装完好度,其积累程度为97%,即表示97%的配送过程包装完好度是合格的,那么针对该评价维度,若分成3个分箱,则分箱1为95%以下、分箱2为95~98%,分箱3为98%以上,当配送资源位于分箱3时,意味着该配送资源在包装完好度这一评价维度的评估结果是相对最高的。因此可知,分箱的数值变化应该与和评估结果WOE值的大小变化是同步的。
但一般情况下配送资源出现负面的评价的情况是很少的,一些统计数据显示,只有不到3%的配送资源在一个月内会出现1次及1次以上的差评,在这种情况下,很可能出现风险相关性确实问问题。
如图1所示,其示例性地示出了相关技术确定的某一评价维度的评估结果的示意图,该图中横坐标表示分箱,纵坐标表示相应分箱的WOE值。从图中可以发现WOE值并没有出现单调递减的情况,分箱0到分箱2的WOE值呈先增后减的趋势,分箱2至分箱4的WOE值又呈先增后减的趋势等等,所有分箱的WOE值呈现了多次反弹,因此基于现有的模型获得的评估结果并不符合大众认知。
本申请提供的配送资源的评估方法、装置、电子设备、计算机可读存储介质以及计算机程序产品,旨在解决现有技术的如上技术问题。
下面通过对几个示例性实施方式的描述,对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是,下述实施方式之间可以相互参考、借鉴或结合,对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等,不再重复描述。
图2为本申请实施例提供的实现配置资源的评估***的架构示意图,包括终端101和服务器102,终端101通过网络103与服务器102进行通信连接。
在本实施例中,终端101可以是任何类型的移动计算设备,包括移动计算机(例如个人数字助理(PDA)、膝上型计算机、笔记本计算机、诸如平板计算机、上网本等)、移动电话(例如,蜂窝电话)、可穿戴式计算设备(例如智能手表、头戴式设备,包括智能眼镜)或其他类型的移动设备。在一些实施例中,终端101也可以是固定式计算设备,例如台式计算机、游戏机、智能电视等。
服务器102可以存储和运行可以执行本文所描述的各种方法的指令,其分别可以是单个服务器或服务器集群或云服务器,或者其中的任两个或三个可以是同一服务器或同一服务器集群或云服务器。应理解,本文所提及的服务器典型地为具有大量存储器和处理器资源的服务器计算机,但是其他实施例也是可能的。
网络103的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)、和/或诸如因特网之类的通信网络的组合。服务器102以及终端101的每一个可以包括能够通过网络103进行通信的至少一个通信接口(未示出)。这样的通信接口可以是下列各项中的一个或多个:任何类型的网络接口(例如,网络接口卡(NIC))、有线或无线(诸如IEEE 802.11无线LAN(WLAN))无线接口、全球微波接入互操作(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、BluetoothTM接口、近场通信(NFC)接口等。通信接口的另外的示例在本文其他地方描述。
本申请实施例的终端可以向服务器上报配送资源的一次或多次的评价维度的信息,从而使得服务器通过汇集终端上报的信息,执行本申请实施例的配送资源的评估方法,获得配送资源的评估结果。
本申请实施例中提供了一种配送资源的评估方法,如图3所示,该方法包括:
S101、获取多个配送资源分别在第一历史时期内和第二历史时期内的、至少一个评价维度的积累程度;其中,第一历史时期早于第二历史时期。
本申请实施例对于每个配送资源,获取该配送资源在两个历史时期,即第一历史时期和第二历史时期内的配送信息,其中第一历史时期早于第二历史时期,例如,第二历史时期为5月1日至5月31日,第一历史时期为4月1日至4月30日。
本申请实施例的构思在于各个评价维度的积累程度预测预测未来行为表现的可能性。因此针对各个配送资源采用了固定一个时刻,并以该时刻为分界线,以该分界线之前的时期,也即第一历史时期的表现(评价维度的积累程度)作为特征,分界线之后的时期,也即第二历史时期的表现作为标签。
需要注意的是,本申请实施例对于第一历史时期和第二历史时期的时间跨度不作具体的限定,例如可以为一个月、一个季度、半年等,第一历史时期和第二历史时期的时间跨度可以相同,也可以不同。本申请实施例分别获得两个历史时期的积累程度,利用相对更新鲜的第二历史时期的数据确定正负样本,利用相对更久远的第一历史时期的数据计算评估结果,更细粒度地实现了数据分工,为更准确地评估配送资源奠定了基础。
本申请实施例的配送信息包括至少一个评价维度的积累程度。本申请实施例的评价维度是指商铺或者购物者对配送资源的配送行为进行评价的维度,一般地,评价维度可以包括整体评价、包装情况、配送及时性、沟通情况等等。评价维度的积累程度,即配送资源在第一/第二历史周期内积累的情况。本申请实施例的积累程度可以是一个归一化结果,从而消除指标之间的量纲影响。例如,某个配送资源在3个月内接收到100次“包装情况”的评价维度的评价,其中有2次为包装破损,因此该配送资源在“包装情况”的评价维度的积累程度为98%。
S102、从多个配送资源中确定第一正样本和第一负样本,所述第一负样本为在第二历史时期内至少一个负面的评价维度的积累程度超过预设程度的配送资源,所述第一正样本为所述多个配送资源中除所述第一负样本以外的配送资源。
本申请基于各个配送资源在第二历史时期内的至少一个评价维度的积累程度来区分第一正样本和第一负样本。
本申请实施例的评价维度包括正面的评价维度和负面的评价维度,当配送资源完成配送后,商铺管理者或者购物者可以通过目标应用程序对配送资源进行评价。具体而言,目标应用程序可以是提供配送服务的应用程序,商铺可以通过目标应用程序发布商品,购物者可以在目标应用程序上购买已发布的商品,当购物者购买商品后,目标应用程序的后台可以指定至少一个配送资源进行配送,在配送完成后,商铺管理者和购物者可以对配送资源进行评价。
请参见图4,其示例性地示出了本申请实施例的目标应用程序的评价界面的示意图,该界面展示了多个评价维度的控件,当商铺管理者或购物者触发其中一个控件时,即认为商铺管理者或购物者认为配送资源符合该控件对应的评价维度。如图所示,“满意”为正面的评价维度,“不满意”为负面的评价维度,“沟通顺畅”为正面的评价维度,“沟通不顺畅”为负面的评价维度等等,“包装完好”为正面的评价维度,“包装破损”为负面的评价维度。
本申请实施例将在第二历史时期内至少一个负面的评价维度的积累程度超过预设程度的配送资源作为第一负样本,举例来说,当一个配送资源在近一个月(第二历史时期)收到1个或1个以上的“不满意”的评价,则该配送信息作为第一负样本。应当理解的是,在确定所有第一负样本后,多个配送资源中除第一负样本以外的配送资源自然就属于正样本。例如若存在10个配送资源,分别为配送资源1~10,若确定配送资源2、9和10为第一负样本,则配送资源1、3~8为第一正样本。
S103、对于每个评价维度,根据多个配送资源在第一历史时期内的评价维度的积累程度,对多个配送资源进行分箱处理,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果。
本申请借鉴了现有评分卡模型的分箱处理,对于每个评价维度,本申请实施例均需要进行分箱处理。分箱处理,即根据每个配送资源在第一事理时期内的该评价维度的积累程度,确定每个配送资源所在的分箱,每个分箱对应一个积累程度的区间,也即对弈一个评价维度,一个配送资源仅可能位于在唯一的分箱中。
本申请实施例在获得分箱结果后,区别与现有技术中基于正样本占比和负样本的占比计算WOE,而是仅考虑了负样本占比(即一个分箱中第一负样本占第一负样本总数的比例),经过验证,本申请实施例能够克服现有技术存在的风险相关性缺失问题,本申请基于负样本占比来确定每个配送资源对应该维度的子评估结果。
需要注意的是,本申请实施例选择负样本占比主要有两个原因:
1、保证分箱之后仍然能有很强的单调性,所以,即使数据缺失一些也是可接受的,主要解决了分布失衡的问题;
2、实际应用时负样本的数量其实并不少,以日活50万配送资源为例,即使按千分之二的负面评价率,也有1000个样本,再加上本申请实施例可根据日期循环采样,并不需要担心样本数量。
S104、对于每个配送资源,根据所述配送资源在所有评价维度的子评估结果,获得所述配送资源的第一评估结果。
由于本申请实施例获取了多个评价维度的积累程度,因此在通过步骤S103获得每个配送资源对应每个维度的子评估结果后,通过综合考虑所有维度的子评估结果,即可获得第一评估结果。
具体的,本申请实施例可以将所有评价维度的子评估结果进行累加,将累加的结果作为第一评估结果,也可以将所有评价维度的子评估结果求平均值,将平均值作为第一评估结果,本申请实施例不作具体的限定。
本申请实施例的配送资源的评估方法,通过获取多个配送资源分别在第一历史时期内和第二历史时期内的、至少一个评价维度的积累程度,利用更晚的第二历史时期的评价维度的积累程度确定第一正样本和负样本,更细粒度地实现了数据分工,为更准确地评估配送资源奠定了基础,针对每个评价维度,利用述多个配送资源在第一历史时期内的所述评价维度的积累程度,对所述多个配送资源进行分箱处理,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果,相比现有技术能够解决风险相关性缺失问题,每个分箱对应的自评估结果可对应积累程度呈现单调性,从而对配送资源更合理地分层,并且由于更符合认知,因此也更容易被配送资源所接受,为后期对配送资源进行告警以及行为优化奠定基础。
在上述各实施例的基础上,作为一种可选实施例,对各个第一正样本和各个第一负样本在第一历史时期内的所述评价维度的积累程度进行分箱处理,包括:
S201、确定多个分箱,每个分箱对应所述评价维度的一个积累程度区间,各个分箱对应的积累程度区间不存在交集且存在单一性;
S202、根据每个配送资源在所述评价维度的积累程度,确定所述配送资源所在的目标分箱。
本申请实施例具体可以针对所有配送资源在该评价维度的积累程度的分布情况,确定出多个分箱,例如,
本申请实施例的各个分箱对应的积累程度区间不存在交集,这样就避免一个配送资源放入多个分箱,并且分箱对应积累程度区间存在单一性,即分箱对应的积累程度区间要么越来越小,即第一个积累程度区间包括积累程度的极大值,最后一个积累程度区间包括积累程度的极小值,当然,分箱对应的积累程度区间也可以是越来越大的。本申请实施例对应分箱的具体个数不作限定,可根据实际情况进行设置。
例如,若某一评价维度中存在5个配送资源(配送资源1~5)的积累程度,分别为0.01%、0.05%、0.12%、0.08%和0.14%,可以设置3个分箱,若按照单调递增的方式设置,则分箱1的积累程度区间为[0.01%,0.05%),分箱2的积累程度区间为[0.05%,0.10%),分箱3的积累程度区间为[0.10%,0.15%]。相应的,配送资源1位于分箱1,配送资源2和4位于分箱2,配送资源3和5位于分箱3中。
在上述各实施例的基础上,作为一种可选实施例,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果,包括:
对各个分箱根据预设顺序依次进行遍历,对于当前遍历的分箱,根据所述当前遍历的分箱以及已经遍历的分箱中所有第一负样本占第一负样本总数的比例,确定所述分箱中的各个配送资源在所述评价维度的子评估结果。
由于本申请实施例的分箱对应的积累程度区间是具有单调性的,因此在计算每个分箱中的配送资源的子评估结果时,通过综合以及遍历的分箱中的负样本占比,可实现每个分箱对应的子评估结果也具有单调性。本申请实施例可以在同时具备区分性的情况下,能够很好的解决数据稀疏带来的风险相关性缺失问题。
具体的,可以采用以下公式计算第i个分箱中的配送资源的子评估结果WOEi:
其中,Bk表示第k个分箱中的第一负样本的个数,BT为所有配置资源中第一负样本的总个数。
在上述各实施例的基础上,作为一种可选实施例,根据所述配送资源在所有评价维度的子评估结果,获得所述配送资源的第一评估结果,包括:
获取每个评价维度的权重;
根据所述配送资源在所有评价维度的子评估结果以及对应的权重进行加权求和,获得所述配送资源的第一评估结果。
本申请实施例可以通过机器学习的方式获取每个评价维度的权重,从而更准确地确定配送资源的第一评估结果。具体地,本申请实施例确定每个评价维度的权重的步骤包括:
S301、获取多个样本配送资源分别在第三历史时期内和第四历史时期内的、至少一个评价维度的积累程度;第三历史时期早于第四历史时期。
S302、从多个样本配送资源中确定第二正样本和第二负样本,所述第二负样本为在第四历史时期内至少一个负面的评价维度的积累程度超过预设程度的配送资源,所述第二正样本为所述多个样本配送资源中除所述第一负样本以外的配送资源。
步骤S302与上述各实施例的构思一致,基于第四历史时期的负面评价维度的积累程度,从样本配送资源中确定各个第二正样本和各个第二负样本。
S303、对于每个评价维度,确定各个第二正样本和各个第二负样本在所述评价维度的子评估结果,对于每个样本配送资源,根据所述样本配送资源在所有评价维度的子评估结果以及对应的初始权重进行加权求和,获得所述样本配送资源的第一样本评估结果。
S304、根据所述第一样本评估结果与目标值间的差异调整所述初始权重,直至所述差异收敛,获得所述权重;其中,当所述样本配送资源为正样本时,所述目标值为第一目标值,当所述样本配送资源为负样本时,所述目标值为第二目标值。
由于正负样本表示了配送资源在第四历史时期的负面评价更多,因此本申请在计算正负样本的子评估结果时,也希望正负样本的子评估结果的差异是显著的,因此分别针对第二正样本和第二负样本设置了两个差异较大的目标值,这样对于利用初始权重加权求和后获得的第一样本评估结果,如果该第一样本评估结果是正样本的,则通过迭代运算不断调整初始权重,使得第一样本评估结果更接近于第一目标值,对于负样本的第一样本评估结果,则通过迭代运算不断调整初始权重,使得第一样本评估结果更接近于第二目标值。
举一个例子,存在三个配送资源,每个配送资源的两个评价维度(好评率和差评率)的积累程度如下:
配送资源1(负样本),标签:0,特征:差评率0.1,好评率0.1;
配送资源2(正样本),标签:1,特征:差评率0.01,好评率0.2;
配送资源3(正样本),标签:1,特征:差评率0.02,好评率0.3;
假设分箱已经分好了,然后经过分箱并且映射WOE值之后的样本如下所示(其中差评分为差评率的子评估结果,好评分为差好评率的子评估结果):
配送资源1(负样本),标签:0,映射特征:差评分-0.3,好评分0.01;
配送资源2(正样本),标签:1,映射特征:差评分-0.01,好评分0.2;
配送资源3(正样本),标签:1,映射特征:差评分-0.1,好评分0.5;
对于配送资源1,第一样本评估结果就是:sigmoid(-0.3*a+0.01*b)
对于配送资源2,第一样本评估结果就是:sigmoid(-0.01*a+0.2*b)
对于配送资源3,第一样本评估结果就是:sigmoid(-0.1*a+0.5*b)
此时a、b的值是不确定的,需要让配送资源1的第一样本评估结果更接近0(第二目标值),让配送资源2和3的第一样本评估结果更接近1(第一目标值),这样就有一个学习的过程,然后得到a、b的值。也就是权重。
在上述各实施例的基础上,作为一种可选实施例,本申请实施例还包括:
S401、获取所述多个配送资源分别在所述第一历史时期内的至少一个安全维度的积累程度;
S402、对于每个配送资源,根据所述配送资源在所述第一历史时期内的至少一个安全维度的积累程度,获得所述配送资源的第二评估结果;
S403、根据所述配送资源的第一评估结果和第二评估结果,获得所述配送资源的综合评估结果。
本申请实施例的安全维度可以是由商铺、购物者和/或公立机构反馈的安全事件的维度,常见的安全维度包括治安事件(比如威胁、辱骂、肢体冲突等)、就医事件(交通事故、肢体冲突导致的就医等)。本申请实施例可以通过对各类安全维度的积累程度进行统计,并针对不同的安全维度设置不同的权重进行加权,从而获得第二评估结果,进一步结合上述的第一评估结果,即可获得配送资源的综合评估结果。
请参见图5,其示例性地示出了本申请另一个实施例的评估方法的流程示意图,如图所示,本申请实施例主要涉及获得两种类型的评估结果,分别为第一评估结果和第二评估结果,对于第一评估结果,通过获得多个配送资源分别在第一历史时期内和第二历史时期内的、多个评价维度的积累程度,基于本申请改进的评分卡模型(即对应一个评价维度,仅基于各个分箱中的负样本占比)确定每个配送资源在每个评分维度的子评估结果,通过综合所有评分维度的子评估结果获得第一评估结果。对于第二评估结果,通过从商铺、购物者或者公立机构反馈的治安事件、就医事件等,确定各安全维度的积累程度,结合不同的安全维度设置不同的权重,获得第二评估结果。本申请实施例也支持一些特殊的加分项(例如配送资源出现见义勇为的行为),那么结合第一评估结果、第二评估结果以及特殊的加分项,获得综合评估结果。
在上述各实施例的基础上,作为一种可选实施例,还包括:
向第一评估结果、第二评估结果或综合评估结果中的至少一种评估结果符合预设条件的配送资源发送告警信息。
本申请实施例提供了一种配送资源的评估装置,如图6所示,该配送资源的评估装置可以包括:信息获取模块601、正负样本确定模块602、子评估结果模块603以及第一结果获取模块604,其中,
信息获取模块601,应用获取多个配送资源分别在第一历史时期内和第二历史时期内的、至少一个评价维度的积累程度;其中,第一历史时期早于第二历史时期;
正负样本确定模块602,应用从所述多个配送资源中确定第一正样本和第一负样本,所述第一负样本为在第二历史时期内至少一个负面的评价维度的积累程度超过预设程度的配送资源,所述第一正样本为所述多个配送资源中除所述第一负样本以外的配送资源;
子评估结果模块603,用于对于每个评价维度,根据所述多个配送资源在第一历史时期内的所述评价维度的积累程度,对所述多个配送资源进行分箱处理,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果;
第一结果获取模块604,用于对于每个配送资源,根据所述配送资源在所有评价维度的子评估结果,获得所述配送资源的第一评估结果。
本申请实施例的装置可执行本申请实施例所提供的方法,其实现原理相类似,本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的,对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述,此处不再赘述。
本申请实施例中提供了一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,该处理器执行上述计算机程序以实现配送资源的评估方法的步骤,与相关技术相比可实现:通过获取多个配送资源分别在第一历史时期内和第二历史时期内的、至少一个评价维度的积累程度,利用更晚的第二历史时期的评价维度的积累程度确定第一正样本和负样本,更细粒度地实现了数据分工,为更准确地评估配送资源奠定了基础,针对每个评价维度,利用述多个配送资源在第一历史时期内的所述评价维度的积累程度,对所述多个配送资源进行分箱处理,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果,相比现有技术能够解决风险相关性缺失问题,每个分箱对应的自评估结果可对应积累程度呈现单调性,从而对配送资源更合理地分层,并且由于更符合认知,因此也更容易被配送资源所接受,为后期对配送资源进行告警以及行为优化奠定基础。
在一个可选实施例中提供了一种电子设备,如图7所示,图7所示的电子设备4000包括:处理器4001和存储器4003。其中,处理器4001和存储器4003相连,如通过总线4002相连。可选地,电子设备4000还可以包括收发器4004,收发器4004可以用于该电子设备与其他电子设备之间的数据交互,如数据的发送和/或数据的接收等。需要说明的是,实际应用中收发器4004不限于一个,该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线4002可包括一通路,在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质,在此不做限定。
存储器4003用于存储执行本申请实施例的计算机程序,并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序,以实现前述方法实施例所示的步骤。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是,虽然本申请实施例的流程图中通过箭头指示各个操作步骤,但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明,否则在本申请实施例的一些实施场景中,各流程图中的实施步骤可以按照需求以其他的顺序执行。此外,各流程图中的部分或全部步骤基于实际的实施场景,可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行,这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下,这些子步骤或者阶段的执行顺序可以根据需求灵活配置,本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请的方案技术构思的前提下,采用基于本申请技术思想的其他类似实施手段,同样属于本申请实施例的保护范畴。
Claims (10)
1.一种配送资源的评估方法,其特征在于,包括:
获取多个配送资源分别在第一历史时期内和第二历史时期内的、至少一个评价维度的积累程度;其中,第一历史时期早于第二历史时期;
从所述多个配送资源中确定第一正样本和第一负样本,所述第一负样本为在第二历史时期内至少一个负面的评价维度的积累程度超过预设程度的配送资源,所述第一正样本为所述多个配送资源中除所述第一负样本以外的配送资源;
对于每个评价维度,根据所述多个配送资源在第一历史时期内的所述评价维度的积累程度,对所述多个配送资源进行分箱处理,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果;
对于每个配送资源,根据所述配送资源在所有评价维度的子评估结果,获得所述配送资源的第一评估结果。
2.根据权利要求1所述的评估方法,其特征在于,所述对所述多个配送资源进行分箱处理,包括:
确定多个分箱,每个分箱对应所述评价维度的一个积累程度区间,各个分箱对应的积累程度区间不存在交集且存在单一性;
根据每个配送资源在所述评价维度的积累程度,确定所述配送资源所在的目标分箱;
其中,所述配送资源的在所述评价维度的积累程度位于所述目标分箱对应的积累程度区间中。
3.根据权利要求2所述的评估方法,其特征在于,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果,包括:
对各个分箱根据预设顺序依次进行遍历,对于当前遍历的分箱,根据所述当前遍历的分箱以及已经遍历的分箱中所有第一负样本占第一负样本总数的比例,确定所述分箱中的各个配送资源在所述评价维度的子评估结果。
4.根据权利要求1-3任意一项所述的评估方法,其特征在于,所述根据所述配送资源在所有评价维度的子评估结果,获得所述配送资源的第一评估结果,包括:
获取每个评价维度的权重;
根据所述配送资源在所有评价维度的子评估结果以及对应的权重进行加权求和,获得所述配送资源的第一评估结果。
5.根据权利要求4所述的评估方法,其特征在于,所述获取每个评价维度的权重,之前还包括确定每个评价维度的权重的步骤:
获取多个样本配送资源分别在第三历史时期内和第四历史时期内的、至少一个评价维度的积累程度;其中,第三历史时期早于第四历史时期;
从多个样本配送资源中确定第二正样本和第二负样本,所述第二负样本为在第四历史时期内至少一个负面的评价维度的积累程度超过预设程度的配送资源,所述第二正样本为所述多个样本配送资源中除所述第一负样本以外的配送资源;
对于每个评价维度,确定各个第二正样本和各个第二负样本在所述评价维度的子评估结果,对于每个样本配送资源,根据所述样本配送资源在所有评价维度的子评估结果以及对应的初始权重进行加权求和,获得所述样本配送资源的第一样本评估结果;
根据所述第一样本评估结果与目标值间的差异调整所述初始权重,直至所述差异收敛,获得所述权重;其中,当所述样本配送资源为正样本时,所述目标值为第一目标值,当所述样本配送资源为负样本时,所述目标值为第二目标值。
6.根据权利要求1所述的评估方法,其特征在于,还包括:
获取所述多个配送资源分别在所述第一历史时期内的至少一个安全维度的积累程度;
对于每个配送资源,根据所述配送资源在所述第一历史时期内的至少一个安全维度的积累程度,获得所述配送资源的第二评估结果;
根据所述配送资源的第一评估结果和第二评估结果,获得所述配送资源的综合评估结果。
7.根据权利要求6所述的评估方法,其特征在于,还包括:
向第一评估结果、第二评估结果或综合评估结果中的至少一种评估结果符合预设条件的配送资源发送告警信息。
8.一种配送资源的评估装置,其特征在于,包括:
信息获取模块,应用获取多个配送资源分别在第一历史时期内和第二历史时期内的、至少一个评价维度的积累程度;其中,第一历史时期早于第二历史时期;
正负样本确定模块,应用从所述多个配送资源中确定第一正样本和第一负样本,所述第一负样本为在第二历史时期内至少一个负面的评价维度的积累程度超过预设程度的配送资源,所述第一正样本为所述多个配送资源中除所述第一负样本以外的配送资源;
子评估结果模块,用于对于每个评价维度,根据所述多个配送资源在第一历史时期内的所述评价维度的积累程度,对所述多个配送资源进行分箱处理,根据各个分箱中第一负样本占第一负样本总数的比例,确定各个第一正样本和各个第一负样本在所述评价维度的子评估结果;
第一结果获取模块,用于对于每个配送资源,根据所述配送资源在所有评价维度的子评估结果,获得所述配送资源的第一评估结果。
9.一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-7任一项所述配送资源的评估方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述配送资源的评估方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210774701.5A CN115063010A (zh) | 2022-07-01 | 2022-07-01 | 配送资源的评估方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210774701.5A CN115063010A (zh) | 2022-07-01 | 2022-07-01 | 配送资源的评估方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115063010A true CN115063010A (zh) | 2022-09-16 |
Family
ID=83204155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210774701.5A Pending CN115063010A (zh) | 2022-07-01 | 2022-07-01 | 配送资源的评估方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115063010A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115330319A (zh) * | 2022-10-13 | 2022-11-11 | 创域智能(常熟)网联科技有限公司 | 基于大数据的物流信息处理方法及人工智能服务器 |
-
2022
- 2022-07-01 CN CN202210774701.5A patent/CN115063010A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115330319A (zh) * | 2022-10-13 | 2022-11-11 | 创域智能(常熟)网联科技有限公司 | 基于大数据的物流信息处理方法及人工智能服务器 |
CN115330319B (zh) * | 2022-10-13 | 2023-01-13 | 创域智能(常熟)网联科技有限公司 | 基于大数据的物流信息处理方法及人工智能服务器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111352962B (zh) | 客户画像构建方法及装置 | |
CN110929799B (zh) | 用于检测异常用户的方法、电子设备和计算机可读介质 | |
CN112132676B (zh) | 联合训练目标模型的贡献度的确定方法、装置和终端设备 | |
Ji et al. | Analysis of vehicle requirements in a general automated guided vehicle system based transportation system | |
CN107256465A (zh) | 风险账户的识别方法及装置 | |
CN111404838A (zh) | 消息处理方法、装置及设备 | |
CN109087138A (zh) | 数据处理方法及***、计算机***和可读存储介质 | |
CN109214732A (zh) | 物流对象选择、确定物流线路过载的方法及装置、设备 | |
CN107967173A (zh) | 一种资源调度的方法、装置和*** | |
CN115063010A (zh) | 配送资源的评估方法、装置、电子设备及存储介质 | |
CN112990583A (zh) | 一种数据预测模型的入模特征确定方法及设备 | |
CN110245684A (zh) | 数据处理方法、电子设备和介质 | |
CN109345252A (zh) | 一种线上交易控制方法、装置、及计算机设备 | |
CN109345249A (zh) | 一种支付失败处理方法及装置 | |
CN116560794A (zh) | 虚拟机的异常处理方法和装置、介质和计算机设备 | |
CN115099865A (zh) | 一种数据处理方法和装置 | |
CN113495845B (zh) | 数据测试方法、装置、电子设备及存储介质 | |
CN113869989B (zh) | 一种信息处理方法及装置 | |
CN115130889A (zh) | 一种供应链管理方法、装置、电子设备及介质 | |
CN113516065B (zh) | 基于区块链的资料权重测算方法、装置、服务器及存储介质 | |
CN110472827B (zh) | ***策略预警方法、装置、服务器及可读存储介质 | |
AU2021218217A1 (en) | Systems and methods for preventative monitoring using AI learning of outcomes and responses from previous experience. | |
CN113159877A (zh) | 数据处理方法、装置、***、计算机可读存储介质 | |
CN112465509A (zh) | 签约合同的预警方法及装置 | |
Okolelova et al. | Development of mechanisms for innovative projects management based on their identification and results forecast in the risk environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |