CN108345979B - 一种业务测试方法及装置 - Google Patents

一种业务测试方法及装置 Download PDF

Info

Publication number
CN108345979B
CN108345979B CN201710058791.7A CN201710058791A CN108345979B CN 108345979 B CN108345979 B CN 108345979B CN 201710058791 A CN201710058791 A CN 201710058791A CN 108345979 B CN108345979 B CN 108345979B
Authority
CN
China
Prior art keywords
data
product
user
target
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710058791.7A
Other languages
English (en)
Other versions
CN108345979A (zh
Inventor
刘明哲
姜霄棠
金陈敏
蔡文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710058791.7A priority Critical patent/CN108345979B/zh
Publication of CN108345979A publication Critical patent/CN108345979A/zh
Application granted granted Critical
Publication of CN108345979B publication Critical patent/CN108345979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种业务测试方法和装置,该方法包括:依据基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,以及,基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据;基于预设的组合规则和预先训练的关联概率模型,从目标产品数据和目标用户数据之间进行组合后的关联数据中筛选出目标组合数据;基于目标组合数据和预设的用例规则生成业务的测试用例,并执行测试用例以便对业务进行测试。采用本申请实施例,整个业务测试的执行过程无需测试人员手动生成测试模型,这样不仅降低了测试人员的工作量,而且对业务的功能测试覆盖全面,对于一些极端场景或者一些不常用的功能也可以涉及到。

Description

一种业务测试方法及装置
技术领域
本申请涉及软件测试领域,特别涉及一种业务测试方法及装置。
背景技术
随着互联网的发展和普及,电商业务极大地方便了用户的生活,目前用户熟悉的电商业务有产品交易、抢红包、电子支付等。为了保证电商业务的正常使用,对电商业务开发完成或者平时维护时,需要对电商业务进行测试。
现有技术中,电商业务的测试是通过用户进行的,待测试的每个业务都需要相应的测试人员理解业务并根据对业务的理解建立相应的测试模型,但是电商业务繁多复杂,就给测试人员产生了巨大的工作量;而且,测试模型依赖于测试人员对业务的理解,有时候难以覆盖到电商业务所包含的所有操作,一些极端的场景或者一些不常用的业务也难以涉及到。
发明内容
本申请实施例所要解决的技术问题是,提供一种业务测试方法及装置,以使电商业务的测试能够根据预先设置的某些规则或者预先训练的模型来自动进行,无需人工参与就实现对业务的测试,不仅减少测试人员的工作量,节约人力物力成本,还能覆盖到更多的电商业务,包括极端的场景或者不常用的业务等等。
基于此,本申请提供了一种业务测试方法,该方法包括:
基于预设的产品规则和预先训练的产品评分模型,从原始产品数据中获取目标产品数据,以及,基于预设的用户规则和预先训练的用户评分模型,从原始用户数据中获取目标用户数据;
基于预设的组合规则和预先训练的关联概率模型,从原始组合数据中筛选出目标组合数据,所述原始组合数据为:所述目标产品数据和所述目标用户数据之间进行组合后的关联数据;
基于所述目标组合数据和预设的用例规则生成业务的测试用例,并执行所述测试用例以便对所述业务进行测试。
其中,所述基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,包括:
利用预设的产品规则生成对应的产品特征;
利用所述产品特征从所述原始产品数据中获取与所述产品特征匹配的产品数据;
依据预先训练的产品评分模型从匹配的产品数据中筛选出部分产品作为目标产品数据。
其中,所述依据预先训练的产品评分模型从所述匹配的产品数据中筛选出部分产品作为目标产品数据,包括:
采用无监督学习的聚类算法对所述匹配的产品数据进行聚类,得到聚类后的各类产品数据;
采用所述预先训练的产品评分模型计算所述各类产品数据中各产品的分值;
将分值大于预设分数阈值的产品确定为所述目标产品数据。
其中,所述基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据,包括:
利用预设的用户规则生成对应的用户特征;
利用所述用户特征从所述原始用户数据中获取与所述用户特征匹配的用户数据;
依据预先训练的用户评分模型从所述匹配的用户数据中筛选出部分用户作为目标用户数据。
其中,所述依据预先训练的用户评分模型从所述用户特征中筛选出部分用户特征作为目标用户数据,包括:
采用无监督学习的聚类算法对所述匹配的用户数据进行聚类,得到聚类后的各类用户数据;
采用所述预先训练的用户评分模型计算所述各类用户数据中各用户的分值;
将用户分值大于预设分数阈值的用户确定为所述目标用户数据。
其中,所述基于预设的组合规则和预先训练的关联概率模型,从原始组合数据中获取目标组合数据,包括:
基于预设的组合规则分别将各目标用户数据和各目标产品数据,进行两两组合,得到组合后的初始组合数据;
基于预先训练的关联概率模型对组合后的初始组合数据进行概率预测,得到各初始组合数据的预测概率;
将预测概率大于预设概率阈值的初始组合数据确定为目标组合数据。
其中,所述基于所述目标组合数据和预设的用例规则生成待测业务的测试用例,包括:
获取所述目标组合数据所包括的各目标产品数据与各目标用户数据的组合关系;
将具有组合关系的各组目标产品数据和目标用户数据按照预设的用例规则生成所述待测业务下的测试用例。
其中,所述产品评分模型、用户评分模型和关联概率模型通过以下方式训练得到:
获取已上线业务的历史交易记录,所述历史交易记录用于表示各用户与各产品之间进行交易时的关联关系;
基于所述历史交易记录和预设的产品规则计算各产品的交易量,以及,基于所述历史交易记录和预设的用户规则计算各用户的交易量;
采用支持向量回归SVR算法对所述各产品的交易量进行训练,得到产品评分模型,以及,采用支持向量回归SVR算法对所述各用户的交易量进行训练,得到用户评分模型;
基于所述历史交易记录、各产品的交易量和各用户的交易量,计算各产品和各用户之间的组合关系;
采用支持向量机SVM算法对所述各产品和各用户之间的组合关系进行训练,得到关联概率模型。
其中,所述方法还包括:
获取对所述待测业务进行测试得到的测试结果,并依据所述测试结果对所述待测业务的源代码进行调试。
本申请还提供了一种业务测试装置,该装置包括:
获取单元,用于基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,以及,基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据;
筛选单元,用于基于预设的组合规则和预先训练的关联概率模型,从原始组合数据中筛选出目标组合数据,所述原始组合数据为:所述目标产品数据和所述目标用户数据之间进行组合后的关联数据;
生成单元,用于基于所述目标组合数据和预设的用例规则生成待测业务的测试用例;
测试单元,用于执行所述测试用例以便对所述待测业务进行测试。
可选的,所述获取单元可以包括:
产品特征获取子单元,用于利用预设的产品规则生成对应的产品特征;
第一获取子单元,用于利用所述产品特征从所述原始产品数据中获取与所述产品特征匹配的产品数据;
第一筛选子单元,用于依据预先训练的产品评分模型从所述匹配的产品数据中筛选出部分产品作为目标产品数据。
可选的,所述第一筛选子单元可以包括:
产品聚类子单元,用于采用无监督学习的聚类算法对所述匹配的产品数据进行聚类,得到聚类后的各类产品数据;
第一计算子单元,用于采用所述预先训练的产品评分模型计算所述各类产品数据中各产品的分值;
目标产品数据确定子单元,用于将分值大于预设分数阈值的产品确定为所述目标产品数据。
可选的,所述获取单元701可以包括:
用户特征获取子单元,用于利用预设的用户规则生成对应的用户特征;
第二获取子单元,用于利用所述用户特征从所述原始用户数据中获取与所述用户特征匹配的用户数据;
第二筛选子单元,用于依据预先训练的用户评分模型从所述匹配的用户数据中筛选出部分用户作为目标用户数据。
可选的,所述第二筛选子单元,可以包括:
用户特征聚类子单元,用于采用无监督学习的聚类算法对所述匹配的用户数据进行聚类,得到聚类后的各类用户数据;
第二计算子单元,用于采用所述预先训练用户评分模型计算所述各类用户数据中各用户的分值;
目标用户数据确定子单元,用于将分值大于预设分数阈值的用户确定为所述目标用户数据。
可选的,所述筛选单元,可以包括:
组合子单元,用于基于预设的组合规则分别将各目标用户数据和各目标产品数据,进行两两组合,得到组合后的初始组合数据;
概率预测子单元,用于基于预先训练的关联概率模型对组合后的初始组合数据进行概率预测,得到各初始组合数据的预测概率;
目标组合数据确定子单元,用于将预测概率大于预设概率阈值的初始组合数据确定为目标组合数据。
可选的,所述生成单元,可以包括:
组合关系获取子单元,用于获取所述目标组合数据所包括的各目标产品数据与各目标用户数据的组合关系;
生成子单元,用于将具有组合关系的各组目标产品数据和目标用户数据按照预设的用例规则生成所述待测业务下的测试用例。
可选的,所述装置还可以包括:
历史交易记录获取单元,用于获取已上线业务的历史交易记录,所述历史交易记录用于表示各用户与各产品之间进行交易时的关联关系;
交易量计算子单元,用于基于所述历史交易记录和预设的产品规则计算各产品的交易量,以及,基于所述历史交易记录和预设的用户规则计算各用户的交易量;
第一训练单元,用于采用支持向量回归SVR算法对所述各产品的交易量进行训练,得到产品评分模型,以及,采用支持向量回归SVR算法对所述各用户的交易量进行训练,得到用户评分模型;
计算单元,包括基于所述历史交易记录、各产品的交易量和各用户的交易量,计算各产品和各用户之间的组合关系;
第二训练单元,用于采用支持向量机SVM算法对所述各产品和各用户之间的组合关系进行训练,得到关联概率模型。
可选的,所述装置还可以包括:
调试单元,用于获取对所述待测业务进行测试得到的测试结果,并依据所述测试结果对所述待测业务的源代码进行调试。
与现有技术相比,本申请具有以下优点:
根据本申请实施例的技术方案,对业务进行测试时,首先,依据基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,以及,基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据;然后,基于预设的组合规则和预先训练的关联概率模型,从所述目标产品数据和所述目标用户数据之间进行组合后的关联数据中筛选出目标组合数据;最后,基于所述目标组合数据和预设的用例规则生成业务的测试用例,并执行所述测试用例以便对所述业务进行测试。因此,本申请实施例中,通过经过训练后的机器学习模型筛选出的目标组合数据来生成待测试业务的测试用例,整个的执行过程无需测试人员手动生成测试模型,这样不仅降低了测试人员的工作量,而且对业务的功能测试覆盖全面,对于一些极端场景或者一些不常用的功能也可以涉及到。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中一种业务测试方法实施例的流程示意图;
图2为本申请实施例的方法实施例中步骤S101的一个流程示意图;
图3为本申请实施例的方法实施例中步骤S101的另一个流程示意图;
图4为本申请实施例的方法实施例中步骤S102的流程示意图;
图5为本申请实施例中用户集合产品集的组合方式的示意图;
图6为本申请实施例中训练模型的流程示意图;
图7本申请实施例中一种业务测试装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
申请人经研究发现,现有技术中,对电商业务进行功能测试时,是通过测试人员对业务理解从而建立测试模型,但是由于电商业务繁多复杂,而且对于每个业务都需要建立相应的测试模型,使得测试人员的工作量巨大;除此之外,测试人员通过对业务的理解建立测试模型,有时候难以覆盖到电商业务所包含的所有操作,并且一些极端的场景或者一些不常用的功能也难以涉及到。
为了解决上述问题,本申请实施例中对业务进行测试时,首先,依据基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,以及,基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据;然后,基于预设的组合规则和预先训练的关联概率模型,从所述目标产品数据和所述目标用户数据之间进行组合后的关联数据中筛选出目标组合数据;最后,基于所述目标组合数据和预设的用例规则生成业务的测试用例,并执行所述测试用例以便对所述业务进行测试。因此,采用本申请实施例,通过经过训练后的机器学习模型筛选出的目标组合数据生成待测试业务的测试用例,整个业务的执行过程无需测试人员手动生成测试模型,这样不仅降低了测试人员的工作量,而且对业务的功能测试覆盖全面,对于一些极端场景或者一些不常用的功能也可以涉及到。
下面结合附图,详细说明本申请的各种非限制性实施方式。
参见图1,示出了本申请实施例中一种业务测试方法实施例的流程图。在本实施例中,所述方法可以包括以下步骤S101~步骤S103:
S101:基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,以及,基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据。
本步骤中,需要说明的是,基于预设的产品规则和预先训练的产品平均模型从原始产品数据中获取目标产品数据的步骤,和,基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据的步骤,可以是不区分先后顺序的,即这两个步骤可以是同时进行的,也可以是不同时进行的。
一方面,S101中,基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,参考图2所示,具体可以包括步骤S201~步骤S203:
S201:利用预设的产品规则,生成对应的产品特征。
本步骤中,所述原始产品数据例如可以是产品交易业务中的产品信息或者产品标识等;所述预设的产品规则可以是测试人员预先设置好的,用于从原始产品数据中提取待测业务所需要的产品的特征规则。
举例说明:假设原始产品数据中,每个产品都对应一个产品ID,每个产品的不同特征对应的不同特征ID。产品规则例如可以为:获取家电类产品。在这种情况下,S201具体实现时可以包括:先将所有原始产品数据对应生成产品的特征,每一个特征对应一个唯一的特征ID;再从获得的所有特征ID中匹配“家电类”产品对应的特征ID。其中,“家电”即为产品的一个特征,例如,产品家电类的特征ID=“1234”正好符合“获取家电类产品”对应的“家电”特征,则利用预设的产品规则生成的产品特征,就是“家电”。
S202:利用所述产品特征从所述原始产品数据中获取与所述产品特征匹配的产品数据。
再利用步骤S201中生成的产品特征,例如“家电”,从原始产品数据中提取出那些产品特征为“家电”的产品数据。具体的,可以先将原始产品数据中的各产品数据均生成对应的产品特征,再利用“家电”进行匹配,提取出那些产品特征与“家电”相匹配的产品数据。
S203:依据预先训练的产品评分模型从所述匹配的产品数据中筛选出部分产品作为目标产品数据。
其中,S203具体可以包括以下的目标产品数据的聚类-筛选方法:
采用无监督学习的聚类算法对匹配的产品数据进行聚类,得到聚类后的各类产品数据;采用所述预先训练的产品评分模型计算所述各类产品数据中各产品的分值;将分值大于预设分数阈值的产品确定为所述目标产品数据。
本实施例中,这里提到的无监督学习的聚类算法例如可以为K-means算法、模糊聚类算法、SC(英文全称:Spectral clustering,中文全称:谱聚类)算法或者这些算法的同族算法。
本步骤中,将聚类后的各类产品数据输入到预先训练的产品评分模型中,得到每一类产品数据中各个产品的分值;再从得到的每一类产品的分值中筛选出分值大于预设分数阈值的产品,并将这些产品确定为目标产品数据。其中,产品的分值越高,说明该分值对应的产品越有可能被交易或者在实际业务中交易的可能性越大。因此,可以通过设置预设分数阈值的方式来筛选出交易的可能性较大的一部分产品,该预设分数阈值可以由本领域技术人员预先设置,或者采用经验值等等。
另一方面,S101中,基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据,可以包括步骤S301~步骤S302:
S301:利用预设的用户规则生成对应的用户特征。
本步骤中,所述原始用户数据可以包括产品交易中的买家信息或者买家标识等;所述预设的用户规则可以是测试人员预先设置好的,用于从原始用户数据中提取待测业务所需要的用户的特征规则。
本实施例中,需要说明的是,用户可以是电商业务中执行购买或者下单等行为的买家。
举例说明:假设原始用户数据中每一个用户都具有一个用户ID,每个用户对应的不同特征都对应的不同特征ID,假设会员的等级为用户的一个特征,会员等级可以包括:V1、V2、V3、V4等级别。用户规则例如可以为:获取V4等级的用户。在这种情况下,S301在具体实现时可以包括:先将所有原始用户数据对应生成用户特征,每一个用户特征对应一个唯一的特征ID;在从获得的所有特征ID中匹配“V4等级”对应的特征ID。假如,V4等级的特征ID=“0000”正好符合“获取V4等级用户”对应的“V4等级”特征,则利用预设的用户规则生成的用户特征就是“V4等级”。
S302:利用所述用户特征从所述原始用户数据中获取与所述用户特征匹配的用户数据。
再利用步骤S301中生成的用户特征,例如“V4等级”,从原始用户数据中提取出那些用户特征为“V4等级”的用户数据。具体的,可以先将原始用户数据中的各用户数据均生成对应的用户特征,再利用“V4等级”进行匹配,提取出那些用户特征与“V4等级”相匹配的用户数据。
S303:依据预先训练的用户评分模型从所述匹配的用户数据中筛选出部分用户作为目标用户数据。
其中,S303具体可以包括如下的目标用户数据的聚类-筛选方法:
采用无监督学习的聚类算法对所述匹配的用户数据进行聚类,得到聚类后的各类用户数据;采用所述预先训练的用户评分模型计算所述各类用户数据中各用户的分值;将分值大于预设分数阈值的用户确定为所述目标用户数据。
本实施例中,这里提到的无监督学习的聚类算法例如可以为K-means算法、模糊聚类算法、SC(英文全称:Spectral clustering,中文全称:谱聚类)算法或者这些算法的同族算法。
本步骤中,将聚类后的各类用户数据输入到预先训练的用户评分模型中得到每一类用户数据中各个用户的分值;再从得到的每一类用户的分值中筛选出分值大于预设分数阈值的用户,并将大于预设分数阈值的用户确定为目标用户数据。其中,用户的分值越高,说明该分值对应的用户在实际业务中中执行业务交易的可能性越大。因此,可以通过设置预设分数阈值的方式来筛选出执行交易可能性较大的一部分用户,该预设分数阈值可以由本领域技术人员预先设置,或者采用经验值,等等。
S102:基于预设的组合规则和预先训练的关联概率模型,从原始组合数据中筛选出目标组合数据,所述原始组合数据为:所述目标产品数据和所述目标用户数据之间进行组合后的关联数据。
其中,S102具体可以包括以下步骤S401~步骤S403:
S401:基于预设的组合规则分别将各目标用户数据和各目标产品数据,进行两两组合,得到组合后的初始组合数据。
在本步骤中,可以将通过步骤S203中得到的目标用户数据,和通过步骤S303中得到的目标产品数据,进行两两组合,得到用户和产品的初始组合数据。
具体的,参考图5,示出的是目标用户数据和目标产品数据的组合方式的示意图,在图5中表示将目标用户数据中的各用户和目标产品数据中的各产品进行两两组合,得到用户和产品的组合关系。例如,得到的产品集中的产品为n个,得到的用户集的用户为m个,则用户与产品组合的方式可以为n*m种。
本实施例中,预设的组合规则可以为测试人员预先设置好的,预设的组合规则例如可以为:将产品特征:(家电类产品、有3个以上的SKU(英文全称:Stock Keeping Unit,中文全称:库存量单位))和用户特征:(V4会员、有可用积分进行组合)。
S402:基于预先训练的关联概率模型对组合后的初始组合数据进行概率预测,得到各初始组合数据的预测概率。
本实施例中,将得到的初始组合数据输入到所述预先训练的关联概率模型中,得到各初始组合数据的预测概率的值。
S403:将预测概率大于预设概率阈值的初始组合数据确定为目标组合数据。
从所述目标组合数据中筛选出预测概率的值大于预设概率阈值的初始组合数据,并确定为目标组合数据。其中,组合数据的预测概率的值越高,说明在实际的业务交易中,在实际交易的过程中,该组合数据中对应的用户和产品组合在一起进行业务交易的可能性越大。因此,可以通过设置预设概率阈值的方式来筛选出实际中用户和产品组合在一起进行交易可能性较大的一部分组合数据,该预设概率阈值可以由本领域技术人员预先设置,或者采用经验值等等。
S103:基于所述目标组合数据和预设的用例规则生成业务的测试用例,并执行所述测试用例以便对所述业务进行测试。
其中,S103中基于所述目标组合数据和预设的用例规则生成待测业务的测试用例,具体可以包括:
获取所述目标组合数据所包括的各目标产品数据与各目标用户数据的组合关系;将具有组合关系的各组目标产品数据和目标用户数据按照预设的用例规则生成所述待测业务下的测试用例。
举例说明:预设的用例规则例如可以为:在目标组合数据的基础上增加上操作行为,具体的表达形式可以为:用户特征:(V4会员、有可用积分)&产品特征:(家电类产品、有3个以上的SKU)&操作行为(使用积分下单),其中&表示“与”的关系,即可以理解为“and”。得出的表达式也可以理解为得到的测试用例。最后,可以通过模拟测试用例的行为,对待测业务进行测试。
本申请实施例中,对于S101-S103中提到的预先训练的产品评分模型、预先训练的用户评分模型以及预先训练的关联概率模型,可以通过图6所示的训练模型的流程进行训练,该训练模型的流程可以包括步骤S601~步骤S605:
S601:获取已上线业务的历史交易记录,所述历史交易记录用于表示各用户与各产品之间进行交易时的关联关系。
本实施例中,所述已上线的业务可以理解为已经被用户使用的业务,所述已上线业务的历史交易记录可以包括用户的信息、产品的信息及各用户和各产品之间进行交易时的关联关系等,其中,所述各用户和各产品之间进行交易时的关联关系,可以采用产品和买家的交易关系表来实现。
S602:基于所述历史交易记录和预设的产品规则计算各产品的交易量,以及,基于所述历史交易记录和预设的用户规则计算各用户的交易量。
本实施例中,需要说明的是,对于基于所述历史交易记录和预设的产品规则计算各产品的交易量的步骤,和,基于所述历史交易记录和预设的用户规则计算各用户的交易量的步骤,可以是不区分先后顺序的,这两个步骤可以是同时进行的,也可以是不同时进行的。
一方面,S602中基于所述历史交易记录和预设的产品规则计算各产品的交易量,具体可以包括:获取所述历史记录中产品特征及产品特征的交易量;依据所述预设的产品规则,获取符合所述产品规则的产品特征与产品特征的交易量的关联关系。因此,所述产品的交易量表示了符合所述产品规则的产品特征与产品特征的交易量的关联关系,可以采用产品特征与产品特征的交易量的关联表来实现。
其中,这里提到的预设的产品规则和S101中的提到的预设的产品规则是相同的产品规则。
另一方面,S602中基于历史交易记录和预设的用户规则计算各用户的交易量,具体可以包括:获取所述历史记录中用户特征及用户特征的交易量;依据所述预设的用户规则,获取符合所述用户规则的用户特征与用户特征的交易量的关联关系。因此,所述用户的交易量表示了符合所述用户规则的用户特征与用户特征交易量的关联关系,可以采用用户特征与用户特征的交易量的关联关系来实现。
其中,这里提到的预设的用户规则和S101中的提到的预设的用户规则是相同的用户规则。
S603:采用支持向量回归的SVR算法对所述各产品的交易量进行训练,得到产品评分模型,以及,采用支持向量回归SVR算法对所述各用户的交易量进行训练得到用户评分模型。
本实施例中,需要说明的是,对于采用支持向量回归的SVR算法对所述各产品的交易量进行训练得到产品评分模型的步骤,和,采用支持向量回归SVR算法对所述各用户的交易量进行训练得到用户评分模型的步骤,可以是同时进行的,也可以不是同时进行的。
本步骤中,一方面,采用支持向量回归的SVR算法对所述各产品的交易量进行训练,得到产品评分模型,具体可以包括:采用SVR(英文全称:Support Vector Regression,中文全称:支持向量机)算法对得到的所述产品特征和所述产品特征的交易量的关联关系进行训练,得到产品评分模型。例如:得到的产品评分模型中不同产品特征的交易量对应着不同的分值。
举例说明:以上步骤中提到的采用所述产品评分模型计算每一类产品特征的特征分值,具体的可以是:将得到的所述产品特征的聚类结果输入到所述产品评分模型中,得到每类产品特征对应的交易量,不同的产品特征交易量对应的不同的分值,交易量越大的产品特征分值越高。
另一方面,采用支持向量回归SVR算法对所述各用户的交易量进行训练得到用户评分模型,具体可以包括:采用SVR算法对得到的所述用户产品特征和产品特征的交易量的关联关系进行训练,得到用户评分模型。例如:得到的不同用户特征的交易量对应的不同的分值。
以上S302中提到的采用所述用户评分模型计算每一类用户特征的特征分值,具体的可以是:将得到的所述用户特征的聚类结果输入到所述用户评分模型中,得到每个用户特征对应的交易量,不同的用户特征交易量对应着不同的分值,用户特征交易量越大分值越大。
本实施例中,还需要说明的是,SVR算法可以被CART(Classification andRegression Trees)算法、GBDT(Gradient Boosting Decision Tree)算法、LinearRegression(中文全称:线性回归)算法等其它同族算法替代。
S604:基于所述历史交易记录、各产品的交易量和各用户的交易量,计算各产品和各用户之间的组合关系。
本实施例中,所述历史交易记录中包括各用户与各产品之间进行交易时的关联关系,进一步的,所述历史交易记录中包括各用户特征与各产品特征之间进行交易时的关联关系。并且,S504中得到的各产品和各用户之间的组合关系,进一步可以理解为各产品特征和各用户特征之间组合关系、相对应的各产品特征的交易量及对应的各用户特征的交易量。
S605:采用支持向量机SVM算法对所述各个产品和各个用户之间的组合关系进行训练,得到关联概率模型。
本实施例中,得到的关联概率模型中不同的产品和用户的组合对应不同的分值,也即,不同的产品特征和用户特征的组合对应不同的分值。进一步的可以理解为,不同的产品特征和用户特征的组合对应不同的产品特征交易量和用户特征交易量,不同的产品特征交易量和不同的用户特征交易量代表着不同的分值。
本实施例中,需要说明的是,SVM(英文全称:Support Vector Machine,中文全称:支持向量机)可以采用C45Decision Tree(中文全称:决策树)、Adaboost算法等其它同族算法替代。
本实施例中,对业务测试完成后,还可以包括:获取对所述待测业务进行测试得到的测试结果,并依据所述测试结果对所述待测业务的源代码进行调试。
本实施例中,对业务进行测试时,首先,依据基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,以及,基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据;然后,基于预设的组合规则和预先训练的关联概率模型,从所述目标产品数据和所述目标用户数据之间进行组合后的关联数据中筛选出目标组合数据;最后,基于所述目标组合数据和预设的用例规则生成业务的测试用例,并执行所述测试用例以便对所述业务进行测试。因此,采用本申请实施例,通过经过训练后的机器学习模型筛选出的目标组合数据生成待测试业务的测试用例,整个业务的执行过程无需测试人员手动生成测试模型,这样不仅降低了测试人员的工作量,而且对业务的功能测试覆盖全面,对于一些极端场景或者一些不常用的功能也可以涉及到。
参见图7,示出了本申请实施例中一种业务测试装置的结构。在本实施例中,所述装置可以包括:
获取单元701,用于基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,以及,基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据;
筛选单元702,用于基于预设的组合规则和预先训练的关联概率模型,从原始组合数据中筛选出目标组合数据,所述原始组合数据为:所述目标产品数据和所述目标用户数据之间进行组合后的关联数据;
生成单元703,用于基于所述目标组合数据和预设的用例规则生成待测业务的测试用例。
测试单元704,用于执行所述测试用例以便对所述待测业务进行测试。
可选的,所述获取单元可以包括:
产品特征获取子单元,用于利用预设的产品规则生成对应的产品特征;
第一获取子单元,用于利用所述产品特征从所述原始产品数据中获取与所述产品特征匹配的产品数据;
第一筛选子单元,用于依据预先训练的产品评分模型从所述匹配的产品数据中筛选出部分产品作为目标产品数据。
可选的,所述第一筛选子单元可以包括:
产品聚类子单元,用于采用无监督学习的聚类算法对所述匹配的产品数据进行聚类,得到聚类后的各类产品数据;
第一计算子单元,用于采用所述预先训练的产品评分模型计算所述各类产品数据中各产品的分值;
目标产品数据确定子单元,用于将分值大于预设分数阈值的产品确定为所述目标产品数据。
可选的,所述获取单元701可以包括:
用户特征获取子单元,用于利用预设的用户规则生成对应的用户特征;
第二获取子单元,用于利用所述用户特征从所述原始用户数据中获取与所述用户特征匹配的用户数据;
第二筛选子单元,用于依据预先训练的用户评分模型从所述匹配的用户数据中筛选出部分用户作为目标用户数据。
可选的,所述第二筛选子单元,可以包括:
用户特征聚类子单元,用于采用无监督学习的聚类算法对所述匹配的用户数据进行聚类,得到聚类后的各类用户数据;
第二计算子单元,用于采用所述预先训练用户评分模型计算所述各类用户数据中各用户的分值;
目标用户数据确定子单元,用于将分值大于预设分数阈值的用户确定为所述目标用户数据。
可选的,所述筛选单元,可以包括:
组合子单元,用于基于预设的组合规则分别将各目标用户数据和各目标产品数据,进行两两组合,得到组合后的初始组合数据;
概率预测子单元,用于基于预先训练的关联概率模型对组合后的初始组合数据进行概率预测,得到各初始组合数据的预测概率;
目标组合数据确定子单元,用于将预测概率大于预设概率阈值的初始组合数据确定为目标组合数据。
可选的,所述生成单元,可以包括:
组合关系获取子单元,用于获取所述目标组合数据所包括的各目标产品数据与各目标用户数据的组合关系;
生成子单元,用于将具有组合关系的各组目标产品数据和目标用户数据按照预设的用例规则生成所述待测业务下的测试用例。
可选的,所述装置还可以包括:
历史交易记录获取单元,用于获取已上线业务的历史交易记录,所述历史交易记录用于表示各用户与各产品之间进行交易时的关联关系;
交易量计算子单元,用于基于所述历史交易记录和预设的产品规则计算各产品的交易量,以及,基于所述历史交易记录和预设的用户规则计算各用户的交易量;
第一训练单元,用于采用支持向量回归SVR算法对所述各产品的交易量进行训练,得到产品评分模型,以及,采用支持向量回归SVR算法对所述各用户的交易量进行训练,得到用户评分模型;
计算单元,包括基于所述历史交易记录、各产品的交易量和各用户的交易量,计算各产品和各用户之间的组合关系;
第二训练单元,用于采用支持向量机SVM算法对所述各产品和各用户之间的组合关系进行训练,得到关联概率模型。
可选的,所述装置还可以包括:
调试单元,用于获取对所述待测业务进行测试得到的测试结果,并依据所述测试结果对所述待测业务的源代码进行调试。
本实施例中所述的测试装置,对业务进行测试时,首先,依据基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,以及,基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据;然后,基于预设的组合规则和预先训练的关联概率模型,从所述目标产品数据和所述目标用户数据之间进行组合后的关联数据中筛选出目标组合数据;最后,基于所述目标组合数据和预设的用例规则生成待测业务的测试用例,并执行所述测试用例以便对所述待测业务进行测试。
因此,采用本申请实施例中的测试装置,通过经过训练后的机器学习模型筛选出的目标组合数据生成待测试业务的测试用例,整个业务的执行过程无需测试人员手动生成测试模型,这样不仅降低了测试人员的工作量,而且对业务的功能测试覆盖全面,对于一些极端场景或者一些不常用的功能也可以涉及到。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本申请的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种业务测试方法,其特征在于,该方法包括:
基于预设的产品规则和预先训练的产品评分模型,从原始产品数据中获取目标产品数据,以及,基于预设的用户规则和预先训练的用户评分模型,从原始用户数据中获取目标用户数据;
基于预设的组合规则和预先训练的关联概率模型,从原始组合数据中筛选出目标组合数据,所述原始组合数据为:所述目标产品数据和所述目标用户数据之间进行组合后的关联数据;
基于所述目标组合数据和预设的用例规则生成待测业务的测试用例,并执行所述测试用例以便对所述待测业务进行测试。
2.根据权利要求1所述的方法,其特征在于,所述基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,包括:
利用预设的产品规则生成对应的产品特征;
利用所述产品特征从所述原始产品数据中获取与所述产品特征匹配的产品数据;
依据预先训练的产品评分模型从匹配的产品数据中筛选出部分产品作为目标产品数据。
3.根据权利要求2所述的方法,其特征在于,所述依据预先训练的产品评分模型从所述匹配的产品数据中筛选出部分产品作为目标产品数据,包括:
采用无监督学习的聚类算法对所述匹配的产品数据进行聚类,得到聚类后的各类产品数据;
采用所述预先训练的产品评分模型计算所述各类产品数据中各产品的分值;
将分值大于预设分数阈值的产品确定为所述目标产品数据。
4.根据权利要求1所述的方法,其特征在于,所述基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据,包括:
利用预设的用户规则生成对应的用户特征;
利用所述用户特征从所述原始用户数据中获取与所述用户特征匹配的用户数据;
依据预先训练的用户评分模型从所述匹配的用户数据中筛选出部分用户作为目标用户数据。
5.根据权利要求4所述的方法,其特征在于,所述依据预先训练的用户评分模型从所述用户特征中筛选出部分用户特征作为目标用户数据,包括:
采用无监督学习的聚类算法对所述匹配的用户数据进行聚类,得到聚类后的各类用户数据;
采用所述预先训练的用户评分模型计算所述各类用户数据中各用户的分值;
将用户分值大于预设分数阈值的用户确定为所述目标用户数据。
6.根据权利要求1所述的方法,其特征在于,所述基于预设的组合规则和预先训练的关联概率模型,从原始组合数据中获取目标组合数据,包括:
基于预设的组合规则分别将各目标用户数据和各目标产品数据,进行两两组合,得到组合后的初始组合数据;
基于预先训练的关联概率模型对组合后的初始组合数据进行概率预测,得到各初始组合数据的预测概率;
将预测概率大于预设概率阈值的初始组合数据确定为目标组合数据。
7.根据权利要求1所述的方法,其特征在于,所述基于所述目标组合数据和预设的用例规则生成待测业务的测试用例,包括:
获取所述目标组合数据所包括的各目标产品数据与各目标用户数据的组合关系;
将具有组合关系的各组目标产品数据和目标用户数据按照预设的用例规则生成所述待测业务下的测试用例。
8.根据权利要求1所述的方法,其特征在于,所述产品评分模型、用户评分模型和关联概率模型通过以下方式训练得到:
获取已上线业务的历史交易记录,所述历史交易记录用于表示各用户与各产品之间进行交易时的关联关系;
基于所述历史交易记录和预设的产品规则计算各产品的交易量,以及,基于所述历史交易记录和预设的用户规则计算各用户的交易量;
采用支持向量回归SVR算法对所述各产品的交易量进行训练,得到产品评分模型,以及,采用支持向量回归SVR算法对所述各用户的交易量进行训练,得到用户评分模型;
基于所述历史交易记录、各产品的交易量和各用户的交易量,计算各产品和各用户之间的组合关系;
采用支持向量机SVM算法对所述各产品和各用户之间的组合关系进行训练,得到关联概率模型。
9.根据权利要求1~8任意一项所述的方法,其特征在于,还包括:
获取对所述待测业务进行测试得到的测试结果,并依据所述测试结果对所述待测业务的源代码进行调试。
10.一种业务测试装置,其特征在于,该装置包括:
获取单元,用于基于预设的产品规则和预先训练的产品评分模型从原始产品数据中获取目标产品数据,以及,基于预设的用户规则和预先训练的用户评分模型从原始用户数据中获取目标用户数据;
筛选单元,用于基于预设的组合规则和预先训练的关联概率模型,从原始组合数据中筛选出目标组合数据,所述原始组合数据为:所述目标产品数据和所述目标用户数据之间进行组合后的关联数据;
生成单元,用于基于所述目标组合数据和预设的用例规则生成待测业务的测试用例;
测试单元,用于执行所述测试用例以便对所述待测业务进行测试。
CN201710058791.7A 2017-01-23 2017-01-23 一种业务测试方法及装置 Active CN108345979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710058791.7A CN108345979B (zh) 2017-01-23 2017-01-23 一种业务测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710058791.7A CN108345979B (zh) 2017-01-23 2017-01-23 一种业务测试方法及装置

Publications (2)

Publication Number Publication Date
CN108345979A CN108345979A (zh) 2018-07-31
CN108345979B true CN108345979B (zh) 2021-07-09

Family

ID=62962217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710058791.7A Active CN108345979B (zh) 2017-01-23 2017-01-23 一种业务测试方法及装置

Country Status (1)

Country Link
CN (1) CN108345979B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389972B (zh) * 2018-09-21 2020-11-03 四川长虹电器股份有限公司 语义云功能的质量测试方法、装置、存储介质和设备
CN111489163A (zh) * 2020-04-07 2020-08-04 支付宝(杭州)信息技术有限公司 一种业务处理方法、装置及电子设备
CN112185575B (zh) * 2020-10-14 2024-01-16 北京嘉和美康信息技术有限公司 一种确定待比对医疗数据的方法和装置
CN112508631A (zh) * 2021-02-07 2021-03-16 北京淇瑀信息科技有限公司 用户策略分配方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908020A (zh) * 2010-08-27 2010-12-08 南京大学 一种基于分类挖掘和版本变更的测试用例优先化方法
CN101984416A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 一种测试用例的生成方法及装置
CN102004691A (zh) * 2010-11-12 2011-04-06 中兴通讯股份有限公司 执行测试用例的方法及***
CN102063374A (zh) * 2011-01-07 2011-05-18 南京大学 一种使用半监督信息进行聚类的回归测试用例选择方法
CN102629233A (zh) * 2012-01-09 2012-08-08 北京航空航天大学 一种软件可靠性测试数据生成方法及其计算机辅助工具
CN102999320A (zh) * 2011-09-15 2013-03-27 阿里巴巴集团控股有限公司 测试用例自动生成方法和***
CN105469263A (zh) * 2014-09-24 2016-04-06 阿里巴巴集团控股有限公司 一种商品推荐方法及装置
CN105893256A (zh) * 2016-03-30 2016-08-24 西北工业大学 基于机器学习算法的软件故障定位方法
CN105988930A (zh) * 2015-03-02 2016-10-05 阿里巴巴集团控股有限公司 测试用例生成方法和装置
CN106294107A (zh) * 2015-05-27 2017-01-04 富士通株式会社 生成网页页面的测试用例的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150026664A1 (en) * 2013-07-17 2015-01-22 International Business Machines Corporation Method and system for automated test case selection

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908020A (zh) * 2010-08-27 2010-12-08 南京大学 一种基于分类挖掘和版本变更的测试用例优先化方法
CN101984416A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 一种测试用例的生成方法及装置
CN102004691A (zh) * 2010-11-12 2011-04-06 中兴通讯股份有限公司 执行测试用例的方法及***
CN102063374A (zh) * 2011-01-07 2011-05-18 南京大学 一种使用半监督信息进行聚类的回归测试用例选择方法
CN102999320A (zh) * 2011-09-15 2013-03-27 阿里巴巴集团控股有限公司 测试用例自动生成方法和***
CN102629233A (zh) * 2012-01-09 2012-08-08 北京航空航天大学 一种软件可靠性测试数据生成方法及其计算机辅助工具
CN105469263A (zh) * 2014-09-24 2016-04-06 阿里巴巴集团控股有限公司 一种商品推荐方法及装置
CN105988930A (zh) * 2015-03-02 2016-10-05 阿里巴巴集团控股有限公司 测试用例生成方法和装置
CN106294107A (zh) * 2015-05-27 2017-01-04 富士通株式会社 生成网页页面的测试用例的方法和装置
CN105893256A (zh) * 2016-03-30 2016-08-24 西北工业大学 基于机器学习算法的软件故障定位方法

Also Published As

Publication number Publication date
CN108345979A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
CN107153971B (zh) 用于识别app推广中设备作弊的方法及装置
CN108345979B (zh) 一种业务测试方法及装置
CN106651542B (zh) 一种物品推荐的方法及装置
CN107220845B (zh) 用户复购概率预测/用户质量确定方法、装置及电子设备
CN109934341A (zh) 训练、验证以及监测人工智能和机器学习的模型
CN108804704A (zh) 一种用户深度画像方法及装置
CN110610193A (zh) 标注数据的处理方法及装置
CN109685537B (zh) 用户行为的分析方法、装置、介质和电子设备
CN111582645B (zh) 基于因子分解机的app风险评估方法、装置和电子设备
CN108733712A (zh) 一种问答***评价方法和装置
US20180349476A1 (en) Evaluating theses using tree structures
CN108717519B (zh) 一种文本分类方法及装置
CN110096539A (zh) 在线批量导入试题方法以及装置
JP6308339B1 (ja) クラスタリングシステム、方法およびプログラム、並びに、レコメンドシステム
CN111475628A (zh) 会话数据处理方法、装置、计算机设备和存储介质
CN108984777B (zh) 客户服务方法、装置和计算机可读存储介质
JP5945206B2 (ja) 商品推薦装置及び方法及びプログラム
CN113554438B (zh) 账号的识别方法、装置、电子设备及计算机可读介质
CN110705955B (zh) 合同检测方法以及装置
CN108460049A (zh) 一种确定信息类别的方法和***
CN106779929A (zh) 一种产品推荐方法、装置和计算设备
CN112995256A (zh) 行为数据处理方法及相关设备
CN110782128A (zh) 一种用户职业标签生成方法、装置和电子设备
CN107291722B (zh) 一种描述词的分类方法及设备
CN116127155A (zh) 一种措施推送方法、***、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant