CN110490413A - 软件测评项目定量管理方法、装置、设备及可读存储介质 - Google Patents

软件测评项目定量管理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN110490413A
CN110490413A CN201910630507.8A CN201910630507A CN110490413A CN 110490413 A CN110490413 A CN 110490413A CN 201910630507 A CN201910630507 A CN 201910630507A CN 110490413 A CN110490413 A CN 110490413A
Authority
CN
China
Prior art keywords
measurement
quantitative
target
software
metric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910630507.8A
Other languages
English (en)
Inventor
姜晓辉
胡勇
武伟
郭久武
王磊
王宇龙
丁振国
赵茜
高小雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INFORMATION CENTRAL OF CHINA NORTH INDUSTRIES GROUP CORP
Pla 63961 Force
Original Assignee
INFORMATION CENTRAL OF CHINA NORTH INDUSTRIES GROUP CORP
Pla 63961 Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INFORMATION CENTRAL OF CHINA NORTH INDUSTRIES GROUP CORP, Pla 63961 Force filed Critical INFORMATION CENTRAL OF CHINA NORTH INDUSTRIES GROUP CORP
Priority to CN201910630507.8A priority Critical patent/CN110490413A/zh
Publication of CN110490413A publication Critical patent/CN110490413A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Operations Research (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种软件测评项目定量管理方法、装置、设备及可读存储介质，涉及软件测评技术领域，可以采用度量模型，对目标软件测评项目的度量数据进行评估，基于度量数据明确目标软件测评过程每个关键过程域的具体知识和方法，充分体现度量的过程性，显示软件测评项目评估的实际操作性，保证了软件测评项目评估的全面性。所述方法包括：在过程度量和产品度量中确定定量的复合度量，建立度量模型；采集目标软件测评项目的度量数据，将度量数据输入至度量模型；基于度量模型，对度量数据进行归一化处理，生成度量数据的集成化指标值；获取评估标准，确定集成化指标值在评估标准中映射的目标标度，将目标标度作为目标软件测评项目的评估结果。

Description

软件测评项目定量管理方法、装置、设备及可读存储介质
技术领域
本发明涉及软件测评技术领域，特别是涉及一种软件测评项目定量管理方法、装置、设备及可读存储介质。
背景技术
在软件的整个开发过程中，软件测评工作与软件开发工作是相对独立的软件工程过程，为了保证软件测评工作的质量，通常会对软件测评涉及的项目进行管理。软件测评项目的管理包括项目策划、测量与监控、配置管理和质量保证等。在软件测评项目的管理中，一般来说需要重点考察软件测评项目的执行过程的质量、进度、成本三个维度，最终目标是以过程质量换取交付产品的质量保证。目前，用于进行软件测评项目的管理的管理度量模型分为产品度量和过程度量，从不同维度反映软件工程整个测评过程的特性，通过定量监控测评工作的实施过程和过程产品质量，达到软件测评项目管理的目标。
相关技术中，产品度量着重分析软件质量属性的影响因素，研究对象是软件产品，即在软件质量属性和软件设计、编程的特性之间建立关联映射。过程度量是对软件过程进行度量的定义、方法、活动和结果的集合，通过度量，给出对软件过程客观的评价。
在实现本发明的过程中，发明人发现相关技术至少存在以下问题：
软件测评项目的度量管理主要实现了对软件的质量、测评进度等进行预测，指出了软件属性的趋势，其目的是为了对软件针对性地进行改善，但是对于软件测评项目中每个关键过程域的具体知识和方法并没有提及，不能充分体现测评度量的过程性，缺乏实际操作性，比较片面。
发明内容
有鉴于此，本发明提供了一种软件测评项目定量管理方法、装置、设备及可读存储介质，主要目的在于解决目前对于软件测评项目中每个关键过程域的具体知识和方法并没有提及，不能充分体现测评度量的过程性，缺乏实际操作性，比较片面的问题。
依据本发明第一方面，提供了一种软件测评项目定量管理方法，该方法包括：
在目标软件测评项目的过程度量和产品度量中确定定量的复合度量，基于所述定量的复合度量，建立度量模型，所述定量的复合度量基于所述过程度量和所述产品度量中定量的信息需求生成，所述定量的信息需求包括了解软件测试项目需求变化的规律、确保交付产品的质量满足要求、为同类项目估算和决策提供规模参考、为同类项目估算和决策提供进度参考、为同类项目估算和决策提供工作量参考、技术能力监测；
采集所述目标软件测评项目的度量数据，将所述度量数据输入至所述度量模型，所述度量数据与所述定量的复合度量一一对应；
基于所述度量模型，对所述度量数据进行归一化处理，生成所述度量数据的集成化指标值；
获取评估标准，确定所述集成化指标值在所述评估标准中映射的目标标度，将所述目标标度作为所述目标软件测评项目的评估结果。
在另一个实施例中，所述在目标软件测评项目的过程度量和产品度量中确定定量的复合度量，基于所述定量的复合度量，建立度量模型，包括：
在所述目标软件测评项目的过程度量和产品度量中确定所述定量的复合度量，基于所述定量的复合度量，构建度量体系；
对所述度量体系进行归一化处理，建立所述度量模型。
在另一个实施例中，所述在所述目标软件测评项目的过程度量和产品度量中确定所述定量的复合度量，基于所述定量的复合度量，构建度量体系，包括：
在所述过程度量和产品度量中提取所述定量的信息需求，确定所述定量的信息需求的测量目标，所述测量目标包括监视需求的变化、评估测试覆盖度、第一评估项目规模、第二评估项目规模、第一监视软件测试进度、第二监视软件测试进度、监视软件测试工作量、第一监视评审过程的缺陷与关闭情况、第二监视评审过程的缺陷与关闭情况、评估用例的有效性；
对于所述定量的信息需求中的每个信息需求，根据所述信息需求的测量指标，对所述信息需求的测量目标进行度量，得到所述信息需求的复合度量；
确定所述信息需求的复合度量的计算公式，整理所述信息需求、所述测量指标、所述测量目标、所述信息需求的复合度量和所述计算公式之间的映射关系；
重复执行上述生成所述映射关系的过程，得到所述定量的信息需求的定量映射关系；
将所述定量映射关系作为所述度量体系。
在另一个实施例中，所述对所述度量体系进行归一化处理，建立所述度量模型，包括：
分别获取所述度量体系中定量映射关系的定量权重值和定量参数取值；
基于所述定量权重值和所述定量参数取值的乘积和，构建指标值公式，将所述指标值公式作为所述度量模型。
在另一个实施例中，所述获取评估标准，确定所述集成化指标值在所述评估标准中映射的目标标度，包括：
获取所述评估标准，所述评估标准至少包括多个标度，所述多个标度中每个标度至少包括取值区间和评估等级；
查询所述集成化指标所在的目标取值区间，确定所述目标取值区间对应的目标标度。
依据本发明第二方面，提供了一种软件测评项目定量管理装置，该装置包括：
建立模块，用于在目标软件测评项目的过程度量和产品度量中确定定量的复合度量，基于所述定量的复合度量，建立度量模型，所述定量的复合度量基于所述过程度量和所述产品度量中定量的信息需求生成，所述定量的信息需求包括了解软件测试项目需求变化的规律、确保交付产品的质量满足要求、为同类项目估算和决策提供规模参考、为同类项目估算和决策提供进度参考、为同类项目估算和决策提供工作量参考、技术能力监测；
采集模块，用于采集所述目标软件测评项目的度量数据，将所述度量数据输入至所述度量模型，所述度量数据与所述定量的复合度量一一对应；
处理模块，用于基于所述度量模型，对所述度量数据进行归一化处理，生成所述度量数据的集成化指标值；
确定模块，用于获取评估标准，确定所述集成化指标值在所述评估标准中映射的目标标度，将所述目标标度作为所述目标软件测评项目的评估结果。
在另一个实施例中，所述建立模块包括：
构建单元，用于在所述目标软件测评项目的过程度量和产品度量中确定所述定量的复合度量，基于所述定量的复合度量，构建度量体系；
建立单元，用于对所述度量体系进行归一化处理，建立所述度量模型。
在另一个实施例中，所述构建单元，用于在所述过程度量和产品度量中提取所述定量的信息需求，确定所述定量的信息需求的测量目标，所述测量目标包括监视需求的变化、评估测试覆盖度、第一评估项目规模、第二评估项目规模、第一监视软件测试进度、第二监视软件测试进度、监视软件测试工作量、第一监视评审过程的缺陷与关闭情况、第二监视评审过程的缺陷与关闭情况、评估用例的有效性；对于所述定量的信息需求中的每个信息需求，根据所述信息需求的测量指标，对所述信息需求的测量目标进行度量，得到所述信息需求的复合度量；确定所述信息需求的复合度量的计算公式，整理所述信息需求、所述测量指标、所述测量目标、所述信息需求的复合度量和所述计算公式之间的映射关系；重复执行上述生成所述映射关系的过程，得到所述定量的信息需求的定量映射关系；将所述定量映射关系作为所述度量体系。
在另一个实施例中，所述建立单元，用于分别获取所述度量体系中定量映射关系的定量权重值和定量参数取值；基于所述定量权重值和所述定量参数取值的乘积和，构建指标值公式，将所述指标值公式作为所述度量模型。
在另一个实施例中，所述确定模块，包括：
获取单元，用于获取所述评估标准，所述评估标准至少包括多个标度，所述多个标度中每个标度至少包括取值区间和评估等级；
查询单元，用于查询所述集成化指标所在的目标取值区间，确定所述目标取值区间对应的目标标度。
依据本发明第三方面，提供了一种设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。
依据本发明第四方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。
借由上述技术方案，本发明提供的一种软件测评项目定量管理方法、装置、设备及计算机可读存储介质，与目前分别对目标软件测评项目进行产品度量和过程度量的方式相比，本发明采集目标软件测评项目的度量数据，将度量数据输入至根据过程度量和产品度量的多个复合度量生成的度量模型，基于度量模型，对度量数据进行归一化处理，生成集成化指标值，并在评估标准中根据集成化指标值确定目标软件测评项目的评估结果，使得采用度量模型，对目标软件测评项目的度量数据进行测评，基于度量数据明确目标软件测评项目每个关键过程域的具体知识和方法，充分体现了测评度量的过程性，显示了实际操作性，保证了软件测评项目度量的全面性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种软件测评项目定量管理方法流程示意图；
图2A示出了本发明实施例提供的一种软件测评项目定量管理方法流程示意图；
图2B示出了本发明实施例提供的一种软件测评项目定量管理方法的示意图；
图3A示出了本发明实施例提供的一种软件测评项目定量管理装置的结构示意图；
图3B示出了本发明实施例提供的一种软件测评项目定量管理装置的结构示意图；
图3C示出了本发明实施例提供的一种软件测评项目定量管理装置的结构示意图；
图4示出了本发明实施例提供的一种设备的装置结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种软件测评项目定量管理方法，如图1所示，该方法包括：
101、在目标软件测评项目的过程度量和产品度量中确定定量的复合度量，基于定量的复合度量，建立度量模型，定量的复合度量基于过程度量和产品度量中定量的信息需求生成，定量的信息需求包括了解软件测试项目需求变化的规律、确保交付产品的质量满足要求、为同类项目估算和决策提供规模参考、为同类项目估算和决策提供进度参考、为同类项目估算和决策提供工作量参考、技术能力监测。
102、采集目标软件测评项目的度量数据，将度量数据输入至度量模型，度量数据与定量的复合度量一一对应。
103、基于度量模型，对度量数据进行归一化处理，生成度量数据的集成化指标值。
104、获取评估标准，确定集成化指标值在评估标准中映射的目标标度，将目标标度作为目标软件测评项目的评估结果。
本发明实施例提供的方法，可以采集目标软件测评项目的度量数据，将度量数据输入至根据过程度量和产品度量的多个复合度量生成的度量模型，基于度量模型，对度量数据进行归一化处理，生成集成化指标值，并在评估标准中根据集成化指标值确定目标软件测评项目的评估结果，使得采用度量模型，对目标软件测评项目的度量数据进行测评，基于度量数据明确目标软件测评项目每个关键过程域的具体知识和方法，充分体现了测评度量的过程性，显示了实际操作性，保证了软件测评项目度量的全面性。
本发明实施例提供了一种软件测评项目定量管理方法，如图2A所示，该方法包括：
201、建立度量模型。
发明人认识到，目前用于对软件测评过程涉及的项目进行度量的度量模型包括产品度量和过程度量。现有产品度量着重分析软件质量属性的影响因素，研究对象是软件产品，即在软件质量属性和软件设计、编程的特性之间建立关联映射。这些度量可以帮助认识软件产品的质量特性，尽管其对质量特征和产品特性的度量本身是有用的，但在软件过程质量度量中无法使用；且度量模型中的质量要素和准则(子特性)之间的关系是通过非形式化建立，不能确定该模型是不是质量的一个完备的或者一致的定义，为评价带入主观性因素。现有过程度量对软件测评过程的度量存在片面性，不能充分体现度量的过程性。CMMI(Capability Maturity Model Integration，能力成熟度模型集成)技术虽然为软件过程改善和软件过程评估提供了一个有效的指导框架，在这个过程中，软件的质量、进度等都是可以预测的，但没有提出实现每个关键过程域的具体知识和方法，缺乏实际操作性。因此，本发明通过抽取软件测评各个过程域所需的过程和产品的基本度量和导出度量，形成软件测评项目的复合度量，包括规模、工作量、人员、进度、生产率、缺陷密度等，将这些复合度量按照过程度量和产品度量进行分类和分层，建立过程和产品统一性度量与评价的度量模型，形成统一性的层次结构。其中，在建立度量模型时，可以通过执行下述步骤2011至步骤2012实现。
2011、在所述目标软件测评项目的过程度量和产品度量中确定所述定量的复合度量，基于所述定量的复合度量，构建度量体系。
度量体系中包括定量信息需求的映射关系。为了基于软件开发项目度量中统一过程度量思想设计本发明的度量模型，因此，从测试项目过程和测试产品质量的角度提出复合度量，明确度量层次关系，生成度量体系，进而建立度量模型。在生成度量体系时，具体地，首先，在过程度量和产品度量中提取定量的信息需求，对于定量的信息需求中的每个信息需求，根据信息需求的测量指标，对信息需求的测量目标进行度量，得到定量的复合度量；随后，确定定量复合度量的计算公式，整理信息需求、测量指标、测量目标、定量复合度量和计算公式之间的映射关系。重复执行上述生成映射关系的过程，得到定量信息需求的定量映射关系，并将定量映射关系作为度量体系。
在具体的实施过程中，综合考虑对软件测试项目的过程度量和产品度量进行全覆盖，提出基于定量的信息需求生成的度量体系，其中，定量的信息需求具体包括：了解软件测试项目需求变化的规律、确保交付产品的质量满足要求、为同类项目估算和决策提供规模参考、为同类项目估算和决策提供进度参考、为同类项目估算和决策提供工作量参考、技术能力监测。这样，便可以为定量的信息需求确定10个测量目标，进而根据这10个测量目标来生成度量体系。
需要说明的是，由于信息需求“为同类项目估算和决策提供规模参考”的测量目标“评估项目规模”对应的测量指标是可变的，可分为测试用例规模偏差和测试需求规模偏差，因此，信息需求“为同类项目估算和决策提供规模参考”可提供2种不同的测量目标，也即第一评估项目规模、第二评估项目规模；且信息需求“为同类项目估算和决策提供进度参考”的测量目标“监视软件测试进度”对应的测量指标也是可变的，可分为里程碑进度偏差率和进度偏差率，因此，信息需求“为同类项目估算和决策提供进度参考”可提供2种不同的测量目标，也即第一监视软件测试进度、第二监视软件测试进度；且信息需求“确保交付产品的质量满足要求”的测量目标“监视评审过程的缺陷与关闭情况”对应的测量指标也是可变的，可分为过程评审缺陷密度和评审缺陷平均关闭天数，因此，信息需求“确保交付产品的质量满足要求”可提供2种不同的测量目标，也即第一监视评审过程的缺陷与关闭情况、第二监视评审过程的缺陷与关闭情况。其中，可以采用表格的形式来表示信息需求、测量指标、测量目标、多个复合度量和计算公式之间的映射关系，综上所述，基于定量的信息需求生成的度量体系如表1所示。
表1
2012、对度量体系进行归一化处理，得到度量模型。
由于度量体系中的各个复合度量的情况不同，且侧重于不同的软件度量维度，可比性差，有的复合度量无量纲(如工作量使用偏差率)，有的复合度量有量纲(如缺陷密度的量纲为个缺陷/KLOC)，没有可比性。为了将其整合为一项指标，必须将所有纳入指标的复合度量去量纲化，得到具有可比性的各复合度量的归一化数值，进而才能运用于计算中。另外，各个复合度量的无量纲数值的数量级相同，最多相差1个数量级。如果各个复合度量数值相差悬殊，会发生大数据“淹没”小数据的情况(即小数据被忽略不计)，得到的归一化数值就无法反映被“淹没”的复合度量的贡献。综上所述，各个复合度量的无量纲数值的物理意义明显，符合人们的认知规律和直观感觉，因此，通过对度量体系进行归一化处理，得到度量模型。
这样，将度量体系整合成一项反映项目整体进展状态的指标值公式，从而在后续基于该指标值公式计算目标软件的测评项目的集成化指标，通过对集成化指标的评估实现对测评项目的评估。具体地，首先，分别获取度量体系中定量映射关系的定量权重值和定量参数取值，也即依据度量体系中复合度量的关注度和重要性，对度量体系中不同的复合度量赋予不同的权值。随后，基于定量权重值和定量复合度量取值的乘积和，构建指标值公式，将指标值公式作为度量模型。其中，依据指标值公式计算得到的集成化指标值是绝对数值，无量纲。在实际应用的过程中，建立的度量模型中指标值公式的表述如下述公式1所示。
公式1：
其中，V为集成化指标值，取值范围[0，1]；αi为各个复合度量的权重值，取值范围[0，1]；βi为各个复合度量的参数取值，取值范围[0，1]；N是纳入集成的复合度量项数，N≥1；i指示了第几个复合度量，取值为从1至N。
需要说明的是，公式(1)中的βi可以进一步分为以下四种情形：
Ⅰ类：复合度量的参数取值本身就是正比率，以百分比表示，复合度量是一种正向度量(即度量值越大越好)。如测试需求覆盖率，取值范围[0，1]。此种情形最简单，直接取复合度量的参数取值本身即可。
Ⅱ类：复合度量的参数取值本身就是偏差率，以百分比表示。不论是正偏差还是负偏差，都是超出项目的预期，都会对项目带来影响，因此都要考虑。解决办法是取偏差率的绝对值。为了保证取值范围[0，1]，还需要取绝对值与1的最小值。鉴于偏差率度量是一种反向度量(即度量值的绝对值越小越好)，对项目带来的是负面影响，因此需要将其影响扣除，解决方法是从1中减去最小值。值得一提的是，用户需求变更率也可归入Ⅱ类。
Ⅲ类：复合度量的参数取值带量纲，以具体数值表示，复合度量是一种反向度量(即度量值越小越好)。如项目的缺陷密度是10个缺陷/KLOC，缺陷密度越小质量越好。对这些复合度量必须去量纲化。解决办法是设定其目标值作为基准(Benchmark)值，取复合度量的参数取值与基准值的比值。为了保证取值范围[0，1]，还需要取比值与1的最小值。鉴于复合度量是一种反向度量，因此需要将其负面影响扣除，解决方法是从1中减去最小值。
Ⅳ类：复合度量的参数取值带量纲，以具体数值表示，复合度量是一种正向度量(即度量值越大越好)。如项目的生产率为10LOC/人时，生产率越大效率越高。对这些复合度量必须去量纲化。解决办法是设定其目标值作为基准值，取参数数值与基准值的比值。为了保证正向效应，需要从比值中减去1。为了保证取值为正值，需要取其与0的最大值。为了保证最终结果的取值范围[0，1]，还需要取最大值与1的最小值。
因此，综合考虑上述四种情况后，建立的度量模型中指标值公式的表述如下述公式2所示。
公式2：
β1i＝Ri,i＝1,...,N1
β2i＝1-M in{1,|D Ri|},i＝1,...,N2
0≤αji≤1，i＝1,…,Nj；j＝1,…,4
0≤βji≤1，i＝1,…,Nj；j＝1,…,4
其中，V为集成化指标值，取值范围[0，1]；α1i为Ⅰ类复合度量的权重值，取值范围[0，1]；α2i为Ⅱ类复合度量的权重值，取值范围[0，1]；α3i为Ⅲ类复合度量的权重值，取值范围[0，1]；α4i为Ⅳ类复合度量的权重值，取值范围[0，1]；β1i为Ⅰ类复合度量的参数取值，取值范围[0，1]；β2i为Ⅱ类复合度量的参数取值，取值范围[0，1]；β3i为Ⅲ类复合度量的参数取值，取值范围[0，1]；β4i为Ⅳ类复合度量的参数取值，取值范围[0，1]；N1是Ⅰ类复合度量项数，N1≥1(N1为0时，不纳入公式，以下同)；N2是Ⅱ类复合度量项数，N2≥1；N3是Ⅲ类复合度量项数，N3≥1；N4是Ⅳ类复合度量项数，N4≥1；Ri是Ⅰ类复合度量的正比率；DRi是Ⅱ类复合度量的偏差率；NQi是Ⅲ类复合度量的反向度量取值；是Ⅲ类复合度量的反向度量基准值(目标值)；PQi是Ⅳ类复合度量的正向度量取值；是Ⅳ类复合度量的正向度量基准值(目标值)。
需要说明的是，在β3i和β4i中，当参数数值与基准值相同时，出现一个奇点：β3i和β4i取值为0，即参数对指标零贡献。在任务书中，指标通常是以“≥”或“≤”形式下达指标的，当参数数值正好等于基准值时，也已经实现目标，在评估时注意此类情况。
对上述四种情形各举一例，如表2所示：
表2
通过上述算法，对表2中四种情形的数据计算得到的α值、β值以及α值和β值的乘积即为表3所示：
表3
根据上述内容得到的公式2所建立的度量模型比任何单维度指标更全面、更完整地反映项目进展状态，优于二元度量和分段度量，度量结果更精细、更客观，可用作统一指标来评估项目绩效(只要事先设置评估标准和准则)，具有开放性和扩展性，可随时根据所需的复合度量追加参数度量。
202、采集目标软件测评项目的度量数据，将度量数据输入至度量模型。
在本发明实施例中，当生成了度量模型后，便可以采集目标软件测评项目的度量数据，将度量数据输入至度量模型，实现对目标软件的测评。其中，在采集度量数据时，可以对目标软件的测评过程进行监控，在整个测评过程中提取需要进行评估的项目的数据作为度量数据。由于度量模型是基于定量的信息需求生成的，因此，度量数据需要与定量的信息需求生成的定量的复合度量一一对应，从而保证度量模型可以对输入的度量数据进行归一化处理。
203、基于度量模型，对度量数据进行归一化处理，生成度量数据的集成化指标值。
在本发明中，由于度量模型是基于指标值公式生成的，因此，将度量数据输入至度量模型后，基于该指标值公式，便可以实现将度量数据进行归一化处理，从而生成该度量数据的集成化指标值。具体地，由于指标值公式中规定了各个参数的位置以及各个参数之间的计算关系，因此，将度量数据按照度量模型的指示，依次填入度量模型的指标值公式中，并计算填入度量数据后的指标值公式的取值，从而将取值作为集成化指标值。继续以上述步骤201中表3的例子为例进行说明，由于表3所示的是度量数据的α值、β值以及α值和β值的乘积，这样，对α值、β值以及α值和β值的乘积进行计算，可以得到集成化指标值V＝0.68。
204、获取评估标准，确定集成化指标值在评估标准中映射的目标标度，将目标标度作为目标软件测评项目的评估结果。
在本发明实施例中，当生成了集成化指标后，便可以基于该集成化指标实现对目标软件测评项目的评估。根据上文对V定义可知，V取值越大，项目状态越好，因此，用户需要事先定义一个评估标准，将集成化指标映射在评估标准中的某一个标度上，从而实现对目标软件测评项目的评估。其中，参见表4，通常设置的标度可为优秀、良好、合格、不合格4种标度。
表4
序号 标度 取值范围
1 优秀 [0.9，1]
2 良好 [0.8，0.9)
3 合格 [0.6，0.8)
4 不合格 [0，0.6)
这样，便可以获取包括多个标度的评估标准，多个标度中每个标度至少包括取值区间和测评等级的评估标准，查询集成化指标所在的目标取值区间，确定目标取值区间对应的目标标度，进而将目标标度作为目标软件测评项目的评估结果。
另外，由于不同软件测评项目评估的标准是不同的，有些软件的测评项目可能目标标度为良好才是达标且合格的，而有些软件的测评项目对应的目标标度只要高于不合格即可认为是达标且合格的，因此，除了定义评估标准外，用户还可需定义评估准则，规定集成化指标值应该达到的水平。例如，可以设置图2B所示的评估准则，假设目标软件测评项目的目标标度为“良好”，即在“当前水平”线之上，则评估准则可定义为当集成化指标值大于等于“当前水平”时，该待评测软件达标；否则该目标软件测评项目不达标。但是由于只要目标标度大于等于“最差情形水平”还是会被认定为满意的，因此，即使集成化指标值大于等于“最差情形水平”，此时待评测软件还是合格的。
继续以上述步骤203中的例子进行说明，假设评估标准为表4所示，则可知集成化指标值V＝0.68所属的目标标度为“合格”。
在实际应用的过程中，对软件测评项目进行评估的活动可以总结为：确定信息需求，建立度量目标，选择复合度量，引用或定义度量规范，制定度量计划，将测量与分析活动集成到项目开发过程中。其中，测量与分析活动包括：度量计划采集度量数据，检查度量数据的质量，存储度量数据，计算指示器的值，分析度量数据，解释当前项目的进展状态，标识项目出现的异常情况，并分析问题的原因。数据分析的结果及时向项目管理者和相关方通报，提供项目管理者决策和纠正措施的依据。这样，便可以通过基于了解软件测试项目需求变化的规律、确保交付产品的质量满足要求、为同类项目估算和决策提供规模参考、为同类项目估算和决策提供进度参考、为同类项目估算和决策提供工作量参考、技术能力监测的定量的信息需求建立的度量模型，采用归一化方法获取有效度量元，从多个维度对软件测试过程进行度量。本发明涉及的软件评测模型能够客观标识测试项目进展状态，提高软件测评项目量化项目管理的有效性和效率。
在实际应用的过程中，为了实现上述步骤201至步骤204中所示的评估过程，本发明可以开发一个管理软件，基于该软件实现度量数据的提取、度量模型的建立以及度量数据的评估整个过程，通过运行该软件，实现对软件测评项目的监控与评估，从而充分体现度量的过程性，显示了软件测评的实际操作性，保证了软件测评项目评估的全面性。
本发明实施例提供的方法，采集目标软件测评项目的度量数据，将度量数据输入至根据过程度量和产品度量的多个复合度量生成的度量模型，基于度量模型，对度量数据进行归一化处理，生成集成化指标值，并在评估标准中根据集成化指标值确定目标软件测评项目的评估结果，使得采用度量模型，对目标软件测评项目的度量数据进行测评，基于度量数据明确目标软件测评项目每个关键过程域的具体知识和方法，充分体现了测评度量的过程性，显示了实际操作性，保证了软件测评项目度量的全面性。
进一步地，作为图1所述方法的具体实现，本发明实施例提供了一种软件测评项目定量管理装置，如图3A所示，所述装置包括：建立模块301，采集模块302，处理模块303和确定模块304。
该建立模块301，用于在目标软件测评项目的过程度量和产品度量中确定定量的复合度量，基于所述定量的复合度量，建立度量模型，所述定量的复合度量基于所述过程度量和所述产品度量中定量的信息需求生成，所述定量的信息需求包括了解软件测试项目需求变化的规律、确保交付产品的质量满足要求、为同类项目估算和决策提供规模参考、为同类项目估算和决策提供进度参考、为同类项目估算和决策提供工作量参考、技术能力监测；
该采集模块302，用于采集所述目标软件测评项目的度量数据，将所述度量数据输入至所述度量模型，所述度量数据与所述定量的复合度量一一对应；
该处理模块303，用于基于所述度量模型，对所述度量数据进行归一化处理，生成所述度量数据的集成化指标值；
该确定模块304，用于获取评估标准，确定所述集成化指标值在所述评估标准中映射的目标标度，将所述目标标度作为所述目标软件测评项目的评估结果。
在具体的应用场景中，如图3B所示，该建立模块301，包括：构建单元3011和建立单元3012。
该构建单元3011，用于在所述目标软件测评项目的过程度量和产品度量中确定所述定量的复合度量，基于所述定量的复合度量，构建度量体系；
该建立单元3012，用于对所述度量体系进行归一化处理，建立所述度量模型。
在具体的应用场景中，该构建单元3011，用于在所述过程度量和产品度量中提取所述定量的信息需求，确定所述定量的信息需求的测量目标，所述测量目标包括监视需求的变化、评估测试覆盖度、第一评估项目规模、第二评估项目规模、第一监视软件测试进度、第二监视软件测试进度、监视软件测试工作量、第一监视评审过程的缺陷与关闭情况、第二监视评审过程的缺陷与关闭情况、评估用例的有效性；对于所述定量的信息需求中的每个信息需求，根据所述信息需求的测量指标，对所述信息需求的测量目标进行度量，得到所述信息需求的复合度量；确定所述信息需求的复合度量的计算公式，整理所述信息需求、所述测量指标、所述测量目标、所述信息需求的复合度量和所述计算公式之间的映射关系；重复执行上述生成所述映射关系的过程，得到所述定量的信息需求的定量映射关系；将所述定量映射关系作为所述度量体系。
在具体的应用场景中，该建立单元3012，用于分别获取所述度量体系中定量映射关系的定量权重值和定量参数取值；基于所述定量权重值和所述定量参数取值的乘积和，构建指标值公式，将所述指标值公式作为所述度量模型。
在具体的应用场景中，如图3C所示，该确定模块304，包括：获取单元3041和查询单元3042。
该获取单元3041，用于获取所述评估标准，所述评估标准至少包括多个标度，所述多个标度中每个标度至少包括取值区间和评估等级；
该查询单元3042，用于查询所述集成化指标所在的目标取值区间，确定所述目标取值区间对应的目标标度。
本发明实施例提供的装置，采集目标软件测评项目的度量数据，将度量数据输入至根据过程度量和产品度量的多个复合度量生成的度量模型，基于度量模型，对度量数据进行归一化处理，生成集成化指标值，并在评估标准中根据集成化指标值确定目标软件测评项目的评估结果，使得采用度量模型，对目标软件测评项目的度量数据进行测评，基于度量数据明确目标软件测评项目每个关键过程域的具体知识和方法，充分体现了测评度量的过程性，显示了实际操作性，保证了软件测评项目度量的全面性。
需要说明的是，本发明实施例提供的一种软件测评项目定量管理装置所涉及各功能单元的其他相应描述，可以参考图1和图2A至图2B中的对应描述，在此不再赘述。
在示例性实施例中，参见图4，还提供了一种设备，该设备400包括通信总线、处理器、存储器和通信接口，还可以包括、输入输出接口和显示设备，其中，各个功能单元之间可以通过总线完成相互间的通信。该存储器存储有计算机程序，处理器，用于执行存储器上所存放的程序，执行上述实施例中的软件测评项目定量管理方法。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的软件测评项目定量管理方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种软件测评项目定量管理方法，其特征在于，包括：
在目标软件测评项目的过程度量和产品度量中确定定量的复合度量，基于所述定量的复合度量，建立度量模型，所述定量的复合度量基于所述过程度量和所述产品度量中定量的信息需求生成，所述定量的信息需求包括了解软件测试项目需求变化的规律、确保交付产品的质量满足要求、为同类项目估算和决策提供规模参考、为同类项目估算和决策提供进度参考、为同类项目估算和决策提供工作量参考、技术能力监测；
采集所述目标软件测评项目的度量数据，将所述度量数据输入至所述度量模型，所述度量数据与所述定量的复合度量一一对应；
基于所述度量模型，对所述度量数据进行归一化处理，生成所述度量数据的集成化指标值；
获取评估标准，确定所述集成化指标值在所述评估标准中映射的目标标度，将所述目标标度作为所述目标软件测评项目的评估结果。
2.根据权利要求1所述的方法，其特征在于，所述在目标软件测评项目的过程度量和产品度量中确定定量的复合度量，基于所述定量的复合度量，建立度量模型，包括：
在所述目标软件测评项目的过程度量和产品度量中确定所述定量的复合度量，基于所述定量的复合度量，构建度量体系；
对所述度量体系进行归一化处理，建立所述度量模型。
3.根据权利要求2所述的方法，其特征在于，所述在所述目标软件测评项目的过程度量和产品度量中确定所述定量的复合度量，基于所述定量的复合度量，构建度量体系，包括：
在所述过程度量和产品度量中提取所述定量的信息需求，确定所述定量的信息需求的测量目标，所述测量目标包括监视需求的变化、评估测试覆盖度、第一评估项目规模、第二评估项目规模、第一监视软件测试进度、第二监视软件测试进度、监视软件测试工作量、第一监视评审过程的缺陷与关闭情况、第二监视评审过程的缺陷与关闭情况、评估用例的有效性；
对于所述定量的信息需求中的每个信息需求，根据所述信息需求的测量指标，对所述信息需求的测量目标进行度量，得到所述信息需求的复合度量；
确定所述信息需求的复合度量的计算公式，整理所述信息需求、所述测量指标、所述测量目标、所述信息需求的复合度量和所述计算公式之间的映射关系；
重复执行上述生成所述映射关系的过程，得到所述定量的信息需求的定量映射关系；
将所述定量映射关系作为所述度量体系。
4.根据权利要求2所述的方法，其特征在于，所述对所述度量体系进行归一化处理，建立所述度量模型，包括：
分别获取所述度量体系中定量映射关系的定量权重值和定量参数取值；
基于所述定量权重值和所述定量参数取值的乘积和，构建指标值公式，将所述指标值公式作为所述度量模型。
5.根据权利要求1所述的方法，其特征在于，所述获取评估标准，确定所述集成化指标值在所述评估标准中映射的目标标度，包括：
获取所述评估标准，所述评估标准至少包括多个标度，所述多个标度中每个标度至少包括取值区间和评估等级；
查询所述集成化指标所在的目标取值区间，确定所述目标取值区间对应的目标标度。
6.一种软件测评项目定量管理装置，其特征在于，包括：
建立模块，在目标软件测评项目的过程度量和产品度量中确定定量的复合度量，基于所述定量的复合度量，建立度量模型，所述定量的复合度量基于所述过程度量和所述产品度量中定量的信息需求生成，所述定量的信息需求包括了解软件测试项目需求变化的规律、确保交付产品的质量满足要求、为同类项目估算和决策提供规模参考、为同类项目估算和决策提供进度参考、为同类项目估算和决策提供工作量参考、技术能力监测；
采集模块，用于采集所述目标软件测评项目的度量数据，将所述度量数据输入至所述度量模型，所述度量数据与所述定量的复合度量一一对应；
处理模块，用于基于所述度量模型，对所述度量数据进行归一化处理，生成所述度量数据的集成化指标值；
确定模块，用于获取评估标准，确定所述集成化指标值在所述评估标准中映射的目标标度，将所述目标标度作为所述目标软件测评项目的评估结果。
7.根据权利要求6所述的装置，其特征在于，所述建立模块，包括：
构建单元，用于在所述目标软件测评项目的过程度量和产品度量中确定所述定量的复合度量，基于所述定量的复合度量，构建度量体系；
建立单元，用于对所述度量体系进行归一化处理，建立所述度量模型。
8.根据权利要求7所述的装置，其特征在于，所述构建单元，用于在所述过程度量和产品度量中提取所述定量的信息需求，确定所述定量的信息需求的测量目标，所述测量目标包括监视需求的变化、评估测试覆盖度、第一评估项目规模、第二评估项目规模、第一监视软件测试进度、第二监视软件测试进度、监视软件测试工作量、第一监视评审过程的缺陷与关闭情况、第二监视评审过程的缺陷与关闭情况、评估用例的有效性；对于所述定量的信息需求中的每个信息需求，根据所述信息需求的测量指标，对所述信息需求的测量目标进行度量，得到所述信息需求的复合度量；确定所述信息需求的复合度量的计算公式，整理所述信息需求、所述测量指标、所述测量目标、所述信息需求的复合度量和所述计算公式之间的映射关系；重复执行上述生成所述映射关系的过程，得到所述定量的信息需求的定量映射关系；将所述定量映射关系作为所述度量体系。
9.一种设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN201910630507.8A 2019-07-12 2019-07-12 软件测评项目定量管理方法、装置、设备及可读存储介质 Pending CN110490413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910630507.8A CN110490413A (zh) 2019-07-12 2019-07-12 软件测评项目定量管理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910630507.8A CN110490413A (zh) 2019-07-12 2019-07-12 软件测评项目定量管理方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110490413A true CN110490413A (zh) 2019-11-22

Family

ID=68547120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910630507.8A Pending CN110490413A (zh) 2019-07-12 2019-07-12 软件测评项目定量管理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110490413A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444093A (zh) * 2020-03-25 2020-07-24 世纪龙信息网络有限责任公司 项目开发过程质量的确定方法、装置、计算机设备
CN111679808A (zh) * 2020-06-09 2020-09-18 中国建设银行股份有限公司 Rpa机器人应用需求测评方法及装置
CN111738605A (zh) * 2020-06-28 2020-10-02 中国标准化研究院 一种质量基础设施能力指数测评方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007057296A2 (en) * 2005-11-18 2007-05-24 International Business Machines Corporation Test effort estimator
CN105868888A (zh) * 2016-03-23 2016-08-17 中国电子科技集团公司第十研究所 软件测试质量评价方法
CN108537503A (zh) * 2018-03-26 2018-09-14 西南电子技术研究所（中国电子科技集团公司第十研究所） 软件开发管理***
CN109408359A (zh) * 2018-08-03 2019-03-01 中国人民解放军63928部队 一种软件测试过程质量度量方法和***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007057296A2 (en) * 2005-11-18 2007-05-24 International Business Machines Corporation Test effort estimator
CN105868888A (zh) * 2016-03-23 2016-08-17 中国电子科技集团公司第十研究所 软件测试质量评价方法
CN108537503A (zh) * 2018-03-26 2018-09-14 西南电子技术研究所（中国电子科技集团公司第十研究所） 软件开发管理***
CN109408359A (zh) * 2018-08-03 2019-03-01 中国人民解放军63928部队 一种软件测试过程质量度量方法和***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
奚小溪: "软件度量技术研究及应用分析", 《安徽建筑工业学院学报(自然科学版)》 *
陈颖洁: "军用软件质量评价工具的开发与设计", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444093A (zh) * 2020-03-25 2020-07-24 世纪龙信息网络有限责任公司 项目开发过程质量的确定方法、装置、计算机设备
CN111444093B (zh) * 2020-03-25 2024-04-02 天翼数字生活科技有限公司 项目开发过程质量的确定方法、装置、计算机设备
CN111679808A (zh) * 2020-06-09 2020-09-18 中国建设银行股份有限公司 Rpa机器人应用需求测评方法及装置
CN111679808B (zh) * 2020-06-09 2023-05-16 中国建设银行股份有限公司 Rpa机器人应用需求测评方法及装置
CN111738605A (zh) * 2020-06-28 2020-10-02 中国标准化研究院 一种质量基础设施能力指数测评方法

Similar Documents

Publication Publication Date Title
US7243049B1 (en) Method for modeling system performance
Alves et al. Deriving metric thresholds from benchmark data
CN110490413A (zh) 软件测评项目定量管理方法、装置、设备及可读存储介质
Nahangi et al. Safety-based efficiency evaluation of construction sites using data envelopment analysis (DEA)
CN109542712B (zh) 服务器压力测试方法、装置、计算机设备和存储介质
US10839334B2 (en) Evaluating performance of organizational units using human capital values
CN109446812A (zh) 一种嵌入式***固件安全分析方法及***
CN106294174B (zh) 测试充分性的多维度度量方法及装置
Ligarski Problem identification method in certified quality management systems
Nikolakopoulou et al. Using conditional power of network meta‐analysis (NMA) to inform the design of future clinical trials
Ghaith et al. Profile-based, load-independent anomaly detection and analysis in performance regression testing of software systems
AU2018243292A1 (en) Devices, methods, and systems for determining environmental standard compliance
CN110032504A (zh) 软件质量确定设备、软件质量确定方法和软件质量确定程序
CN109272215A (zh) 项目开发质量监控方法、装置、计算机设备及存储介质
Rosopa et al. Robustness of statistical inferences using linear models with meta-analytic correlation matrices
US9064038B2 (en) Method and system for combining multiple benchmarks
Shi et al. A Grey Model for Evaluation of Information Systems Security.
CN114741284B (zh) 任务可靠性评估方法、装置、计算机设备和存储介质
Carnero Fuzzy multicriteria model for selection of vibration technology
Chandra et al. Measuring operational management information technology: COBIT 5.0 and capability level
CN113159537B (zh) 电网新技术项目的评估方法、装置和计算机设备
KR20130086083A (ko) 리스크-프로파일 생성 장치
US10438150B2 (en) Energy intensity variability analysis
Zaman et al. A Large Scale Empirical Study on User-Centric Performance Analysis
CN111242433B (zh) 电力数据识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122

RJ01 Rejection of invention patent application after publication