CN117436380B - 一种回归验证方法及装置 - Google Patents

Abstract

本申请提供一种回归验证方法及装置，包括：获取混合信号电路的验证计划表；获取与验证计划表对应的验证用例库；从验证用例库中，提取模拟验证用例集和数字验证用例集；根据用例依赖关系，确定验证用例的用例执行路径；根据用例执行路径，依次按照模拟验证用例集或者数字验证用例集中的验证用例对混合信号电路进行回归验证；在回归验证结束的情况下，统计混合信号电路的验证覆盖率；如果验证覆盖率满足预置条件，则确定混合信号电路通过回归验证。能够实现的效果包括：提高根据验证结果统计的验证覆盖率的实时性，提高混合信号电路的回归验证效率，避免出现验证计划的执行偏差或者发送验证错误，减少回归验证中的验证缺陷和验证风险。

Description

一种回归验证方法及装置

技术领域

本申请涉及测试技术领域，特别涉及一种回归验证方法及装置。

背景技术

混合信号电路包括模拟信号处理电路（模拟电路）和数字信号处理电路（数字电路）。在设计混合信号电路过程中，需要同时考虑模拟信号处理电路中的噪声和抗干扰性，以及数字信号处理电路中的时序和逻辑运行等问题，以保证混合信号电路运行的稳定性和可靠性。如果混合信号电路的实现功能较多，那么可以将混合信号电路拆分成多个电路模块，电路模块可能是模拟电路模块，还能是数字电路模块。

在验证混合信号电路过程中，首先，针对单个电路模块进行一定数量的激励测试，如果多个电路模块都通过激励测试验证，那么还需要针对不同电路模块之间信号交互过程进行回归验证，以防止修改或者引入新的电路模块导致整个混合信号电路出现错误。

在相关技术中，回归验证过程可以包括：首先为混合信号电路中的每个电路模块制定详细的验证计划（包括定义验证明细单），并且，配置验证用例库。然后，从验证用例库中选取验证用例，构建与验证试用例对应的工作任务，运行工作任务对每个电路模块进行回归验证。再者，在回归验证开始后，按照预置周期统计混合信号电路的验证覆盖率。最后，如果验证覆盖率不满足预置条件，则根据单个电路模块的验证结果，不断地调整回归验证过程，直到验证覆盖率满足预置条件。

在回归验证过程中，验证用例库包括至少一个验证用例。通过验证用例能够验证单个电路模块与其他电路模块之间的交互情况。根据多个电路模块的级联关系，分级地执行电路模块各自的验证计划。在执行验证过程中，收集验证结果和统计验证覆盖率。

如此，在回归验证过程中，分别以各个电路模块作为分散的执行主体，导致收集到的验证结果是碎片化的不集中的数据，导致根据验证结果统计的验证覆盖率不具备实时性，进而导致出现验证计划的执行偏差或者发生验证错误。

发明内容

本申请实施例之一提供一种回归验证方法，包括：获取混合信号电路的验证计划表，所述混合信号电路包括模拟电路模块和数字电路模块；获取与所述验证计划表对应的验证用例库，所述验证用例库用于存储验证用例，所述验证用例用于验证所述混合信号电路；从所述验证用例库中提取模拟验证用例集和数字验证用例集，所述模拟验证用例集用于适配所述模拟电路模块对应的模拟验证环境，所述数字验证用例集用于适配所述数字电路模块对应的数字验证环境；根据用例依赖关系，确定所述验证用例的用例执行路径，所述用例执行路径用于指示所述验证用例库中验证用例的执行顺序；根据所述用例执行路径，依次按照所述模拟验证用例集或者所述数字验证用例集中的验证用例对所述混合信号电路进行回归验证；在所述回归验证结束的情况下，统计所述混合信号电路的验证覆盖率；如果所述验证覆盖率满足预置条件，则确定所述混合信号电路通过回归验证。

在一些实施例中，所述根据用例依赖关系，确定所述验证用例的用例执行路径，包括：根据所述用例依赖关系，将所述验证用例划分为至少一个级别的验证用例，其中，所述至少一个级别的验证用例中的后一级别验证用例的输入数据包括前一级别验证用例的用例验证结果；根据所述至少一个级别的验证用例中的用例级别顺序，确定所述验证用例对应的用例执行路径。

在一些实施例中，所述统计所述混合信号电路的验证覆盖率，包括：根据所述验证计划表被验证比率，以及所述验证用例库中的验证用例的被验证比率，统计所述混合信号电路的验证覆盖率。

在一些实施例中，回归验证方法还包括：更新所述验证计划表。

在一些实施例中，回归验证方法还包括：如果所述验证覆盖率不满足所述预置条件，那么根据所述回归验证结束的验证结果，更新所述验证用例；根据更新后的所述验证用例，更新所述模拟验证用例集和所述数字验证用例集；根据所述用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证。

在一些实施例中，所述回归验证结束的验证结果包括回归验证失败或回归验证成功，所述根据所述回归验证结束的验证结果，更新所述验证用例，包括：如果所述回归验证结束的验证结果为所述回归验证成功，那么根据所述验证计划表和所述混合信号电路，更新所述验证用例库中的验证用例；如果所述回归验证结束的验证结果为所述回归验证失败，那么判断所述回归验证失败对应的验证用例是否存在错误；如果所述回归验证失败对应的验证用例存在错误，那么修改所述回归验证失败对应的验证用例，并更新所述验证用例库中的验证用例，以使得所述更新后的验证用例能够对所述混合信号电路进行回归验证；如果所述回归验证失败对应的验证用例不存在错误，那么修改并更新所述混合信号电路，并根据所述验证计划表和所述更新后的所述混合信号电路，更新所述验证用例库中的验证用例。

在一些实施例中，所述根据所述用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证，包括：在所述更新后的验证用例的用例依赖关系不变，并且，所述回归验证结束的验证结果为回归验证成功的情况下，根据所述用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证；

在所述更新后的验证用例的用例依赖关系不变，并且，所述回归验证结束的验证结果为回归验证失败的情况下，根据所述用例执行路径，从所述回归验证失败对应的修改后的验证用例开始，继续依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证。

在一些实施例中，所述根据所述用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证，包括：在所述更新后的验证用例的用例依赖关系改变的情况下，根据改变后的用例依赖关系，重新确定所述验证用例的用例执行路径；根据所述重新确定的用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证。

在一些实施例中，所述预置条件包括以下至少一项：所述验证计划表中的功能覆盖率达到100%，和，所述验证用例库中的代码覆盖率达到100%。

本申请实施例之一提供一种回归验证***，包括：第一获取模块、第二获取模块、提取模块、第一确定模块、验证模块、统计模块和第二确定模块；其中，所述第一获取模块用于获取混合信号电路的验证计划表，所述混合信号电路包括模拟电路模块和数字电路模块；所述第二获取模块用于获取与所述验证计划表对应的验证用例库，所述验证用例库用于存储验证用例，所述验证用例用于验证所述混合信号电路；所述提取模块用于从所述验证用例库中提取模拟验证用例集和数字验证用例集，所述模拟验证用例集用于适配所述模拟电路模块对应的模拟验证环境，所述数字验证用例集用于适配所述数字电路模块对应的数字验证环境；所述第一确定模块用于根据用例依赖关系，确定所述验证用例的用例执行路径，所述用例执行路径用于指示所述验证用例库中验证用例的执行顺序；所述验证模块用于根据所述用例执行路径，依次按照所述模拟验证用例集或者所述数字验证用例集中的验证用例对所述混合信号电路进行回归验证；所述统计模块用于在所述回归验证结束的情况下，统计所述混合信号电路的验证覆盖率；所述第二确定模块用于如果所述验证覆盖率满足预置条件，则确定所述混合信号电路通过回归验证。

在一些实施例中，所述第一确定模块用于：根据所述用例依赖关系，将所述验证用例划分为至少一个级别的验证用例，其中，所述至少一个级别的验证用例中的后一级别验证用例的输入数据包括前一级别验证用例的用例验证结果；根据所述至少一个级别的验证用例中的用例级别顺序，确定所述验证用例对应的用例执行路径。

在一些实施例中，所述统计模块用于：根据所述验证计划表被验证比率，以及所述验证用例库中的验证用例的被验证比率，统计所述混合信号电路的验证覆盖率。

在一些实施例中，回归验证装置还包括：第二更新模块；所述第二更新模块用于更新所述验证计划表。

在一些实施例中，回归验证装置还包括：第一更新模块和第二更新模块；所述第一更新模块用于如果所述验证覆盖率不满足所述预置条件，那么根据所述回归验证结束的验证结果，更新所述验证用例；所述第二更新模块用于根据更新后的所述验证用例，更新所述模拟验证用例集和所述数字验证用例集；所述验证模块还用于所述用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证。

在一些实施例中，所述回归验证结束的验证结果包括回归验证失败或回归验证成功，所述第一更新模块用于如果所述回归验证结束的验证结果为所述回归验证成功，那么根据所述验证计划表和所述混合信号电路，更新所述验证用例库中的验证用例；如果所述回归验证结束的验证结果为所述回归验证失败，那么判断所述回归验证失败对应的验证用例是否存在错误；如果所述回归验证失败对应的验证用例存在错误，那么修改所述回归验证失败对应的验证用例，并更新所述验证用例库中的验证用例，以使得所述更新后的验证用例能够对所述混合信号电路进行回归验证；如果所述回归验证失败对应的验证用例不存在错误，那么修改并更新所述混合信号电路，并根据所述验证计划表和所述更新后的所述混合信号电路，更新所述验证用例库中的验证用例。

在一些实施例中，所述验证模块还用于：在所述更新后的验证用例的用例依赖关系不变，并且，所述回归验证结束的验证结果为回归验证成功的情况下，根据所述用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证；

在所述更新后的验证用例的用例依赖关系不变，并且，所述回归验证结束的验证结果为回归验证失败的情况下，根据所述用例执行路径，从所述回归验证失败对应的修改后的验证用例开始，继续依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证。

在一些实施例中，所述验证模块还用于：在所述更新后的验证用例的用例依赖关系改变的情况下，根据改变后的用例依赖关系，重新确定所述验证用例的用例执行路径；根据所述重新确定的用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证。

在一些实施例中，所述预置条件包括以下至少一项：所述验证计划表中的功能覆盖率达到100%，和，所述验证用例库中的代码覆盖率达到100%。

本申请提供的回归验证方法及装置，针对混合信号电路包括的模拟电路模块和数字电路模块，通过获取验证计划对应的验证用例库，集成各个电路模块的所有验证用例，以便于对混合信号电路进行统一的回归验证。根据模拟验证用例集对模拟电路模块进行回归验证，根据数字验证用例集对数字电路模块进行回归验证，能够得到集中的回归验证结果，进而提高根据验证结果统计的验证覆盖率的实时性。按照用例执行路径进行回归验证，能够确保每个验证用例都具有对应的输入数据，不会发送因为缺少与用例依赖关系有关的输入数据造成无法验证的情况，进而提高混合信号电路的回归验证效率。按照用例执行路径进行回归验证，还能够对回归验证过程进行可视可控的监测，避免出现验证计划的执行偏差或者发送验证错误。按照用例执行路径进行回归验证，还能够确保所有的验证用例都被执行，即，确保验证计划表中的所有验证计划都进行回归验证，能够减少回归验证中的验证缺陷和验证风险。

附图说明

以下附图详细描述了本申请中披露的示例性实施例。其中相同的附图标记在附图的若干视图中表示类似的结构。本领域的一般技术人员将理解这些实施例是非限制性的、示例性的实施例，附图仅用于说明和描述的目的，并不旨在限制本申请的范围，其他方式的实施例也可能同样的完成本申请中的发明意图。应当理解，附图未按比例绘制。其中：

图1是根据本申请一些实施例所示的第一种回归验证方法的流程图；

图2是根据本申请一些实施例所示的第二种回归验证方法的流程图；

图3是根据本申请一些实施例所示的第三种回归验证方法的流程图；

图4是根据本申请一些实施例所示的回归验证装置的模块图。

具体实施方式

以下描述提供了本申请的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本申请中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本申请不限于所示的实施例，而是与权利要求一致的最宽范围。

混合信号电路是指包括模拟信号电路和数字信号电路的一种电路设计，具有集成度高、面积小和功耗低等优点。混合信号电路在通信、消费类电子产品、汽车、工业自动化等领域都有广泛的应用。

混合信号电路的设计流程主要包括：设计规划、***级设计、硬件电路设计、电路设计验证、版图级设计和流片。其中，电路设计验证是指采用相应的验证语言、验证工具和验证方法，在混合信号电路生产之前验证是否符合需求、是否已经释放了风险和是否发现并更正了所有缺陷。电路设计验证可以通过硬件描述语言对混合信号电路进行仿真，然后再仿真验证环境下运行验证用例实现的。

混合信号电路的电路规模可能较大，可以根据功能和信号类型拆分为多个电路模块，电路模块可能是模拟电路模块，还能是数字电路模块。在验证混合信号电路过程中，首先，针对单个电路模块进行一定数量的激励测试，在激励测试过程中，往往需要修改电路模块，即，修改电路模块对应的设计代码，以使得电路模块可以通过激励测试。如果多个电路模块都通过激励测试验证，那么可以将激励测试中的测试用例确定为回归验证中的验证用例。回归验证过程，是指针对不同电路模块之间信号交互过程，根据已有的测试用例进行再次测试，以防止单个电路模块的修改或者引入新的电路模块导致整个混合信号电路出现错误。

在相关技术中，各个电路模块的验证团队，往往会依据电路模块自身的验证环境，不断地验证电路模块自身与其他电路模块之间的交互，分级执行各自的验证计划，通过人工统计方式跟踪验证计划的执行情况，最后在统一收集验证记过和统计验证覆盖率。也就是，分别以各个电路模块作为分散的执行主体，对混合信号电路进行回归验证。因此，导致收集到的验证结果是碎片化的不集中的数据，导致根据验证结果统计不具备实时性，进而导致验证计划的执行偏差或者存在验证错误的发生。

为了解决上述技术问题，本申请实施例提供一种回归验证方法，该方法包括：针对混合信号电路包括的模拟电路模块和数字电路模块，通过获取验证计划对应的验证用例库，集成各个电路模块的所有验证用例，以便于对混合信号电路进行统一的回归验证。根据模拟验证用例集对模拟电路模块进行回归验证，根据数字验证用例集对数字电路模块进行回归验证，能够得到集中的回归验证结果，进而提高根据验证结果统计的验证覆盖率的实时性。按照用例执行路径进行回归验证，能够确保每个验证用例都具有对应的输入数据，不会发送因为缺少与用例依赖关系有关的输入数据造成无法验证的情况，进而提高混合信号电路的回归验证效率。按照用例执行路径进行回归验证，还能够对回归验证过程进行可视可控的监测，避免出现验证计划的执行偏差或者发送验证错误。按照用例执行路径进行回归验证，还能够确保所有的验证用例都被执行，即，确保验证计划表中的所有验证计划都进行回归验证，能够减少回归验证中的验证缺陷和验证风险。

下面结合实施例和附图对本发明技术方案进行详细说明。

图1是根据本申请一些实施例所示的回归验证方法的流程图。其中，图1中示出的回归验证方法可以由图4中示出的回归验证装置400所实现。

如图1所示，本申请实施例提供的回归验证方法100可以包括如下步骤：

步骤S110，获取混合信号电路的验证计划表。具体地，步骤S110可以由图4中示出的回归验证装置400中的第一获取模块410执行。

其中，混合信号电路包括模拟电路模块和数字电路模块。模拟电路模块，用于实现信号的采集、放大、滤波和调制等功能。数字电路模块用于实现数据采集、数字信号处理、数据传输和控制器调节等功能。

在本申请实施例中，验证计划表可以通过描述性语言体现，如，功能描述、限定描述和需求描述等。

在本申请实施例中，验证计划表的计划依据可以是混合信号电路的产品需求，可以是混合信号电路的总体功能，还可以是混合信号电路中电路模块的模块功能等。

在本申请实施例中，在获取验证计划表之后，在确定混合信号电路通过回归验证之前，本申请实施例提供的回归验证方法100可以包括：更新验证计划表。

由于产品需求的变更、产品功能的增加、发现验证功能不全等原因，可以随时更新计划验证表，以便于完善对混合信号电路的验证，增加回归验证的验证结果的可靠性。

在本申请实施例中，验证计划表可以包括至少一个验证子计划，每个验证子计划包括至少一个验证目标，每个验证目标可以通过至少一个验证用例进行验证。例如，验证计划表包括3个验证子计划（模拟信号采集可靠性、模数转换可靠性和数字信号可靠性）。模拟信号采集可靠性的验证目标包括模拟信号边界值和模拟信号降噪效果，模数转换可靠性的验证目标包括判断是否存在转换偏差和是否可以容错，数字信号可靠性的验证目标包括数据信号边界值和数字信号校验效果。针对模拟信号边界值的验证目标可以通过3个验证用例进行验证，验证用例可以为最小值验证、最大值验证和区间无效值验证。

步骤S120，获取与验证计划表对应的验证用例库。具体地，步骤S120可以由图4中示出的回归验证装置400中的第二获取模块420执行。

在本申请实施例中，验证用例库用于存储验证用例，验证用例用于验证混合信号电路。每个验证用例能够验证混合信号电路中的一项功能，或者，混合信号电路中的模拟电路模块或者数字电路模块中的一部分功能，如产生5V的电压、实现数模转换和实现逻辑与控制等。验证用例与验证计划表和混合信号电路相适应。

在一些实现方式中，获取验证用例库可以从现有的验证用例中选取与验证计划表相适应的验证用例，并导入验证用例库。现有的验证用例，可以是对混合信号电路进行激励测试时使用的测试用例，还可能是用于验证其他混合信号电路的验证用例。

如此，通过复用验证用例，可以确保验证用例的可能用，进而可以提高混合信号电路的回归验证效率。

在另一些实现方式中，获取验证用例可以根据验证计划表和混合信号电路中的模拟电路模块和数字电路模块，通过可编程逻辑语言编写验证用例，并导入验证用例库。也就是，将验证计划表中的描述性语言，拆解为多个验证目标，并将多个验证目标转换为相应的验证用例。

在本申请实施例中，可以根据更新的验证计划表相应的更新（增加或者修改）验证用例库中验证用例，还可以根据验证结果修改验证用例，还可以根据验证覆盖率判断是否增加验证用例。

需要说明的是，由于不同的验证用例之间可能具有交互关系，一旦修改验证用例或者增加验证用例，对于具有相互关系的验证用例需要进行适应性地调整。

步骤S130，从验证用例库中提取模拟验证用例集和数字验证用例集。具体地，步骤S130可以由图4中示出的回归验证装置400中的提取模块430执行。

在本申请实施例中，模拟验证用例集用于适配模拟电路模块对应的模拟验证环境，数字验证用例集用于适配数字电路模块对应的数字验证环境。

需要说明的是，混合信号电路可以通过具体的元器件，如，运算放大器、晶体管、电容器和逻辑门等来表征。模拟电路模块用于处理连续的模拟信号，采用自底向上的设计流程，进行回归验证。数字电路模块用于处理离散的数字信号，采用自顶向下的设计流程，进行寄存器传输级描述、寄存器传输级，进行回归验证。如果将模拟电路模块和数字电路模块进行混合回归验证，那么混合回归验证可能是寄存器传输级的数字电路与晶体管级的模拟电路的混合回归验证，也可能是门级或晶体管级的数字电路与模拟电路的混合回归验证。

如此，在混合回归验证中一旦出现验证失败的情况，那么将很难确定在针对哪个验证用例进行回归验证时导致了验证失败，进而很难确定验证失败的原因在于验证用例还是在与设计的电路。

在本申请实施例中，将验证用例进行分类，分为模拟验证用例集和数字验证用例集。模拟验证用例集用于适配模拟电路模块对应的模拟验证环境，包括至少一个用于对模拟电路模块进行回归验证的验证用例。数字验证用例集用例集用于适配数字电路模块对应的数字验证环境，包括至少一个用于对数字电路模块进行回归验证的验证用例。

如此，将混合信号电路中的模拟电路模块和数字电路模块，根据对应的模拟验证环境或者数字验证环境，分别进行回归验证，有利于确定导致回归验证失败的原因，进而提高修正混合信号电路的速度，缩短混合信号电路的研发周期。

在本申请实施例中，在提取模拟验证用例集和数字验证用例集之后，如果增加验证用例库中验证用例，那么将增加的验证用例，分别划分至模拟验证用例集和数字验证用例集。

步骤S140，根据用例依赖关系，确定用例执行路径。具体地，步骤S140可以由图4中示出的回归验证装置400中的第一确定模块440执行。

在本申请实施例中，用例执行路径用于指示验证用例库中验证用例的执行顺序。

在本申请实施例中，用例依赖关系是指一个验证用例依赖于其他验证用例的验证结果。

示例性的，在第一验证用例输出的逻辑判断结果为是的情况下，通过第二验证用例对混合信号电路进行验证；在第一验证用例输出的逻辑判断结果为否的情况下，通过第三验证用例对混合信号电路进行验证；如果第一验证用例与第二验证用例存在用例依赖关系，第一验证用例与第三验证用例也存在用例依赖关系。

在一些实施例中，上述步骤S140根据用例依赖关系，确定用例执行路径，如图2所示，可以通过步骤S210和步骤S220实现。

步骤S210，根据用例依赖关系，将验证用例划分为至少一个级别的验证用例。

步骤S220，根据至少一个级别的验证用例中的用例级别顺序，确定验证用例对应的用例执行路径。

在本申请实施例中，至少一个级别的验证用例中的后一级别验证用例的输入数据包括前一级别验证用例的用例验证结果。

可以理解的是，通过用例依赖关系，将验证用例划分为不同的优先级别，用于指示验证用例执行的优先顺序。

在本申请实施例中，首先确定验证用例中第一级验证用例，第一级验证用例的输入数据不依赖其他验证用例的验证结果。然后，在第一级用例的用例数量小于验证用例库中验证用例的用例数量的情况下，从验证用例库中，确定第二级验证用例，任一第二级验证用例的输入数据包括至少一个第一级验证用例的验证结果，第二级验证用例与所述第一级验证用例具有用例依赖关系。

如果验证用例库中还有未被分级验证用例，类似于确定第二级验证用例的过程，继续确定第三级验证用例、第四级验证用例和第五级验证用例，直至验证用例库中的所有验证用例能够确定优先级别。可以理解的是，验证用例对应至少一个优先级别，相应的，第二级验证用例，第三级验证用例、第四级验证用例和第五级验证用例，可能都存在，可能都不存在，也可能不都存在。

在本申请实施例中，假设验证用例库中包括1000个验证用例，那么第一级验证用例的用例数量为350，第二级验证用例的用例数量为300，第三级验证用例的用例数量为200、第四级验证用例的用例数量为100和第五级验证用例的用例数量为50。

如此，将验证用例分级，并分级进行回归验证，能够尽早地发现验证用例中的错误或者潜在问题，加速回归验证的迭代效率。

步骤S150，根据用例执行路径，依次按照模拟验证用例集或者数字验证用例集中的验证用例对混合信号电路进行回归验证。具体地，步骤S150可以由图4中示出的回归验证装置400中的验证模块450执行。

在本申请实施例中，首先根据用例执行路径，获取至少一个第一级验证用例，第一级别验证用例可以属于模拟验证用例集，还可以属于数字验证用例集。

在本申请实施例中，通过分布式算法，同时根据至少一个第一级验证用例对混合信号电路进行验证。如此，在回归验证过程中减少同时验证的用例数量，降低并发验证压力，提高回归验证的稳定性。

在本申请实施例中，在第一级验证用例验证完成后，在获取第二级验证用例，继续通过分布式算法，同时根据至少一个第二级验证用例对混合信号电路进行验证。

示例性的，模拟电路模块A与数字电路D电连接，通过验证用例M对模拟电路模块A进行验证时，需要获取数字电路D的验证结果。一旦，数字电路D的验证结果存在错误，那么通过验证用例M对模拟电路模块A进行验证的过程中存在错误的可能性较大。

如此，一旦发现通过第一级验证用例对混合信号电路进行验证过程中存在验证错误，可以停止通过第二级验证用例对混合信号电路进行验证，能够避免通过第二级验证用例对混合信号电路进行的无效验证，减少回归验证中验证用例的执行次数，提高回归验证的速度。

在本申请实施例中，在回归验证过程中，可以通过计数方式统计模拟模拟验证用例集和数字验证用例集中，被执行验证用例的用例数量和被执行用例的验证结果。还可以通过增加标记方式，统计模拟验证用例集和数字验证用例集中，被执行验证用例的用例数量和被执行用例的验证结果。在本申请实施例中，对统计被执行验证用例数量和以及被执行用例的验证结果的方式不做限定。

步骤S160，在回归验证结束的情况下，统计混合信号电路的验证覆盖率。具体地，步骤S160可以由图4中示出的回归验证装置400中的统计模块460执行。

在本申请实施例中，回归验证结束可以包括回归验证成功和回归验证失败两种结果。如果进行回归验证过程中，验证用例库中所有的验证用例都能通过对混合信号电路的验证，那么本次回归验证成功。如果任一验证用例对混合信号电路进行验证过程中，出现验证用例不能被执行，验证结果不属于预置验证结果范围，或者运行错误等情况，那么本次回归验证失败。

在本申请实施例里中，上述统计混合信号电路的验证覆盖率，可以通过下述步骤实现：根据验证计划表被验证比率，以及验证用例库中的验证用例的被验证比率，统计混合信号电路的验证覆盖率。

如此，通过验证计划表被验证比率和验证用例的被验证比率，共同统计验证覆盖率，能够提高覆盖率的准确性。

步骤S170，如果验证覆盖率满足预置条件，则确定混合信号电路通过回归验证。具体地，步骤S170可以由图4中示出的回归验证装置400中的第二确定模块470执行。

在本申请实施例里中，预置条件包括以下至少一项：验证计划表中的功能覆盖率达到100%，和，验证用例库中的代码覆盖率达到100%。

可以理解的是，功能覆盖率和代码覆盖率时相辅相成的，可以结合判断回归验证过程中存在验证用例代码冗余，还是存在验证计划表中的验证需求存在遗漏。

在本申请实施例中，如果确定混合信号电路通过回归验证，那么该混合信号电路可以进行版图级设计和流片等后续设计步骤。

在本申请实施例中，如果不验证覆盖率满足预置条件，那么需要修改验证用例，或者，修改混合信号电路后再重新修改验证用例，再重新进行回归验证。通过不断的修改验证过程，直至验证覆盖率满足预置条件。

具体的，在本申请实施例里中，如图3所示，回归验证方法还包括：步骤S310-步骤S330。

步骤S310，如果验证覆盖率不满足预置条件，那么根据回归验证结束的验证结果，更新验证用例。

步骤S320，根据更新后的验证用例，更新模拟验证用例集和数字验证用例集。

步骤S330，根据用例执行路径，依次按照更新后的模拟验证用例集或者更新后的数字验证用例集中的验证用例，对混合信号电路进行回归验证。

在本申请实施例中，回归验证结束的验证结果包括回归验证失败或回归验证成功，上述步骤S310的具体实现方式包括：如果回归验证结束的验证结果为回归验证成功，那么根据验证计划表和混合信号电路，更新验证用例库中的验证用例；如果回归验证结束的验证结果为回归验证失败，那么判断回归验证失败对应的验证用例是否存在错误；如果回归验证失败对应的验证用例存在错误，那么修改回归验证失败对应的验证用例，并更新验证用例库中的验证用例，以使得更新后的验证用例能够对混合信号电路进行回归验证；如果回归验证失败对应的验证用例不存在错误，那么修改并更新混合信号电路，并根据验证计划表和更新后的混合信号电路，更新验证用例库中的验证用例。

在一种情况下，如果回归验证结束的验证结果为回归验证成功，那么在获取验证计划表对应的验证用例库时，可能遗漏了验证计划表中的验证需求，还有可能更新的验证计划表增加了验证需求，都导致验证覆盖率也可能不满足预置条件。验证计划表与回归验证是并行存在的，因此，如果在通过验证用例进行回归验证的过程中，更新了验证计划表，那么即时在回归验证结束的验证结果为回归验证成功，验证覆盖率也可能出现偏差。在该情况下，需要根据更新的验证计划表和混合信号电路，更新验证用例库中的验证用例。

可能理解的是，如果回归验证结束的验证结果为回归验证失败，那么判断回归验证失败对应的验证用例是否存在错误。根据不同的判断结果采用不同更新方式更新验证用例。

在另一种情况下，如果回归验证失败对应的验证用例存在错误，那么修改回归验证失败对应的验证用例，并更新验证用例库中的验证用例，以使得更新后的验证用例能够对混合信号电路进行回归验证。在确定回归验证失败对应的验证用例存在错误之后，还需要确定与错误验证用例相关的输入、用例依赖关系、相关验证用例和验证计划表是否需要更新，如果需要更新则一并更新。

在再一种情况下，如果回归验证失败对应的验证用例不存在错误，那么修改并更新混合信号电路，并根据验证计划表和更新后的混合信号电路，更新验证用例库的验证用例。在修改并更新混合信号电路之后，还需要确定验证计划表是否需要更新，如果验证计划表也需要更新，则根据更新的验证计划表和更新后的混合信号电路，更新验证用例库的验证用例。

在一些实施例中，上述步骤步骤S330的具体实现方式可以为：在更新后的验证用例的用例依赖关系不变的情况下，并且，回归验证结束的验证结果为回归验证成功的情况下，根据用例执行路径，依次按照更新后的模拟验证用例集或者更新后的数字验证用例集中的验证用例，对混合信号电路进行回归验证；在更新后的验证用例的用例依赖关系不变，并且，回归验证结束的验证结果为回归验证失败的情况下，根据用例执行路径，从回归验证失败对应的修改后的验证用例开始，继续依次按照更新后的模拟验证用例集，或者更新后的数字验证用例集中的验证用例，对混合信号电路进行回归验证。

可以理解的是，如果更新后的验证用例的用例依赖关系不变，不再对已进行验证的验证用例重复验证，减少回归验证过程中运行的代码数据量，以此提高混合信号电路的回归验证效率。

在另一些实施例中，上述步骤步骤S330的具体实现方式还可以为：在更新后的验证用例的用例依赖关系改变的情况下，根据改变后的用例依赖关系，重新确定验证用例的用例执行路径；根据重新确定的用例执行路径，依次按照更新后的模拟验证用例集或者更新后的数字验证用例集中的验证用例，对混合信号电路进行回归验证。

可以理解的是，在验证用例更新后，再根据当前所有的验证用例对混合信号电路进行验证，能够确保回归验证的完整性，能够提高混合信号电路的可靠性。

在本申请实施例中，提供了一种的混合信号电路的回归验证方法，自顶向下的实现步骤如下：该方法基于统一的验证计划表，通过验证计划表缺东混合信号电路的回归验证过程。在获取验证计划表之后，获取验证计划表对应的验证用例库。当然，验证计划表和验证用例库，可以根据回归验证情况的实际需求被动更新，也可以在发现错漏后主动更新。在获取验证计划表和验证用例库之后，开始部分或全部重复通过测试用例对混合信号电路进行回归验证的过程，直至完整的完成验证计划。在进行验证之前，针对不同的验证环境，分解为适配不同验证环境下的验证用例，以便于加速完整的完成验证计划（验证覆盖率为100%）。接下来，依据不同验证环境下的验证用例，通过梳理验证用例之间的依赖关系，规划并定义合理的回归验证的执行路径，尽早实时地发现验证用例中的错误或者潜在问题，加速回归验证的迭代效率。最后，对回归验证结果统一分析，集中收集验证覆盖率。通过验证覆盖率完成的呈现验证计划表的达成情况下，实现对混合信号电路的回归验证。

针对混合信号电路包括的模拟电路模块和数字电路模块，通过获取验证计划对应的验证用例库，集成各个电路模块的所有验证用例，以便于对混合信号电路进行统一的回归验证。根据模拟验证用例集对模拟电路模块进行回归验证，根据数字验证用例集对数字电路模块进行回归验证，能够得到集中的回归验证结果，进而提高根据验证结果统计的验证覆盖率的实时性。按照用例执行路径进行回归验证，能够确保每个验证用例都具有对应的输入数据，不会发送因为缺少与用例依赖关系有关的输入数据造成无法验证的情况，进而提高混合信号电路的回归验证效率。按照用例执行路径进行回归验证，还能够对回归验证过程进行可视可控的监测，避免出现验证计划的执行偏差或者发送验证错误。按照用例执行路径进行回归验证，还能够确保所有的验证用例都被执行，即，确保验证计划表中的所有验证计划都进行回归验证，能够减少回归验证中的验证缺陷和验证风险。

图4是根据本申请一些实施例所示的回归验证装置的模块图。

如图4所示，本申请实施例还提供了一种回归验证装置400，回归验证装置400可以包括第一获取模块410、第二获取模块420、提取模块430、第一确定模块440、验证模块450、统计模块460以及第二确定模块470。

其中，所述第一获取模块410用于获取混合信号电路的验证计划表，所述混合信号电路包括模拟电路模块和数字电路模块；

所述第二获取模块420用于获取与所述验证计划表对应的验证用例库，所述验证用例库用于存储验证用例，所述验证用例用于验证所述混合信号电路；

所述提取模块430用于从所述验证用例库中提取模拟验证用例集和数字验证用例集，所述模拟验证用例集用于适配所述模拟电路模块对应的模拟验证环境，所述数字验证用例集用于适配所述数字电路模块对应的数字验证环境；

所述第一确定模块440用于根据用例依赖关系，确定所述验证用例的用例执行路径，所述用例执行路径用于指示所述验证用例库中验证用例的执行顺序；

所述验证模块450用于根据所述用例执行路径，依次按照所述模拟验证用例集或者所述数字验证用例集中的验证用例对所述混合信号电路进行回归验证；

所述统计模块460用于在所述回归验证结束的情况下，统计所述混合信号电路的验证覆盖率；

所述第二确定模块470用于如果所述验证覆盖率满足预置条件，则确定所述混合信号电路通过回归验证。

本申请实施例提供的回归验证装置，与回归验证方法相对应，在此对回归验证装置的实现过程及有益效果不再详述。

需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

需要说明的是，在本申请的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是转动连接，也可以是滑动连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以结合具体情况理解上述术语在本申请中的具体含义。

另外，当本申请说明书中使用了“第一”、“第二”、“第三”等术语描述各种特征时，这些术语仅用于对这些特征进行区分，而不能理解为指示或暗示特征之间的关联性、相对重要性或者隐含指明所指示的特征数量。

除此之外，本申请说明书通过参考理想化的示例性截面图和/或平面图和/或立体图来描述示例性实施例。因此，由于例如制造技术和/或容差导致的与图示的形状的不同是可预见的。因此，不应当将示例性实施例解释为限于在此所示出的区域的形状，而是应当包括由例如制造所导致的形状中的偏差。因此，在图中示出的区域实质上是示意性的，其形状不是为了示出器件的区域的实际形状也不是为了限制示例性实施例的范围。

同时，本申请使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本申请中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (10)

1.一种回归验证方法，其特征在于，包括：

获取混合信号电路的验证计划表，所述混合信号电路包括模拟电路模块和数字电路模块；

获取与所述验证计划表对应的验证用例库，所述验证用例库用于存储验证用例，所述验证用例用于验证所述混合信号电路；

从所述验证用例库中提取模拟验证用例集和数字验证用例集，所述模拟验证用例集用于适配所述模拟电路模块对应的模拟验证环境，所述数字验证用例集用于适配所述数字电路模块对应的数字验证环境；

根据用例依赖关系，确定所述验证用例的用例执行路径，所述用例执行路径用于指示所述验证用例库中验证用例的执行顺序，其中，所述用例依赖关系依赖于所述验证用例的用例验证结果；

根据所述用例执行路径，依次按照所述模拟验证用例集或者所述数字验证用例集中的验证用例对所述混合信号电路进行回归验证；

在所述回归验证结束情况下，统计所述混合信号电路的验证覆盖率；

如果所述验证覆盖率满足预置条件，则确定所述混合信号电路通过回归验证。

2.根据权利要求1所述的回归验证方法，其特征在于，所述根据用例依赖关系，确定所述验证用例的用例执行路径，包括：

根据所述用例依赖关系，将所述验证用例划分为至少一个级别的验证用例，其中，所述至少一个级别的验证用例中的后一级别验证用例的输入数据包括前一级别验证用例的用例验证结果；

根据所述至少一个级别的验证用例中的用例级别顺序，确定所述验证用例对应的用例执行路径。

3.根据权利要求1所述的回归验证方法，其特征在于，所述统计所述混合信号电路的验证覆盖率，包括：

根据所述验证计划表被验证比率，以及所述验证用例库中的验证用例的被验证比率，统计所述混合信号电路的验证覆盖率。

4.根据权利要求1所述的回归验证方法，其特征在于，所述方法还包括：

更新所述验证计划表。

5.根据权利要求4所述的回归验证方法，其特征在于，所述方法还包括：

如果所述验证覆盖率不满足所述预置条件，那么根据所述回归验证结束的验证结果，更新所述验证用例；

根据更新后的所述验证用例，更新所述模拟验证用例集和所述数字验证用例集；

根据所述用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证。

6.根据权利要求5所述的回归验证方法，其特征在于，所述回归验证结束的验证结果包括回归验证失败或回归验证成功，所述根据所述回归验证结束的验证结果，更新所述验证用例，包括：

如果所述回归验证结束的验证结果为所述回归验证成功，那么根据所述验证计划表和所述混合信号电路，更新所述验证用例库中的验证用例；

如果所述回归验证结束的验证结果为所述回归验证失败，那么判断所述回归验证失败对应的验证用例是否存在错误；

如果所述回归验证失败对应的验证用例存在错误，那么修改所述回归验证失败对应的验证用例，并更新所述验证用例库中的验证用例，以使得所述更新后的验证用例能够对所述混合信号电路进行回归验证；

如果所述回归验证失败对应的验证用例不存在错误，那么修改并更新所述混合信号电路，并根据所述验证计划表和所述更新后的所述混合信号电路，更新所述验证用例库中的验证用例。

7.根据权利要求6所述的回归验证方法，其特征在于，所述根据所述用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证，包括：

在所述更新后的验证用例的用例依赖关系不变，并且，所述回归验证结束的验证结果为回归验证成功的情况下，根据所述用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证；

在所述更新后的验证用例的用例依赖关系不变，并且，所述回归验证结束的验证结果为回归验证失败的情况下，根据所述用例执行路径，从所述回归验证失败对应的修改后的验证用例开始，继续依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证。

8.根据权利要求6所述的回归验证方法，其特征在于，所述根据所述用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证，包括：

在所述更新后的验证用例的用例依赖关系改变的情况下，根据改变后的用例依赖关系，重新确定所述验证用例的用例执行路径；

根据所述重新确定的用例执行路径，依次按照更新后的所述模拟验证用例集或者更新后的所述数字验证用例集中的验证用例，对所述混合信号电路进行回归验证。

9.根据权利要求1至8任一项所述的回归验证方法，其特征在于，所述预置条件包括以下至少一项：所述验证计划表中的功能覆盖率达到100%，和，所述验证用例库中的代码覆盖率达到100%。

10.一种回归验证装置，其特征在于，包括：第一获取模块、第二获取模块、提取模块、第一确定模块、验证模块、统计模块和第二确定模块；其中，

所述第一获取模块用于获取混合信号电路的验证计划表，所述混合信号电路包括模拟电路模块和数字电路模块；

所述第二获取模块用于获取与所述验证计划表对应的验证用例库，所述验证用例库用于存储验证用例，所述验证用例用于验证所述混合信号电路；

所述提取模块用于从所述验证用例库中提取模拟验证用例集和数字验证用例集，所述模拟验证用例集用于适配所述模拟电路模块对应的模拟验证环境，所述数字验证用例集用于适配所述数字电路模块对应的数字验证环境；

所述第一确定模块用于根据用例依赖关系，确定所述验证用例的用例执行路径，所述用例执行路径用于指示所述验证用例库中验证用例的执行顺序，其中，所述用例依赖关系依赖于所述验证用例的用例验证结果；

所述验证模块用于根据所述用例执行路径，依次按照所述模拟验证用例集或者所述数字验证用例集中的验证用例对所述混合信号电路进行回归验证；

所述统计模块用于在所述回归验证结束的情况下，统计所述混合信号电路的验证覆盖率；

所述第二确定模块用于如果所述验证覆盖率满足预置条件，则确定所述混合信号电路通过回归验证。