CN113535547B - 一种基于功能安全的测试方法 - Google Patents

Abstract

本发明提供了一种基于功能安全的测试方法，包括以下步骤：S1、输入待测安全模块；S2、搜索芯片安全机制库和功能安全测试用例库；S3、选定待测安全模块全部安全机制和测试用例表；S4、确定全部待测安全机制对应的故障模型和失效模式；S5、利用所述安全机制对应的故障模型和测试脚本模板文件，生成选定待测安全模块的所有故障注入测试脚本。本发明有益效果：本发明是基于功能安全测试流程的要求，通过对芯片安全机制库、功能安全测试用例库、故障注入测试脚本库和失效模式库的建立，大大缩短了同类型芯片功能安全测试的时间，考虑了功能安全测试过程中应用的方法，给出了安全机制诊断覆盖率导出方法。

Description

一种基于功能安全的测试方法

技术领域

本发明属于汽车功能安全ASIL等级测试领域，尤其涉及基于功能安全芯片实现的应用软件的测试流程方法。

背景技术

随着智能网联汽车和自动驾驶汽车的快速发展，设计高可靠性和安全性的汽车电子***日益受到各方关注，为保证汽车电子***的安全性，应用软件实现的安全机制至关重要。在面向汽车的功能安全标准GBT 34590中，针对不同的功能安全ASIL等级，安全机制的诊断覆盖率要求不同，对于分配功能安全ASILC或ASILD等级的要素要求诊断覆盖率高的安全机制来覆盖失效模式。当要素发生失效时，控制芯片检测到失效，但应用软件未执行相应的安全行为，失效将会影响整车的安全行驶，甚至危害人身安全。因此，为验证应用软件的正确配置和实现，对应用软件的测试是十分必要的。本发明主要针对应用软件的测试流程方法，应用虚拟原型测试设备，通过故障注入测试脚本形成失效来检测应用软件行为的功能安全测试流程，以及确定安全机制诊断覆盖率的方法。本发明引入了功能安全测试理念，为汽车电子应用软件的可靠性和安全性提供了必不可少的支持。

发明内容

有鉴于此，本发明旨在提出一种基于功能安全的测试方法，以解决上述问题中的不足之处。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于功能安全的测试方法，包括以下步骤：

S1、输入待测安全模块；

S2、搜索芯片安全机制库和功能安全测试用例库；

S3、选定待测安全模块全部安全机制和测试用例表；

S4、确定全部待测安全机制对应的故障模型和失效模式；

S5、利用所述安全机制对应的故障模型和测试脚本模板文件，生成选定待测安全模块的所有故障注入测试脚本；

S6、将待测应用软件和故障注入测试脚本导入虚拟原型测试平台进行测试；

S7、故障注入后捕捉应用软件行为，记录测试通过和不通过的安全机制及其对应失效模式；

S8、测试结果分析，将测试通过的安全机制对应的失效模式与失效模式库进行比对，确定安全机制诊断覆盖率；

S9、生成测试报告，包括测试通过/不通过情况、安全机制诊断覆盖率和故障响应时间间隔。

进一步的，步骤S1中所述的待测安全模块包括应用软件根据确定后的ASIL等级实现相关安全机制对应的全部安全模块，对待测安全模块进行测试验证是否满足功能安全要求。

进一步的，步骤S2中所述的芯片安全机制库为选定芯片实现的全部安全机制的总和，由芯片安全手册导出；

所述功能安全测试用例库，为选定芯片实现的全部安全机制对应的功能安全测试用例表的总和。

进一步的，步骤S3中所述的测试用例表包括安全机制编号、所属功能模块、测试目的、功能描述、失效模式、用例编号、测试项、操作步骤/测试数据、预期结果、软件实现安全机制行为和判定结果。

进一步的，步骤S4中所述的故障模型，由故障导致的失效模式的表现，为创建故障注入测试脚本，确定全部待测安全机制对应的故障模型，故障模型包括开路故障、卡滞故障、桥接故障、单事件翻转、单位反转；

步骤S4中所述的失效模式，为要素或相关项失效的方式，要素或相关项的失效模式参考功能安全标准GBT 34590。

进一步的，步骤S5中所述的故障注入测试脚本，使用Python语言编写，测试脚本涵盖所有待测安全模块的安全机制对应的故障模型。

进一步的，步骤S6中所述的待测应用软件，根据功能安全ASILA、ASILB、ASILC、ASILD的等级不同选择相应安全模块的安全机制进行软件代码实现的。

进一步的，步骤S7中所述的应用软件行为，应用软件在检测到故障发生后所做的动作，当在故障注入点处应用软件有预期的动作行为，表示测试通过，否则测试未通过，并记录测试结果，应用软件行为包括复位、中断和报警。

进一步的，在步骤S8中，安全机制对应的失效模式，可以是一个安全机制对应多个失效模式，也可以是多个安全机制覆盖一个要素的全部失效模式；

所述安全机制覆盖率为安全机制对失效模式的覆盖程度的评价方式。

进一步的，安全机制覆盖率的评价方法如下：

A1、针对测试通过的故障类型进行判断是否属于失效模式库，对于不属于失效模式库的故障类型进行记录，若测试通过的故障类型属于失效模式库，则对该失效模式进行分类，类型包括低覆盖率失效模式、中覆盖率失效模式和高覆盖率失效模式，并记录对应类型的每个失效模式；

A2、评价安全机制诊断覆盖率，其中高覆盖率失效模式包含低覆盖率失效模式和中覆盖率失效模式，中覆盖率失效模式包含低覆盖率失效模式，若记录的失效模式等于高覆盖率失效模式，则该安全机制覆盖率能达到99％；若记录的失效模式等于中覆盖率失效模式，则该安全机制覆盖率能达到90％；若记录的失效模式等于低覆盖率失效模式，则该安全机制覆盖率能达到60％；若记录的失效模式不在该三个范围内，则为其他覆盖率；

A3、对于其他覆盖率的判断方法如下：若记录的失效模式多于低覆盖率失效模式，但少于中覆盖率失效模式，则该安全机制覆盖率定为60％；若记录的失效模式多于中覆盖率失效模式，但少于高覆盖率失效模式，则该安全机制覆盖率定为90％。

相对于现有技术，本发明所述的一种基于功能安全的测试方法具有以下有益效果：

本发明是基于功能安全测试流程的要求，提出了一种基于功能安全的测试方法及装置。通过对芯片安全机制库、功能安全测试用例库、故障注入测试脚本库和失效模式库的建立，大大缩短了同类型芯片功能安全测试的时间，考虑了功能安全测试过程中应用的方法，给出了安全机制诊断覆盖率导出方法。本发明为解决ECU级功能安全测试提供了必不可少的支持，包括测试流程和技术方法的指导，还为功能安全硬件开发阶段的失效率计算和功能安全ASIL等级的评定提供了参考依据。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例中PMS模块安全机制库示意图；

图2是本发明实施例中PMS模块测试用例表示意图；

图3是本发明的一种基于功能安全的测试方法；

图4是本发明的安全机制诊断覆盖率评价策略。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

在本实施例中，PMS模块安全机制库包括22条安全机制，如图1所示。针对安全机制SM8和SM18对应的失效模式进行测试，即失效模式为输出电压高于规定范围的高阈值(过压)和输出电压低于规定范围的低阈值(欠压)。该PMS模块功能安全测试用例表示例如图2所示。测试内容包括VEXT过压测试和VEXT欠压测试，在发生故障后，产生报警信息，应用软件将重置Core0并启动处于掉电状态的Core1-Core5。

下面为具体过程：

步骤1、输入PMS模块；

步骤2、搜索PMS模块安全机制库和功能安全测试用例库；

步骤3、选定PMS模块全部安全机制和测试用例表；

步骤4、确定PMS模块全部待测安全机制对应的故障模型和失效模式，本实施例确定PMS模块待测安全机制为VEXT电源安全监控机制，安全机制编号为SM[HW]:PMS:VEXT_MONITOR和SMC[SW]:PMS:Vx_MONITOR_CFG。注入的故障模型为给定VEXT大于5V和给定VEXT小于2.97V，或者通过给定SM Flag ALM9[3]和SM Flag ALM9[5]注入故障。失效模式为VEXT输出电压高于规定范围的高阈值(过压)和VEXT输出电压低于规定范围的低阈值(欠压)。

步骤5、生成PMS模块故障注入测试脚本，根据步骤4)的故障模型和测试脚本模板文件，使用Python语言生成故障注入测试脚本。

步骤6、将实现VEXT电源安全监控机制的应用软件和故障注入测试脚本导入虚拟原型测试平台进行测试；

步骤7、故障注入后捕捉应用软件行为，本示例应用软件将重置Core0并启动处于掉电状态的Core1-Core5，若故障注入点应用软件发生预期的行为动作，则判断测试通过，否则判断测试未通过，并记录测试结果。

步骤8、测试通过后，记录测试项对应的失效模式，若注入故障类型属于PMS失效模式库，则将失效模式进行失效模式库分类；若注入故障类型不属于PMS失效模式库，则记录故障类型。本实施例中PMS模块失效模式包括输出电压高于规定范围的高阈值(过压)、输出电压低于规定范围的低阈值(欠压)、输出电压受尖峰影响(电源尖峰)、输出电压精度太低(漂移)、输出电压在规定的范围内振荡(振荡)。其中低覆盖率失效模式包括过压和欠压；中覆盖率失效模式包括过压、欠压和漂移；高覆盖率失效模式包括过压、欠压、漂移、振荡和电源尖峰。将本实施例中的VEXT过压测试项和VEXT欠压测试项的失效模式进行失效模式库分类，SC_PMS_001和SC_PMS_002同时属于低覆盖率失效模式、中覆盖率失效模式和高覆盖率失效模式，并记录失效模式。将本实施例中记录的失效模式进行比对，确定记录的失效模式等于低覆盖率失效模式，则该实施例中VEXT电源安全监控机制覆盖率能达到60％。

步骤9、PMS模块生成测试报告，本实施例VEXT过压测试项和VEXT欠压测试项测试通过，VEXT电源安全监控机制诊断覆盖率为60％。

综上，本发明基于功能安全测试流程的要求，提出了一种基于功能安全的测试方法及装置。在保证功能安全测试流程完整性的基础上，同时考虑了功能安全测试过程中应用的方法，给出了安全机制诊断覆盖率导出方法，本发明大大缩短了芯片功能安全测试的时间，为功能安全硬件开发阶段的失效率计算和功能安全ASIL等级的评定提供了参考依据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和***，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于功能安全的测试方法，其特征在于，包括以下步骤：

S1、向测试***中输入待测安全模块；

S2、搜索测试芯片中的全部安全机制库和全部功能安全测试用例库；

S3、从全部安全机制库和全部功能安全测试用例库中选定与待测安全模块相关的全部安全机制和测试用例表；

S4、针对全部待测的安全机制设定对应的测试用故障模型，并设置对应的失效模式；

S5、根据安全机制对应的测试用故障模型和测试脚本模板文件，生成选定的待测安全模块的所有故障注入测试脚本；

S6、将用于实现待测安全模块的待测应用软件和待测安全模块的所有故障注入测试脚本导入至虚拟原型测试平台进行测试；

S7、故障注入至虚拟原型测试平台后捕捉待测应用软件行为，记录测试通过和不通过的安全机制及其对应失效模式；

S8、测试结果分析，将测试通过的安全机制对应的失效模式与失效模式库进行比对，确定安全机制诊断覆盖率；

S9、生成测试报告，包括测试通过/不通过情况、安全机制诊断覆盖率和故障响应时间间隔；

在步骤S8中，确定安全机制诊断覆盖率的方法为：

安全机制诊断覆盖率的评价方法如下：

A1、针对测试通过的故障类型进行判断是否属于失效模式库，对于不属于失效模式库的故障类型进行记录，若测试通过的故障类型属于失效模式库，则对该失效模式进行分类，类型包括低覆盖率失效模式、中覆盖率失效模式和高覆盖率失效模式，并记录对应类型的每个失效模式；

A2、评价安全机制诊断覆盖率，其中高覆盖率失效模式包含低覆盖率失效模式和中覆盖率失效模式，中覆盖率失效模式包含低覆盖率失效模式，若记录的失效模式等于高覆盖率失效模式，则该安全机制诊断覆盖率能达到99%；若记录的失效模式等于中覆盖率失效模式，则该安全机制诊断覆盖率能达到90%；若记录的失效模式等于低覆盖率失效模式，则该安全机制诊断覆盖率能达到60%；若记录的失效模式不在该三个范围内，则为其他覆盖率；

A3、对于其他覆盖率的判断方法如下：若记录的失效模式多于低覆盖率失效模式，但少于中覆盖率失效模式，则该安全机制诊断覆盖率定为60%；若记录的失效模式多于中覆盖率失效模式，但少于高覆盖率失效模式，则该安全机制诊断覆盖率定为90%。

2.根据权利要求1所述的一种基于功能安全的测试方法，其特征在于：在步骤S1中，待测安全模块包括待测应用软件根据确定后的ASIL等级实现相关安全机制对应的全部安全模块，通过实现的待测应用软件对待测安全模块进行测试验证是否满足功能安全要求。

3.根据权利要求1所述的一种基于功能安全的测试方法，其特征在于：在步骤S2中，芯片安全机制库为选定芯片实现的全部安全机制的总和，由芯片安全手册导出；

所述功能安全测试用例库，为选定芯片实现的全部安全机制对应的功能安全测试用例表的总和。

4.根据权利要求1所述的一种基于功能安全的测试方法，其特征在于：在步骤S3中，测试用例表包括安全机制编号、所属功能模块、测试目的、功能描述、失效模式、用例编号、测试项、操作步骤/测试数据、预期结果、软件实现安全机制行为和判定结果。

5.根据权利要求1所述的一种基于功能安全的测试方法，其特征在于：在步骤S4中，故障模型是根据可能产生的故障生成的，确定全部待测安全机制对应的故障模型，再根据故障模型和故障注入测试脚本模板文件创建所有故障注入测试脚本，其中故障模型包括开路故障、卡滞故障、桥接故障、单事件翻转、单位反转；

步骤S4中所述的失效模式，包括要素失效或相关项失效，要素失效或相关项失效参考功能安全标准GBT 34590。

6.根据权利要求1所述的一种基于功能安全的测试方法，其特征在于：在步骤S5中，故障注入测试脚本，使用Python语言编写，测试脚本涵盖所有待测安全模块的安全机制对应的故障模型。

7.根据权利要求1所述的一种基于功能安全的测试方法，其特征在于：在步骤S6中，待测应用软件为根据功能安全ASILA、ASILB、ASILC、ASILD的等级不同选择相应安全模块的安全机制进行软件代码实现的。

8.根据权利要求1所述的一种基于功能安全的测试方法，其特征在于：在步骤S7中，应用软件行为，应用软件在检测到故障发生后所做的动作，当在故障注入点处应用软件有预期的动作行为，表示测试通过，否则测试未通过，并记录测试结果，应用软件行为包括复位、中断和报警。

9.根据权利要求1所述的一种基于功能安全的测试方法，其特征在于：在步骤S8中，安全机制对应的失效模式，失效模式是一个安全机制对应多个失效模式，或者是多个安全机制覆盖一个要素的全部失效模式；

所述安全机制诊断覆盖率为安全机制对失效模式的覆盖程度的评价方式。

Images