CN114397876A - 用于评估域控制器性能的方法及装置、电子设备、存储介质 - Google Patents

用于评估域控制器性能的方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN114397876A
CN114397876A CN202210077658.7A CN202210077658A CN114397876A CN 114397876 A CN114397876 A CN 114397876A CN 202210077658 A CN202210077658 A CN 202210077658A CN 114397876 A CN114397876 A CN 114397876A
Authority
CN
China
Prior art keywords
detection unit
domain controller
test sample
performance
planning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210077658.7A
Other languages
English (en)
Inventor
吕博
李曙方
缪新育
潘峰
程华
胡昌军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Information and Communications Technology CAICT
Original Assignee
China Academy of Information and Communications Technology CAICT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Information and Communications Technology CAICT filed Critical China Academy of Information and Communications Technology CAICT
Priority to CN202210077658.7A priority Critical patent/CN114397876A/zh
Publication of CN114397876A publication Critical patent/CN114397876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0256—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults injecting test signals and analyzing monitored process response, e.g. injecting the test signal while interrupting the normal operation of the monitored system; superimposing the test signal onto a control signal during normal operation of the monitored system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24065—Real time diagnostics

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及域控制器测试技术领域，公开一种用于评估域控制器性能的方法，包括：获得检测单元的M·N个验证结果；其中，M·N个验证结果由N个检测单元对规划单元按照M个测试样本的规划结果进行验证获得；M为大于1的整数；根据M·N个验证结果和初始参数确定M个测试样本的可信基准值；根据M个可信基准值和初始参数评估域控制器性能；输出评估结果。这样，由于可信基准值能够确定检测单元应该获取的正确验证结果。因此，根据可信基准值对域控制器性能进行评估，能够确定验证结果是否正确，从而提高了获得的域控制器的性能评估结果的准确性。本申请还公开一种用于评估域控制器性能的装置、电子设备、存储介质。

Description

用于评估域控制器性能的方法及装置、电子设备、存储介质
技术领域
本申请涉及域控制器测试技术领域，例如涉及一种用于评估域控制器性能的方法及装置、电子设备、存储介质。
背景技术
目前，随着5G技术的快速发展，通常采用域控制器的规划单元进行网络规划获得规划结果，通过检测单元判断规划结果中的网络链路的逻辑是否矛盾、是否存在漏配置和是否存在定时环等问题，从而获得检测单元对规划结果的验证结果。而通过验证结果直接评估域控制器的性能，由于验证结果是否正确是未知的，因此不能准确获得域控制器的性能评估结果。
在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：通过验证结果直接评估域控制器的性能，获得的域控制器的性能评估结果的准确性较差。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种用于评估域控制器性能的方法及装置、电子设备、存储介质，以能够提高获得的域控制器的性能评估结果的准确性。
在一些实施例中，用于评估域控制器性能的方法，所述域控制器包括规划单元和N个检测单元，N为大于1的整数，所述方法包括：获得检测单元的M·N个验证结果；其中，所述M·N个验证结果由N个检测单元对规划单元按照M个测试样本的规划结果进行验证获得；M为大于1的整数；根据M·N个验证结果和初始参数确定M个测试样本的可信基准值；根据M个可信基准值和初始参数评估域控制器性能；输出评估结果。
在一些实施例中，所述用于评估域控制器性能的装置，包括处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行上述的用于评估域控制器性能的方法。
在一些实施例中，所述电子设备，包括上述的用于评估域控制器性能的装置。
在一些实施例中，所述存储介质，存储有程序指令，所述程序指令在运行时，执行上述的用于评估域控制器性能的方法。
本公开实施例提供的用于评估域控制器性能的方法及装置、电子设备、存储介质，可以实现以下技术效果：通过获得检测单元的M·N个验证结果；根据M·N个验证结果和初始参数确定M个测试样本的可信基准值；根据M个可信基准值和初始参数评估域控制器性能；输出评估结果。这样，由于可信基准值能够确定检测单元应该获取的正确验证结果。因此，根据可信基准值对域控制器性能进行评估，能够确定验证结果是否正确，从而提高了获得的域控制器的性能评估结果的准确性。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一个用于评估域控制器性能的方法的示意图；
图2是本公开实施例提供的另一个用于评估域控制器性能的方法的示意图；
图3是本公开实施例提供的一个评估装置的结构示意图；
图4是本公开实施例提供的一个验证结果及初始参数的示意图；
图5是本公开实施例提供的一个测试轮次为5的情况下的验证结果及评估结果的示意图；
图6是本公开实施例提供的一个测试轮次为100的情况下的验证结果及评估结果的示意图；
图7是本公开实施例提供的一个测试轮次为1000的情况下的验证结果及评估结果的示意图；
图8是本公开实施例提供的一个用于评估域控制器性能的装置的示意图。
附图标记：
100：测试样例集存储模块；101：网管/控制器；102：同步网络；103：软件定义同步网域控制器的规划单元；104：软件定义同步网域控制器的检测单元；105：测评单元；106：软件定义同步网域控制器。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
本申请可应用于评估域控制器性能的***或软件。通常，软件定义同步网域控制器存在同步网络规划单元和同步网络检测单元两部分，其中同步网络规划单元可根据网络的拓扑连接和资源信息自动规划出同步链路路径、同步端口配置优先级等信息；同步网络检测单元可对同步网实际运行或离线规划的同步运行状态进行完好性检测，包括是否存在漏配置、是否存在定时环、是否存在同步跳数越限等问题。评估域控制器的性能，即评估软件定义同步网域控制器的规划单元或检测单元。
同时，本发明实施例中所涉及的电子设备可以包括但不限于手机、平板电脑、个人电脑、掌上电脑和服务器等。
结合图1所示，本公开实施例提供一种用于评估域控制器性能的方法，域控制器包括规划单元和N个检测单元，N为大于1的整数，用于评估域控制器性能的方法包括：
步骤S101，电子设备获得检测单元的M·N个验证结果；其中，M·N个验证结果由N个检测单元对规划单元按照M个测试样本的规划结果进行验证获得；M为大于1的整数；
步骤S102，电子设备根据M·N个验证结果和初始参数确定M个测试样本的可信基准值；
步骤S103，电子设备根据M个可信基准值和初始参数评估域控制器性能；
步骤S104，电子设备输出评估结果。
采用本公开实施例提供的用于评估域控制器性能的方法，通过获得检测单元的M·N个验证结果；根据M·N个验证结果确定M个测试样本的可信基准值；根据M个可信基准值和初始参数评估域控制器性能；输出评估结果。这样，由于可信基准值能够确定检测单元应该获取的正确验证结果。因此，根据可信基准值对域控制器性能进行评估，能够确定验证结果是否正确，从而提高了获得的域控制器的性能评估结果的准确性。
可选地，M·N表示M乘以N。
在一些实施例中，电子设备接收域控制器的各检测单元发送的验证结果；或，电子设备调用预设的验证结果数据库，从预设的验证结果数据库中获取验证结果；预设的验证结果数据库中存储有多个验证结果。
可选地，验证结果为0或1；0用于表征检测单元对规划单元的规划结果验证为不通过；1用于表征检测单元对规划单元的规划结果为验证通过。
可选地，初始参数包括N个检测单元分别对应的初始权重；根据验证结果和初始参数确定测试样本的可信基准值，包括：计算
Figure BDA0003484682940000051
获得测试样本的可信基准值；其中，Rj'(pk,sj)是第j个测试样本的可信基准值；w'i是第i个检测单元对应的初始权重；R(Di|pk,sj)是第i个检测单元对规划单元按照第j个测试样本的规划结果的验证结果；“·”表示乘号。这样，通过初始参数和各检测单元的验证结果能够自动确定各测试样本的可信基准值，提高了获得的域控制器的性能评估结果的效率。
在一些实施例中，R(Di|pk,sj)是第i个检测单元对规划单元按照第j个测试样本的规划结果的验证结果。即，在测试样本为sj的情况下，规划单元pk按照测试样本sj进行规划，获得规划结果pk,sj；检测单元Di对规划结果pk,sj的验证结果即为R(Di|pk,sj)。
在一些实施例中，Rj'(pk,sj)是第j个测试样本的可信基准值。即，第j个测试样本在规划单元pk的可信基准值。
在一些实施例中，域控制器包括4个检测单元。将规划单元按照测试样本1进行规划的规划结果确定为测试样本1规划结果；获取检测单元D1的初始权重为0.25，检测单元D1对测试样本1规划结果的验证结果为0；获取检测单元D2的初始权重为0.25，检测单元D2对测试样本1规划结果的验证结果为1；获取检测单元D3的初始权重为0.25，检测单元D3对测试样本1规划结果的验证结果为1；获取检测单元D4的初始权重为0.25，检测单元D4对测试样本1规划结果的验证结果为1。计算
Figure BDA0003484682940000052
获得测试样本1对应的各检测单元的加权结果，即：0.25×1+0.25×0+0.25×1+0.25×1＝0.75；由于加权结果0.75大于0.5，因此测试样本1的可信基准值为1。
可选地，根据M个可信基准值和初始参数评估域控制器性能，包括：根据测试样本对应的验证结果和可信基准值，分别确定各验证结果的类型；类型包括真阴性、真阳性和假阳性；统计各检测单元分别对应的验证结果中存在的真阴性数量、真阳性数量和假阳性数量；根据真阴性数量、真阳性数量、假阳性数量和初始参数确定各检测单元评估值和各检测单元对应的权重。这样，通过确定验证结果的类型，并统计各检测单元分别对应的验证结果的类型数量，即能确定各检测单元对应的验证结果的准确程度。从而能够量化评估域控制器的各检测单元的性能，有利于用户根据各检测单元评估值对各检测单元进行改进。同时，也便于用户选择合适的检测单元进行网络规划验证。
可选地，可信基准值为0或1；根据测试样本对应的验证结果和可信基准值分别确定各验证结果的类型，包括：在测试样本对应的可信基准值和验证结果均为1的情况下，将验证结果的类型确定为真阳性；在测试样本对应的可信基准值和验证结果均为0的情况下，将验证结果的类型确定为真阴性；在测试样本对应的可信基准值为0且验证结果为1的情况下，将验证结果的类型确定为假阳性。
可选地，初始参数还包括检测单元初始参数；根据真阴性数量、真阳性数量、假阳性数量和初始参数确定检测单元评估值和检测单元对应的权重，包括：计算
Figure BDA0003484682940000061
获得检测单元准确率；计算
Figure BDA0003484682940000062
获得检测单元召回率；计算
Figure BDA0003484682940000063
获得检测单元得分；计算
Figure BDA0003484682940000064
获得检测单元评估值；计算
Figure BDA0003484682940000065
获得检测单元对应的权重；其中，precision_rate为检测单元准确率，TP(Di)为第i个检测单元对应的验证结果中存在的真阳性数量；TN(Di)为第i个检测单元对应的验证结果中存在的真阴性数量；FP(Di)为第i个检测单元对应的验证结果中存在的假阳性数量；recall_rate为第i个检测单元召回率；f_score(Di)为第i个检测单元得分；f_score(Dg)为第g个检测单元得分；P(Di)为第i个检测单元评估值；P'(Di)为第i个检测单元初始参数；iter为测试轮次；wi为第i个检测单元对应的权重。
可选地，测试轮次大于或等于1。
在一些实施例中，测试轮次为1；检测单元D3初始参数为0.5。将规划单元按照测试样本3进行规划的规划结果，确定为测试样本3规划结果；将规划单元按照测试样本4进行规划的规划结果，确定为测试样本4规划结果。获取测试样本3的可信基准值为1；获取测试样本4的可信基准值为0；获取检测单元D3对测试样本3规划结果的验证结果a为1；获取检测单元D3对测试样本4规划结果的验证结果b为1；获取检测单元D4对测试样本3规划结果的验证结果c为1；获取检测单元D4对测试样本4规划结果的验证结果d为0。测试样本3对应的验证结果a为1且可信基准值为1，则验证结果a的类型为真阳性；测试样本3对应的验证结果b为1且可信基准值为1，则验证结果b的类型为真阳性；测试样本4对应的验证结果c为1且可信基准值为0，则验证结果c的类型为假阳性；测试样本4对应的验证结果d为0且可信基准值为0，则验证结果d的类型为真阴性。检测单元D3对应的真阳性数量为2；检测单元D4对应的假阳性数量为1；检测单元D4对应的真阴性数量为1。通过计算
Figure BDA0003484682940000071
获得检测单元D3准确率为1；通过计算
Figure BDA0003484682940000081
获得检测单元D3召回率为1；通过计算
Figure BDA0003484682940000082
获得检测单元D3检测单元得分为1；通过计算
Figure BDA0003484682940000083
获得检测单元D3评估值为0.75。
可选地，初始参数还包括规划单元初始参数；根据各可信基准值和初始参数评估域控制器性能，还包括：计算
Figure BDA0003484682940000084
获得域控制器的规划单元得分；计算
Figure BDA0003484682940000085
获得域控制器的规划单元评估值；其中，score(pk)是规划单元得分；P(pk)为规划单元评估值；P'(pk)为规划单元初始参数；。这样，通过各验证结果确定测试样本的可信基准值，即，能够确定规划单元对测试样本的规划结果被验证通过或验证不通过。通过计算规划单元对测试样本的规划结果的验证通过情况，即能确定规划单元对应的规划成功情况。从而能够量化评估域控制器的规划单元的性能，有利于用户根据规划单元评估值对各规划单元进行改进。同时，也便于用户选择合适的规划单元进行网络规划。
在一些实施例中，测试轮次为1；规划单元初始参数为1；获取5个测试样本的可信基准值，例如：测试样本1的可信基准值为1；测试样本2的可信基准值为0；测试样本3的可信基准值为1；测试样本4的可信基准值为1；测试样本5的可信基准值为0。通过计算
Figure BDA0003484682940000086
即：(1+0+1+1+0)/5＝3/5；获得域控制器的规划单元得分为3/5。通过计算
Figure BDA0003484682940000091
获得规划单元评估值为0.8。
可选地，初始参数还包括测试样本初始参数；根据M个可信基准值和初始参数评估域控制器性能后，还包括：计算
Figure BDA0003484682940000092
获得测试样本得分；计算
Figure BDA0003484682940000093
获得测试样本评估值；其中，score(sj)为第j个测试样本得分；P(sj)为第j个测试样本评估值；P'(sj)为第j个测试样本初始参数。这样，能够对各测试样本进行量化评估，使得用户根据确定测试样本评估值确定各测试样本的难易程度。
在一些实施例中，测试轮次为1；域控制器包括4个检测单元和1个规划单元。测试样本7初始参数为20；将规划单元按照测试样本7进行规划的规划结果，确定为测试样本7规划结果；获取检测单元D1的初始权重为0.25，对测试样本7规划结果的验证结果为1；获取检测单元D2的初始权重为0.25，对测试样本7规划结果的验证结果为1；获取检测单元D3的初始权重为0.25，对测试样本7规划结果的验证结果为1；获取检测单元D4的初始权重为0.25，对测试样本7规划结果的验证结果为1。计算
Figure BDA0003484682940000094
获得测试样本7得分0；计算
Figure BDA0003484682940000095
获得测试样本7评估值为10。
在一些实施例中，在测试轮次为1的情况下，通过查找预设的参数数据库获取初始参数；预设的参数数据库中存储有检测单元初始参数、规划单元初始参数、测试样本初始参数和检测单元分别对应的初始权重。
可选地，输出评估结果后，还包括：获取测试轮次；在测试轮次达到预设轮次的情况下，将评估结果展示给用户；在测试轮次未达到预设轮次的情况下，累加测试轮次；将评估结果确定为初始参数；重新获得检测单元的M·N个验证结果；根据M·N个验证结果确定M个测试样本的可信基准值；根据M个可信基准值和初始参数评估域控制器性能；输出评估结果。这样，通过对评估结果进行迭代，能够更准确的评估域控制器性能。
结合图2所示，本公开实施例提供另一种用于评估域控制器性能的方法，域控制器包括规划单元和N个检测单元，N为大于1的整数，用于评估域控制器性能的方法包括：
步骤S201，电子设备获得检测单元的M·N个验证结果；其中，M·N个验证结果由N个检测单元对规划单元按照M个测试样本的规划结果进行验证获得；M为大于1的整数；然后执行步骤S202。
步骤S202，电子设备根据M·N个验证结果和初始参数确定M个测试样本的可信基准值；然后执行步骤S203。
步骤S203，电子设备根据M个可信基准值和初始参数评估域控制器性能；然后执行步骤S204。
步骤S204，电子设备输出评估结果；然后执行步骤S205。
步骤S205，电子设备获取测试轮次；然后执行步骤S206。
步骤S206，电子设备判断测试轮次是否达到预设轮次；在测试轮次达到预设轮次的情况下，执行步骤S208；在测试轮次未达到预设轮次的情况下，执行步骤S207。
步骤S207，电子设备将评估结果确定为初始参数，然后执行步骤S201。
步骤S208，电子设备将评估结果展示给用户。
采用本公开实施例的用于评估域控制器性能的方法，通过获取测试轮次，在测试轮次未达到预设轮次的情况下，获得检测单元的M·N个验证结果；根据M个可信基准值和初始参数评估域控制器性能；输出评估结果，并将评估结果确定为初始参数，直到测试轮次达到预设轮次。这样，对评估结果进行循环迭代，能够更准确的评估域控制器性能。
可选地，将评估结果确定为初始参数，包括：将检测单元对应的权重确定为检测单元对应的初始权重；将检测单元评估值确定为检测单元初始参数；将规划单元评估值确定为规划单元初始参数；将测试样本评估值确定为测试样本初始参数。
可选地，将评估结果展示给用户，包括：将评估结果推送到预设的客户端。
可选地，将评估结果展示给用户，包括：将评估结果发送到预设的显示屏，触发显示屏对评估结果进行展示。
在一些实施例中，图3为评估装置的结构示意图。如图3所示，测试样例集存储模块100连接网管或控制器101；网管或控制器101通过网管接口或南向接口连接同步网络102；同步网络102通过南向接口连接软件定义同步网域控制器的规划单元103，软件定义同步网域控制器的规划单元103通过北向接口连接软件定义同步网域控制器的检测单元104；由软件定义同步网域控制器106连接测评单元105。其中，测试样例集存储模块中存储有多个测试样本，网管或控制器从测试样例集存储模块中调用测试样本，并将测试样本加载为网管配置文件或SDN控制器配置文件；网管或控制器通过网管接口或南向接口，将网管配置文件或SDN控制器配置文件对应的配置信息映射到同步网络；规划单元通过南向接口从同步网络获取配置和运行信息，并进行网络规划获得规划结果；规划单元将规划结果发送给多个检测单元，检测单元对规划结果进行验证，获得验证结果。软件定义同步网域控制器将验证结果发送给测评单元。测评单元在运行时，执行用于评估域控制器性能的方法。
在一些实施例中，测评单元105与测试样例集存储模块100连接，测评单元对测试样例集存储模块中的测试样本标注对应的测试样本评估值。
在一些实施例中，测试样本包括同步设备类型、承载设备类型、数量及规模，同步时间/时钟源注入点位置、网络拓扑连接、网络规划策略等。可选地，同步设备类型包括时间服务器、频率同步源，承载网络同步单元和时间分配单元等。网管/控制器为同步设备/承载设备的网管或控制器，用于将测试样本的配置信息映射到同步网络。同步网络是由同步时间/时钟源、承载设备等组成的实际物理网络或离线虚拟网络实体。软件定义同步网域控制器的规划单元为满足YD/T3700-2020《软件定义同步网技术要求》中规定的控制器单元，具备同步网络自动规划能力；软件定义同步网域控制器-检测单元为满足YD/T3700-2020《软件定义同步网技术要求》中规定的控制器单元，具备同步网络自动检测能力。
在一些实施例中，采用13个测试样本、1个域控制器的规划单元和5个域控制器的检测单元评估域控制器性能。先获取域控制器分别对13个测试样本的规划结果，再通过5个检测单元分别对13个规划结果进行验证，获得65个验证结果。然后，根据65个验证结果和初始参数确定13个测试样本的可信基准值。最后，根据可信基准值和初始参数评估控制器性能，即获取检测单元评估值、检测单元对应的权重、规划单元评估值和测试样本评估值。图4为验证结果及初始参数的示意图，如图4所示，num为测试样本的编号；result_d1为检测单元1的验证结果；result_d2为检测单元2的验证结果；result_d3为检测单元3的验证结果；result_d4为检测单元4的验证结果；result_d5为检测单元5的验证结果；result_hat为测试样本可信基准值；sample_hard_score为测试样本评估值；f1_d1为检测单元1评估值；f1_d2为检测单元2评估值；f1_d3为检测单元3评估值；f1_d4为检测单元4评估值；f1_d5为检测单元5评估值；weight_d1为检测单元1的权重；weight_d2为检测单元2的权重；weight_d3为检测单元3的权重；weight_d4为检测单元4的权重；weight_d5为检测单元5的权重。其中，检测单元1对测试样本2的验证结果为0，检测单元2对测试样本2的验证结果为0；检测单元3对测试样本2的验证结果为0；检测单元4对测试样本2的验证结果为1；检测单元5对测试样本2的验证结果为0；测试样本2的初始可信基准值为0；测试样本2的初始测试样本评估值为35.736373；检测单元1、检测单元2、检测单元3、检测单元4和检测单元5的初始检测单元评估值均为0.2；检测单元1、检测单元2、检测单元3、检测单元4和检测单元5的初始权重均为0.2。
在一些实施例中，在电子设备输出评估结果后，获取测试轮次，判断测试轮次是否达到预设轮次，在测试轮次未达到预设轮次的情况下，重新评估估域控制器性能。在测试轮次为5次的情况下，如图5所示，检测单元1对测试样本5的验证结果为1，检测单元2对测试样本5的验证结果为1；检测单元3对测试样本5的验证结果为1；检测单元4对测试样本5的验证结果为0；检测单元5对测试样本5的验证结果为1；测试样本5的可信基准值为1.0；测试样本5的测试样本评估值为32.882007；检测单元1评估值为0.727273；检测单元2评估值为0.833333；检测单元3评估值为0.8；检测单元4评估值为0.5；检测单元5评估值为0.8；检测单元1权重为0.184376；检测单元2权重为0.226845；检测单元3权重为0.217727；检测单元4权重为0.174943；检测单元5权重为0.196109。在测试轮次为100次的情况下，验证结果及评估结果如图6所示。在测试轮次为1000次的情况下，验证结果及评估结果如图7所示。
在一些实施例中，采用不同的验证结果综合评估域控制器的性能。例如：获取验证结果集合A，验证结果集合A中存储有多个验证结果A；验证结果A由检测单元对规划单元按照测试样例集A的规划结果进行验证获得；测试样例集A中存储有多个测试样本；根据验证结果集合A获得评估结果A。获取验证结果集合B，验证结果集合B中存储有多个验证结果B；验证结果B由检测单元对规划单元按照测试样例集B的规划结果进行验证获得；测试样例集B中存储有多个测试样本；根据验证结果集合B获得评估结果B。根据评估结果A和评估结果B综合评估域控制器性能。其中，测试样例集A中存储的测试样本与测试样例集B中存储的测试样本不完全相同或完全不同。
结合图8所示，本公开实施例提供一种用于评估域控制器性能的装置，包括处理器(processor)800和存储器(memory)801。可选地，该装置还可以包括通信接口(Communication Interface)802和总线803。其中，处理器800、通信接口802、存储器801可以通过总线803完成相互间的通信。通信接口802可以用于信息传输。处理器800可以调用存储器801中的逻辑指令，以执行上述实施例的用于评估域控制器性能的方法。
采用本公开实施例提供的用于评估域控制器性能的装置，通过获得检测单元的M·N个验证结果；根据M·N个验证结果和初始参数确定M个测试样本的可信基准值；根据M个可信基准值和初始参数评估域控制器性能；输出评估结果。这样，由于可信基准值能够确定检测单元应该获取的正确验证结果。因此，根据可信基准值对域控制器性能进行评估，能够确定验证结果是否正确，从而提高了获得的域控制器的性能评估结果的准确性。
此外，上述的存储器801中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器801作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器801中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于评估域控制器性能的方法。
存储器801可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器801可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种电子设备，包含上述的用于评估域控制器性能的装置。
可选地，电子设备包括计算机或服务器等。
采用本公开实施例提供的电子设备，通过获得检测单元的M·N个验证结果；根据M·N个验证结果和初始参数确定M个测试样本的可信基准值；根据M个可信基准值和初始参数评估域控制器性能；输出评估结果。这样，由于可信基准值能够确定检测单元应该获取的正确验证结果。因此，根据可信基准值对域控制器性能进行评估，能够确定验证结果是否正确，从而提高了获得的域控制器的性能评估结果的准确性。
本公开实施例提供了一种存储介质，存储有程序指令，程序指令在运行时执行上述用于评估域控制器性能的方法。
前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
附图中的流程图和框图显示了根据本公开实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于评估域控制器性能的方法，所述域控制器包括规划单元和N个检测单元，N为大于1的整数，其特征在于，所述方法包括：
获得检测单元的M·N个验证结果；其中，所述M·N个验证结果由N个检测单元对规划单元按照M个测试样本的规划结果进行验证获得；M为大于1的整数；
根据M·N个验证结果和初始参数确定M个测试样本的可信基准值；
根据M个可信基准值和初始参数评估域控制器性能；
输出评估结果。
2.根据权利要求1所述的方法，其特征在于，初始参数包括N个检测单元分别对应的初始权重；根据验证结果和初始参数确定测试样本的可信基准值，包括：
计算
Figure FDA0003484682930000011
获得测试样本的可信基准值；
其中，Rj'(pk,sj)是第j个测试样本的可信基准值；w'i是第i个检测单元对应的初始权重；R(Di|pk,sj)是第i个检测单元对规划单元按照第j个测试样本的规划结果的验证结果。
3.根据权利要求1所述的方法，其特征在于，根据M个可信基准值和初始参数评估域控制器性能，包括：
根据测试样本对应的验证结果和可信基准值，分别确定各验证结果的类型；所述类型包括真阴性、真阳性和假阳性；
统计各检测单元分别对应的验证结果中存在的真阴性数量、真阳性数量和假阳性数量；
根据真阴性数量、真阳性数量、假阳性数量和初始参数确定各检测单元评估值和各检测单元对应的权重。
4.根据权利要求3所述的方法，其特征在于，初始参数还包括检测单元初始参数；根据真阴性数量、真阳性数量、假阳性数量和初始参数确定检测单元评估值和检测单元对应的权重，包括：
计算
Figure FDA0003484682930000021
获得检测单元准确率；
计算
Figure FDA0003484682930000022
获得检测单元召回率；
计算
Figure FDA0003484682930000023
获得检测单元得分；
计算
Figure FDA0003484682930000024
获得检测单元评估值；
计算
Figure FDA0003484682930000025
获得检测单元对应的权重；
其中，precision_rate为检测单元准确率，TP(Di)为第i个检测单元对应的验证结果中存在的真阳性数量；TN(Di)为第i个检测单元对应的验证结果中存在的真阴性数量；FP(Di)为第i个检测单元对应的验证结果中存在的假阳性数量；recall_rate为第i个检测单元召回率；f_score(Di)为第i个检测单元得分；f_score(Dg)为第g个检测单元得分；P(Di)为第i个检测单元评估值；P'(Di)为第i个检测单元初始参数；iter为测试轮次；wi为第i个检测单元对应的权重。
5.根据权利要求3所述的方法，其特征在于，初始参数还包括规划单元初始参数；根据各可信基准值和初始参数评估域控制器性能，还包括：
计算
Figure FDA0003484682930000026
获得域控制器的规划单元得分；
计算
Figure FDA0003484682930000027
获得域控制器的规划单元评估值；
其中，score(pk)是规划单元得分；P(pk)为规划单元评估值；P'(pk)为规划单元初始参数。
6.根据权利要求3所述的方法，其特征在于，初始参数还包括测试样本初始参数；根据M个可信基准值和初始参数评估域控制器性能后，还包括：计算
Figure FDA0003484682930000031
获得测试样本得分；
计算
Figure FDA0003484682930000032
获得测试样本评估值；
其中，score(sj)为第j个测试样本得分；P(sj)为第j个测试样本评估值；P'(sj)为第j个测试样本初始参数。
7.根据权利要求1至6任一项所述的方法，其特征在于，输出评估结果后，还包括：
获取测试轮次；
在测试轮次达到预设轮次的情况下，将评估结果展示给用户；
在测试轮次未达到预设轮次的情况下，累加测试轮次；将评估结果确定为初始参数；重新获得检测单元的M·N个验证结果；根据M·N个验证结果确定M个测试样本的可信基准值；根据M个可信基准值和初始参数评估域控制器性能；输出评估结果。
8.一种用于评估域控制器性能的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至7任一项所述的用于评估域控制器性能的方法。
9.一种电子设备，其特征在于，包括如权利要求8所述的用于评估域控制器性能的装置。
10.一种存储介质，存储有程序指令，其特征在于，所述程序指令在运行时，执行如权利要求1至7任一项所述的用于评估域控制器性能的方法。
CN202210077658.7A 2022-01-24 2022-01-24 用于评估域控制器性能的方法及装置、电子设备、存储介质 Pending CN114397876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210077658.7A CN114397876A (zh) 2022-01-24 2022-01-24 用于评估域控制器性能的方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210077658.7A CN114397876A (zh) 2022-01-24 2022-01-24 用于评估域控制器性能的方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN114397876A true CN114397876A (zh) 2022-04-26

Family

ID=81233390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210077658.7A Pending CN114397876A (zh) 2022-01-24 2022-01-24 用于评估域控制器性能的方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN114397876A (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011041366A1 (en) * 2009-09-30 2011-04-07 Glasshouse Technologies, Inc. Computer software and hardware evaluation system and device
CN103370716A (zh) * 2010-11-03 2013-10-23 维吉尼亚技术知识产权公司 使用电力指纹（pfp）来监控完整性并且增强基于计算机的***的安全性
WO2013182286A1 (en) * 2012-06-07 2013-12-12 Alcatel Lucent Secure data processing
US20150121148A1 (en) * 2012-07-03 2015-04-30 Hitachi, Ltd. Malfunction influence evaluation system and evaluation method
DE102015204301A1 (de) * 2015-03-11 2016-09-15 Volkswagen Aktiengesellschaft Testaufbau und Emulationseinheit für einen Zellmanagementcontroller eines Batteriemoduls zur Verwendung in einem Testaufbau zum Testen eines Batteriemanagementcontrollers
US20170308869A1 (en) * 2016-04-21 2017-10-26 Continental Tide Defense Systems, Inc. Workflow, assessment, verification, and evaluation (wave) system and method
US20170366646A1 (en) * 2016-06-17 2017-12-21 Airwatch, Llc Remote providisioning and enrollment of enterprise devices with on-premises domain controllers
US10003555B1 (en) * 2016-05-06 2018-06-19 Amazon Technologies, Inc. Power management of routing tables using vertical scaling
CN108335719A (zh) * 2018-02-24 2018-07-27 上海兆芯集成电路有限公司 性能评估装置及性能评估方法
CN109857095A (zh) * 2019-03-25 2019-06-07 重庆长安新能源汽车科技有限公司 一种域控制器的下线检测***及方法
CN110165714A (zh) * 2019-05-30 2019-08-23 广州水沐青华科技有限公司 基于极限动态规划算法的微电网一体化调度与控制方法、计算机可读存储介质
CN111949316A (zh) * 2020-08-18 2020-11-17 中国信息通信研究院 一种用于评估软件研发运营成熟度的方法、装置、***和计算机可读存储介质
WO2021037957A1 (en) * 2019-08-30 2021-03-04 Jaguar Land Rover Limited Layered electrical architecture for vehicle diagnostics
CN112583725A (zh) * 2019-09-27 2021-03-30 中国电信股份有限公司 Sdn网络的路由确定方法、***、sdn网络***
US10985998B1 (en) * 2018-05-21 2021-04-20 Amazon Technologies, Inc. Domain controller configurability for directories
US20210148591A1 (en) * 2019-11-14 2021-05-20 Siemens Industry, Inc. Zone controller and method for identifying a root cause failure
CN112835341A (zh) * 2020-12-31 2021-05-25 北京新能源汽车技术创新中心有限公司 一种自动驾驶域控制器的实车测试评估方法
CN113467420A (zh) * 2021-06-30 2021-10-01 通号城市轨道交通技术有限公司 区域控制器故障检测方法及装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011041366A1 (en) * 2009-09-30 2011-04-07 Glasshouse Technologies, Inc. Computer software and hardware evaluation system and device
CN103370716A (zh) * 2010-11-03 2013-10-23 维吉尼亚技术知识产权公司 使用电力指纹（pfp）来监控完整性并且增强基于计算机的***的安全性
WO2013182286A1 (en) * 2012-06-07 2013-12-12 Alcatel Lucent Secure data processing
US20150121148A1 (en) * 2012-07-03 2015-04-30 Hitachi, Ltd. Malfunction influence evaluation system and evaluation method
DE102015204301A1 (de) * 2015-03-11 2016-09-15 Volkswagen Aktiengesellschaft Testaufbau und Emulationseinheit für einen Zellmanagementcontroller eines Batteriemoduls zur Verwendung in einem Testaufbau zum Testen eines Batteriemanagementcontrollers
US20170308869A1 (en) * 2016-04-21 2017-10-26 Continental Tide Defense Systems, Inc. Workflow, assessment, verification, and evaluation (wave) system and method
US10003555B1 (en) * 2016-05-06 2018-06-19 Amazon Technologies, Inc. Power management of routing tables using vertical scaling
US20170366646A1 (en) * 2016-06-17 2017-12-21 Airwatch, Llc Remote providisioning and enrollment of enterprise devices with on-premises domain controllers
CN108335719A (zh) * 2018-02-24 2018-07-27 上海兆芯集成电路有限公司 性能评估装置及性能评估方法
US10985998B1 (en) * 2018-05-21 2021-04-20 Amazon Technologies, Inc. Domain controller configurability for directories
CN109857095A (zh) * 2019-03-25 2019-06-07 重庆长安新能源汽车科技有限公司 一种域控制器的下线检测***及方法
CN110165714A (zh) * 2019-05-30 2019-08-23 广州水沐青华科技有限公司 基于极限动态规划算法的微电网一体化调度与控制方法、计算机可读存储介质
WO2021037957A1 (en) * 2019-08-30 2021-03-04 Jaguar Land Rover Limited Layered electrical architecture for vehicle diagnostics
CN112583725A (zh) * 2019-09-27 2021-03-30 中国电信股份有限公司 Sdn网络的路由确定方法、***、sdn网络***
US20210148591A1 (en) * 2019-11-14 2021-05-20 Siemens Industry, Inc. Zone controller and method for identifying a root cause failure
CN111949316A (zh) * 2020-08-18 2020-11-17 中国信息通信研究院 一种用于评估软件研发运营成熟度的方法、装置、***和计算机可读存储介质
CN112835341A (zh) * 2020-12-31 2021-05-25 北京新能源汽车技术创新中心有限公司 一种自动驾驶域控制器的实车测试评估方法
CN113467420A (zh) * 2021-06-30 2021-10-01 通号城市轨道交通技术有限公司 区域控制器故障检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张平，等: "基于域控制器的硬件架构及FPD-Link Ⅲ关键技术研究", 设计研究, 31 October 2021 (2021-10-31), pages 37 - 42 *

Similar Documents

Publication Publication Date Title
CN109949290B (zh) 路面裂缝检测方法、装置、设备及存储介质
CN108427632B (zh) 自动测试方法及装置
CN106682906B (zh) 一种风险识别、业务处理方法和设备
CN111896914A (zh) 一种协同定位方法、装置、设备和存储介质
CN107729227B (zh) 应用程序测试范围确定方法、***、服务器和存储介质
CN108959370B (zh) 一种基于知识图谱中实体相似度的社区发现方法及装置
CN110457175B (zh) 业务数据处理方法、装置、电子设备及介质
CN103577660B (zh) 灰度实验***和方法
CN106201856A (zh) 一种多版本性能测试方法及装置
CN110083581B (zh) 一种日志追溯的方法、装置、存储介质及计算机设备
CN106354587A (zh) 镜像服务器以及导出虚拟机镜像文件的方法
CN110348215A (zh) 异常对象识别方法、装置、电子设备及介质
CN111338955B (zh) 软件图形接口测试方法、装置、软件开发***及服务器
US20220046039A1 (en) Method, device, and computer program product for abnormality detection
CN102523286A (zh) 服务信誉度获取方法及装置
CN114397876A (zh) 用于评估域控制器性能的方法及装置、电子设备、存储介质
CN107451063B (zh) 一种脚本测试方法及装置
CN111198986B (zh) 信息发送方法、装置、电子设备及存储介质
CN109246297B (zh) 一种确定移动终端恢复出厂设置时间的方法、装置及存储介质
CN114387266A (zh) 结核杆菌检测模型的训练方法、装置、设备及存储介质
CN113935034A (zh) 基于图神经网络的恶意代码家族分类方法、装置和存储介质
CN110297625B (zh) 应用的处理方法及装置
CN110955595A (zh) 问题修复方法、装置、电子设备及计算机可读存储介质
CN117220911B (zh) 一种基于协议深度分析的工控安全审计***
CN113010409B (zh) 智能合约测试方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination