CN117009164A - 一种面向人工智能解决方案评测的方法及装置 - Google Patents

Abstract

本发明涉及一种面向人工智能解决方案的评测方法及装置，可通过支持异构硬件，消除硬件差异，自动化地针对业务级别的人工智能解决方案进行评测，可视化地呈现全面且客观的评估分析结果。本发明中针对业务级别的人工智能解决方案进行综合评估的方法将使得评测结果更贴近实际应用场景，帮助用户在不同硬件平台上选择最优的人工智能解决方案，提高整体业务效率，为人工智能解决方案的开发和优化提供重要的指导。

Description

一种面向人工智能解决方案评测的方法及装置

技术领域

本发明属于人工智能技术领域，具体涉及一种面向人工智能解决方案评测的方法及装置。

背景技术

随着人工智能技术的快速发展，人工智能解决方案在不同业务领域得到广泛应用。

在人工智能领域，解决实际问题通常需要一个综合性的人工智能解决方案，该解决方案由多个处理组件构成，包含一个或多个模型/算法，并包含有预处理、后处理以及其他业务处理相关的组件。这些组件协同工作，构成一个完整的人工智能***以解决具体的业务问题。

评测***的目的是对整体业务级别的人工智能解决方案进行评估和性能测试。这种评测***需考虑多个组件的相互作用，以模拟真实业务场景，提供综合性能指标用来反映人工智能解决方案的整体效果。

评测***的设计目标是确保人工智能解决方案在真实业务场景中的表现与预期目标一致，同时提供对不同组件和整体***的性能进行量化和比较的手段。这样的评测***可以帮助开发者和使用者提前了解其人工智能解决方案在实际应用中的表现，并指导人工智能解决方案进一步的优化和改进。

评测***依托于异构硬件的支持。异构硬件主要是指***中包含不同类型、不同架构或不同功能的硬件组件，常见的硬件类别类别包括CPU、GPU、DSP、FPGA等。这些硬件组件可以在同一***中共同工作，以满足不同的计算需求和任务。异构硬件设计实现将任务分配给适合的硬件组件来提高***性能的目的，如对于图形密集型任务、深度学习训练和推理任务，可将计算任务分配给GPU，将通用计算任务分配给CPU。这样，***可以同时执行多个任务，提高整体的计算速度和能效。

现有技术方案《CN114116481A：基于Kubernetes***的人工智能算法模型的测试方法和***》，该技术方案旨在解决传统人工智能算法模型性能测试中存在的效率低、性能损耗严重、测试过程受影响和测试结果不准确等问题，但该专利仅为面向算法模型的评测***，无法完成面向整体业务级别的人工智能解决方案的评估，同时也不能实现评测结果的可视化呈现，使用者不能较为有效、便捷地对评测结果进行分析。

现有技术方案《CN111897730A-城市大脑建设中人工智能算法评测方法、***、设备及介质》，该专利涉及城市大脑建设中的人工智能算法评测，但该专利未涉及异构硬件的支持，仅提及发布评测报告，未提及对评测结果的可视化呈现。

现有评测方法存在的问题和不足主要有：

1)未面向整体业务级别场景。仅针对于单个模型/算法进行评测，缺乏针对业务级别应用场景的评测；

2)缺乏异构硬件支持。特定业务场景的人工智能解决方案在不同硬件上表现差异明显，评测方法缺乏对不同硬件的支持和适配；

3）面向人工智能解决方案的评测结果未能实现可视化呈现。

因此需要一种能够适应不同硬件，针对整体业务级别人工智能解决方案进行评测的***，具体来说，就是需要该评测***面向整体业务级别的人工智能解决方案，并且能支持多种硬件类型，包括CPU、GPU以及其他加速卡，并能提供明确的评测指标、结果可视化呈现，从而为人工智能解决方案的性能和效率提升提供全面的评估和优化依据。

具体到面向人工智能解决方案的评测***运行的异构硬件，异构硬件的重点在于支持不同类型的硬件设备（如CPU、GPU以及其他加速卡）自动化运行面向整体业务层级的人工智能解决方案的测试，并通过适配不同硬件来消除硬件差异。这样的评测***才能更全面地评估人工智能解决方案在多样化硬件环境上的性能表现，提供更加全面、客观的评估结果。更进一步来说，评测***通过支持异构硬件，能够在不同的硬件环境中进行对比实验，从而更好地了解所评测的人工智能解决方案在不同硬件条件下的适应性和稳定性。这对于开发者、使用者在选择合适的硬件平台以及优化人工智能解决方案具有重要意义。

综上所述，现在需要一种面向人工智能解决方案的自动化评测***，可通过支持异构硬件，消除硬件差异，针对业务层级的解决方案进行评测，可视化地呈现全面且客观的评估分析结果，为人工智能解决方案的开发和优化提供重要的指导。

发明内容

本发明要解决的技术问题是提供一种面向人工智能解决方案的评测方法及装置，解决现有的评测***无法消除硬件差异，不能针对业务层级的人工智能解决方案进行评测，未实现可视化地输出全面、客观的评估分析结果，不足以为人工智能解决方案的开发和优化提供指导支撑的问题。

为了解决上述技术问题，本发明采用的技术方案是：业务场景视频数据依次由输入处理模块、人工智能分析模块、结果输出模块、评测分析模块、结果整合模块和评测结果可视化模块处理后输出可视化评测结果，主要经过视频数据的自动化处理、自动化人工智能分析、结果的评测分析、评测结果整合与可视化四个步骤；

所述的视频数据的自动化处理步骤的具体过程为：以视频数据为输入，在输入处理模块中将视频数据自动转换为人工智能分析模块所支持的数据格式；

所述的自动化人工智能分析步骤的具体过程为：人工智能分析模块自动地对输入处理模块处理后的数据进行推理和分析，输出待测人工智能解决方案对于视频数据的处理结果；

所述的结果的评测分析步骤的具体过程为：评测分析模块对上一步骤的处理结果进行评测分析；

所述的评测结果整合与可视化步骤的具体过程为：结果整合模块对评测分析模块输出的效果分析结果、性能分析结果、资源分析结果进行整合，传入评测结果可视化模块，输出可视化评测结果。

进一步地，所述的人工智能分析模块采用当前待评测人工智能解决方案的算法模型推理、业务逻辑处理组合的方式，对视频数据进行推理和分析。

进一步地，所述的评测分析模块包括效果分析模块、性能分析模块和资源分析模块。

进一步地，所述的效果分析模块用于对结果输出模块的输出结果进行分析，评估人工智能解决方案在当前视频模拟场景中的效果表现。

进一步地，所述的性能分析模块用于评估人工智能解决方案的处理速度和资源消耗情况，同时深入分析人工智能分析模块内部的性能表现。

进一步地，所述的资源分析模块用于评估人工智能解决方案的资源使用情况，同时对人工智能分析模块内部的资源使用情况进行分析。

进一步地，所述的评测结果可视化模块以图片形式但不限于图片形式呈现效果分析结果、以表格/报告形式但不限于表格/报告形式输出性能分析结果、以表格/报告形式但不限于表格/报告形式输出资源分析结果。

进一步地，一种面向人工智能解决方案评测的装置，由输入处理模块、人工智能分析模块、结果输出模块、评测分析模块、结果整合模块和评测结果可视化模块构成，所述的人工智能分析模块支持异构硬件的架构，所述的异构硬件的选择及适配包括以下步骤：

1）可用硬件查询：人工智能分析模块主动查询***中可用的硬件；

2）硬件信息查询：根据查询出的***中可用的硬件获取其硬件信息，所述的硬件信息包括但不限于设备型号、显存大小；

3）预定义硬件列表：***将预定义当前人工智能分析模块适配和支持的硬件列表；

4）硬件匹配：通过查询出可用硬件信息与预定义硬件列表进行匹配，确认当前硬件是否适配为***支持的加速卡，若当前可用硬件中不存在***支持的加速卡，将向用户提示错误信息，并提供其他的计算方式供用户作为备选方案；

5）硬件选择：上一步骤中判断为适配的硬件将被选择作为人工智能分析模块的运行设备；

6）硬件驱动的适配：人工智能分析模块的运行设备选择完成之后，从***预定义硬件驱动中匹配对应的驱动程序进行自动适配。

本发明的优点具体如下：

1）实现针对业务层级人工智能解决方案的评测。与现有技术主要集中在对单一算法或模型的评测不同，本发明中针对整体业务级别的人工智能解决方案进行综合评估的方法将使得评测结果更贴近实际应用场景，帮助用户在不同硬件平台上选择最优的人工智能解决方案，提高整体业务效率。不局限于单一算法模型的评测，面向整体的解决方案进行评测，更加贴合实际使用的场景。

2）支持多种异构硬件类型。现有技术中的人工智能解决方案评测***通常针对特定硬件类型，缺乏对异构硬件的支持。而本发明中支持多种硬件类型（CPU、GPU和其他加速卡等）的能力的评测***，使得用户可以在更广泛的硬件平台上进行评估和优化，从而更好地满足不同应用需求。支持不同硬件类型，便于用户进行对比，以此根据实际情况，选择合适的硬件进行人工智能解决方案的部署。

3）自动化评测：相比于现有技术中依赖手动评测的方式，本发明中自动化评测功能将大大节省了评测时间和人力成本，并且可以快速地对多种硬件平台上的人工智能解决方案进行评估，提高了评测效率，降低人为因素导致的评测指标的统计错误。

4）评测结果的可视化呈现：结果可视化分析功能，将评测结果至少以图片/表格/报告形式展示给用户。这种可视化方式使得用户可以直观地比较不同硬件平台上解决方案的性能差异，更好地理解评测结果，从而更便捷地进行优化和改进。

附图说明

图1为面向人工智能解决方案评测方法的处理流程图。

图2为人工智能分析模块的处理流程图。

图3为评测分析模块的组成图。

图4为人工智能分析模块异构硬件选择及适配流程图。

附图标记说明：11-输入处理模块，21-人工智能分析模块，22-结果输出模块，31-评测分析模块，41-结果整合模块，42-评测结果可视化模块，S1-视频数据的自动化处理，S2-自动化人工智能分析，S3-结果的评测分析，S4-评测结果整合与可视化，311-效果分析模块，312-性能分析模块，313-资源分析模块。

具体实施方式

为了使本发明的上述目的、特征和优点能够更加明显易懂，下面结合具体附图对本发明的具体实施方式作进一步的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施例，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

在电力行业，有操作人员操作高压电设备的高风险工作业务场景，因此需要规范着装来保障操作人员的安全，如规范佩戴安全帽、规范穿着防护服等，本业务场景下的人工智能解决方案是通过计算机视觉的人工智能模型分析视频中的操作人员着装是否符合规范。采用本发明可自动对该人工智能解决方案进行分析、评测，并最终可视化地输出多维度的评测结果，提升评测效率，帮助用户深入了解该人工智能解决方案在业务场景中的表现。

面向电力行业高压电、高风险着装规范业务场景用人工智能解决方案评测***是将着装视频数据依次由输入处理模块11、人工智能分析模块21、结果输出模块22、评测分析模块31、结果整合模块41和评测结果可视化模块42处理后输出可视化评测结果，主要经过视频数据的自动化处理S1、自动化人工智能分析S2、结果的评测分析S3、评测结果整合与可视化S4四个步骤；

1）视频数据的自动化处理步骤S1：评测***接受高压电设备操作人员佩戴安全帽、穿着防护服的视频/视频流等视频数据作为输入。在输入处理模块11中，将所输入的视频/视频流自动转换为人工智能分析模块21所支持的输入格式，并将处理完成的数据发送给人工智能分析模块21。

2）自动化人工智能分析步骤S2：经过人工智能分析模块21自动地推理和分析，输出高压电设备操作人员佩戴安全帽、穿着防护服是否规范的视频数据的处理结果，所述的处理结果经结果输出模块22输出到评测分析模块31，所述的处理结果还包含该人工智能解决方案处理的性能信息，包括运行时延、每秒处理帧数、***访问时延以及该人工智能解决方案的资源占用等，所述的人工智能解决方案的资源占用包括显存占用、CPU占用、内存占用等。

采用当前待评测人工智能解决方案下算法模型推理、业务逻辑处理组合的方式，对视频数据进行推理和分析，如图2所示；所述的算法模型推理是指可分析出当前操作人员安全帽的佩戴类别、防护服的穿着类别；所述的业务逻辑处理是指可分析出操作人员是否规范着装，其处理结果输出给结果输出模块22。

3）结果的评测分析步骤S3：结果输出模块22输出的数据经评测分析模块31处理后，输出给结果整合模块41。

所述的评测分析模块31由效果分析模块311、性能分析模块312和资源分析模块313三个模块组成，如图3所示。

所述的效果分析模块311用于对结果输出模块22的输出结果进行分析，用以评估人工智能解决方案在当前视频模拟场景中的效果表现，具体表现在统计当前着装评测视频中判断为规范着装的帧数以及判断为未规范着装的帧数，根据预设的GT(Ground Truth，真值)文件，分析人工智能解决方案针对该视频的分析准确率、召回率等指标。

所述的性能分析模块312用于评估整个人工智能解决方案的处理速度和资源消耗情况，同时深入分析人工智能分析模块21内部的性能表现，从而帮助开发者、使用者发现当前人工智能解决方案可能存在的性能瓶颈；

所述的资源分析模块313用于评估整个人工智能解决方案的资源使用情况，包括人工智能加速卡显存、内存、其他计算资源等，同时也会对人工智能分析模块21内部的资源使用情况进行分析，指导后续对该人工智能解决方案进一步优化资源分配。

4）评测结果整合与可视化步骤S4：结果整合模块41对高压电设备操作人员佩戴安全帽、穿着防护服的电力着装规范识别场景人工智能解决方案的效果分析结果、性能分析结果、资源分析结果进行整合，进一步地将整合结果传入评测结果可视化模块42；所述的评测结果可视化模块42用于将评测结果进行可视化输出，以图片形式呈现人工智能解决方案的效果分析结果、以表格/报告形式输出性能分析结果、以表格/报告形式输出资源分析结果。提供直观且全面的评估信息，帮助用户深入了解该人工智能解决方案在模拟场景中的表现，并为进一步改进和优化提供有价值的参考。

所述的人工智能分析模块21是本发明的核心处理组件，具备高度灵活性，支持异构硬件的架构，如异构GPU、人工智能加速卡等，使得人工智能分析模块21能够适配不同类型的硬件进行人工智能分析处理，实现对输入视频数据的自动化评测分析。

通过支持异构硬件，人工智能分析模块21能够在不同的计算环境中进行部署，即赋予用户更多选择权，根据自己的预算和需求，选择不同型号或厂商的加速卡，根据实际硬件配置进行部署，而无需担心兼容性问题。这种灵活性使得本发明提出的评测***能够为使用者提供更全面的人工智能解决方案的评估。

具体人工智能分析模块21异构硬件的实施方案如下：

由于不同型号或厂商GPU、人工智能加速卡有不同的硬件架构和特性，因此人工智能分析模块21需要在评测任务开始前，进行可用硬件查询，实现硬件信息获取，并与预定义的硬件列表进行匹配，从而实现硬件设备的选择和适配，如图4所示，人工智能分析模块21异构硬件的选择及适配流程分为以下六个步骤：

1）可用硬件查询：人工智能分析模块21会主动查询***中可用的硬件。

2）硬件信息查询：根据查询出的***中可用的硬件，获取其硬件信息。常见的硬件信息包括：设备型号、显存大小等。

3）预定义硬件列表：***将预定义当前人工智能分析模块21适配和支持的硬件信息。

4）硬件匹配：通过查询出可用硬件信息后与预定义硬件列表进行匹配，即可确认当前硬件是否适配为***支持的加速卡。若当前可用硬件中不存在***支持的加速卡，将向用户提示错误信息，并提供其他的计算方式供用户作为备选，如使用CPU执行人工智能分析任务。

5）硬件选择：上一步骤中判断为适配的硬件将被选择作为人工智能分析模块21的运行设备。

6）硬件驱动的适配。由于不同的硬件设备通常需要不同的驱动程序与硬件通信，因此在人工智能分析模块21的硬件选择完成之后，将进行根据当前的硬件设备，从***预定义硬件驱动中匹配对应的驱动程序进行自动适配，从而支持当前硬件的使用。在完成了硬件驱动的适配后，人工智能分析模块21就可以根据该硬件，对输入数据进行分析和处理，从而实现人工智能分析模块21异构硬件的功能。

以上对本申请所提供的一种面向人工智能解决方案评测的方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种面向人工智能解决方案评测的方法，其特征在于：视频数据依次由输入处理模块(11)、人工智能分析模块(21)、结果输出模块(22)、评测分析模块(31)、结果整合模块(41)和评测结果可视化模块(42)处理后输出可视化评测结果，主要经过视频数据的自动化处理(S1)、自动化人工智能分析(S2)、结果的评测分析(S3)、评测结果整合与可视化(S4)四个步骤；

所述的视频数据的自动化处理(S1)步骤的具体过程为：以视频数据为输入，在输入处理模块(11)中将视频数据自动转换为人工智能分析模块(21)所支持的数据格式；

所述的自动化人工智能分析(S2)步骤的具体过程为：人工智能分析模块(21)自动地对输入处理模块(11)处理后的数据进行推理和分析，输出待测人工智能解决方案对于视频数据的处理结果；

所述的结果的评测分析(S3)步骤的具体过程为：评测分析模块(31)对上一步骤的处理结果进行评测分析；

所述的评测结果整合与可视化(S4)步骤的具体过程为：结果整合模块(41)对评测分析模块(31)输出的效果分析结果、性能分析结果、资源分析结果进行整合，传入评测结果可视化模块(42)，输出可视化评测结果。

2.根据权利要求1所述的面向人工智能解决方案评测的方法，其特征在于：所述的人工智能分析模块(21)采用当前待评测人工智能解决方案的算法模型推理、业务逻辑处理组合的方式，对视频数据进行推理和分析。

3.根据权利要求1所述的面向人工智能解决方案评测的方法，其特征在于：所述的评测分析模块(31)包括效果分析模块(311)、性能分析模块(312)和资源分析模块(313)。

4.根据权利要求3所述的面向人工智能解决方案评测的方法，其特征在于：所述的效果分析模块(311)用于对结果输出模块(22)的输出结果进行分析，评估人工智能解决方案在当前视频模拟场景中的效果表现。

5.根据权利要求3所述的面向人工智能解决方案评测的方法，其特征在于：所述的性能分析模块(312)用于评估人工智能解决方案的处理速度和资源消耗情况，同时深入分析人工智能分析模块(21)内部的性能表现。

6.根据权利要求3所述的面向人工智能解决方案评测的方法，其特征在于：所述的资源分析模块(313)用于评估人工智能解决方案的资源使用情况，同时对人工智能分析模块(21)内部的资源使用情况进行分析。

7.根据权利要求1所述的面向人工智能解决方案评测的方法，其特征在于：所述的评测结果可视化模块(42)以图片形式但不限于图片形式呈现效果分析结果、以表格/报告形式但不限于表格/报告形式输出性能分析结果、以表格/报告形式但不限于表格/报告形式输出资源分析结果。

8.一种面向人工智能解决方案评测的装置，其特征在于：由输入处理模块(11)、人工智能分析模块(21)、结果输出模块(22)、评测分析模块(31)、结果整合模块(41)和评测结果可视化模块(42)构成，所述的人工智能分析模块(21)支持异构硬件的架构，所述的异构硬件的选择及适配包括以下步骤：

1）可用硬件查询：人工智能分析模块(21)主动查询***中可用的硬件；

2）硬件信息查询：根据查询出的***中可用的硬件获取其硬件信息，所述的硬件信息包括但不限于设备型号、显存大小；

3）预定义硬件列表：***将预定义当前人工智能分析模块(21)适配和支持的硬件列表；

4）硬件匹配：通过查询出可用硬件信息与预定义硬件列表进行匹配，确认当前硬件是否适配为***支持的加速卡，若当前可用硬件中不存在***支持的加速卡，将向用户提示错误信息，并提供其他的计算方式供用户作为备选方案；

5）硬件选择：上一步骤中判断为适配的硬件将被选择作为人工智能分析模块(21)的运行设备；

6）硬件驱动的适配：人工智能分析模块(21)的运行设备选择完成之后，从***预定义硬件驱动中匹配对应的驱动程序进行自动适配。