CN113778454A - 一种人工智能实验平台的自动评测方法及*** - Google Patents

一种人工智能实验平台的自动评测方法及*** Download PDF

Info

Publication number
CN113778454A
CN113778454A CN202111105124.2A CN202111105124A CN113778454A CN 113778454 A CN113778454 A CN 113778454A CN 202111105124 A CN202111105124 A CN 202111105124A CN 113778454 A CN113778454 A CN 113778454A
Authority
CN
China
Prior art keywords
evaluation
evaluation rule
rule
artificial intelligence
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111105124.2A
Other languages
English (en)
Other versions
CN113778454B (zh
Inventor
杨振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Haiyun Jiexun Technology Co ltd
Original Assignee
Chongqing Haiyun Jiexun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Haiyun Jiexun Technology Co ltd filed Critical Chongqing Haiyun Jiexun Technology Co ltd
Priority to CN202111105124.2A priority Critical patent/CN113778454B/zh
Publication of CN113778454A publication Critical patent/CN113778454A/zh
Application granted granted Critical
Publication of CN113778454B publication Critical patent/CN113778454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/43—Checking; Contextual analysis
    • G06F8/436—Semantic checking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种人工智能实验平台的自动评测方法及***，其中，人工智能实验平台的自动评测方法包括：步骤1：根据实验任务选择评测规则，根据所选择的所述评测规则定义不同的评测时间和不同的评测结果；步骤2：若所选择的所述评测规则是自定义评测规则，则创建评测规则、创建评测环境，然后执行步骤3；若所选择的所述评测规则是程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中的任意一种，则执行步骤3；步骤3：提交待评测实验任务，根据所选择的所述评测规则进行自动评测；步骤4：统计自动评测结果。本发明能够满足人工智能实验教学方面不同种类的实验作业的自动批改。

Description

一种人工智能实验平台的自动评测方法及***
技术领域
本申请涉及自动评测技术领域，特别是一种人工智能实验平台的自动评测方法及***。
背景技术
在计算机或人工智能实验教学过程中，教师需要对学生的实验作业进行批改，大部分都是通过手工批改的方式完成，教师需要阅读学生的实验报告、运行实验代码之后给出最终评分，这种方式比较费时费力，效率低下。还有一种方式是通过计算机软件***自动对学生的作业进行批改，这种方式较为先进，可称为自动化评测，通常做法是通过自动编译程序，自动执行程序获得结果，然后判断实际结果与预期结果是否匹配，然后进行评分。然而，这种方式比较局限，一般比较适合程序设计方面的作业，不太适合面向人工智能实验教学方面的作业批改。
人工智能实验通常不止需要判断程序的可执行性、结果的正确性，还需要根据人工智能算法模型的准确度来判断作业的质量，而且一般在教学过程中，教师还需要对实验报告进行打分，判断实验报告的内容是否正确。由此可见，目前急需一种可以满足上述应用场景的自动评测方法。
发明内容
有鉴于此，本申请所解决的技术问题在于提供一种人工智能实验平台的自动评测方法及***，解决目前的自动评测方法及***不能同时满足人工智能实验教学方面的不同种类的实验作业的自动化批改问题。
本发明实施例提供一种人工智能实验平台的自动评测方法，其包括：
步骤1：根据实验任务选择评测规则，根据所选择的所述评测规则定义不同的评测时间和不同的评测结果；
步骤2：若所选择的所述评测规则是自定义评测规则，则创建评测规则、创建评测环境，然后执行步骤3；若所选择的所述评测规则是程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中的任意一种，则执行步骤3；
步骤3：提交待评测实验任务，根据所选择的所述评测规则进行自动评测；
步骤4：统计自动评测结果。
可选的，步骤1中的所述评测规则包括自定义评测规则、程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则。
可选的，步骤3中的根据所选择的所述评测规则进行自动评测包括：
步骤3.1：判断所选择的所述评测规则的脚本语言；
步骤3.2：将所选择的所述评测规则传输至实验环境中，并通过所述脚本语言执行所选择的所述评测规则对应的脚本；
步骤3.3：获取所选择的所述评测规则对应的脚本的输出JSON字符串，将所述JSON字符串返回至人工智能实验平台；
步骤3.4：所述人工智能实验平台解析所述JSON字符串，并将解析后的所述JSON字符串返回至用户界面。
可选的，步骤3.4中的解析后的所述JSON字符串是已成功解析的所述JSON字符串和未成功解析的所述JSON字符串的任意一种。
可选的，步骤3.4中若未成功解析所述JSON字符串，则重复执行N次，N为奇数；
若重复执行N次后，仍然执行失败，则将所述未成功解析的所述JSON字符串返回至所述用户界面；
通过所述用户界面查看所选择的所述评测规则自动评测的失败原因。
可选的，步骤1中的所述基于深度学习语义分析的实验报告评测规则是根据RNN算法，提取实验报告中的文本内容并分析，然后将所述实验报告的分析结果与预设的实验报告内容进行比对，以确定评测结果。
可选的，步骤1中的所述面向人工智能开发流程的模型质量评测规则中的人工智能开发流程包括数据集处理、算法开发、模型训练、模型推理。
可选的，所述面向人工智能开发流程的模型质量评测规则内置模型推理接口，使用待评测的模型和已内置的测试数据集，自动调用所述模型推理接口，从而实现模型质量的自动评测。
可选的，所述程序结果比对的评测规则是自动查找用户需要执行的程序目录，根据程序的后缀名解析程序的语言，执行所述程序获取输出结果，将获取的所述输出结果与预设结果进行比对，以确定评测结果。
本申请实施例还提供一种人工智能实验平台的自动评测***，其包括：
选择模块，根据实验任务选择评测规则，根据所选择的所述评测规则定义不同的评测时间和不同的评测结果；
判断模块，若所选择的所述评测规则是自定义评测规则，则创建评测规则、创建评测环境，然后执行评测模块；若所选择的所述评测规则是程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中的任意一种，则执行评测模块；
评测模块，提交待评测实验任务，根据所选择的所述评测规则进行自动评测；以及
统计模块，用于统计自动评测结果。
另外，本发明提出的方法和***也适用其他计算机教学实验作业的自动评测场景。
由于采用了上述实施例的技术方案，本申请具有如下的优点：
(1)实用性强，帮助老师对人工智能实验作业进行自动批改，减轻了老师的负担，提高了工作效率。
(2)通用性强，不仅可以对人工智能实验进行自动评测，对一般的通用程序开发实验作业也可评测。
(3)更加智能化，采用深度学习算法，对实验作业报告文档进行智能化分析，得到较准确的评测结果。
(4)更加专业化，支持人工智能开发方面实验作业评测，尤其对人工智能模型的质量评测可靠性非常高。
(5)安全性高，所有评测规则都是在学生各自的实验环境中执行，它是基于docker容器的隔离环境，不会影响***的正常运行，安全性很高。
(6)具有技术优越性，支持自定义评测规则的建立，内置基于人工智能深度学习算法的评测规则，具有很强的技术优越性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例一的人工智能实验平台的自动评测方法的流程示意图；
图2为本申请实施例二的实现用户获取评测结果的方法示意图；
图3为本申请实施例三的人工智能实验平台的自动评测***结构示意图。
具体实施方式
结合附图和实施例对本申请作进一步说明，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
图1为本申请实施例一的一种人工智能实验平台的自动评测方法的流程示意图，如图1所示，具体地，该方法包含如下步骤：
步骤1：根据实验任务选择评测规则，根据所选择的所述评测规则定义不同的评测时间和不同的评测结果；
本实施例中，在确定了实验任务的类型后，用户可以选择对应的评测规则，然后根据对应的评测规则设置评测时间和评测结果。
可选的，评测规则分为自定义规则和内置规则，自定义规则允许用户根据规范自己开发评测规则。内置规则包括程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则。
可选的，上述程序结果比对的评测规则：***会自动查找用户需要执行的程序目录，根据程序的后缀名解析程序的语言，对于需要编译的程序如JAVA，C系列程序，***会自动进行编译，编译之后执行程序获取输出结果。对于不需要编译的程序如python、shell等语言，***直接执行该程序并获取输出结果，***会把获取的结果与预期结果进行比对，按规则要求返回评测结果和分数。
可选的，上述基于深度学习语义分析的实验报告评测规则：采用RNN算法进行改进优化，将实验报告中的文本内容提取后，利用算法模型对文本内容进行分析，并且和预期报告内容进行比对，文本语义相近则认为报告内容正确，评测通过，最终按***要求返回评测结果和分数。
可选的，上述面向人工智能开发流程的模型质量评测规则：一般人工智能开发分为数据集处理、算法开发、模型训练、模型推理等步骤，模型的质量通过验证测试数据集的推理准确度来评判，该评测规则内置实现了模型推理接口，使用学生完成的模型和内置好的测试数据集，自动调用推理接口实现模型质量的自动评测。
步骤2：若所选择的所述评测规则是自定义评测规则，则创建评测规则、创建评测环境，然后执行步骤3；若所选择的所述评测规则是程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中的任意一种，则执行步骤3；
本实施例中，用户可以通过自定义评测规则来满足其具体的实际特定需求，设计所需的评测规则。
可选的，创建自定义评测规则包括如下步骤：
创建评测规则，评测规则是与具体实验任务的要求、标准相关的，***根据不同实验任务的要求内置了评测规则，并且对外提供了开发接口，可供用户自定义评测规则。
创建评测环境，在开发评测规则时，启动与实验任务相关的环境，用户可在该环境中自定义开发评测规则。
步骤3：提交待评测实验任务，根据所选择的所述评测规则进行自动评测；
在本实施例中，提交待评测的实验任务后，***开始根据评测规则进行自动评测，步骤如下：
判断评测规则脚本语言，支持python和shell两种执行语言。
将所选择的所述评测规则传输至实验环境中，并通过所述脚本语言执行所选择的所述评测规则对应的脚本；
获取所选择的所述评测规则对应的脚本的输出JSON字符串，将所述JSON字符串返回至人工智能实验平台；
所述人工智能实验平台解析获取的所述JSON字符串，并将解析后的所述JSON字符串返回至用户界面。解析后的所述JSON字符串是已成功解析的所述JSON字符串和未成功解析的所述JSON字符串的任意一种。
如果规则执行失败，则会重试3次，如果都失败则返回失败的JSON字符串，解析后返回到用户界面。用户可以在自动评测的详情界面看到失败原因。
步骤4：获取自动评测统计结果。
本实施例中，所有的实验任务自动评测数据最终以报表的形式展示给用户，可根据不同的实验任务、不同的课程、不同的教师等维度进行统计。主要统计自动评测的最终得分，方便学校及教师判断课程的教学质量及实验作业的完成质量情况。
图2为本申请实施例二的实现用户获取评测结果的方法示意图，如图2所示。
教师为学生布置实验作业时选择了对应的评测规则，当学生完成实验作业并提交之后，自动评测执行模块开始工作，首先会将评测规则脚本传输到学生的实验环境中(学生的实验环境都是基于docker容器的隔离环境)，之后会根据评测规则的类型及属性判断评测对象是否是程序、是否需要编译，并做相应的执行动作。如果评测对象是实验报告，则会调用内置的基于RNN算法的文本智能分析服务接口进行评测。如果评测对象是人工智能模型文件，则会使用实验内置的测试数据集和学生生成的模型文件以及内置的模型服务接口进行评测。最终将评测的结果以JSON形式返回给***服务并保存到数据库中。返回的JSON包括评测结果、评测分数、是否执行成功等信息。
图3为本申请实施例三的一种人工智能实验平台的自动评测***的结构示意图，如图3所示，本实施例中的人工智能实验平台的自动评测***包括：选择模块、判断模块、评测模块以及统计模块，其中：
选择模块，根据实验任务选择评测规则，根据所选择的所述评测规则定义不同的评测时间和不同的评测结果；
本实施例中，用户可从自定义评测规则、程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中，选择满足自身需求的评测规则。
判断模块，用于在所选择的所述评测规则是自定义评测规则，则创建评测规则、创建评测环境，然后执行评测模块；用于在所选择的所述评测规则是程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中的任意一种，则执行评测模块。
本实施例中，用户可以通过提供的开发环境、在线编码和在线调试，开发自定义评测规则。开发环境支持python和shell两种编程语言，可选择规则执行所需要依赖的实验环境，并且支持规则脚本代码在线编码，在线调试等功能。
评测模块，用于提交待评测实验任务，根据所述评测规则进行自动评测。
本实施例中，在用户提交待评测的实验任务后，依次执行判断评测规则脚本语言；将所选择的所述评测规则传输至实验环境中，并通过所述脚本语言执行所选择的所述评测规则对应的脚本；获取所选择的所述评测规则对应的脚本的输出JSON字符串，将所述JSON字符串返回至人工智能实验平台。
统计模块，用于获取自动评测统计结果。
本实施例中，统计模块负责将所有的实验作业自动评测数据以报表的形式展示给用户，可根据不同的实验作业、不同的课程、不同的教师等维度进行统计。主要统计自动评测的最终得分，方便学校及教师判断课程的教学质量及实验作业的完成质量情况。
以上所描述的***实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种人工智能实验平台的自动评测方法，其特征在于，包括以下步骤：
步骤1：根据实验任务选择评测规则，根据所选择的所述评测规则定义不同的评测时间和不同的评测结果；
步骤2：若所选择的所述评测规则是自定义评测规则，则创建评测规则、创建评测环境，然后执行步骤3；若所选择的所述评测规则是程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中的任意一种，则执行步骤3；
步骤3：提交待评测实验任务，根据所选择的所述评测规则进行自动评测；
步骤4：统计自动评测结果。
2.根据权利要求1所述的方法，其特征在于，步骤1中的所述评测规则包括自定义评测规则、程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则。
3.根据权利要求1所述的方法，其特征在于，步骤3中的根据所选择的所述评测规则进行自动评测包括：
步骤3.1：判断所选择的所述评测规则的脚本语言；
步骤3.2：将所选择的所述评测规则传输至实验环境中，并通过所述脚本语言执行所选择的所述评测规则对应的脚本；
步骤3.3：获取所选择的所述评测规则对应的脚本的输出JSON字符串，将所述JSON字符串返回至人工智能实验平台；
步骤3.4：所述人工智能实验平台解析所述JSON字符串，并将解析后的所述JSON字符串返回至用户界面。
4.根据权利要求3所述的方法，其特征在于，步骤3.4中的解析后的所述JSON字符串是已成功解析的所述JSON字符串和未成功解析的所述JSON字符串的任意一种。
5.根据权利要求4所述的方法，其特征在于，步骤3.4中若未成功解析所述JSON字符串，则重复执行N次，N为奇数；
若重复执行N次后，仍然执行失败，则将所述未成功解析的所述JSON字符串返回至所述用户界面；
通过所述用户界面查看所选择的所述评测规则自动评测的失败原因。
6.根据权利要求1所述的方法，其特征在于，步骤1中的所述基于深度学习语义分析的实验报告评测规则是根据RNN算法，提取实验报告中的文本内容并分析，然后将所述实验报告的分析结果与预设的实验报告内容进行比对，以确定评测结果。
7.根据权利要求1所述的方法，其特征在于，步骤1中的所述面向人工智能开发流程的模型质量评测规则中的人工智能开发流程包括数据集处理、算法开发、模型训练、模型推理。
8.根据权利要求7所述的方法，其特征在于，所述面向人工智能开发流程的模型质量评测规则内置模型推理接口，使用待评测的模型和已内置的测试数据集，自动调用所述模型推理接口，从而实现模型质量的自动评测。
9.根据权利要求1所述的方法，其特征在于，所述程序结果比对的评测规则是自动查找用户需要执行的程序目录，根据程序的后缀名解析程序的语言，执行所述程序获取输出结果，将获取的所述输出结果与预设结果进行比对，以确定评测结果。
10.一种人工智能实验平台的自动评测***，其特征在于，包括：
选择模块，根据实验任务选择评测规则，根据所选择的所述评测规则定义不同的评测时间和不同的评测结果；
判断模块，若所选择的所述评测规则是自定义评测规则，则创建评测规则、创建评测环境，然后执行评测模块；若所选择的所述评测规则是程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中的任意一种，则执行评测模块；
评测模块，提交待评测实验任务，根据所选择的所述评测规则进行自动评测；以及
统计模块，用于统计自动评测结果。
CN202111105124.2A 2021-09-22 2021-09-22 一种人工智能实验平台的自动评测方法及*** Active CN113778454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111105124.2A CN113778454B (zh) 2021-09-22 2021-09-22 一种人工智能实验平台的自动评测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111105124.2A CN113778454B (zh) 2021-09-22 2021-09-22 一种人工智能实验平台的自动评测方法及***

Publications (2)

Publication Number Publication Date
CN113778454A true CN113778454A (zh) 2021-12-10
CN113778454B CN113778454B (zh) 2024-02-20

Family

ID=78852442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111105124.2A Active CN113778454B (zh) 2021-09-22 2021-09-22 一种人工智能实验平台的自动评测方法及***

Country Status (1)

Country Link
CN (1) CN113778454B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830419A (zh) * 2023-02-09 2023-03-21 数据堂（北京）科技股份有限公司 一种数据驱动式人工智能技术评测***及方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077426A (zh) * 2013-01-17 2013-05-01 深圳市易聆科信息技术有限公司 一种辅助评估信息安全能力成熟度方法和***
CN109829166A (zh) * 2019-02-15 2019-05-31 重庆师范大学 基于字符级卷积神经网络的民宿顾客意见挖掘方法
CN110111223A (zh) * 2019-05-20 2019-08-09 上海乂学教育科技有限公司 基于人工智能的自适应教育方法和***
CN110807566A (zh) * 2019-09-09 2020-02-18 腾讯科技（深圳）有限公司 人工智能模型评测方法、装置、设备及存储介质
CN111258735A (zh) * 2020-01-16 2020-06-09 中国人民解放军国防科技大学 一种支持用户QoS感知的深度学习任务调度方法
CN111932148A (zh) * 2020-09-14 2020-11-13 平安国际智慧城市科技股份有限公司 智慧城市评估方法、装置、计算机设备及存储介质
CN112085216A (zh) * 2020-08-04 2020-12-15 华南师范大学 基于伦理风险评定的人工智能伦理风险辨识和防范方法
CN112416755A (zh) * 2020-11-02 2021-02-26 中关村科学城城市大脑股份有限公司 人工智能模型评测方法、装置、电子设备及存储介质
CN112819174A (zh) * 2020-11-19 2021-05-18 华南师范大学 基于人工智能算法改进的伦理虚拟仿真实验方法和机器人
CN112990677A (zh) * 2021-03-04 2021-06-18 青岛海科创新科技有限公司 一种基于人工智能的教学***、计算机设备、存储介质
KR20210101533A (ko) * 2020-02-10 2021-08-19 주식회사 인사이터 인공지능 및 빅데이터를 활용한 시험 점수 예측 시스템 및 이의 평가 정보 제공 방법
EP3879841A1 (en) * 2020-03-13 2021-09-15 Hyperconnect, Inc. Report evaluation device and operation method thereof
CN113408253A (zh) * 2021-06-17 2021-09-17 浙江大学 一种作业评阅***及方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077426A (zh) * 2013-01-17 2013-05-01 深圳市易聆科信息技术有限公司 一种辅助评估信息安全能力成熟度方法和***
CN109829166A (zh) * 2019-02-15 2019-05-31 重庆师范大学 基于字符级卷积神经网络的民宿顾客意见挖掘方法
CN110111223A (zh) * 2019-05-20 2019-08-09 上海乂学教育科技有限公司 基于人工智能的自适应教育方法和***
CN110807566A (zh) * 2019-09-09 2020-02-18 腾讯科技（深圳）有限公司 人工智能模型评测方法、装置、设备及存储介质
CN111258735A (zh) * 2020-01-16 2020-06-09 中国人民解放军国防科技大学 一种支持用户QoS感知的深度学习任务调度方法
KR20210101533A (ko) * 2020-02-10 2021-08-19 주식회사 인사이터 인공지능 및 빅데이터를 활용한 시험 점수 예측 시스템 및 이의 평가 정보 제공 방법
EP3879841A1 (en) * 2020-03-13 2021-09-15 Hyperconnect, Inc. Report evaluation device and operation method thereof
CN112085216A (zh) * 2020-08-04 2020-12-15 华南师范大学 基于伦理风险评定的人工智能伦理风险辨识和防范方法
CN111932148A (zh) * 2020-09-14 2020-11-13 平安国际智慧城市科技股份有限公司 智慧城市评估方法、装置、计算机设备及存储介质
CN112416755A (zh) * 2020-11-02 2021-02-26 中关村科学城城市大脑股份有限公司 人工智能模型评测方法、装置、电子设备及存储介质
CN112819174A (zh) * 2020-11-19 2021-05-18 华南师范大学 基于人工智能算法改进的伦理虚拟仿真实验方法和机器人
CN112990677A (zh) * 2021-03-04 2021-06-18 青岛海科创新科技有限公司 一种基于人工智能的教学***、计算机设备、存储介质
CN113408253A (zh) * 2021-06-17 2021-09-17 浙江大学 一种作业评阅***及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830419A (zh) * 2023-02-09 2023-03-21 数据堂（北京）科技股份有限公司 一种数据驱动式人工智能技术评测***及方法

Also Published As

Publication number Publication date
CN113778454B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
Barišić et al. Quality in use of domain-specific languages: a case study
CN110765014A (zh) 一种Python绘图程序题自动评测方法
CN110633072B (zh) 一种可供自动批改的编程训练题目构造方法及装置
CN113157565A (zh) 一种基于种子用例突变的反馈式js引擎模糊测试方法及装置
CN117194258A (zh) 一种代码大模型的评测方法和装置
Wang et al. Combining dynamic and static analysis for automated grading sql statements
CN113778454A (zh) 一种人工智能实验平台的自动评测方法及***
CN113064811B (zh) 基于工作流的自动化测试方法、装置以及电子设备
Fulop et al. Towards a benchmark for evaluating design pattern miner tools
CN117331836A (zh) 一种基于代码语法树分析的评测方法
Yoshizawa et al. Logic error detection system based on structure pattern and error degree
Wuisang et al. An evaluation of the effectiveness of openai's chatGPT for automated python program bug fixing using quixbugs
CN116360794A (zh) 数据库语言解析方法、装置、计算机设备及存储介质
CN113282519B (zh) 一种用于软件测试的用例数据推荐方法、***和介质
CN116483700A (zh) 一种基于反馈机制的api误用检测与修正方法
CN115830419A (zh) 一种数据驱动式人工智能技术评测***及方法
CN115454841A (zh) 基于程序测试和分析的多维度代码质量综合评价方法及***
Nikiforova et al. Towards a Business Process Model-based Testing of Information Systems Functionality.
Hull et al. VISGRADER: Automatic Grading of D3 Visualizations
CN116485597B (zh) 基于岗位能力模型的标准化实训方法
CN111427761A (zh) 测试用例智能推荐
Albrecht et al. Towards a framework for mining students' programming assignments
CN117216220B (zh) 一种大语言模型的使用方法及装置
Koong et al. Online Judgment System for Assessing C Program Structure.
de Barros Data-Driven Hint Generation for Alloy using Historial Student Submissions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant