CN115205727A - 一种基于无监督学习的实验智能评分方法和*** - Google Patents

Abstract

本发明公开了一种基于无监督学习的实验智能评分方法，在该方法中，首先，收集实验操作图片和学生在实验操作台进行实验操作的视频数据，其中实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片；然后，对视频数据进行特征提取和图像分割，得到包含三维信息的实验器材图片；接着，基于对比学习方法，将实验操作图片和实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型；最后将待评分图片输入最优目标检测模型中进行目标检测，基于目标检测结果得到待评分图片的实验得分。该方案通过无监督学习方法去掉人工标注环节，可以对新的知识点或评分点进行自动标注，提高了模型的自适应性。

Description

一种基于无监督学习的实验智能评分方法和***

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于无监督学习的实验智能评分方法、***、计算设备及存储介质。

背景技术

目前，在中学物理、化学、生物等实验教学或考试中，无法对每个学生进行针对性、全面性的教学指导和监督，导致实验教学或考试效率低；传统的实验考试评分采用教师现场对多位学生监考和打分的方式，评分效率低，且存在不客观的评分因素。作为新一轮科技革命和产业革命的重要驱动力量，人工智能正在深刻改变人们的生活、工作和教育学习方式。近年来，人工智能技术越来越多的应用在教学管理的各个环节。

为了实现实验考试评分的智能化，需要对实验操作数据进行智能赋分。现有的智能赋分算法以监督学习为基础，不但需要大量的数据做支撑，同时在数据的标注、处理环节也需要大量的人力和财力；而且无法对数据未覆盖、未进行监督学习的相关评价点、操作点、需求点做判断和应用。

因此，需要提供一种基于无监督学习的智能评分***和方法，能够应用于中学实验教学和考试场景中，以解决人工数据标注成本高、评分结果不全面、评分效率低、评分标准不一致的问题。

发明内容

鉴于上述问题，本发明提出一种克服上述问题或者至少部分地解决上述问题的一种基于无监督学习的实验智能评分方法、***、计算设备以及存储介质。

根据本发明的一个方面，提供一种基于无监督学习的实验智能评分方法，在该方法中，首先，收集实验操作图片和学生在实验操作台进行实验操作的视频数据，其中实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片；然后，对视频数据进行特征点提取和图像分割，得到包含三维信息的实验器材图片；接着，基于对比学习方法，将实验操作图片、实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型；最后，将待评分图片输入最优目标检测模型中进行目标检测，并基于目标检测结果得到待评分图片的实验得分。

该方法能够充分利用教育闭环特征，通过无监督学习方法，可以去掉繁琐、耗时、耗力的人工标注环节，同时可以对新的知识点或操作点、新的评分点进行自动标注和识别，加快了智能评分算法的应用，提高了模型的适应性和个性化。

可选地，在根据本发明的方法中，标注数据可以包括实验操作点或知识点标注数据、实验器材标签数据、实验操作评价数据、实验结果评分数据等。

可选地，在根据本发明的方法中，还可以对收集的实验操作图片进行筛选和处理，以便剔除异常数据、对已标注数据的实验操作图片的标签进行修正、对未标注数据的实验操作图片生成相应的标签。

这样可以进一步提高后续模型训练数据的可靠性，提高模型检测的准确度。

可选地，在根据本发明的方法中，可以基于聚类算法，对收集的实验操作图片进行异常数据剔除处理；对收集的实验操作图片进行数据扩充，数据扩充方法包括镜像、随机裁减、翻转、色彩转换等；基于知识图谱网络对收集的无标注数据的实验操作图片生成相应的标签或者对已标注数据的实验操作图片中的标签进行修正。

可选地，在根据本发明的方法中，模型训练的步骤可以包括：对实验操作图片和实验器材图片进行不同的数据增强处理，得到第一增强图像和第二增强图像，图像增强处理包括翻转、旋转、随机裁剪、随机颜色失真、随机高斯模糊处理；对第一增强图像和第二增强图像进行特征提取，得到第一特征向量和第二特征向量；将第一特征向量和第二特征向量输入可视化卷积神经网络中进行训练，基于第一特征向量与第二特征向量之间的欧氏距离，计算对比损失函数，其中可视化卷积神经网络为基于CAM的弱监督目标检测网络；当对比损失函数的损失值小于预定阈值时，得到最优目标检测模型。

自监督对比学习方法可直接利用数据本身作为监督信息，通过最大化各类变换后图像的相似度和最小化不同图像变换之间的一致性，对模型进行训练和优化，可以提高模型在后续目标检测任务中的性能。

可选地，在根据本发明的方法中，在得到优化后的目标检测模型后，可以将待评分图片输入最优目标检测模型中进行目标检测，得到学生动作特征点、实验器材特征点的位置信息；然后，将得到的学生动作特征点和实验器材特征点位置与标准操作步骤中学生动作特征点和实验器材特征点位置进行对比，并根据对比结果得到学生实验操作得分、错误分析和正确指导。该智能评分方法可以显著减少人力成本。

根据本发明的另一个方面，提供一种基于无监督学习的实验智能评分***，该***包括多个学生终端、多个教师终端、智能评分模块和数据库，其中，智能评分模块包括数据收集单元、数据处理单元、模型训练单元、模型更新部署单元和智能评分单元。

学生终端包括摄像头、实验操作台和客户端，客户端适于获取学生的身份信息和输入的实验报告数据，摄像头适于采集学生在实验操作台进行实验操作的视频数据；教师终端适于接收教师上传的教学资源数据、作业或考试数据、批阅数据，教师终端还适于与学生终端进行信息交互；数据库适于将学生终端和教师终端上传的数据进行保存；数据收集单元适于从数据库中收集实验操作图片和学生在实验操作台进行实验操作的视频数据，实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片；数据处理单元适于对视频数据进行特征点提取和图像分割，得到包含三维信息的实验器材图片，并对收集的实验操作图片进行筛选和处理；模型训练单元适于基于对比学习方法，将实验操作图片和实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型；模型更新部署单元适于将训练得到的最优目标检测模型通过热切换方式进行更新部署；智能评分单元适于将待评分图片输入最优目标检测模型中进行目标检测，并基于目标检测结果得到待评分图片的实验得分。

可选地，在上述***中，还可以包括批阅模块、作业模块、知识图谱模块、统计分析模块和个性化推荐模块。其中，批阅模块适于为教师终端或智能评分模块提供批阅接口；作业模块适于为学生终端提供作业练习接口；知识图谱模块适于根据教学大纲图谱和教师终端上传的标签资源数据，对实验知识点或操作点进行分类和关联；统计分析模块适于根据预设维度对实验知识点、难度、关联度、学生对知识点的掌握程度进行统计分析，并将得到统计分析数据保存到数据库；个性化推荐模块适于根据统计分析模块得到的统计分析数据和智能评分模块得到的评分数据向学生终端提供针对性实验指导。

该***可以满足教学场景下日常作业及考试实验操作评价、考试情景下的智能赋分，在减轻教师批改负担的同时，还可以实现学生学习成果的及时反馈、全域学生知识掌握情况的统计、个体学生学习情况的针对性分析，进一步的做到个性化教学。

根据本发明的又一个方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行上述方法的指令。

根据本发明的又一个方面，提供一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行上述的方法。

根据本发明的方案，通过基于无监督学习的模型训练和应用方案，可以去掉繁琐、耗时、耗力的人工标注环节，同时可以及时对新知识点或实验操作点进行自动标注和识别，提升了模型的适应性和个性化。本方案提供的智能评分***，能够依靠无监督学习方法，并借助知识图谱网络，实现日常教学练习或考试场景下的智能批改、知识图谱更新、个性化推荐、教学成果统计、学生学情分析等功能，进一步的做到个性化教学。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的基于无监督学习的实验智能评分***100的结构示意图；

图2示出了根据本发明一个实施例的计算设备200的结构图；

图3示出了根据本发明一个实施例基于无监督学习的实验智能评分方法300的流程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在教学闭环场景下，即教师和学生通过教、学、练、测、评形成一个完整的闭环***，实现实验教学、练习或考试中评分的智能化和针对性，能够增强实验教学的教学效率。利用已有的模型对无标签数据做某种预测，将预测结果帮助模型训练，这种自我增强的学习方式，对于闭环数据能够取得很好的预测效果。针对现有基于监督学习算法的智能评分***中的不足，考虑到人工标注的数据需要耗费大量的人力，无法对未标注的相关评价点、操作点做出判断，并且大量的标注数据可能会限制模型的泛化能力，本方案提出一种基于无监督学习的实验智能评分方法和***，能够在缺乏标注数据的情况下对实验操作数据进行准确预测和评价，从未标记数据的实验操作图片中学习有用的表示，能够提高模型的目标识别能力、泛化能力和鲁棒性。且在教学闭环场景下可以实现最优模型的自主更新和部署。

图1示出了根据本发明一个实施例的基于无监督学习的实验智能评分***100的结构示意图。如图1所示，该***包括1-n个学生终端、1-m个教师终端、数据库110和智能评分模块120，其中学生终端包括提供数据输入接口的客户端、实验操作台、多个角度或方位设置的摄像头。学生可以通过客户端输入身份信息，如姓名、学号、所在班级等，输入实验报告数据。摄像头可以设置在学生实验操作台的前方和左右两侧，可通过调节摄像角度全方位地采集学生在实验操作台进行实验操作的视频数据。实验操作台上放置有多个实验器材，如试管、导线、实验溶液等。教师终端可以接收教师上传的教学资源数据、制定的教学大纲或教学计划、作业或考试任务、作业或试卷的批阅数据等，并且可以与学生终端进行信息交互，例如向学生终端发布实验考试或作业任务、发出实验开始或结束的指令等，教师在教师终端还可以批阅学生终端上传的实验报告数据。数据库110可以存储学生终端和教师终端上传的数据。

在本发明的一个实施例中，智能评分模块120可以包括数据收集单元121、数据处理单元122、模型训练单元123、模型更新部署单元124和智能评分单元125。其中，数据收集单元121可以从数据库110中收集实验操作图片和学生在实验操作台进行实验操作的视频数据，实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片。其中标注数据可以包括实验操作点或知识点标注数据、实验器材标签数据、实验操作评价数据、实验结果评分数据等。数据处理单元122可以对数据收集单元121收集的实验操作图片进行筛选和处理，对摄像头采集的视频数据进行特征点提取和图像分割，得到包含三维信息的实验器材图片。例如，可以基于聚类算法，对收集的实验操作图片进行异常数据剔除处理；对收集的实验操作图片进行数据扩充，数据扩充方法包括镜像、随机裁减、翻转、色彩转换等；基于知识图谱网络对收集的无标注数据的实验操作图片生成相应的标签或者对已标注数据的实验操作图片中的标签进行修正。对视频数据中的图像进行图像分割，将分割后的实验器材图片加入训练图像中；对视频数据进行三维特征点提取和图像分割，获取包含实验器材的三维信息的实验器材图片。这些数据处理方法能够提高后续模型训练的效率。

模型训练单元123可以基于对比学习方法，将数据处理单元122处理后的实验操作图片和提取的三维坐标信息输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型。其中对比学习方法是一种无监督或者自监督的学习方法，现有的无监督学习方法可分为生成式和判别式两类，其中，生成方法通常依赖于图像的自编码或对抗性学习，直接在像素空间操作，图像生成所需的像素级细节对于学习高级表示可能不是必需的。与生成方法不同，对比学习通过将同一图像的不同视图(即正负对)的表示拉近，并将不同图像(即负对)的视图的表示分开，避免了耗时的生成步骤。采用对比学习的方法，实现最大化同一图像的不同变换视图之间的一致性以及最小化不同图像的变换视图之间的一致性来学习通用表示。在本发明的实施例中，可以采用基于CAM（类别热力图）的弱监督目标检测网络进行无监督学习训练，模型训练的步骤可以包括：对实验操作图片和实验器材图片进行不同的数据增强处理，得到第一增强图像和第二增强图像，其中图像增强处理包括翻转、旋转、随机裁剪、随机颜色失真、随机高斯模糊处理等；然后，对第一增强图像和第二增强图像进行特征提取，得到第一特征向量和第二特征向量；接着，将第一特征向量和第二特征向量输入可视化卷积神经网络中进行训练，基于第一特征向量与第二特征向量之间的欧氏距离，计算对比损失函数，其中可视化卷积神经网络为基于CAM（类别热力图）的弱监督目标检测网络。当对比损失函数的损失值小于预定阈值时，得到最优目标检测模型。使用上述方法做目标检测不需要对图片中每个目标标注边界框，而是只需要给整个图一个标签即可开始训练，并使用全局池化层识别出图片中的热点区域，与权重相乘后再叠加即可得到一个图片针对标签的热力图，利用可视化的信息可以引导网络更好的学习。同时在模型训练中加入了三维信息的约束，可以从全局特征和局部特征同时进行约束判断，进一步提高模型识别的准确性。

模型更新部署单元124可以将模型训练单元123训练得到的最优目标检测模型通过热切换方式进行更新部署，从而实现依靠数据驱动的模型迭代更新和部署。智能评分单元125可以将待评分图片输入最优目标检测模型中进行目标检测，并基于目标检测结果得到待评分图片的实验得分，提高了实验考试或练习中评分效率和评分标准的一致性。

在本发明的实施例中，实验智能评分***100还包括批阅模块130、作业模块140、知识图谱模块150、统计分析模块160和个性化推荐模块170。其中，批阅模块130可以适于为教师终端或智能评分模块120提供批阅接口，实现人工批阅和智能批阅双功能；作业模块140可以为学生终端提供作业练习接口，能够为学生提供自主练习和个性化练习接口。知识图谱模块150可以根据预先构建的教学大纲图谱和教师终端上传的标签资源数据，对实验知识点或操作点进行分类和关联。其中，知识图谱网络是由实体、关系和属性组成的一种数据结构，如果是已有知识点则自动进行归类，如果是新的知识点，则在知识图谱中增加新的分支，以实现知识图谱网络的不断更新和优化，且能够为后续的个性化推荐模块和统计分析模块提供数据支撑。统计分析模块160可以根据预设维度对实验知识点、难度、关联度、学生对知识点的掌握程度进行统计分析，并将得到统计分析数据保存到数据库110。例如统计分析模块可以从校区、班级、教师、学生等不同维度进行相关知识点、实验难易程度、知识点关联度、学生对知识点的掌握情况进行统计分析，能够为后续的个性化推荐模块提供数据支撑。个性化推荐模块170可以根据统计分析模块160得到的统计分析数据和智能评分模块120得到的评分数据向学生终端提供针对性实验指导。

图2示出了根据本发明一个实施例的计算设备200的结构图。如图2所示，在基本的配置202中，计算设备200典型地包括***存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和***存储器206之间的通信。

取决于期望的配置，处理器204可以是任何类型的处理，包括但不限于：微处理器（µP）、微控制器（µC）、数字信息处理器（DSP）或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元（ALU）、浮点数单元（FPU）、数字信号处理核心（DSP核心）或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用，或者在一些实现中，存储器控制器218可以是处理器204的一个内部部分。

取决于期望的配置，***存储器206可以是任意类型的存储器，包括但不限于：易失性存储器（诸如RAM）、非易失性存储器（诸如ROM、闪存等）或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM，磁盘中的数据需要加载至物理内存中才能够被处理器204读取。***存储器206可以包括操作***220、一个或者多个应用222以及程序数据224。应用222实际上是多条程序指令，其用于指示处理器204执行相应的操作。在一些实施方式中，在一些实施方式中，应用222可以布置为在操作***上由一个或多个处理器204利用程序数据224执行指令。操作***220例如可以是Linux、Windows等，其包括用于处理基本***服务以及执行依赖于硬件的任务的程序指令。应用222包括用于实现各种用户期望的功能的程序指令，应用222例如可以是浏览器、即时通讯软件、软件开发工具（例如集成开发环境IDE、编译器等）等，但不限于此。当应用222被安装到计算设备200中时，可以向操作***220添加驱动模块。

在计算设备200启动运行时，处理器204会从存储器206中读取操作***220的程序指令并执行。应用222运行在操作***220之上，利用操作***220以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用222时，应用222会加载至存储器206中，处理器204从存储器206中读取并执行应用222的程序指令。

计算设备200还包括储存设备232，储存设备232包括可移除储存器236和不可移除储存器238，可移除储存器236和不可移除储存器238均与储存接口总线234连接。

计算设备200还可以包括有助于从各种接口设备（例如，输出设备242、外设接口244和通信设备246）到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备（例如，键盘、鼠标、笔、语音输入设备、触摸输入设备）或者其他外设（例如打印机、扫描仪等）之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频（RF）、微波、红外（IR）或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备200还包括与总线/接口控制器230相连的储存接口总线234。储存接口总线234与储存设备232相连，储存设备232适于进行数据存储。示例的储存设备232可以包括可移除储存器236（例如CD、DVD、U盘、可移动硬盘等）和不可移除储存器238（例如硬盘驱动器HDD等）。在根据本发明的计算设备200中，应用222包括执行方法300的多条程序指令。

图3示出了根据本发明一个实施例的基于无监督学习的实验智能评分方法300的流程示意图。如图3所示，该方法300始于步骤S310，收集实验操作图片和学生在实验操作台进行实验操作的视频数据，其中实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片。其中实验操作图片可以是教材或试题中的实验操作图片，可以包含实验器材名称标注、教师批阅的实验器材名称标注。标注数据可以包括实验操作点或知识点标注数据、实验器材标签数据、实验操作评价数据、实验结果评分数据等。可以通过设置在在学生终端的摄像头等视频采集设备获取学生在实验操作台进行实验操作的视频数据。在本发明的实施例中，可以对收集的实验操作图片进行筛选和处理，以作为后续可视化卷积神经网络的训练图像。例如，可以基于聚类算法，对收集的实验操作图片进行异常数据剔除处理；对收集的实验操作图片进行数据扩充，数据扩充方法包括镜像、随机裁减、翻转、色彩转换；基于知识图谱网络对收集的无标注数据的实验操作图片生成相应的标签或者对已标注数据的实验操作图片中的标签进行修正等。

随后执行步骤S320,对视频数据进行特征点提取和图像分割，得到包含三维信息的实验器材图片。由于多个方位角度设置摄像头采集的视频数据中包含实验器材和学生动作的三维信息，可以根据图像分割算法提取实验器材图片，并对视频图像中的学生动作和实验器材进行特征点提取，得到实验器材和学生动作的三维信息或点云数据，以便在后续模型训练过程中基于三维信息约束进行全局监督和局部监督同时训练。

接着执行步骤S330，基于对比学习方法，将实验操作图片和实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型。在本发明的实施例中，使用无需标注框的自监督目标检测网络作为智能评分算法的主干网络。例如，可以使用基于CAM的可视化卷积神经网络作为弱监督目标检测网络，首先在最后一层卷积层上生成特征向量，然后将特征向量输入具有全连接层的分类器，生成图片的预测分数，最后通过阈值技术分割每个类的激活图，利用CAM生成每个类的候选框。具体地，模型训练过程如下：首先，对实验操作图片和实验器材图片分别进行两次不同的数据增强处理，得到第一增强图像和第二增强图像，其中图像增强处理包括翻转、旋转、随机裁剪、随机颜色失真、随机高斯模糊处理。每对增强图像构成一组正对图像。然后，对第一增强图像和第二增强图像进行特征提取，得到第一特征向量和第二特征向量；接着，将第一特征向量和第二特征向量输入可视化卷积神经网络中进行训练，在模型训练中加入三维信息的约束，可以从全局特征和局部特征同时进行约束判断，提高模型预测的准确性。最后，基于第一特征向量与第二特征向量之间的欧氏距离，计算对比损失函数，当对比损失函数的损失值小于预定阈值时，得到最优目标检测模型。

最后执行步骤S340，将待评分图片输入最优目标检测模型中进行目标检测，并基于目标检测结果得到待评分图片的实验得分。具体地，可以将待评分图片输入最优目标检测模型中进行目标检测，得到学生动作特征点、实验器材特征点的位置信息；然后，将得到的学生动作特征点和实验器材特征点位置与标准操作步骤中学生动作特征点和实验器材特征点位置进行对比，根据对比结果得到学生实验操作得分、错误分析和正确指导。例如，将学生动作特征点与实验器材之间的相对位置与标准操作步骤中学生动作特征点与实验器材特征点之间的相对位置基本一致时，可以判断为学生操作动作标准，对应的实验得分较高，而当相对位置之间的差别较大时，判断为学生实验操作动作错误或不标准，可以按照评分标准进行评分，并给出相应的错误分析和正确指导。

通过上述方案，相比于监督学习智能评分方案，可以去掉繁琐、耗时、耗力的人工标注环节，同时可以及时对新知识点或实验操作点进行自动标注和识别，提升了模型的适应性和个性化。本方案提供的智能评分***，能够依靠无监督学习方法，并借助知识图谱网络，实现日常教学练习或考试场景下的智能批改、知识图谱更新、个性化推荐、教学成果统计、学生学情分析等功能，进一步的做到个性化教学。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机***的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种基于无监督学习的实验智能评分方法，适于在计算设备中执行，其特征在于，所述方法包括：

收集实验操作图片和学生在实验操作台进行实验操作的视频数据，所述实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片；

对所述视频数据进行特征点提取和图像分割，得到包含三维信息的实验器材图片；

基于对比学习方法，将所述实验操作图片、实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型；

将待评分图片输入所述最优目标检测模型中进行目标检测，并基于目标检测结果得到所述待评分图片的实验得分。

2.根据权利要求1所述的方法，其特征在于，所述标注数据包括实验操作点或知识点标注数据、实验器材标签数据、实验操作评价数据、实验结果评分数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对收集的实验操作图片进行筛选和处理，以便剔除异常数据、对已标注数据的实验操作图片的标签进行修正、对未标注数据的实验操作图片生成相应的标签。

4.根据权利要求3所述的方法，其特征在于，所述对收集的实验操作图片进行筛选和处理的步骤包括：

基于聚类算法，对收集的实验操作图片进行异常数据剔除处理；

对收集的实验操作图片进行数据扩充，所述数据扩充方法包括镜像、随机裁减、翻转、色彩转换；

基于知识图谱网络对收集的无标注数据的实验操作图片生成相应的标签或者对已标注数据的实验操作图片中的标签进行修正。

5.根据权利要求1所述的方法，其特征在于，所述基于对比学习方法，将所述实验操作图片、实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型的步骤包括：

对实验操作图片和实验器材图片进行不同的数据增强处理，得到第一增强图像和第二增强图像，所述图像增强处理包括翻转、旋转、随机裁剪、随机颜色失真、随机高斯模糊处理；

对所述第一增强图像和第二增强图像进行特征提取，得到第一特征向量和第二特征向量；

将所述第一特征向量和第二特征向量输入可视化卷积神经网络中进行训练，基于第一特征向量与第二特征向量之间的欧氏距离，计算对比损失函数，其中所述可视化卷积神经网络为基于CAM的弱监督目标检测网络；

当所述对比损失函数的损失值小于预定阈值时，得到最优目标检测模型。

6.根据权利要求1所述的方法，其特征在于，所述将待评分图片输入所述最优目标检测模型中进行目标检测，得到所述待评分图片的实验得分的步骤包括：

将待评分图片输入所述最优目标检测模型中进行目标检测，得到学生动作特征点、实验器材特征点的位置信息；

将得到的学生动作特征点和实验器材特征点位置与标准操作步骤中学生动作特征点和实验器材特征点位置进行对比，根据对比结果得到学生实验操作得分、错误分析和正确指导。

7.一种基于无监督学习的实验智能评分***，其特征在于，所述***包括多个学生终端、多个教师终端、智能评分模块和数据库，所述智能评分模块包括数据收集单元、数据处理单元、模型训练单元、模型更新部署单元和智能评分单元，

所述学生终端包括摄像头、实验操作台和客户端，所述客户端适于获取学生的身份信息和输入的实验报告数据，所述摄像头适于采集学生在实验操作台进行实验操作的视频数据；

所述教师终端适于接收教师上传的教学资源数据、作业或考试数据、批阅数据，所述教师终端还适于与所述学生终端进行信息交互；

所述数据库适于将学生终端和教师终端上传的数据进行保存；

所述数据收集单元适于从数据库中收集实验操作图片和学生在实验操作台进行实验操作的视频数据，所述实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片；

所述数据处理单元适于对所述视频数据进行特征点提取和图像分割，得到包含三维信息的实验器材图片，并对收集的实验操作图片进行筛选和处理；

所述模型训练单元适于基于对比学习方法，将所述实验操作图片和实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型；

所述模型更新部署单元适于将训练得到的最优目标检测模型通过热切换方式进行更新部署；

所述智能评分单元适于将待评分图片输入所述最优目标检测模型中进行目标检测，并基于目标检测结果得到所述待评分图片的实验得分。

8.根据权利要求7所述的智能评分***，其特征在于，所述***还包括批阅模块、作业模块、知识图谱模块、统计分析模块和个性化推荐模块，

所述批阅模块适于为教师终端或所述智能评分模块提供批阅接口；

所述作业模块适于为学生终端提供作业练习接口；

所述知识图谱模块适于根据教学大纲图谱和教师终端上传的标签资源数据，对实验知识点或操作点进行分类和关联；

所述统计分析模块适于根据预设维度对实验知识点、难度、关联度、学生对知识点的掌握程度进行统计分析，并将得到统计分析数据保存到数据库；

所述个性化推荐模块适于根据统计分析模块得到的统计分析数据和智能评分模块得到的评分数据向学生终端提供针对性实验指导。

9.一种计算设备，包括：

至少一个处理器；和存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-6中任一项所述方法的指令。

10.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-6中任一项所述的方法。

Images