CN113988563A - 一种用于平面镜成像实验的智能赋分*** - Google Patents
一种用于平面镜成像实验的智能赋分*** Download PDFInfo
- Publication number
- CN113988563A CN113988563A CN202111228455.5A CN202111228455A CN113988563A CN 113988563 A CN113988563 A CN 113988563A CN 202111228455 A CN202111228455 A CN 202111228455A CN 113988563 A CN113988563 A CN 113988563A
- Authority
- CN
- China
- Prior art keywords
- line segment
- plane mirror
- detection
- experiment
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 79
- 238000003384 imaging method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 116
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012805 post-processing Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 238000012958 reprocessing Methods 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000012300 Sequence Analysis Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000011897 real-time detection Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Technology (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于平面镜成像实验的智能赋分***，其包括：图像获取模块、图像检测模块、检测后处理模块、实验规范与赋分判断模块、显示模块；***步骤包括：实验桌顶拍摄像头视频采集、视频解码、目标检测及目标再处理、图片目标分析及得分判断、实验结果显示。本发明的有益效果是：根据考试试题给出的得分点，通过实时检测技术，对学生在操作平面镜成像实验的过程中过程中获取到的视频流进行及时分析，以正确地对相关评分点进行打分，进而实现对实验操作进行智能判分，能很好的缓解教育资源的压力。
Description
技术领域
本发明涉及一种评分***，具体为一种用于平面镜成像实验的智能赋分***，属于初中物理实验考试自动评分技术领域。
背景技术
平面镜成像实验是初中物理实验的一部分，且是中考实验操作的考题之一。由于操作实验考试打分的实时性，人的注意力有一定限制。考试时每个考生就需要配一位打分老师，这种情况对现有的师资资源提出了极大的挑战。如能对实验操作进行智能判分，能很好的缓解教育资源的压力。
而目前市场上还没有针对平面镜成像实验的解决方案。不能通过实时检测技术，对实验过程中获取到的视频流进行及时分析，进而无法正确地对相关评分点进行打分。
发明内容
本发明的目的就在于为了解决问题而提供一种用于平面镜成像实验的智能赋分***。
本发明通过以下技术方案来实现上述目的：一种用于平面镜成像实验的智能赋分***，包括其***流程包括
图像获取模块：由顶拍摄像头获取当前实验桌的影像，根据海康摄像头的相关编解码协议进行视频解码，得到能用于图像处理的图片信息，获取到的正常图片信息的尺寸将会由2560*1520缩放为832*832作为深度检测网络的输入；
图像检测模块：主要由两个部分构成，分别为能够智能识别实验过程中各实验器件的YOLOv5目标检测网络和FLD线段检测算法；
检测后处理模块：对检测到的线段进行再次处理，以确定所需的线段，针对部分得分点的要求，部分线段需以线段所在像素点的形式进行存储，需对线段进行一次线段存储转换；
实验规范与赋分判断模块：制定的YOLO检测模型的某些标签的会带有目标的状态；对于每个得分点，包括带状态的所有相关的标签都会进行位置判断，位置判断也是得分点是否得分的主要判断依据；某些带状态的标签及目标间的位置信息能综合判断出实验进行到某种状态，实验状态判断能得到某些得分点必要的实验状态；
显示模块：通过实验规范与赋分判断模块将得到得分点的赋分情况，得分点情况绘制会将得分点的描述信息以及得分点的得分情况绘制到图片上，经过YOLO检测深度网络会得到目标的检测框信息，检测框绘制将不同目标的检测框信息绘制成不同颜色的检测框，并将检测框还原到原图上，将重新绘制的拍摄图片进行合理缩放，绘制信息显示将绘制的得分点情况以及检测框情况共同绘制到一张图片上，并将图片显示到阅卷窗口，工作人员对得分情况的查看。
作为本发明再进一步的方案：该***包括***应用以及试验逻辑两部分节点，其中：
所述***应用节点包括：
视频采集节点：由实验室中每个实验桌的顶拍摄像头获取学生实验操作视频；
任务调度节点：将不同实验桌的智能评分任务分发给不同的算法服务器；
智能评分节点：通过实验逻辑节点，将获取的视频信息与得分标准对比，判断当前操作是否得分；
界面显示节点：将绘制好实验操作检测结果的画面与评分结果在学生端平板或阅卷电脑显示。
所述试验逻辑节点包括：
目标检测节点：使用YOLO目标检测算法对视频图像进行实时检测，并输出检测结果；
图像预处理节点：目标筛选，目标图片扣图，图像灰度化；
线段处理节点：部分得分点需要的处理节点，包含线段检测、线段融合、线段筛选、线段转换；
得分逻辑节点：经过处理后的信息与得分点的规范要求进行对比，对实验流程打分；
结果输出节点：将每个得分点的打分结果，输出到后台处理，以便对结果进行实时显示。
作为本发明再进一步的方案：所述图像获取模块中，对在视频传输中，因受到干扰得到的图像信息出现异常信息产生的异常图片进行异常帧抛弃等异常处理。
作为本发明再进一步的方案：所述检测后处理模块采用将多条相关线段融合为一条线段进行检测，并根据平面镜以及所标记线段的特点，在长度方面对融合后的线段进行进一步的过滤；根据平面镜呈现出的特点，经过线段筛选后可以先得到平面镜所在平面的线段，再得到物像连线所在的线段，将图像中的线段归属到不同的类型，将处理后的线段与所需的线段进行一一对应，解决了检测算法会将现实中的一条线段检测为多条短线段的问题，也进一步降低筛选出所需线段的难度。
一种用于平面镜成像实验的智能赋分***的使用方法，该使用方法包括以下步骤
步骤一、实验桌顶拍摄像头视频采集：从实验桌的顶拍视角获取平面镜成像实验的操作视频，得到各器件本身及相关操作动作的信息；
步骤二、视频解码：将平面镜成像实验操作的视频解码成图片，预处理后准备输入到检测识别模型；
步骤三、目标检测及目标再处理：将获取的图片传入到已训练好的YOLOv5网络进行实时地目标检测；将检测到的目标信息进行筛选、线段检测等手段进行再次处理；
步骤四、图片目标分析及得分判断：对处理后的目标信息，结合得分点信息，进行综合判断，根据位置信息、标签信息及时序分析等方法判断实验操作是否正确；
步骤五、实验结果显示：将绘制好实验操作检测结果的画面与评分结果在学生端平板或阅卷电脑显示。
作为本发明再进一步的方案：所述步骤三中，根据YOLOv5检测到的实验器件，平面镜和白纸的位置信息。对平面镜和白纸所在的区域单独进行抠图处理，抠图区域相对器件区域会进行合理的缩放，并将抠出的图片进行线段检测，具体包括
①白纸上先画一条线，将平面镜与所画线段重合，然后开始实验，为了验证平面镜与线段是否重合，需要在平面镜放在白纸上之前，得到所画线段的具***置；
②为了减少不必要的计算量及筛选难度，且由于后续的实验过程，使得画的线段不会太靠近白纸边缘，会将由YOLOv5检测到的白纸区域进行少许的裁边后抠图进行线段检测；
③检测到竖起的平面镜后，且平面镜位于白纸区域后，同样处于减少计算量及筛选难度的考虑，开始对平面镜的图像区域抠图并进行实时线段检测，考虑到同一器件的检测框在不同帧会略有偏移，且FLD线段检测算法不会检测太靠近图像边缘的线段，会对平面镜的区域进行少许的扩大后抠图。
实验过程中白纸与平面镜相对图像中的位置一般都会有移动，所以在需要平面镜平面的多个步骤中会判断平面镜的位置，如果有移动，会再次对平面镜区域抠图以确定平面镜在纸面上的平面。
作为本发明再进一步的方案：所述步骤三中，使用opencv自带的FLD线段检测算法对输入的局部图片进行线段检测，增加可选参数_length_threshold的值，作为设定检测算法能检测到的最短长度线段的长度阈值，滤除过短的线段，减少检出的线段数；且根据平面镜图片与绘有线段的白纸图片的不同特性，综合考虑算法运行速度及检测效果，需将_length_threshold设为不同的值。
作为本发明再进一步的方案：所述步骤三中，对检测到的多条线段根据线段的距离和斜率进行线段融合处理，斜率需要相等或很接近；两条线段最接近的两个点要求不能大于150的像素点距离；并对某条线段靠近另一条线段的端点做延长线，横座标或纵坐标到另一条线段较近的端点处，此时两个点的像素距离差不能超过4，对比两条线段的距离和斜率来判断两条短线段是否可以合并为一条长线段，完成线段融合后，所需要的线段已经包含在了存在的线段中，且长度相对合适，具有一定的长度，通过对线段的长度进行进一步筛选，可以再次减少需要判定的线段数，降低后续所需线段判定的复杂度。
作为本发明再进一步的方案：所述步骤四中
对于位置信息：根据得分点的不同要求，大部分需要器件的检测框的位置，包括框的左上角和右下角的X轴以及Y轴信息，以及包含检测框的横纵座标的最小、最大值；部分得分点涉及线段，位置信息为线段的两个端点；有一个得分点需要将线段的端点信息转化为整条线段所在的像素点，进行像素点的对比。
对于标签信息：标签信息不仅仅是对不同器材打上不同标签，并且可以将同一器件的不同状态作成不同的标签。
时序分析：基于多帧分析，某些实验动作或状态需要有一个持续变化或固定的过程，仅凭一帧图片是无法确定该步骤是否正确的。
作为本发明再进一步的方案：所述步骤四中，在顶拍视角下的平面镜图像经过线段检测和后处理后，会呈现出特有的具有相隔不远的多条平行线的特征，根据物像之间的连线与平面镜所在的平面具有垂直的关系以及物及像到平面镜平面的距离相等的关系判定出平面镜的所在平面的线段，进而判断出物像连线；进而对白纸上所有与实验相关的线段进行相对应的分类。
本发明的有益效果是：根据考试试题给出的得分点，通过实时检测技术，对学生在操作平面镜成像实验的过程中过程中获取到的视频流进行及时分析，以正确地对相关评分点进行打分，进而实现对实验操作进行智能判分，能很好的缓解教育资源的压力。
附图说明
图1为本发明***流程结构示意图；
图2为本发明***步骤结构示意图；
图3为本发明节点结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参阅图1～3，一种用于平面镜成像实验的智能赋分***，其***包括
图像获取模块：由顶拍摄像头获取当前实验桌的影像，根据海康摄像头的相关编解码协议进行视频解码，得到能用于图像处理的图片信息，获取到的正常图片信息的尺寸将会由2560*1520缩放为832*832作为深度检测网络的输入；
图像检测模块：主要由两个部分构成，分别为能够智能识别实验过程中各实验器件的YOLOv5目标检测网络和FLD线段检测算法；
检测后处理模块：对检测到的线段进行再次处理，以确定所需的线段，针对部分得分点的要求，部分线段需以线段所在像素点的形式进行存储，需对线段进行一次线段存储转换；
实验规范与赋分判断模块：制定的YOLO检测模型的某些标签的会带有目标的状态，如同一个蜡烛灯，被分为2个标签，熄灭的蜡烛灯、点亮的蜡烛灯；对于每个得分点，包括带状态的所有相关的标签都会进行位置判断，位置判断也是得分点是否得分的主要判断依据；某些带状态的标签及目标间的位置信息能综合判断出实验进行到某种状态，实验状态判断能得到某些得分点必要的实验状态；
显示模块：通过实验规范与赋分判断模块将得到得分点的赋分情况，得分点情况绘制会将得分点的描述信息以及得分点的得分情况绘制到图片上，经过YOLO检测深度网络会得到目标的检测框信息，检测框绘制将不同目标的检测框信息绘制成不同颜色的检测框，并将检测框还原到原图上，将重新绘制的拍摄图片进行合理缩放，绘制信息显示将绘制的得分点情况以及检测框情况共同绘制到一张图片上，并将图片显示到阅卷窗口，工作人员对得分情况的查看。
在本发明实施例中，该***包括***应用以及试验逻辑两部分节点，其中：
所述***应用节点包括：
视频采集节点：由实验室中每个实验桌的顶拍摄像头获取学生实验操作视频；
任务调度节点：将不同实验桌的智能评分任务分发给不同的算法服务器；
智能评分节点：通过实验逻辑节点，将获取的视频信息与得分标准对比，判断当前操作是否得分；
界面显示节点：将绘制好实验操作检测结果的画面与评分结果在学生端平板或阅卷电脑显示。
所述试验逻辑节点包括：
目标检测节点：使用YOLO目标检测算法对视频图像进行实时检测，并输出检测结果；
图像预处理节点：目标筛选，目标图片扣图，图像灰度化；
线段处理节点：部分得分点需要的处理节点，包含线段检测、线段融合、线段筛选、线段转换；
得分逻辑节点：经过处理后的信息与得分点的规范要求进行对比，对实验流程打分；
结果输出节点：将每个得分点的打分结果，输出到后台处理，以便对结果进行实时显示。
在本发明实施例中，所述图像获取模块中，对在视频传输中，因受到干扰得到的图像信息出现异常信息产生的异常图片进行异常帧抛弃等异常处理。
在本发明实施例中，所述检测后处理模块采用将多条相关线段融合为一条线段进行检测，并根据平面镜以及所标记线段的特点，将实验开始画出的那条线，平面镜需与其重合的直线作为标记线段，在长度方面对融合后的线段进行进一步的过滤；根据平面镜呈现出的特点，经过线段筛选后可以先得到平面镜所在平面的线段，再得到物像连线所在的线段，将图像中的线段归属到不同的类型，将处理后的线段与所需的线段进行一一对应，对平面镜抠图进行线段检测后，平面镜会有特定的3条平行线段，且比较靠近的2条为平面镜上边缘，1条较远的是平面镜与纸面的接触线，即为我们所需的线段，平面镜所在平面的线段。平面镜所在平面的线段这条主线确定，根据物像连线与其平行的特点，且由记录的2个蜡烛灯的位置进行辅助判断(灯到平面镜距离相等，且位于物像连线上)，可以得到所有物像连线所属的线段。其余不满足要求的线段全归为无关线段，不用纪录，解决了检测算法会将现实中的一条线段检测为多条短线段的问题，也进一步降低筛选出所需线段的难度。
实施例二
请参阅图2，一种用于平面镜成像实验的智能赋分***的使用方法，该***包括以下步骤
步骤一、实验桌顶拍摄像头视频采集：从实验桌的顶拍视角获取平面镜成像实验的操作视频，得到各器件本身及相关操作动作的信息；
步骤二、视频解码：将平面镜成像实验操作的视频解码成图片，预处理后准备输入到检测识别模型；
步骤三、目标检测及目标再处理：将获取的图片传入到已训练好的YOLOv5网络进行实时地目标检测；将检测到的目标信息进行筛选、线段检测等手段进行再次处理；
步骤四、图片目标分析及得分判断：对处理后的目标信息，结合得分点信息，进行综合判断，根据位置信息、标签信息及时序分析等方法判断实验操作是否正确；
步骤五、实验结果显示：将绘制好实验操作检测结果的画面与评分结果在学生端平板或阅卷电脑显示。
在本发明实施例中，所述步骤三中，根据YOLOv5检测到的实验器件，平面镜和白纸的位置信息。对平面镜和白纸所在的区域单独进行抠图处理，抠图区域相对器件区域会进行合理的缩放，并将抠出的图片进行线段检测，具体包括
①白纸上先画一条线，将平面镜与所画线段重合，然后开始实验，为了验证平面镜与线段是否重合，需要在平面镜放在白纸上之前，得到所画线段的具***置；
②为了减少不必要的计算量及筛选难度，且由于后续的实验过程，使得画的线段不会太靠近白纸边缘，会将由YOLOv5检测到的白纸区域进行少许的裁边后抠图进行线段检测；
③检测到竖起的平面镜后，且平面镜位于白纸区域后，同样处于减少计算量及筛选难度的考虑，开始对平面镜的图像区域抠图并进行实时线段检测，考虑到同一器件的检测框在不同帧会略有偏移，且FLD线段检测算法不会检测太靠近图像边缘的线段，会对平面镜的区域进行少许的扩大后抠图。
实验过程中白纸与平面镜相对图像中的位置一般都会有移动，所以在需要平面镜平面的多个步骤中会判断平面镜的位置，如果有移动，会再次对平面镜区域抠图以确定平面镜在纸面上的平面。
在本发明实施例中，所述步骤三中，使用opencv自带的FLD线段检测算法对输入的局部图片进行线段检测。为了提高检测及后续算法的运行速度，使整个***能确保实时性。增加可选参数_length_threshold的值，作为设定检测算法能检测到的最短长度线段的长度阈值，滤除过短的线段，减少检出的线段数；且根据平面镜图片与绘有线段的白纸图片的不同特性，综合考虑算法运行速度及检测效果，需将_length_threshold设为不同的值。
在本发明实施例中，所述步骤三中，对检测到的多条线段根据线段的距离和斜率进行线段融合处理，斜率需要相等或很接近；两条线段最接近的两个点要求不能大于150的像素点距离；并对某条线段靠近另一条线段的端点做延长线，横座标或纵坐标到另一条线段较近的端点处，此时两个点的像素距离差不能超过4，对比两条线段的距离和斜率来判断两条短线段是否可以合并为一条长线段，完成线段融合后，所需要的线段已经包含在了存在的线段中，且长度相对合适，具有一定的长度，通过对线段的长度进行进一步筛选，可以再次减少需要判定的线段数，降低后续所需线段判定的复杂度。
在本发明实施例中，所述步骤四中
对于位置信息：根据得分点的不同要求，大部分需要器件的检测框的位置，包括框的左上角和右下角的X轴以及Y轴信息，以及包含检测框的横纵座标的最小、最大值；部分得分点涉及线段，位置信息为线段的两个端点；有一个得分点需要将线段的端点信息转化为整条线段所在的像素点，进行像素点的对比。
对于标签信息：标签信息不仅仅是对不同器材打上不同标签，并且可以将同一器件的不同状态作成不同的标签。
时序分析：基于多帧分析，某些实验动作或状态需要有一个持续变化或固定的过程，仅凭一帧图片是无法确定该步骤是否正确的。
在本发明实施例中，所述步骤四中，在顶拍视角下的平面镜图像经过线段检测和后处理后，会呈现出特有的具有相隔不远的多条平行线的特征，根据物像之间的连线与平面镜所在的平面具有垂直的关系以及物及像到平面镜平面的距离相等的关系判定出平面镜的所在平面的线段，进而判断出物像连线；进而对白纸上所有与实验相关的线段进行相对应的分类，进一步方便得分点是否能得分的判断。将线段端点信息转换成线段所在的像素点，可以相对精确地判断平面镜是否与标记线段重合。
工作原理：获取到视频流图像，使用已训练好的YOLOv5网络对图像进行目标检测。通过获得的目标信息，经过简单的处理，可以得到各实验器件的位置，状态等基础信息，对标记线段的处理，基于连线状态的判断作为得分标准，进而对实验操作进行打分。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种用于平面镜成像实验的智能赋分***，其特征在于：其包括
图像获取模块：由顶拍摄像头获取当前实验桌的影像，根据海康摄像头的相关编解码协议进行视频解码，得到能用于图像处理的图片信息，获取到的正常图片信息的尺寸将会由2560*1520缩放为832*832作为深度检测网络的输入；
图像检测模块：主要由两个部分构成，分别为能够智能识别实验过程中各实验器件的YOLOv5目标检测网络和FLD线段检测算法；
检测后处理模块：对检测到的线段进行再次处理，以确定所需的线段，针对部分得分点的要求，部分线段需以线段所在像素点的形式进行存储，需对线段进行一次线段存储转换；
实验规范与赋分判断模块：制定的YOLO检测模型的某些标签的会带有目标的状态；对于每个得分点，包括带状态的所有相关的标签都会进行位置判断，位置判断也是得分点是否得分的主要判断依据；某些带状态的标签及目标间的位置信息能综合判断出实验进行到某种状态，实验状态判断能得到某些得分点必要的实验状态；
显示模块：通过实验规范与赋分判断模块将得到得分点的赋分情况，得分点情况绘制会将得分点的描述信息以及得分点的得分情况绘制到图片上，经过YOLO检测深度网络会得到目标的检测框信息，检测框绘制将不同目标的检测框信息绘制成不同颜色的检测框，并将检测框还原到原图上，将重新绘制的拍摄图片进行合理缩放，绘制信息显示将绘制的得分点情况以及检测框情况共同绘制到一张图片上，并将图片显示到阅卷窗口，工作人员对得分情况的查看。
2.根据权利要求1所述的一种用于平面镜成像实验的智能赋分***，其特征在于：该***包括***应用以及试验逻辑两部分节点，其中：
所述***应用节点包括：
视频采集节点：由实验室中每个实验桌的顶拍摄像头获取学生实验操作视频；
任务调度节点：将不同实验桌的智能评分任务分发给不同的算法服务器；
智能评分节点：通过实验逻辑节点，将获取的视频信息与得分标准对比，判断当前操作是否得分；
界面显示节点：将绘制好实验操作检测结果的画面与评分结果在学生端平板或阅卷电脑显示。
所述试验逻辑节点包括：
目标检测节点：使用YOLO目标检测算法对视频图像进行实时检测，并输出检测结果；
图像预处理节点：目标筛选，目标图片扣图，图像灰度化；
线段处理节点：部分得分点需要的处理节点，包含线段检测、线段融合、线段筛选、线段转换；
得分逻辑节点：经过处理后的信息与得分点的规范要求进行对比，对实验流程打分；
结果输出节点：将每个得分点的打分结果，输出到后台处理，以便对结果进行实时显示。
3.根据权利要求1所述的一种用于平面镜成像实验的智能赋分***，其特征在于：所述图像获取模块中，对在视频传输中，因受到干扰得到的图像信息出现异常信息产生的异常图片进行异常帧抛弃等异常处理。
4.根据权利要求1所述的一种用于平面镜成像实验的智能赋分***，其特征在于：所述检测后处理模块采用将多条相关线段融合为一条线段进行检测，并根据平面镜以及所标记线段的特点，在长度方面对融合后的线段进行进一步的过滤；根据平面镜呈现出的特点，经过线段筛选后可以先得到平面镜所在平面的线段，再得到物像连线所在的线段，将图像中的线段归属到不同的类型，将处理后的线段与所需的线段进行一一对应，解决了检测算法会将现实中的一条线段检测为多条短线段的问题，也进一步降低筛选出所需线段的难度。
5.一种基于权利要求1所述的用于平面镜成像实验的智能赋分***的使用方法，其特征在于：该使用方法包括以下步骤
步骤一、实验桌顶拍摄像头视频采集：从实验桌的顶拍视角获取平面镜成像实验的操作视频，得到各器件本身及相关操作动作的信息；
步骤二、视频解码：将平面镜成像实验操作的视频解码成图片，预处理后准备输入到检测识别模型；
步骤三、目标检测及目标再处理：将获取的图片传入到已训练好的YOLOv5网络进行实时地目标检测；将检测到的目标信息进行筛选、线段检测等手段进行再次处理；
步骤四、图片目标分析及得分判断：对处理后的目标信息，结合得分点信息，进行综合判断，根据位置信息、标签信息及时序分析等方法判断实验操作是否正确；
步骤五、实验结果显示：将绘制好实验操作检测结果的画面与评分结果在学生端平板或阅卷电脑显示。
6.根据权利要求5所述的一种用于平面镜成像实验的智能赋分***的使用方法，其特征在于：所述步骤三中，根据YOLOv5检测到的实验器件，平面镜和白纸的位置信息。对平面镜和白纸所在的区域单独进行抠图处理，抠图区域相对器件区域会进行合理的缩放，并将抠出的图片进行线段检测，具体包括
①白纸上先画一条线，将平面镜与所画线段重合，然后开始实验，为了验证平面镜与线段是否重合，需要在平面镜放在白纸上之前，得到所画线段的具***置；
②为了减少不必要的计算量及筛选难度，且由于后续的实验过程，使得画的线段不会太靠近白纸边缘，会将由YOLOv5检测到的白纸区域进行少许的裁边后抠图进行线段检测；
③检测到竖起的平面镜后，且平面镜位于白纸区域后，同样处于减少计算量及筛选难度的考虑，开始对平面镜的图像区域抠图并进行实时线段检测，考虑到同一器件的检测框在不同帧会略有偏移，且FLD线段检测算法不会检测太靠近图像边缘的线段，会对平面镜的区域进行少许的扩大后抠图；
实验过程中白纸与平面镜相对图像中的位置一般都会有移动，所以在需要平面镜平面的多个步骤中会判断平面镜的位置，如果有移动，会再次对平面镜区域抠图以确定平面镜在纸面上的平面。
7.根据权利要求5所述的一种用于平面镜成像实验的智能赋分***的使用方法，其特征在于：所述步骤三中，使用opencv自带的FLD线段检测算法对输入的局部图片进行线段检测，增加可选参数_length_threshold的值，作为设定检测算法能检测到的最短长度线段的长度阈值，滤除过短的线段，减少检出的线段数；且根据平面镜图片与绘有线段的白纸图片的不同特性，综合考虑算法运行速度及检测效果，需将_length_threshold设为不同的值。
8.根据权利要求5所述的一种用于平面镜成像实验的智能赋分***的使用方法，其特征在于：所述步骤三中，对检测到的多条线段根据线段的距离和斜率进行线段融合处理，斜率需要相等或很接近；两条线段最接近的两个点要求不能大于150的像素点距离；并对某条线段靠近另一条线段的端点做延长线，横座标或纵坐标到另一条线段较近的端点处，此时两个点的像素距离差不能超过4，对比两条线段的距离和斜率来判断两条短线段是否可以合并为一条长线段，完成线段融合后，所需要的线段已经包含在了存在的线段中，且长度相对合适，具有一定的长度，通过对线段的长度进行进一步筛选，可以再次减少需要判定的线段数，降低后续所需线段判定的复杂度。
9.根据权利要求5所述的一种用于平面镜成像实验的智能赋分***的使用方法，其特征在于：所述步骤四中
对于位置信息：根据得分点的不同要求，大部分需要器件的检测框的位置，包括框的左上角和右下角的X轴以及Y轴信息，以及包含检测框的横纵座标的最小、最大值；部分得分点涉及线段，位置信息为线段的两个端点；有一个得分点需要将线段的端点信息转化为整条线段所在的像素点，进行像素点的对比；
对于标签信息：标签信息不仅仅是对不同器材打上不同标签，并且可以将同一器件的不同状态作成不同的标签；
时序分析：基于多帧分析，某些实验动作或状态需要有一个持续变化或固定的过程，仅凭一帧图片是无法确定该步骤是否正确的。
10.根据权利要求5所述的一种用于平面镜成像实验的智能赋分***的使用方法，其特征在于：所述步骤四中，在顶拍视角下的平面镜图像经过线段检测和后处理后，会呈现出特有的具有相隔不远的多条平行线的特征，根据物像之间的连线与平面镜所在的平面具有垂直的关系以及物及像到平面镜平面的距离相等的关系判定出平面镜的所在平面的线段，进而判断出物像连线；进而对白纸上所有与实验相关的线段进行相对应的分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111228455.5A CN113988563A (zh) | 2021-10-21 | 2021-10-21 | 一种用于平面镜成像实验的智能赋分*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111228455.5A CN113988563A (zh) | 2021-10-21 | 2021-10-21 | 一种用于平面镜成像实验的智能赋分*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113988563A true CN113988563A (zh) | 2022-01-28 |
Family
ID=79740030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111228455.5A Pending CN113988563A (zh) | 2021-10-21 | 2021-10-21 | 一种用于平面镜成像实验的智能赋分*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113988563A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549993A (zh) * | 2022-02-28 | 2022-05-27 | 成都西交智汇大数据科技有限公司 | 实验中线段图像的评分方法、***、设备及可读存储介质 |
| CN114663076A (zh) * | 2022-05-25 | 2022-06-24 | 广东天智实业有限公司 | 一种光反射实验评分方法、***、设备及可读存储介质 |
| CN114998339A (zh) * | 2022-08-03 | 2022-09-02 | 成都西交智汇大数据科技有限公司 | 一种平面镜成像评分方法、装置、设备及可读存储介质 |
| CN115359412A (zh) * | 2022-10-24 | 2022-11-18 | 成都西交智汇大数据科技有限公司 | 一种盐酸中和实验评分方法、装置、设备及可读存储介质 |
| CN116309538A (zh) * | 2023-04-24 | 2023-06-23 | 湖北易康思科技有限公司 | 绘图考试评定方法、装置、计算机设备及存储介质 |
-
2021
- 2021-10-21 CN CN202111228455.5A patent/CN113988563A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549993A (zh) * | 2022-02-28 | 2022-05-27 | 成都西交智汇大数据科技有限公司 | 实验中线段图像的评分方法、***、设备及可读存储介质 |
| CN114549993B (zh) * | 2022-02-28 | 2022-11-11 | 成都西交智汇大数据科技有限公司 | 实验中线段图像的评分方法、***、设备及可读存储介质 |
| CN114663076A (zh) * | 2022-05-25 | 2022-06-24 | 广东天智实业有限公司 | 一种光反射实验评分方法、***、设备及可读存储介质 |
| CN114998339A (zh) * | 2022-08-03 | 2022-09-02 | 成都西交智汇大数据科技有限公司 | 一种平面镜成像评分方法、装置、设备及可读存储介质 |
| CN115359412A (zh) * | 2022-10-24 | 2022-11-18 | 成都西交智汇大数据科技有限公司 | 一种盐酸中和实验评分方法、装置、设备及可读存储介质 |
| CN115359412B (zh) * | 2022-10-24 | 2023-03-03 | 成都西交智汇大数据科技有限公司 | 一种盐酸中和实验评分方法、装置、设备及可读存储介质 |
| CN116309538A (zh) * | 2023-04-24 | 2023-06-23 | 湖北易康思科技有限公司 | 绘图考试评定方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113988563A (zh) | 一种用于平面镜成像实验的智能赋分*** | |
| CN110334610B (zh) | 一种基于计算机视觉的多维度课堂量化***及方法 | |
| CN103577817B (zh) | 表单识别方法与装置 | |
| CN109711377B (zh) | 标准化考场监控的单帧图像中考生定位和计数方法 | |
| CN112560816A (zh) | 一种基于YOLOv4的设备指示灯识别方法及*** | |
| CN104636742B (zh) | 一种通过摄像自动锁定目标题目并传输的方法 | |
| CN105869085A (zh) | 一种成绩录入***及图像处理的方法 | |
| CN110175534A (zh) | 基于多任务级联卷积神经网络的授课辅助*** | |
| CN111931598A (zh) | 一种基于人脸识别的课堂智能实时分析方法及*** | |
| CN110827602A (zh) | 一种基于vr+ar技术的电缆接头制作和运维技能培训装置及方法 | |
| CN109243215A (zh) | 一种基于智能装置的交互方法、智能装置及*** | |
| CN107292318A (zh) | 基于中心暗通道先验信息的图像显著性物体检测方法 | |
| CN105787522A (zh) | 基于手写笔迹的书写态度评价方法及*** | |
| CN114549993B (zh) | 实验中线段图像的评分方法、***、设备及可读存储介质 | |
| CN112084994A (zh) | 一种在线监考远程视频作弊研判***及方法 | |
| CN110163211A (zh) | 一种图像识别方法、装置和存储介质 | |
| CN111126330A (zh) | 一种瞳膜中心定位方法及学员听课疲劳度检测方法 | |
| CN116109455B (zh) | 一种基于人工智能的语言教学辅助*** | |
| CN114926889B (zh) | 作业提交方法、装置、电子设备和存储介质 | |
| CN113705510A (zh) | 目标识别跟踪的方法、装置、设备及存储介质 | |
| CN109472464A (zh) | 一种基于眼动追踪的在线课程质量的评估方法 | |
| CN115810163A (zh) | 一种基于ai课堂行为识别的教学评估方法和*** | |
| CN113822907B (zh) | 图像处理方法及装置 | |
| CN113313084A (zh) | 一种基于深度学习的睡岗检测方法 | |
| CN112861809A (zh) | 基于多目标视频分析的课堂抬头检测***及其工作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |