CN112201101A - 基于增强现实技术的教育培训***及培训方法 - Google Patents

基于增强现实技术的教育培训***及培训方法 Download PDF

Info

Publication number
CN112201101A
CN112201101A CN202011047034.8A CN202011047034A CN112201101A CN 112201101 A CN112201101 A CN 112201101A CN 202011047034 A CN202011047034 A CN 202011047034A CN 112201101 A CN112201101 A CN 112201101A
Authority
CN
China
Prior art keywords
marker
module
examination
training
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011047034.8A
Other languages
English (en)
Inventor
王海宁
尚学伟
田蘅
徐正清
蔡维荣
王逊时
马群
姜丹
王淑霞
王国平
郭景瑞
邵志伟
王应宇
凌行龙
吴海宏
周磊
李玉凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kedong Electric Power Control System Co Ltd
NARI Group Corp
Original Assignee
Beijing Kedong Electric Power Control System Co Ltd
NARI Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kedong Electric Power Control System Co Ltd, NARI Group Corp filed Critical Beijing Kedong Electric Power Control System Co Ltd
Priority to CN202011047034.8A priority Critical patent/CN112201101A/zh
Publication of CN112201101A publication Critical patent/CN112201101A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供了基于增强现实技术的教育培训***及培训方法，通过用户管理模块对用户登录管理、用户注册管理以及人员信息管理；通过考试管理模块对试题库、试卷以及考试管理；通过增强现实模块提供标记物识别功能，并基于标记物识别结果调用考试管理管理模块推送考试和培训内容；通过位置服务模块将标记物位置标注在地图上形成预埋点数据并对预埋点数据进行管理，基于预埋点数据提供预埋点位置指引功能，并调用考试管理管理模块推送考试和培训内容。本发明实现对培训流程全过程、全场景覆盖，使培训内容形象化和直观化，该发明的成果可用于组织人员教育培训及考核等多种用途。

Description

基于增强现实技术的教育培训***及培训方法
技术领域
本发明涉及培训***技术领域，具体涉及教育培训***及培训方法。
背景技术
目前教育培训在组织上经常陷入形式单一、场景固定的困局，很容易让人员产生疲劳感、厌倦感，不能持续激发人员兴趣、持久保持学习动力。同时，培训过程中没有激励的因素，缺少相互竞争的氛围，从而导致访问率和完成率较低，学习效果不理想。
发明内容
本发明针对目前教育培训***存在的问题，提出教育培训***及培训方法，将增强现实、图像识别和位置服务技术运用到教育培训中的策略，利用教育培训***，以技术手段驱动教育培训，改变了组织培训的传统方式，实现了调动参与者积极性、激发人员培训活力的效果。
本发明采用以下技术方案。
第一方面，本发明提供了教育培训***，包括：用户管理模块、考试管理模块、增强现实模块以及位置服务模块；
所述用户管理模块，用于用户登录管理、用户注册管理以及人员信息管理；
所述考试管理模块，用于对试题库、试卷以及考试管理，所述考试管理模块与所述增强现实模块以及位置服务模块互相协调用；
所述增强现实模块，用于提供标记物识别功能，并基于标记物识别结果调用考试管理管理模块推送考试和培训内容；
所述位置服务模块，用于将标记物位置标注在地图上形成预埋点数据并对预埋点数据进行管理，基于预埋点数据提供预埋点位置指引功能，并调用考试管理管理模块推送考试和培训内容。
进一步地，所述用户管理模块还用于通过标准接口获取用户及用户积分数据，根据积分进行设定周期内的个人排名，根据名次进行奖励。
进一步地，所述考试管理模块对试题库管理包括搜索、查看、编辑、删除以及导入；所述考试管理模块对试卷管理包括搜索、查看、编辑、组卷和删除；所述考试管理模块对考试管理包括考试搜索、查看、编辑、删除以及历史记录。
进一步地，所述增强现实模块包括标记物识别模块，所述标记物识别模块，用于通过标准接口获取标记物信息，调用标记物识别组件和手机摄像头，将实时图像输入图像处理组件，经过预处理和分割后生成元图像，然后提取图像特征实时对比标记物信息与手机镜头画面图像，将其分类并最终匹配到合适的标记物。
再进一步地，所述标记物识别模块具体用于执行以下方法的步骤：
步骤1：将采集到的标记物图片像素点的彩色值转为灰度值，形成像素的二维矩阵A；
步骤2：利用索贝尔算子对像素的二维矩阵A进行边缘检测，生成具有目标对象边界的新像素二维矩阵B；
步骤3：对新像素二维矩阵B进行逐行扫描，找出目标的边缘连续区域，同时找出该区域的最高点、最低点、最左点和最右点，形成包含目标区域的矩形C；
步骤4：以矩形C的中心作为放射状直线的旋转中心点O，将放射状直线绕中心点O旋转，由0度旋转到180度，旋转的步长为1度；
步骤5：放射状直线每旋转1度，记录该直线与目标的边缘的交点集，求出这些交点的最长距离；
步骤6：求出上述180个最长距离中的最大者，以此做为包围目标边缘区域的圆R的直径，其中心即为此圆的圆心；
步骤7：依次扫描圆R，求出目标边缘内的像素总和P；
步骤8：求出圆R的面积S，将P/S作为归一化的特征值；
步骤9：以第8步获取的特征值与标记物信息进行匹配获得标记物识别结果。
进一步地，所述增强现实模块包括培训内容融合模块，所述培训内容融合模块用于通过标准数据接口获取培训内容，并调用基于标记物识别结果，然后叠加培训内容，将真实世界信息和虚拟世界信息融合。
进一步地，所述增强现实模块还包括标记物管理模块，所述标记物管理模块用于通过标准数据接口获取标记物信息，支持包括检索标记物、查看标记物列表、编辑标记物照片以及删除标记物照片操作。
进一步地，所述位置服务模块还包括位置服务模块，所述位置服务模块，用于通过电信移动运营商的无线电通讯网络或外部定位方式获取移动终端用户的位置信息，在地理信息***平台的支持下，为预埋点附加地理位置信息。
进一步地，所述位置服务模块还用于提供预埋点的路径导航。
第二方面，本发明提供了教育培训方法，包括：
通过用户管理模块对用户登录管理、用户注册管理以及人员信息管理；通过考试管理模块对试题库、试卷以及考试管理；
通过增强现实模块提供标记物识别功能，并基于标记物识别结果调用考试管理管理模块推送考试和培训内容；
通过位置服务模块将标记物位置标注在地图上形成预埋点数据并对预埋点数据进行管理，基于预埋点数据提供预埋点位置指引功能，并调用考试管理管理模块推送考试和培训内容。
进一步地，所述标记物识别模块具体执行以下方法步骤获得标记物识别结果：
步骤1：将采集到的标记物图片像素点的彩色值转为灰度值，形成像素的二维矩阵A；
步骤2：利用索贝尔算子对像素的二维矩阵A进行边缘检测，生成具有目标对象边界的新像素二维矩阵B；
步骤3：对新像素二维矩阵B进行逐行扫描，找出目标的边缘连续区域，同时找出该区域的最高点、最低点、最左点和最右点，形成包含目标区域的矩形C；
步骤4：以矩形C的中心作为放射状直线的旋转中心点O，将放射状直线绕中心点O旋转，由0度旋转到180度，旋转的步长为1度；
步骤5：放射状直线每旋转1度，记录该直线与目标的边缘的交点集，求出这些交点的最长距离；
步骤6：求出上述180个最长距离中的最大者，以此做为包围目标边缘区域的圆R的直径，其中心即为此圆的圆心；
步骤7：依次扫描圆R，求出目标边缘内的像素总和P；
步骤8：求出圆R的面积S，将P/S作为归一化的特征值；
步骤9：以第8步获取的特征值与标记物信息进行匹配获得标记物识别结果。
本发明所取得的有益技术效果：
本发明是一套适用于组织人员教育、考核的可视化交互式***，实现对培训流程全过程、全场景覆盖，使培训内容形象化和直观化，该发明的成果可用于组织人员教育培训及考核等多种用途。
本发明深度挖掘增强现实(AR Augmented Reality)技术与基于位置服务(Location Based Services)技术，并将二者有机结合，实现教育培训考试功能。***选取多个室内外场景标记物，然后将培训内容叠加在真实世界标记物上，并以动态方式呈现在客户端屏幕中。当人员运动到指定位置后，用手机扫描标记物，匹配成功后即弹出试题作答，答题竞赛结束后可以通过排行榜查看自己的排名。***利用“寻宝”的探索性学习方式调动参与积极性，通过“脑力+体力”形式激发深层认知，助力培训质量提升。因此，本发明提出的教育培训***具有较好的社会价值与教育意义。
本发明中标记物图像识别采用改进的识别方法，无论识别过程中获取的标记物图像(每一帧)倾斜、位移、大小等平面变换时，都可以进行比较良好的匹配。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明具体实施例方法流程示意图；
图2为本发明具体实施中标记物图像识别方法流程示意图；
图3为本发明具体实施例培训内容融合流程示意图；
图4为本发明具体实施例提供的***架构示意图；
图5为本发明具体实施例待识别标记物图像示意图；
图6为本发明具体实施例待识别标记物图像的外切圆示意图,
其中6(a)为待识别目标对象A的图像，6(b)为待识别目标对象A的外切圆示意图,6(c)为待识别目标对象B的图像，6(d)为待识别目标对象B的外切圆示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
为了更好地理解本发明具体实施例，以下名词解释：
1、标记物：现实世界景物的照片，用于试题识别过程；
2、预埋点：现实世界中某一地点，需要与标记物一一对应。***会收集该地点的地理位置信息，并将数据库中的培训信息与之关联。
实施例一、教育培训***，包括用户管理模块、考试管理模块、增强现实模块以及位置服务模块；所述用户管理模块，用于用户登录管理、用户注册管理以及人员信息管理；所述考试管理模块，用于对试题库、试卷以及考试管理，所述考试管理模块与所述增强现实模块以及位置服务模块互相协调用；所述增强现实模块，用于提供标记物识别功能，并基于标记物识别结果调用考试管理管理模块推送考试和培训内容；所述位置服务模块，用于将标记物位置标注在地图上形成预埋点数据并对预埋点数据进行管理，基于预埋点数据提供预埋点位置指引功能，并调用考试管理管理模块推送考试和培训内容。
一、用户管理模块
用户管理模块包括登录/注册、人员信息管理、排行榜等功能，见表1。
表1用户管理模块功能描述
Figure RE-GDA0002817557070000071
1、登录/注册
提供用户登录/注册人机界面，通过标准接口获取登录及注册请求，支持培训人员和管理员登录、注册等操作。
2、人员信息
提供人员信息管理人机界面，通过标准接口获取用户数据，支持人员信息查看、编辑、删除、导入、导出等操作。人员信息导入后，***自动生成个人档案。
3、排行榜
提供排行榜人机界面，通过标准接口获取用户及用户积分数据，根据积分进行日、周、月、年度个人排名，根据名次进行奖励。
二、考试管理模块
考试管理模块依托试题库、并与标记物模块、预埋点模块互相调用发布考试。模块支持试题库、试卷管理、考试管理等功能，详细见表2。
表2考试管理模块功能描述
Figure RE-GDA0002817557070000081
1、试题库
提供试题库模块人机界面，通过标准接口获取试题信息，支持添加试题、编辑试题、删除试题、预览试题、状态设置、批量导入等操作，可以根据试题分类、试题类型、试题难度进行快速搜索。
2、试卷管理
提供试卷管理模块人机界面，支持查看试卷列表、创建试卷、编辑试卷、删除试卷等操作，完成试卷内容设置后生成新试卷。
3、考试管理
提供考试管理模块人机界面，支持查看考试列表、创建考试、编辑考试、删除考试、发布考试等操作，可以通过选择新建一张试卷或从试卷库中选择一张试卷来创建考试，完成考试名称、分类、时间、答卷时长、及格分数、参与人员等选项设置后发布考试。
三、增强现实模块
增强现实模块的功能描述如表3所示。
表3增强现实模块功能描述
Figure RE-GDA0002817557070000091
1、标记物识别模块
提供标记物识别能力，通过标准接口获取标记物信息，调用标记物识别组件和手机摄像头，将实时图像输入图像处理组件，经过预处理和分割后生成元图像，然后提取图像特征实时对比标记物与手机镜头画面图像，将其分类并最终匹配到合适的标记物，其基本流程图如图2所示。
2、培训内容融合模块
提供培训内容可视化人机界面，通过标准数据接口获取培训内容，并调用增强现实组件实时地计算摄影机影像位置及角度，然后叠加培训内容(如试题、学习资料等)，将真实世界信息和虚拟世界信息“无缝”融合，支持在手机屏幕上进行答题、观看学习资料等互动操作。
其基本流程图如图3所示所示：
3、标记物管理模块提供标记物管理人机界面，通过标准数据接口获取标记物信息，支持检索标记物、查看标记物列表、编辑标记物照片、删除标记物照片等操作。支持调用手机摄像头拍摄标记物照片上传，可以对标记物图片进行裁剪、批量上传等。
管理员可以全局管理***内全部标记物，为培训考试匹配适合的标记照片。
四、位置服务模块
位置服务模块的功能描述如表4所示。
表4位置服务模块的功能描述
Figure RE-GDA0002817557070000101
1、实时地图模块
提供实时地图人机界面，通过标准接口获取真实地图数据，将标记物位置标注在实时地图上，形成预埋点数据。实时地图支持预埋点位置指引、路径导航、信息版查看等功能。
2、位置服务模块
通过电信移动运营商的无线电通讯网络(如GSM网、CDMA网) 或外部定位方式(如GPS)获取移动终端用户的位置信息(地理坐标，或大地坐标)，在地理信息***(外语缩写：GIS、外语全称：Geographic Information System)平台的支持下，为预埋点附加地理位置信息。
支持新增预埋点地理信息、编辑预埋点位置、删除预埋点地理信息等操作。
3、预埋点管理模块
提供预埋点管理人机界面，通过标准数据接口获取预埋点位置信息，支持检索、查看、编辑、删除等操作。并且可以由管理员直接设置并导入预埋点位置信息。
本发明旨在解决在组织人员教育培训活动中，如何利用增强现实技术、基于位置服务技术将格式化的考核数据和培训过程可视化，以及将该***通过人机交互界面与受训者进行交互过程的实现。通过该发明的实现，可以将人员教育培训参与考试、答题答卷等枯燥抽象的内容形象化、直观化，利用“寻宝”的探索性学习方式调动参与积极性，通过“脑力+体力”形式激发深层认知，助力培训质量提升。
目前教育培训活动中，由于培训场景多变、***管理员操作水平等原因，使得标记物图像采集质量参差不齐，经常发生无法正确识别标记物或者识别效率低下的问题，从而导致访问率和完成率不高，学习效果不理想。因此本发明提出了一种将传统图像识别方法优化的策略，利用教育培训***，以技术手段驱动教育培训，实现培训效率的提升，充分调动参与者积极性、激发人员培训活力的效果。
实施例二、实施例一的基础上，为了提高标记物识别率，以技术手段驱动教育培训，实现培训效率的提升，本实施例提供的教育培训***中，所述标记物识别模块具体用于执行以下方法的步骤：
1、将待识别标记物图片读入内存，并将像素点的彩色值转为灰度值，形成像素的二维矩阵A。
2、利用索贝尔算子(Sobel，Sobel operator)对像素的二维矩阵进行边缘检测，生成具有目标对象边界的新像素二维矩阵B。在技术上索贝尔算子是一离散性差分算子，用来运算图像亮度函数的灰度之近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量。算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：
Gx＝(-1)*f(x-1,y-1)+0*f(x,y-1)+1*f(x+1,y-1)+(-2)*f(x-1,y)+0*f( x,y)+2*f(x+1,y)+(-1)*f(x-1,y+1)+0*f(x,y+1)+1*f(x+1,y+1)＝[f(x+1,y- 1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]
Gy＝1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)+0*f(x-1,y)0*f(x,y)+0 *f(x+1,y)+(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)＝[f(x-1,y-1) +2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]
其中f(a,b)表示图像(a,b)点的灰度值；
3、对新像素二维矩阵B进行逐行扫描，找出目标的边缘连续区域，同时找出该区域的最高点、最低点、最左点和最右点，形成包含目标区域的矩形C。
4、以矩形C的中心做为放射状直线的旋转中心点O，将放射状直线绕中心点O旋转，由0度旋转到180度，旋转的步长为1度。
5、放射状直线每旋转1度，记录该直线与目标的边缘的交点集，求出这些交点的最长距离。
6、求出上述180个最长距离中的最大者，以此做为包围目标边缘区域的圆R(圆R也就是目标对象的外切圆)的直径，其中心即为此圆的圆心。
7、依次扫描圆R，求出目标边缘内的像素总和P。
8、求出圆R的面积S，将P/S作为归一化的特征值。
9、以第8步获取的特征值来识别图像。
本实施例在提取出目标对象的边缘后，通过求出此目标对象的外切圆(如图6所示)，并获得此外切圆的圆心O、半径R及圆内像素点的总数S，再求出位于目标对象边缘中的像素点个数P，将 P/S作为归一化的特征值V，通过O和V三个特征量来形成最佳匹配关系。
相较传统的基于形状的图像识别算法，本专利所提出的上述算法可以考虑到了用户对目标对象进行手机拍照时，因手机放置的前后、左右等位置差异而产生的误差，并通过“P/S作为归一化的特征值V，通过O和V三个特征量”来消除这种误差，从而提高了识别精度。
本实施例提出了一种图像识别优化方法，对该领域经典的特征提取算法ShapeContext进行了改进，使其识别成功率更高(待识别图像如图5所示)，更加符合教育培训场景。
Shape Context是一个用于形状识别的，非常经典的特征提取方法，它由SergeBelongie和Jitendra Malik于2002年与“Shape matching and object recognitionusing shape contexts”一文中提出。这种特征提取方法能够衡量形状之间的相似性，并且能够同时得出形状上的点对应关系。
Shape Context在表示形状时，首先会在形状的轮廓上采样N个点；而对每一个点来说，会利用其周围点的信息，为其提取一个向量，来表示这个点。如此一来，每一个形状便由N个向量来表示了；向量之间是可以衡量距离的，在确定这种距离的衡量方式后，便可以利用匈牙利(Hungarian)算法找出两个形状之间，N对N的最佳匹配关系了。
利用Shape Context进行图像识别(识别英文字符)
利用Shape Context进行字符图像识别的过程，便是找出与待识别形状最相似模板库图像的过程。
本实施例提供的基于增强现实与位置服务的教育培训***通过“应用支撑平台”实现底层公共基础功能，其上由三层配合构成培训***，自下而上为：数据存储层、***服务层和培训工具层，如图4 所示：
1、应用支撑平台
包括公共数据资源、基础服务、云基础设施等模块。其中，云基础设施包括硬件模块(如服务器主机、存储介质和网络设备)，通过虚拟化技术对底层硬件资源进行抽象、整合，屏蔽各自底层的差异性，提供统一的运行环境，并通过易用的访问接口对外提供动态灵活的硬件基础设施服务。
基础服务包括消息管理、接口管理、调度管理、镜像管理、安全管理、部署管理等服务。
公共数据资源为基础服务过程中产生的各种数据信息。
2、数据存储层
包括基础信息数据库、培训信息数据库等，提供对人员、考试、标记物、预埋点等资源数据的存储和访问能力，并且为上层架构提供通用的资源访问和调用服务。
3、***服务层
由用户管理、考试管理、增强现实、位置服务模块组成，是整个***服务的核心层，其中用户管理模块提供登录/注册、人员信息、排行榜等功能；考试管理支持试题库、试卷管理、考试管理等功能；增强现实模块支持标记物识别、培训内容融合、标记物管理等功能；位置服务模块支持实时地图、位置服务、预埋点管理等功能。
***服务层可以对外提供培训业务接口及相关培训功能，并与上层培训工具层互联互通协作使用，为人员提供完整的培训服务。
4、培训工具层
***支持Web端访问、移动端访问，其中Web端主要用于访问用户管理、考试管理、标记物管理、预埋点管理等功能模块；移动端主要用于标记物识别、培训内容可视化、获取位置服务、参与实际培训活动等。
5、服务对象
***服务对象包括培训人员、管理员等。
实施例三、与以上培训***实施例相对应的，本实施例提供了培训方法，包括：通过用户管理模块对用户登录管理、用户注册管理以及人员信息管理；通过考试管理模块对试题库、试卷以及考试管理；通过增强现实模块提供标记物识别功能，并基于标记物识别结果调用考试管理管理模块推送考试和培训内容；通过位置服务模块将标记物位置标注在地图上形成预埋点数据并对预埋点数据进行管理，基于预埋点数据提供预埋点位置指引功能，并调用考试管理管理模块推送考试和培训内容。
实施例四、在实施例三的基础上，本实施例中所述标记物识别模块具体执行以下方法步骤获得标记物识别结果：
其具体流程如下：
1、将图片读入内存，并将像素点的彩色值转为灰度值，形成像素的二维矩阵A。
2、利用索贝尔算子(Sobel，Sobel operator)对像素的二维矩阵进行边缘检测，生成具有目标对象边界的新像素二维矩阵B。在技术上索贝尔算子是一离散性差分算子，用来运算图像亮度函数的灰度之近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量。算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：
Gx＝(-1)*f(x-1,y-1)+0*f(x,y-1)+1*f(x+1,y-1)+(-2)*f(x-1,y)+0*f(x,y) +2*f(x+1,y)+(-1)*f(x-1,y+1)+0*f(x,y+1)+1*f(x+1,y+1)＝[f(x+1,y-1)+2*f (x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]
Gy＝1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)+0*f(x-1,y)0*f(x,y)+0*f( x+1,y)+(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)＝[f(x-1,y-1)+2f(x, y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]
其中f(a,b)表示图像(a,b)点的灰度值；
3、对新像素二维矩阵B进行逐行扫描，找出目标的边缘连续区域，同时找出该区域的最高点、最低点、最左点和最右点，形成包含目标区域的矩形C。
4、以矩形C的中心做为放射状直线的旋转中心点O，将放射状直线绕中心点O旋转，由0度旋转到180度，旋转的步长为1度。
5、放射状直线每旋转1度，记录该直线与目标的边缘的交点集，求出这些交点的最长距离。
6、求出上述180个最长距离中的最大者，以此做为包围目标边缘区域的圆R(圆R也就是目标对象的外切圆)的直径，其中心即为此圆的圆心。
7、依次扫描圆R，求出目标边缘内的像素总和P。
8、求出圆R的面积S，将P/S作为归一化的特征值。
9、以第8步获取的特征值来识别图像。
本实施例在提取出目标对象的边缘后，通过求出此目标对象的外切圆(如图6所示)，并获得此外切圆的圆心O、半径R及圆内像素点的总数S，再求出位于目标对象边缘中的像素点个数P，将P/S 作为归一化的特征值V，通过O和V三个特征量来形成最佳匹配关系。
因此，与传统的基于形状的图像识别算法对比，本专利所提出的上述算法可以考虑到用户对目标对象进行手机拍照时，因手机放置的前后、左右等位置差异而产生的误差，并通过“P/S作为归一化的特征值V，通过O和V三个特征量”来消除这种误差。其原因是在手机拍照时发生前后或左右的位置变化时，虽然目标对象的形状所对应的外切圆半径会跟随发生变化，但圆心点和“P/S所得的归一化特征值 V”只会发生微小变化，从而提高了识别的准确度。
本发明有机结合增强现实(AR Augmented Reality)技术与基于位置服务(Location Based Services)技术，实现培训和考试功能。***选取多个室内外场景标记物，拍摄景物照片作为标记物，将其所在地理位置记录为预埋点，然后将培训内容叠加在真实世界标记物上，并以动态方式呈现在客户端屏幕中。当人员运动到指定位置后，用手机扫描标记物，匹配成功后即弹出试题作答，答题竞赛结束后可以通过排行榜查看自己的排名。***利用类似“寻宝”的探索性学习方式调动人员参与积极性，通过“脑力+体力”形式激发深层认知，助力培训质量提升。
上述仅为本发明的优选实施例，本发明并不仅限于实施例的内容。对于本领域中的技术人员来说，在本发明的技术方案范围内可以有各种变化和更改，所作的任何变化和更改，均在本发明保护范围之内。

Claims (10)

1.基于增强现实技术的教育培训***，其特征在于，包括：用户管理模块、考试管理模块、增强现实模块以及位置服务模块；
所述用户管理模块，用于用户登录管理、用户注册管理以及人员信息管理；
所述考试管理模块，用于对试题库、试卷以及考试管理，所述考试管理模块与所述增强现实模块以及位置服务模块互相协调用；
所述增强现实模块，用于提供标记物识别功能，并基于标记物识别结果调用考试管理管理模块推送考试和培训内容；
所述位置服务模块，用于将标记物位置标注在地图上形成预埋点数据并对预埋点数据进行管理，基于预埋点数据提供预埋点位置指引功能，并调用考试管理管理模块推送考试和培训内容。
2.根据权利要求1所述的基于增强现实技术的教育培训***，其特征在于，所述考试管理模块对试题库管理包括搜索、查看、编辑、删除以及导入；所述考试管理模块对试卷管理包括搜索、查看、编辑、组卷和删除；所述考试管理模块对考试管理包括考试搜索、查看、编辑、删除以及历史记录。
3.根据权利要求1所述的基于增强现实技术的教育培训***，其特征在于，所述增强现实模块包括标记物识别模块，所述标记物识别模块，用于通过标准接口获取标记物信息，调用标记物识别组件和手机摄像头，将实时图像输入图像处理组件，经过预处理和分割后生成元图像，然后提取图像特征实时对比标记物信息与手机镜头画面图像，将其分类并最终匹配到合适的标记物。
4.根据权利要求3所述的基于增强现实技术的教育培训***，其特征在于，所述标记物识别模块具体用于执行以下方法的步骤：
步骤1：将采集到的标记物图片像素点的彩色值转为灰度值，形成像素的二维矩阵A；
步骤2：利用索贝尔算子对像素的二维矩阵A进行边缘检测，生成具有目标对象边界的新像素二维矩阵B；
步骤3：对新像素二维矩阵B进行逐行扫描，找出目标的边缘连续区域，同时找出该区域的最高点、最低点、最左点和最右点，形成包含目标区域的矩形C；
步骤4：以矩形C的中心作为放射状直线的旋转中心点O，将放射状直线绕中心点O旋转，由0度旋转到180度，旋转的步长为1度；
步骤5：放射状直线每旋转1度，记录该直线与目标的边缘的交点集，求出这些交点的最长距离；
步骤6：求出上述180个最长距离中的最大者，以此做为包围目标边缘区域的圆R的直径，其中心即为此圆的圆心；
步骤7：依次扫描圆R，求出目标边缘内的像素总和P；
步骤8：求出圆R的面积S，将P/S作为归一化的特征值；
步骤9：以第8步获取的特征值与标记物信息进行匹配获得标记物识别结果。
5.根据权利要求1所述的基于增强现实技术的教育培训***，其特征在于，所述增强现实模块包括培训内容融合模块，所述培训内容融合模块用于通过标准数据接口获取培训内容，并调用基于标记物识别结果，然后叠加培训内容，将真实世界信息和虚拟世界信息融合。
6.根据权利要求1所述的基于增强现实技术的教育培训***，其特征在于，所述增强现实模块包括标记物管理模块，所述标记物管理模块用于通过标准数据接口获取标记物信息，支持包括检索标记物、查看标记物列表、编辑标记物照片以及删除标记物照片操作。
7.根据权利要求1所述的基于增强现实技术的教育培训***，其特征在于，所述位置服务模块还包括位置服务模块，所述位置服务模块，用于通过电信移动运营商的无线电通讯网络或外部定位方式获取移动终端用户的位置信息，在地理信息***平台的支持下，为预埋点附加地理位置信息。
8.根据权利要求1所述的基于增强现实技术的教育培训***，其特征在于，所述位置服务模块还用于提供预埋点的路径导航。
9.基于增强现实技术的教育培训方法，其特征在于，包括：
通过用户管理模块对用户登录管理、用户注册管理以及人员信息管理；通过考试管理模块对试题库、试卷以及考试管理；
通过增强现实模块提供标记物识别功能，并基于标记物识别结果调用考试管理管理模块推送考试和培训内容；
通过位置服务模块将标记物位置标注在地图上形成预埋点数据并对预埋点数据进行管理，基于预埋点数据提供预埋点位置指引功能，并调用考试管理管理模块推送考试和培训内容。
10.根据权利要求9所述的基于增强现实技术的教育培训方法，其特征在于，所述标记物识别模块具体执行以下方法步骤获得标记物识别结果：
步骤1：将采集到的标记物图片像素点的彩色值转为灰度值，形成像素的二维矩阵A；
步骤2：利用索贝尔算子对像素的二维矩阵A进行边缘检测，生成具有目标对象边界的新像素二维矩阵B；
步骤3：对新像素二维矩阵B进行逐行扫描，找出目标的边缘连续区域，同时找出该区域的最高点、最低点、最左点和最右点，形成包含目标区域的矩形C；
步骤4：以矩形C的中心作为放射状直线的旋转中心点O，将放射状直线绕中心点O旋转，由0度旋转到180度，旋转的步长为1度；
步骤5：放射状直线每旋转1度，记录该直线与目标的边缘的交点集，求出这些交点的最长距离；
步骤6：求出上述180个最长距离中的最大者，以此做为包围目标边缘区域的圆R的直径，其中心即为此圆的圆心；
步骤7：依次扫描圆R，求出目标边缘内的像素总和P；
步骤8：求出圆R的面积S，将P/S作为归一化的特征值；
步骤9：以第8步获取的特征值与标记物信息进行匹配获得标记物识别结果。
CN202011047034.8A 2020-09-29 2020-09-29 基于增强现实技术的教育培训***及培训方法 Pending CN112201101A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011047034.8A CN112201101A (zh) 2020-09-29 2020-09-29 基于增强现实技术的教育培训***及培训方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011047034.8A CN112201101A (zh) 2020-09-29 2020-09-29 基于增强现实技术的教育培训***及培训方法

Publications (1)

Publication Number Publication Date
CN112201101A true CN112201101A (zh) 2021-01-08

Family

ID=74007831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011047034.8A Pending CN112201101A (zh) 2020-09-29 2020-09-29 基于增强现实技术的教育培训***及培训方法

Country Status (1)

Country Link
CN (1) CN112201101A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178262B1 (en) * 1994-03-11 2001-01-23 Cognex Corporation Circle location
CN104392206A (zh) * 2014-10-24 2015-03-04 南京航空航天大学 一种指针式仪表读数自动识别的图像处理方法
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训***和方法
CN109711284A (zh) * 2018-12-11 2019-05-03 江苏博墨教育科技有限公司 一种考试答题卡***智能识别分析方法
CN110458119A (zh) * 2019-08-15 2019-11-15 中国水利水电科学研究院 一种非接触式测量的混凝土骨料级配快速识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178262B1 (en) * 1994-03-11 2001-01-23 Cognex Corporation Circle location
CN104392206A (zh) * 2014-10-24 2015-03-04 南京航空航天大学 一种指针式仪表读数自动识别的图像处理方法
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训***和方法
CN109711284A (zh) * 2018-12-11 2019-05-03 江苏博墨教育科技有限公司 一种考试答题卡***智能识别分析方法
CN110458119A (zh) * 2019-08-15 2019-11-15 中国水利水电科学研究院 一种非接触式测量的混凝土骨料级配快速识别方法

Similar Documents

Publication Publication Date Title
CN110689623B (zh) 基于增强现实显示的游客导览***及方法
USRE43545E1 (en) Virtual skywriting
US8180146B2 (en) Method and apparatus for recognizing and localizing landmarks from an image onto a map
EP1246080B1 (en) Automated annotation of a view
CN102884400B (zh) 信息处理设备，信息处理***和程序
US4685068A (en) Generic database generator system and method
JP5797419B2 (ja) 地図情報処理装置、ナビゲーション装置、地図情報処理方法、およびプログラム
CN107870962B (zh) 适地性空间物件远距管理方法与***
CN111242704A (zh) 用于在现实场景中叠加直播人物影像的方法和电子设备
CN110781195B (zh) 一种兴趣点信息更新的***、方法和装置
CN109657728B (zh) 样例生产方法及模型训练方法
KR102388777B1 (ko) ３６０도 ｖｒ 카메라를 이용한 연도변 조사 서비스 제공 시스템
CN114283255A (zh) 一种与工况时序匹配的地下工程巡查全景影像处理方法
CN107590776A (zh) 图像处理装置和图像处理方法
Kohler et al. Supporting image geolocation with diagramming and crowdsourcing
CN105845020A (zh) 一种实景地图制作方法及装置
TW201823929A (zh) 移動物件的虛擬訊息遠距管理方法與應用系統
CN112132750B (zh) 一种视频处理方法与装置
JPH1166350A (ja) 検索型景観ラベリング装置およびシステム
CN112201101A (zh) 基于增强现实技术的教育培训***及培训方法
CN115713603A (zh) 基于建筑空间图谱的多类型街区建筑群形态智能生成方法
CN107945353B (zh) 一种基于深度学习的自助导游***
KR20210056560A (ko) 지도 정보 제공 장치 및 방법
THIRUCHELVAM et al. Crime scene reconstruction based on a suitable software: A comparison study
Schepper et al. Immersive Experience for Sustainable Tourism-The Potential of a Community-Based 3D Scanning Database App on the Example of South East Asia

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210108