CN108109460A - 一种具有增强现实功能化工厂的教学参观设备 - Google Patents

一种具有增强现实功能化工厂的教学参观设备 Download PDF

Info

Publication number
CN108109460A
CN108109460A CN201711365336.8A CN201711365336A CN108109460A CN 108109460 A CN108109460 A CN 108109460A CN 201711365336 A CN201711365336 A CN 201711365336A CN 108109460 A CN108109460 A CN 108109460A
Authority
CN
China
Prior art keywords
augmented reality
equipment
host computer
factory
moving cart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711365336.8A
Other languages
English (en)
Inventor
郑龙江
张彩江
张立国
王松
郭文龙
盖帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN201711365336.8A priority Critical patent/CN108109460A/zh
Publication of CN108109460A publication Critical patent/CN108109460A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种具有增强现实功能的化工厂教学参观设备。该设备由移动小车、上位机以及增强现实头盔组成，移动小车按照特定的轨迹在工厂内行走，其上部安装相机，代替人眼观察工厂内场景，将采集的数据传输到上位机，在上位机中利用增强现实技术，将虚拟的文字信息以及各个设备的三维模型叠加到真实的工厂场景数据中，增强现实头盔接收来自上位机的虚实混合场景数据，通过佩戴增强现实头盔模拟一种在工厂内行走的沉浸式体验。本发明采用增强现实技术，模拟一种在工厂内行走的真三维沉浸式体验，学生在获得真实体验的同时避免在工厂内真实参观的各种危险情况。

Description

一种具有增强现实功能化工厂的教学参观设备
技术领域
本发明涉及一种具有增强现实功能化工厂的教学参观设备,它是一种具有增强现实沉浸式体验以及远程学习操作的教学参观设备。
背景技术
目前各工科院校对于化工专业等课程的教学，大部分只是以简单的图文形式来进行教学，这种教学模式枯燥乏味，不能激发学生的学习兴趣，使学习这些课程的学生对化工生产过程没有全面、直观的认识，不了解各个大型设备的运行原理以及内部结构，毕业生缺乏相应的专业技能，难以满足企业对于人才的需求。虽然部分大学在图文教学的同时，组织学生去工厂实地参观，但是参观时间短，不能对整个生产过程进行了解，而且化工生产过程危险系数高，难以保障学生的人身安全。另外，大批学生的参观间接影响工厂的生产效率。
发明内容
本发明的目的是为了克服现有技术的不足之处，提供一种具有增强现实功能的化工厂教学参观设备。该设备由移动小车、上位机以及增强现实头盔组成，移动小车按照特定的轨迹在工厂内行走，其上部安装摄像机，代替人眼观察工厂内场景，将采集的数据传输到上位机，在上位机中利用增强现实技术，将虚拟的文字信息以及各个设备的三维模型叠加到真实的工厂场景数据中，增强现实头盔接收来自上位机的虚实混合场景数据，通过佩戴增强现实头盔模拟一种在工厂内行走的沉浸式体验。
为了解决上述存在的技术问题，本发明是通过以下技术方案实现的：
一种具有增强现实功能的化工厂教学参观设备，该设备由移动小车、上位机以及增强现实头盔组成；所述移动小车上安装有摄像机用于采集工厂内场景数据，通过无线网络传输到所述上位机，所述上位机采用增强现实技术将虚拟信息叠加到工厂内的真实场景数据中，再传输到所述增强现实头盔中，所述增强现实头盔能够使佩戴者模拟一种在工厂内行走的真三维沉浸式体验，并通过叠加到场景中的虚拟信息能够进一步学习工厂内各个设备的运行状态以及内部构造；所述无线网络由ZigBee搭建，覆盖整个工厂范围。
所述移动小车是由STM32单片机控制驱动小车电机，按照设定的轨迹在工厂内移动，通过所述上位机控制所述移动小车的移动和停止；所述移动小车上的摄像机通过所述上位机控制其转动角度，以不同的视角采集工厂内场景数据；所述移动小车将采集的工厂内场景数据通过无线网络实时地传输到上位机。
所述上位机包括第一上位机和第二上位机，第一上位机位于所述移动小车上，用于接收所述移动小车采集的实时视频数据；第二上位机位于增强现实头盔上，第一上位机和第二上位机之间利用云服务器进行数据传输以及命令传递，并能够实现远程操控；第二上位机在接收到工厂内的实时数据之后，通过识别工厂内设备上的标识物，对各个设备进行识别定位，利用三维注册技术将虚拟信息叠加到真实的设备周围，得到增强现实的虚实混合数据，并且通过无线网络传输到所述增强现实头盔；所述移动小车的移动和停止、所述摄像机转动角度以及所述增强现实头盔中虚拟信息的显示，均通过第二上位机操控；所述虚拟信息包括工厂设备的文字介绍，以及设备的三维模型；所述三维模型是根据工厂设备内部的真实结构进行建模，能够模拟该设备的运行状态，并能够对三维模型进行一键拆解，直观展现其内部结构。
所述增强现实头盔通过无线网络从第二上位机接收经过叠加混合的工厂内场景数据，将其投影到头盔前方的镜片中。学员通过佩戴增强现实头盔模拟一种在工厂内行走的真三维沉浸式体验，并通过叠加的虚拟信息，如设备的三维模型进一步学习工厂内各个设备的运行状态以及内部构造。
本发明所述一种具有增强现实功能的化工厂教学参观设备还具有教师***，所述教师***通过第二上位机控制增强现实头盔中三维模型虚拟信息的显示，控制增强现实头盔中所模拟设备的运行状态，并能够对三维模型进行一键拆解；使学生能够更加直观、明了地学习化工生产过程各个设备的运行原理以及各个设备的内部构造；另一方面，所述教师***通过第二上位机还能够控制移动小车的移动和停止以及控制摄像机的转动角度，以便观察工厂内感兴趣的设备。
本发明所述一种具有增强现实功能的化工厂教学参观设备还具有远程学习功能，第一上位机和第二上位机通过云服务器进行数据传输以及命令控制，实现远程操作；同时，多组位于不同地点的第一上位机和第二上位机可以通过云服务器实现配对连接，而不是只能一对一连接，这样能够最大程度的实现资源共享，可以使资源得到最大的利用，使学生学习到更多的专业技能。
由于采用上述技术方案，本发明提供的一种具有增强现实功能的化工厂教学参观设备，与现有技术相比具有这样的有益效果：
采用增强现实技术，模拟一种在工厂内行走的真三维沉浸式体验，学生在获得真实体验的同时避免在工厂内真实参观的各种危险情况；
采用增强现实技术，将虚拟的设备模型叠加显示到真实的环境中，能够使教学更加生动形象，激发学生学习兴趣；
具有远程学习功能，教学活动以及学生自主学习不受时间、空间的限制，使学习更加方便、自由；
实现资源共享化，使资源得到最大的利用，同时，学生能够获取更多的学习资源。
附图说明
图1是本发明整体示意图；
图2是本发明结构示意图；
图3是本发明三维注册技术的流程图；
图4是本发明三维注册技术坐标关系转换图；
图5是本发明增强现实的场景效果图；
图6是本发明三维设备模型的拆解效果图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明的一种具有增强现实功能的化工厂教学参观设备，如图1所示，该设备由移动小车、上位机和增强现实头盔组成。所述移动小车上安装有摄像机用于采集工厂内场景数据，通过无线网络传输到所述上位机，所述上位机采用增强现实技术将虚拟信息叠加到工厂内的真实场景数据中，再传输到增强现实头盔中，学员通过佩戴增强现实头盔模拟一种在工厂内行走的真三维沉浸式体验，并通过叠加到场景中的虚拟信息进一步学习工厂内各个设备的运行状态以及内部构造。所述无线网络由ZigBee搭建，覆盖整个工厂范围。
所述移动小车是由STM32单片机控制驱动小车电机，按照设定的轨迹在工厂内移动，通过所述上位机控制所述移动小车的移动和停止；所述移动小车上的摄像机通过所述上位机控制其转动角度，以不同的视角采集工厂内场景数据；所述移动小车将采集的工厂内场景数据通过无线网络实时地传输到上位机。
所述上位机包括第一上位机和第二上位机，第一上位机位于移动小车上，用于接收移动小车采集的实时视频数据；第二上位机位于增强现实头盔上，第一上位机和第二上位机之间利用云服务器进行数据传输以及命令传递，可实现远程操控，第二上位机在接收到工厂内的实时数据之后，通过识别工厂内设备上的标识物，对各个设备进行识别定位，利用三维注册技术将虚拟信息叠加到真实的设备周围，得到增强现实的虚实混合数据，并且通过无线网络传输到增强现实头盔。所述移动小车的移动和停止、所述摄像机转动角度以及所述增强现实头盔中虚拟信息的显示，均通过第二上位机操控；
所述的虚拟信息包括设备的文字介绍，以及设备的三维模型。
所述三维模型是根据设备内部的真实结构进行建模的，可以模拟设备的运行状态，另外还可以对三维模型进行一键拆解，直观的展现其内部结构。
在本发明中采用基于人工标识物的视觉跟踪注册技术，通过识别放置在各个设备上不同的标识物，完成对各个设备的识别定位。所述三维注册技术，其实现流程图如图3所示，其整个三维注册过程包括如下步骤：
第一步：图像特征检测与描述，主要是提取图像中标识物的特征信息，对其特征进行描述，本发明中采用FAST(Features from Accelerated Segment Test)算法检测特征点，计算待检测像素点与邻域内像素点的灰度值，这些像素点分为三类：
其中d为待检测点C的邻域点，Id为该点的灰度值，IC为待检测点C的灰度值，t为自定义的阈值，-1,0,1分别表示点d比检测点C暗、相似或亮。如果存在n个连续像素点被检测为暗点(d＝-1)或亮点(d＝1)，则判定该点为角点。另外，本发明采用ORB(oriented FASTandrotated BRIEF)算法对角点进行描述，该算法定义特征点的主方向为：
θ＝a tan2(m01,m10)
其中，为该像素x方向的区域灰度和，为该像素y方向的区域灰度和。定义描述符为：
gn(p,θ)＝fn(p)|(xi,yi)∈Sθ
其中，S为根据所选取的n组像素块对的中心像素点位置组合(xi,yi)定义的一个大小为2xn的矩阵。
第二步：进行特征匹配，从特征信息模板库中寻找相应的匹配标识物。
第三步：计算摄像机姿态，通过上述步骤识别出图像中的标识物，以该标识物所在平面为Z平面，建立右手坐标系，根据公式
计算摄像机外参旋转矩阵R和平移向量T以及内参fu、fv、u0、v0、s，得到外参矩阵M1和内参矩阵M2，确定摄像机姿态得到投影矩阵M。
第四步：虚实注册，以图像为投影平面，根据上一步计算的摄像机外参、内参，以图4所示的坐标转换顺序，对虚拟信息进行相应的投影变换，将其叠加到目标物上，实现增强现实效果。
图2所示是本发明结构示意图。移动小车按照特定的轨迹在工厂内移动，利用安装在其上部的摄像机代替人眼观察工厂内环境，并通过无线网络将采集的工厂内场景数据传输到第一上位机；第一上位机和第二上位机之间利用云服务器进行数据传输以及命令传递，实现远程操控，同时位于不同工厂的第一上位机和不同地点的第二上位机能够互相连接，而不是只能一对一连接，实现资源的最大共享化；第二上位机在接收到工厂内的实时数据之后，通过识别工厂内设备上的标识物，对各个设备进行识别定位，利用三维注册技术将虚拟信息叠加到真实的设备周围，得到增强现实的虚实混合数据，并且通过无线网络传输到增强现实头盔，另一方面通过第二上位机进行课程设置以及对移动小车进行远程控制，例如控制增强现实头盔中虚拟三维模型的显示、移动小车的起停以及摄像机的转动角度等；增强现实头盔将接收到的影像投影到其前方的镜片上，学生佩戴增强现实头盔就会看到经过增强现实之后的工厂内场景，移动小车代替学生在工厂内行走，摄像机代替人眼进行观察，模拟一种在工厂内行走的沉浸式体验，并通过虚拟的设备的三维模型学习各个设备的内部结构，了解其运行状态。
所述的增强现实头盔通过无线网络接收虚实混合的工厂内场景数据，将其投影的头盔前方的镜片中，学员通过佩戴增强现实头盔模拟一种在工厂内行走的真三维沉浸式体验，并通过叠加的虚拟信息，如设备的三维模型进一步学习工厂内各个设备的运行状态以及内部构造。
图5所示是本发明增强现实的场景效果。将一个虚拟的发动机三维模型通过增强现实技术放到真实的环境中，学生通过佩戴增强现实头盔就能看到发动机模型真实的放置在环境中，并且能够模拟运行状态，就像一个真实的发动机在眼前运行一样。另外，图6所示是本发明三维设备模型的拆解效果图，对虚拟设备的三维模型进行一键拆解，显示出设备的各个组成部分，这样使学生能够更直观的了解设备的内部构造。

Claims (6)

1.一种具有增强现实功能的化工厂教学参观设备，其特征在于：该设备由移动小车、上位机以及增强现实头盔组成；所述移动小车上安装有摄像机用于采集工厂内场景数据，通过无线网络传输到所述上位机，所述上位机采用增强现实技术将虚拟信息叠加到工厂内的真实场景数据中，再传输到所述增强现实头盔中，所述增强现实头盔能够使佩戴者模拟一种在工厂内行走的真三维沉浸式体验，并通过叠加到场景中的虚拟信息能够进一步学习工厂内各个设备的运行状态以及内部构造；所述无线网络由ZigBee搭建，覆盖整个工厂范围。
2.根据权利要求1所述的一种具有增强现实功能的化工厂教学参观设备，其特征在于：所述移动小车是由STM32单片机控制驱动小车电机，按照设定的轨迹在工厂内移动，通过所述上位机控制所述移动小车的移动和停止；所述移动小车上的摄像机通过所述上位机控制其转动角度，以不同的视角采集工厂内场景数据；所述移动小车将采集的工厂内场景数据通过无线网络实时地传输到上位机。
3.根据权利要求1所述的一种具有增强现实功能的化工厂教学参观设备，其特征在于：所述上位机包括第一上位机和第二上位机，第一上位机位于所述移动小车上，用于接收所述移动小车采集的实时视频数据；第二上位机位于增强现实头盔上，第一上位机和第二上位机之间利用云服务器进行数据传输以及命令传递，并能够实现远程操控；第二上位机在接收到工厂内的实时数据之后，通过识别工厂内设备上的标识物，对各个设备进行识别定位，利用三维注册技术将虚拟信息叠加到真实的设备周围，得到增强现实的虚实混合数据，并且通过无线网络传输到所述增强现实头盔，所述移动小车的移动和停止、所述摄像机转动角度以及所述增强现实头盔中虚拟信息的显示，均通过第二上位机操控；所述虚拟信息包括工厂设备的文字介绍，以及设备的三维模型；所述三维模型是根据工厂设备内部的真实结构进行建模，能够模拟该设备的运行状态，并能够对三维模型进行一键拆解，直观展现其内部结构。
4.根据权利要求1所述的一种具有增强现实功能的化工厂教学参观设备，其特征在于：所述增强现实头盔通过无线网络从第二上位机接收经过叠加混合的工厂内场景数据，将其投影到头盔前方的镜片中。
5.根据权利要求1所述的一种具有增强现实功能的化工厂教学参观设备，其特征在于：所述设备还具有教师***，所述教师***通过第二上位机控制增强现实头盔中三维模型虚拟信息的显示，控制增强现实头盔中所模拟设备的运行状态，并能够对三维模型进行一键拆解；所述教师***通过第二上位机还能够控制移动小车的移动和停止以及控制摄像机的转动角度。
6.根据权利要求1所述的一种具有增强现实功能的化工产教学参观设备，其特征在于：所述设备还具有远程学习功能，第一上位机和第二上位机通过云服务器进行数据传输以及命令控制，实现远程操作；同时，多组位于不同地点的第一上位机和第二上位机可以通过云服务器实现配对连接。
CN201711365336.8A 2017-12-18 2017-12-18 一种具有增强现实功能化工厂的教学参观设备 Pending CN108109460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711365336.8A CN108109460A (zh) 2017-12-18 2017-12-18 一种具有增强现实功能化工厂的教学参观设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711365336.8A CN108109460A (zh) 2017-12-18 2017-12-18 一种具有增强现实功能化工厂的教学参观设备

Publications (1)

Publication Number Publication Date
CN108109460A true CN108109460A (zh) 2018-06-01

Family

ID=62210913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711365336.8A Pending CN108109460A (zh) 2017-12-18 2017-12-18 一种具有增强现实功能化工厂的教学参观设备

Country Status (1)

Country Link
CN (1) CN108109460A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958491A (zh) * 2018-08-01 2018-12-07 林向阳 远程体验方法及其***
CN109947242A (zh) * 2019-02-26 2019-06-28 贵州翰凯斯智能技术有限公司 一种基于信息融合的工厂虚拟应用***及使用方法
CN110062221A (zh) * 2019-04-16 2019-07-26 杭州坤天自动化***有限公司 基于混合现实技术的智能仿真设备及方法
CN111182286A (zh) * 2019-12-31 2020-05-19 广州幻境科技有限公司 一种基于增强现实的水下游览方法及***
CN113421343A (zh) * 2021-05-27 2021-09-21 深圳市晨北科技有限公司 基于增强现实观测设备内部结构的方法
CN114038260A (zh) * 2021-10-28 2022-02-11 徐州嘉恒智能科技有限公司 一种基于ar眼镜煤矿安全作业培训的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958491A (zh) * 2018-08-01 2018-12-07 林向阳 远程体验方法及其***
CN109947242A (zh) * 2019-02-26 2019-06-28 贵州翰凯斯智能技术有限公司 一种基于信息融合的工厂虚拟应用***及使用方法
CN110062221A (zh) * 2019-04-16 2019-07-26 杭州坤天自动化***有限公司 基于混合现实技术的智能仿真设备及方法
CN111182286A (zh) * 2019-12-31 2020-05-19 广州幻境科技有限公司 一种基于增强现实的水下游览方法及***
CN113421343A (zh) * 2021-05-27 2021-09-21 深圳市晨北科技有限公司 基于增强现实观测设备内部结构的方法
CN113421343B (zh) * 2021-05-27 2024-06-04 深圳市晨北科技有限公司 基于增强现实观测设备内部结构的方法
CN114038260A (zh) * 2021-10-28 2022-02-11 徐州嘉恒智能科技有限公司 一种基于ar眼镜煤矿安全作业培训的方法

Similar Documents

Publication Publication Date Title
CN108109460A (zh) 一种具有增强现实功能化工厂的教学参观设备
CN108284436B (zh) 具有模仿学习机制的远程机械双臂***及方法
JP2021521572A (ja) ハイブリッド仮想／拡張環境を有する実践的実験室器具および実証機並びにその使用方法
CN108389249A (zh) 一种多兼容性的vr/ar空间教室及其构建方法
CN107122045A (zh) 一种基于混合现实技术的虚拟人机示教***及方法
CN109191983A (zh) 基于vr的配网带电作业仿真培训方法、装置及***
CN108908298A (zh) 一种融合虚拟现实技术的主从式喷涂机器人示教***
CN105701261A (zh) 近场飞机自动跟踪与监测方法
CN108922306A (zh) 一种针对物理实验的裸眼3d互动***及方法
Zhou et al. Imitating tool-based garment folding from a single visual observation using hand-object graph dynamics
CN111275731A (zh) 面向中学实验的投影式实物交互桌面***和方法
CN104464389A (zh) 基于增强现实的虚拟教学***
CN109471533A (zh) 一种vr/ar教室内的学生端***及其使用方法
CN107577159A (zh) 扩增实境仿真***
CN105786178B (zh) 场景对象信息呈现方法和***
CN110333776A (zh) 一种基于穿戴设备的军事装备操作训练***及方法
Zhang et al. Collaborative virtual laboratory environments with hardware in the loop
CN113655415B (zh) 一种磁场分布的增强现实在线可视化方法
CN108280423A (zh) 基于人体姿态识别的矫姿***
CN111300412A (zh) 一种基于虚幻引擎的控制机器人的方法
CN104794940B (zh) 一种通过移动终端对机械维修教学的方法
Kohtala et al. Leveraging synthetic data from cad models for training object detection models–a vr industry application case
CN113077668A (zh) 一种互动量化式线上体育和舞蹈教学方法与装置
Frank et al. Interactive mobile interface with augmented reality for learning digital control concepts
Borrero et al. Interaction of real robots with virtual scenarios through augmented reality: Application to robotics teaching/learning by means of remote labs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180601

WD01 Invention patent application deemed withdrawn after publication