CN113223182A - 一种基于mr眼镜技术应用于汽车行业的学习终端 - Google Patents

一种基于mr眼镜技术应用于汽车行业的学习终端 Download PDF

Info

Publication number
CN113223182A
CN113223182A CN202110465049.4A CN202110465049A CN113223182A CN 113223182 A CN113223182 A CN 113223182A CN 202110465049 A CN202110465049 A CN 202110465049A CN 113223182 A CN113223182 A CN 113223182A
Authority
CN
China
Prior art keywords
gesture
unit
fixed point
student
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110465049.4A
Other languages
English (en)
Other versions
CN113223182B (zh
Inventor
汤富斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Simaiyun Technology Co ltd
Original Assignee
Shenzhen Simaiyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Simaiyun Technology Co ltd filed Critical Shenzhen Simaiyun Technology Co ltd
Priority to CN202110465049.4A priority Critical patent/CN113223182B/zh
Publication of CN113223182A publication Critical patent/CN113223182A/zh
Application granted granted Critical
Publication of CN113223182B publication Critical patent/CN113223182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于MR眼镜技术应用于汽车行业的学习终端，涉及汽车行业教育技术领域，该学习终端包括一用于将真实世界的内容转化并与虚拟世界相互融合的虚拟转化模块；一用于对虚拟世界的教学内容进行解释说明的批注解释模块；一用于对学员操控虚拟世界的手势进行分析和判断的手势分析模块；一用于显示虚拟世界内容和响应学员手势指令的响应终端；本发明通过姿态采集单元对学员的手势移动信息进行采集，并利用位置定位单元对每一次移动手势的定点坐标进行分析和计算，使得可以在不佩戴穿戴设备的情况下，实现对学员手势的精准识别和判断，使得可以减轻学员的负担，提高学习效率。

Description

一种基于MR眼镜技术应用于汽车行业的学习终端
技术领域
本发明涉及汽车行业教育技术领域，具体是一种基于MR眼镜技术应用于汽车行业的学习终端。
背景技术
MR交互展示***采用目前国际上最为前沿的混合现实技术，通过可穿戴式移动交互终端，利用简单的手势动作，在传统的实物沙盘基础上，实现在真实环境中与全息影像进行互动，构成可交互的3D全息场景；
汽车行业的教育目前普遍采用的是现场教学，教学环境差，学习内容窄，完全取决于教学人员的口头描述，无法很好的就学员想要了解的重点内容和难点内容进行详细介绍，学习的周期也比较长；
如何提高学员的学习效率和学习兴趣，改善学员的学习环境成为了亟待解决的问题，因此，人们急需一种基于MR眼镜技术应用于汽车行业的学习终端来解决上述问题。
发明内容
本发明的目的在于提供一种基于MR眼镜技术应用于汽车行业的学习终端，以解决现有技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于MR眼镜技术应用于汽车行业的学习终端，该学习终端包括一用于将真实世界的内容转化并与虚拟世界相互融合的虚拟转化模块；
使得学员可以在虚拟的世界中进行汽车行业知识的学习，打破了原有的教学场地的限制，并且，改善了学习环境；
一用于对虚拟世界的教学内容进行解释说明的批注解释模块；
使得学员在学习的过程中可以针对自身的实际情况选择性的了解自身认为的重点和难点知识，提高学员学习的效率；
一用于对学员操控虚拟世界的手势进行分析和判断的手势分析模块；
使得减少了穿戴设备的数量，并不是通过穿戴设备来感应学员的操控手势，而是直接对操控手势进行分析，判定操控指令，减轻了学员学习的压力，使得手势操控更加的便捷；
一用于显示虚拟世界内容和响应学员手势指令的响应终端；
所述批注解释模块的输出端连接虚拟转化模块的输入端，所述手势分析模块与虚拟转化模块连接，所述虚拟转化模块的输出端连接响应终端的输入端，所述手势分析模块与响应终端连接。
根据上述技术方案，所述虚拟转化模块包括画面捕捉单元、3D建模单元、3D模型和虚拟融合单元；
所述画面捕捉单元用于对汽车行业的真实教学内容进行2D画面的捕捉，使得可以实现虚拟世界与真实世界的结合，使得保证真实性的同时提高操控性，所述3D建模单元用于将画面捕捉单元捕捉的2D真实教学内容画面转化为3D模型并输出，所述虚拟融合单元用于将3D建模单元输出的真实教学内容的3D模型融入虚拟世界，使得可以利用虚拟的内容对真实世界的画面进行增强，提高学员的体验感，提高学员学习的效率和兴趣；
所述画面捕捉单元的输出端连接3D建模单元的输入端，所述3D建模单元输出3D模型，所述3D模型的输出端连接虚拟融合单元，所述虚拟融合单元连接真实世界和虚拟世界。
根据上述技术方案，所述批注解释模块包括语音识别单元和信息录入单元；
所述语音识别单元用于对汽车行业教学过程中教员的语音信号进行识别，并以文字的形式进行显示，使得可以将教员的语音信号以批注的形式在3D模型中进行显示，增强学员的印象，并且，学员可以根据实际的需求随时了解3D模型中每一个部件的批注说明，所述信息录入单元用于对3D模型中各个部件的注释信息进行录入，使得学员在学习汽车行业知识时，可以根据自己的兴趣随时了解每一个部件的详细信息；
所述语音识别单元和信息录入单元的输出端连接3D模型。
根据上述技术方案，所述手势分析模块包括坐标系建立单元、姿态采集单元、位置定位单元和姿态分析单元；
所述坐标系建立单元用于建立3D模型的三维直角坐标系，使得可以对学员的手势进行坐标值的定位，使得方便分析和了解学员手势的含义，所述姿态采集单元用于对学员操控虚拟世界的手势信息进行采集，使得可以根据学员的手势信息进行虚拟世界的操控，所述位置定位单元用于对学员的手势在虚拟世界中的空间位置进行定位，所述姿态分析单元用于对学员的手势信息的含义进行分析，确定学员的意图，使得可以根据学员手势的意图对虚拟世界进行控制，使得学员可以学习更多的汽车行业的知识；
所述坐标系建立单元和姿态采集单元的输出端连接3D模型，所述3D模型输出端连接位置定位单元的输入端，所述位置定位单元的输出端连接姿态分析单元的输入端。
根据上述技术方案，所述响应终端包括中央控制单元、头戴显示设备和指令执行单元；
所述中央控制单元用于对整个学习终端进行智能化控制，所述头戴显示设备用于对虚拟世界和真实世界的融合世界进行显示，所述指令执行单元用于执行中央控制单元所下发的指令，对虚拟世界中的显示画面进行控制；
所述姿态分析单元的输出端连接中央控制单元的输入端，所述中央控制单元的输出端连接头戴显示设备和执行执行单元的输入端，所述指令执行单元的输出端连接3D模型的输入端。
根据上述技术方案，所述姿态采集单元为两个采集摄像头A和B，两个所述采集摄像头分别安装在头戴显示设备的前端中部和前端上部，用于对学员的操控手势的移动信息进行采集信息进行采集，所述采集摄像头采集的操控手势为单帧图片，使得通过对每一帧图片的分析，得出学员的手势变化轨迹，采集摄像头A与采集摄像头B之间的距离为LAB，采集摄像头A与采集摄像头B拍摄方向之间的夹角为θ，所述采集摄像头A和采集摄像头B的拍摄方向不变。
根据上述技术方案，所述位置定位单元以学员手势的某一点为定点，所述学员的手势定点放置在采集摄像头A与采集摄像头B拍摄方向的交点时开启对3D模型的控制，所述坐标系建立单元以采集摄像头A与采集摄像头B拍摄方向的交点为圆心建立三维直角坐标系，所述采集摄像头A与采集摄像头B拍摄方向的交点的三维坐标值为(0,0,0)，因为方便学习终端了解学员需要对3D模型进行操控的需求；
所述采集摄像头A和采集摄像头B采集N张照片，分别组成采集摄像头A的照片集合A集＝{A1，A2，A3，…，AN}和采集摄像头B的照片集合B集＝{B1，B2，B3，…，BN}，其中，AN表示采集摄像头A所采集的第N张照片，BN表示采集摄像头B所采集的第N张照片，照片集合A集和照片集合B集中的第一张照片A1和B1中的中心点位置的坐标值均为(0,0,0)；
所述采集摄像头A和采集摄像头B所拍摄的照片大小与实际场景大小的比例为1：M；
所述位置定位单元将照片集合A集中的A1，A2，A3，…，AN中的相邻两张照片依次叠加，组成X-Z平面和(X-Y)/cosθ平面的手势定点移动图片；
所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Z轴坐标进行确认：
S1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿X轴方向上的距离
Figure BDA0003043489360000061
S2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿Z轴方向上的距离
Figure BDA0003043489360000062
则第i+1张照片的手势定点在X-Z平面上的坐标值为
Figure BDA0003043489360000063
其中，(Xi，Yi)表示第i张照片的手势定点在X-Z平面上的坐标值，第i张照片的手势定点在X-Z平面上的坐标值可以通过第i-1张照片的坐标值确定，以此类推，已知第1张照片A1的手势定点在X-Z平面设计行的坐标值为(0,0)。
通过上述技术方案，使得可以确定学员手势定点在X-Z平面上移动的距离和方向，进而对学员手势定点在X轴和Y轴移动的距离进行计算，进而确定学员手势定点移动之后在X轴和Y轴上的坐标值。
根据上述技术方案，所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Y轴坐标进行确认：
T1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿X轴方向上的距离
Figure BDA0003043489360000064
T2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿Z轴方向上的距离
Figure BDA0003043489360000071
T3、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上的直线距离Lii+1；
根据下列公式计算第i张照片的手势定点与第i+1张照片的手势定点在空间的实际移动距离Sii+1：
Figure BDA0003043489360000072
通过上述公式，可以将学员手势定点在(X-Y)/cosθ平面上移动的方向和距离转化至X-Y平面上，使得可以精准的确认学员手势定点在X-Y轴上移动的距离，使得可以对学员手势定点在X-Y轴移动的方向和距离进行确认。
所述位置定位单元确认的第i张照片的手势定点与第i+1张照片的手势定点在Y轴上移动的距离为
Figure BDA0003043489360000073
Figure BDA0003043489360000074
则，第i+1张照片在三维直角坐标系中的坐标值为
Figure BDA0003043489360000075
其中，Zi表示第i张照片的手势定点在(X-Y)/cosθ平面Y轴上的坐标点，第i张照片的手势定点在(X-Y)/cosθ平面Y轴上的坐标值可以通过第i-1张照片的坐标值确定，以此类推，已知第1张照片A1的手势定点在(X-Y)/cosθ平Y轴面上的坐标值为0。
通过上述计算方式，使得可以将学员手势定点在X-Y轴上移动的方向和距离转化为学员手势定点在Y轴方向上移动的距离，进而可以得出学员手势定点在Y轴上的移动距离，使得可以根据上一个学员手势定点的在Y轴上的坐标值确定该点在Y轴上的坐标值。
根据上述技术方案，所述位置定位单元将学员手势每一次移动的坐标值信息输入姿态分析单元，所述姿态分析单元对N个坐标值进行拟合，组成学员手势曲线，所述姿态分析单元将拟合之后的学员手势曲线输送至中央控制单元，所述中央控制单元根据拟合的学员手势曲线向指令执行单元下发操控指令，所述指令执行单元对3D模型进行调整，完成学员手势操控过程。
与现有技术相比，本发明的有益效果是：
1、本发明通过姿态采集单元对学员的手势移动信息进行采集，并利用位置定位单元对每一次移动手势的定点坐标进行分析和计算，使得可以在不佩戴穿戴设备的情况下，实现对学员手势的精准识别和判断，使得可以减轻学员的负担，提高学习效率。
2、本发明通过对教员的语音信号进行识别，将教员的语音信号转化为文字信息，并在融合的3D模型中进行解释批注，使得学员在学习时可以根据自身的情况对重点内容进行关注和学习，提高了学员学习的效率。
3、本发明通过将MR眼镜技术应用于汽车行业的教学，使得学员们摆脱了恶劣的学习环境，提高了学员的学习效率，增加了学员学习的兴趣和乐趣。
附图说明
图1为本发明一种基于MR眼镜技术应用于汽车行业的学习终端的模拟过程示意图；
图2为本发明一种基于MR眼镜技术应用于汽车行业的学习终端的模块连接示意图；
图3为本发明一种基于MR眼镜技术应用于汽车行业的学习终端的学员手势定点分析示意图；
图4为本发明一种基于MR眼镜技术应用于汽车行业的学***面手势定点分布图；
图5为本发明一种基于MR眼镜技术应用于汽车行业的学***面手势定点分布图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1～2所示，本发明提供以下技术方案，一种基于MR眼镜技术应用于汽车行业的学习终端，该学习终端包括一用于将真实世界的内容转化并与虚拟世界相互融合的虚拟转化模块；
使得学员可以在虚拟的世界中进行汽车行业知识的学习，打破了原有的教学场地的限制，并且，改善了学习环境；
一用于对虚拟世界的教学内容进行解释说明的批注解释模块；
使得学员在学习的过程中可以针对自身的实际情况选择性的了解自身认为的重点和难点知识，提高学员学习的效率；
一用于对学员操控虚拟世界的手势进行分析和判断的手势分析模块；
使得减少了穿戴设备的数量，并不是通过穿戴设备来感应学员的操控手势，而是直接对操控手势进行分析，判定操控指令，减轻了学员学习的压力，使得手势操控更加的便捷；
一用于显示虚拟世界内容和响应学员手势指令的响应终端；
所述批注解释模块的输出端连接虚拟转化模块的输入端，所述手势分析模块与虚拟转化模块连接，所述虚拟转化模块的输出端连接响应终端的输入端，所述手势分析模块与响应终端连接。
所述虚拟转化模块包括画面捕捉单元、3D建模单元、3D模型和虚拟融合单元；
所述画面捕捉单元用于对汽车行业的真实教学内容进行2D画面的捕捉，使得可以实现虚拟世界与真实世界的结合，使得保证真实性的同时提高操控性，例如：捕捉汽车发动机的2D画面，所述3D建模单元用于将画面捕捉单元捕捉的2D真实教学内容画面转化为3D模型并输出，所述虚拟融合单元用于将3D建模单元输出的真实教学内容的3D模型融入虚拟世界，使得可以利用虚拟的内容对真实世界的画面进行增强，提高学员的体验感，提高学员学习的效率和兴趣；
所述画面捕捉单元的输出端连接3D建模单元的输入端，所述3D建模单元输出3D模型，所述3D模型的输出端连接虚拟融合单元，所述虚拟融合单元连接真实世界和虚拟世界。
所述批注解释模块包括语音识别单元和信息录入单元；
所述语音识别单元用于对汽车行业教学过程中教员的语音信号进行识别，并以文字的形式进行显示，使得可以将教员的语音信号以批注的形式在3D模型中进行显示，增强学员的印象，并且，学员可以根据实际的需求随时了解3D模型中每一个部件的批注说明，所述信息录入单元用于对3D模型中各个部件的注释信息进行录入，使得学员在学习汽车行业知识时，可以根据自己的兴趣随时了解每一个部件的详细信息，例如：学员想要了解变速箱中某一个齿轮的信息，当学员点击该齿轮时，会以批注的形式显示该齿轮的齿数、扭矩、强度等信息；
所述语音识别单元和信息录入单元的输出端连接3D模型。
所述手势分析模块包括坐标系建立单元、姿态采集单元、位置定位单元和姿态分析单元；
所述坐标系建立单元用于建立3D模型的三维直角坐标系，使得可以对学员的手势进行坐标值的定位，使得方便分析和了解学员手势的含义，所述姿态采集单元用于对学员操控虚拟世界的手势信息进行采集，使得可以根据学员的手势信息进行虚拟世界的操控，所述位置定位单元用于对学员的手势在虚拟世界中的空间位置进行定位，所述姿态分析单元用于对学员的手势信息的含义进行分析，确定学员的意图，使得可以根据学员手势的意图对虚拟世界进行控制，使得学员可以学习更多的汽车行业的知识，例如：姿态分析单元分析得出学员点击了汽车变速箱，那么就会显示变速箱的所有注释信息；
所述坐标系建立单元和姿态采集单元的输出端连接3D模型，所述3D模型输出端连接位置定位单元的输入端，所述位置定位单元的输出端连接姿态分析单元的输入端。
所述响应终端包括中央控制单元、头戴显示设备和指令执行单元；
所述中央控制单元用于对整个学习终端进行智能化控制，所述头戴显示设备用于对虚拟世界和真实世界的融合世界进行显示，所述指令执行单元用于执行中央控制单元所下发的指令，对虚拟世界中的显示画面进行控制，例如：中央控制单元下发指令对汽车变速箱信息进行显示，所述指令执行单元控制3D模型对变速箱的注释信息进行显示；
所述姿态分析单元的输出端连接中央控制单元的输入端，所述中央控制单元的输出端连接头戴显示设备和执行执行单元的输入端，所述指令执行单元的输出端连接3D模型的输入端。
所述姿态采集单元为两个采集摄像头A和B，两个所述采集摄像头分别安装在头戴显示设备的前端中部和前端上部，用于对学员的操控手势的移动信息进行采集信息进行采集，所述采集摄像头采集的操控手势为单帧图片，使得通过对每一帧图片的分析，得出学员的手势变化轨迹，例如：采集摄像头每隔ts进行一次操控手势的采集，采集摄像头A与采集摄像头B之间的距离为LAB，采集摄像头A与采集摄像头B拍摄方向之间的夹角为θ，所述采集摄像头A和采集摄像头B的拍摄方向不变。
所述位置定位单元以学员手势的某一点为定点，所述学员的手势定点放置在采集摄像头A与采集摄像头B拍摄方向的交点时开启对3D模型的控制，所述坐标系建立单元以采集摄像头A与采集摄像头B拍摄方向的交点为圆心建立三维直角坐标系，所述采集摄像头A与采集摄像头B拍摄方向的交点的三维坐标值为(0,0,0)，因为方便学习终端了解学员需要对3D模型进行操控的需求，例如：以学员的食指指尖为定点，进行手势位置的定位，具体的定点确定方式可以采用现有的图像处理技术；
所述采集摄像头A和采集摄像头B采集N张照片，分别组成采集摄像头A的照片集合A集＝{A1，A2，A3，…，AN}和采集摄像头B的照片集合B集＝{B1，B2，B3，…，BN}，其中，AN表示采集摄像头A所采集的第N张照片，BN表示采集摄像头B所采集的第N张照片，照片集合A集和照片集合B集中的第一张照片A1和B1中的中心点位置的坐标值均为(0,0,0)；
所述采集摄像头A和采集摄像头B所拍摄的照片大小与实际场景大小的比例为1：M；
所述位置定位单元将照片集合A集中的A1，A2，A3，…，AN中的相邻两张照片依次叠加，组成X-Z平面和(X-Y)/cosθ平面的手势定点移动图片，如图4和图5所示；
所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Z轴坐标进行确认：
S1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿X轴方向上的距离
Figure BDA0003043489360000141
S2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿Z轴方向上的距离
Figure BDA0003043489360000142
则第i+1张照片的手势定点在X-Z平面上的坐标值为
Figure BDA0003043489360000143
其中，(Xi，Yi)表示第i张照片的手势定点在X-Z平面上的坐标值，第i张照片的手势定点在X-Z平面上的坐标值可以通过第i-1张照片的坐标值确定，以此类推，已知第1张照片A1的手势定点在X-Z平面设计行的坐标值为(0,0)。
通过上述技术方案，使得可以确定学员手势定点在X-Z平面上移动的距离和方向，进而对学员手势定点在X轴和Y轴移动的距离进行计算，进而确定学员手势定点移动之后在X轴和Y轴上的坐标值。
所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Y轴坐标进行确认：
T1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿X轴方向上的距离
Figure BDA0003043489360000151
T2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿Z轴方向上的距离
Figure BDA0003043489360000152
T3、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上的直线距离Lii+1；
根据下列公式计算第i张照片的手势定点与第i+1张照片的手势定点在空间的实际移动距离Sii+1：
Figure BDA0003043489360000153
具体计算过程如图3所示；
通过上述公式，可以将学员手势定点在(X-Y)/cosθ平面上移动的方向和距离转化至X-Y平面上，使得可以精准的确认学员手势定点在X-Y轴上移动的距离，使得可以对学员手势定点在X-Y轴移动的方向和距离进行确认。
所述位置定位单元确认的第i张照片的手势定点与第i+1张照片的手势定点在Y轴上移动的距离为
Figure BDA0003043489360000154
Figure BDA0003043489360000155
则，第i+1张照片在三维直角坐标系中的坐标值为
Figure BDA0003043489360000156
其中，Zi表示第i张照片的手势定点在(X-Y)/cosθ平面Y轴上的坐标点，第i张照片的手势定点在(X-Y)/cosθ平面Y轴上的坐标值可以通过第i-1张照片的坐标值确定，以此类推，已知第1张照片A1的手势定点在(X-Y)/cosθ平Y轴面上的坐标值为0。
通过上述计算方式，使得可以将学员手势定点在X-Y轴上移动的方向和距离转化为学员手势定点在Y轴方向上移动的距离，进而可以得出学员手势定点在Y轴上的移动距离，使得可以根据上一个学员手势定点的在Y轴上的坐标值确定该点在Y轴上的坐标值。
所述位置定位单元将学员手势每一次移动的坐标值信息输入姿态分析单元，所述姿态分析单元对N个坐标值进行拟合，组成学员手势曲线，所述姿态分析单元将拟合之后的学员手势曲线输送至中央控制单元，所述中央控制单元根据拟合的学员手势曲线向指令执行单元下发操控指令，所述指令执行单元对3D模型进行调整，完成学员手势操控过程。
实施例：
所述姿态采集单元为两个采集摄像头A和B，两个所述采集摄像头分别安装在头戴显示设备的前端中部和前端上部，用于对学员的操控手势的移动信息进行采集信息进行采集，所述采集摄像头采集的操控手势为单帧图片，采集摄像头A与采集摄像头B之间的距离为LAB＝3cm，采集摄像头A与采集摄像头B拍摄方向之间的夹角为θ＝30°，所述采集摄像头A和采集摄像头B的拍摄方向不变。
所述位置定位单元以学员手势的某一点为定点，所述学员的手势定点放置在采集摄像头A与采集摄像头B拍摄方向的交点时开启对3D模型的控制，所述坐标系建立单元以采集摄像头A与采集摄像头B拍摄方向的交点为圆心建立三维直角坐标系，所述采集摄像头A与采集摄像头B拍摄方向的交点的三维坐标值为(0,0,0)；
所述采集摄像头A和采集摄像头B采集N张照片，分别组成采集摄像头A的照片集合A集＝{A1，A2，A3，…，AN}和采集摄像头B的照片集合B集＝{B1，B2，B3，…，BN}，其中，AN表示采集摄像头A所采集的第N张照片，BN表示采集摄像头B所采集的第N张照片，照片集合A集和照片集合B集中的第一张照片A1和B1中的中心点位置的坐标值均为(0,0,0)；
所述采集摄像头A和采集摄像头B所拍摄的照片大小与实际场景大小的比例为1：5；
所述位置定位单元将照片集合A集中的A1，A2，A3，…，AN中的相邻两张照片依次叠加，组成X-Z平面和(X-Y)/cosθ平面的手势定点移动图片；
所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Z轴坐标进行确认：
S1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿X轴方向上的距离
Figure BDA0003043489360000171
S2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿Z轴方向上的距离
Figure BDA0003043489360000181
则第i+1张照片的手势定点在X-Z平面上的坐标值为
Figure BDA0003043489360000182
其中，(Xi，Yi)＝(1.5,2.3)表示第i张照片的手势定点在X-Z平面上的坐标值，第i张照片的手势定点在X-Z平面上的坐标值可以通过第i-1张照片的坐标值确定，以此类推，已知第1张照片A1的手势定点在X-Z平面设计行的坐标值为(0,0)。
所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Y轴坐标进行确认：
T1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿X轴方向上的距离
Figure BDA0003043489360000183
T2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿Z轴方向上的距离
Figure BDA0003043489360000184
T3、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上的直线距离Lii+1＝1.21cm；
根据下列公式计算第i张照片的手势定点与第i+1张照片的手势定点在空间的实际移动距离Sii+1：
Figure BDA0003043489360000185
Figure BDA0003043489360000191
所述位置定位单元确认的第i张照片的手势定点与第i+1张照片的手势定点在Y轴上移动的距离为
Figure BDA0003043489360000192
Figure BDA0003043489360000193
则，第i+1张照片在三维直角坐标系中的坐标值为
Figure BDA0003043489360000194
学员手势定点在第i+1张图片时移动至(5.75,5.1,19.3)位置处。
所述位置定位单元将学员手势每一次移动的坐标值信息输入姿态分析单元，所述姿态分析单元对N个坐标值进行拟合，组成学员手势曲线，所述姿态分析单元将拟合之后的学员手势曲线输送至中央控制单元，所述中央控制单元根据拟合的学员手势曲线向指令执行单元下发操控指令，所述指令执行单元对3D模型进行调整，完成学员手势操控过程。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种基于MR眼镜技术应用于汽车行业的学习终端，其特征在于：该学习终端包括一用于将真实世界的内容转化并与虚拟世界相互融合的虚拟转化模块；
一用于对虚拟世界的教学内容进行解释说明的批注解释模块；
一用于对学员操控虚拟世界的手势进行分析和判断的手势分析模块；
一用于显示虚拟世界内容和响应学员手势指令的响应终端；
所述批注解释模块的输出端连接虚拟转化模块的输入端，所述手势分析模块与虚拟转化模块连接，所述虚拟转化模块的输出端连接响应终端的输入端，所述手势分析模块与响应终端连接。
2.根据权利要求1所述的一种基于MR眼镜技术应用于汽车行业的学习终端，其特征在于：所述虚拟转化模块包括画面捕捉单元、3D建模单元、3D模型和虚拟融合单元；
所述画面捕捉单元用于对汽车行业的真实教学内容进行2D画面的捕捉，所述3D建模单元用于将画面捕捉单元捕捉的2D真实教学内容画面转化为3D模型并输出，所述虚拟融合单元用于将3D建模单元输出的真实教学内容的3D模型融入虚拟世界；
所述画面捕捉单元的输出端连接3D建模单元的输入端，所述3D建模单元输出3D模型，所述3D模型的输出端连接虚拟融合单元，所述虚拟融合单元连接真实世界和虚拟世界。
3.根据权利要求2所述的一种基于MR眼镜技术应用于汽车行业的学习终端，其特征在于：所述批注解释模块包括语音识别单元和信息录入单元；
所述语音识别单元用于对汽车行业教学过程中教员的语音信号进行识别，并以文字的形式进行显示，所述信息录入单元用于对3D模型中各个部件的注释信息进行录入；
所述语音识别单元和信息录入单元的输出端连接3D模型。
4.根据权利要求3所述的一种基于MR眼镜技术应用于汽车行业的学习终端，其特征在于：所述手势分析模块包括坐标系建立单元、姿态采集单元、位置定位单元和姿态分析单元；
所述坐标系建立单元用于建立3D模型的三维直角坐标系，所述姿态采集单元用于对学员操控虚拟世界的手势信息进行采集，所述位置定位单元用于对学员的手势在虚拟世界中的空间位置进行定位，所述姿态分析单元用于对学员的手势信息的含义进行分析，确定学员的意图；
所述坐标系建立单元和姿态采集单元的输出端连接3D模型，所述3D模型输出端连接位置定位单元的输入端，所述位置定位单元的输出端连接姿态分析单元的输入端。
5.根据权利要求4所述的一种基于MR眼镜技术应用于汽车行业的学习终端，其特征在于：所述响应终端包括中央控制单元、头戴显示设备和指令执行单元；
所述中央控制单元用于对整个学习终端进行智能化控制，所述头戴显示设备用于对虚拟世界和真实世界的融合世界进行显示，所述指令执行单元用于执行中央控制单元所下发的指令，对虚拟世界中的显示画面进行控制；
所述姿态分析单元的输出端连接中央控制单元的输入端，所述中央控制单元的输出端连接头戴显示设备和执行执行单元的输入端，所述指令执行单元的输出端连接3D模型的输入端。
6.根据权利要求5所述的一种基于MR眼镜技术应用于汽车行业的学习终端，其特征在于：所述姿态采集单元为两个采集摄像头A和B，两个所述采集摄像头分别安装在头戴显示设备的前端中部和前端上部，用于对学员的操控手势的移动信息进行采集信息进行采集，所述采集摄像头采集的操控手势为单帧图片，采集摄像头A与采集摄像头B之间的距离为LAB，采集摄像头A与采集摄像头B拍摄方向之间的夹角为θ，所述采集摄像头A和采集摄像头B的拍摄方向不变。
7.根据权利要求6所述的一种基于MR眼镜技术应用于汽车行业的学习终端，其特征在于：所述位置定位单元以学员手势的某一点为定点，所述学员的手势定点放置在采集摄像头A与采集摄像头B拍摄方向的交点时开启对3D模型的控制，所述坐标系建立单元以采集摄像头A与采集摄像头B拍摄方向的交点为圆心建立三维直角坐标系，所述采集摄像头A与采集摄像头B拍摄方向的交点的三维坐标值为(0,0,0)；
所述采集摄像头A和采集摄像头B采集N张照片，分别组成采集摄像头A的照片集合A集＝{A1，A2，A3，…，AN}和采集摄像头B的照片集合B集＝{B1，B2，B3，…，BN}，其中，AN表示采集摄像头A所采集的第N张照片，BN表示采集摄像头B所采集的第N张照片，照片集合A集和照片集合B集中的第一张照片A1和B1中的中心点位置的坐标值均为(0,0,0)；
所述采集摄像头A和采集摄像头B所拍摄的照片大小与实际场景大小的比例为1：M；
所述位置定位单元将照片集合A集中的A1，A2，A3，…，AN中的相邻两张照片依次叠加，组成X-Z平面和(X-Y)/cosθ平面的手势定点移动图片；
所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Z轴坐标进行确认：
S1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿X轴方向上的距离
Figure FDA0003043489350000041
S2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿Z轴方向上的距离
Figure FDA0003043489350000042
则第i+1张照片的手势定点在X-Z平面上的坐标值为
Figure FDA0003043489350000043
其中，(Xi，Yi)表示第i张照片的手势定点在X-Z平面上的坐标值，第i张照片的手势定点在X-Z平面上的坐标值可以通过第i-1张照片的坐标值确定，以此类推，已知第1张照片A1的手势定点在X-Z平面设计行的坐标值为(0,0)。
8.根据权利要求7所述的一种基于MR眼镜技术应用于汽车行业的学习终端，其特征在于：所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Y轴坐标进行确认：
T1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿X轴方向上的距离
Figure FDA0003043489350000051
T2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿Z轴方向上的距离
Figure FDA0003043489350000052
T3、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上的直线距离Lii+1；
根据下列公式计算第i张照片的手势定点与第i+1张照片的手势定点在空间的实际移动距离Sii+1：
Figure FDA0003043489350000053
所述位置定位单元确认的第i张照片的手势定点与第i+1张照片的手势定点在Y轴上移动的距离为
Figure FDA0003043489350000054
Figure FDA0003043489350000055
则，第i+1张照片在三维直角坐标系中的坐标值为
Figure FDA0003043489350000056
其中，Zi表示第i张照片的手势定点在(X-Y)/cosθ平面Y轴上的坐标点，第i张照片的手势定点在(X-Y)/cosθ平面Y轴上的坐标值可以通过第i-1张照片的坐标值确定，以此类推，已知第1张照片A1的手势定点在(X-Y)/cosθ平Y轴面上的坐标值为0。
9.根据权利要求8所述的一种基于MR眼镜技术应用于汽车行业的学习终端，其特征在于：所述位置定位单元将学员手势每一次移动的坐标值信息输入姿态分析单元，所述姿态分析单元对N个坐标值进行拟合，组成学员手势曲线，所述姿态分析单元将拟合之后的学员手势曲线输送至中央控制单元，所述中央控制单元根据拟合的学员手势曲线向指令执行单元下发操控指令，所述指令执行单元对3D模型进行调整，完成学员手势操控过程。
CN202110465049.4A 2021-04-28 2021-04-28 一种基于mr眼镜技术应用于汽车行业的学习终端 Active CN113223182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110465049.4A CN113223182B (zh) 2021-04-28 2021-04-28 一种基于mr眼镜技术应用于汽车行业的学习终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110465049.4A CN113223182B (zh) 2021-04-28 2021-04-28 一种基于mr眼镜技术应用于汽车行业的学习终端

Publications (2)

Publication Number Publication Date
CN113223182A true CN113223182A (zh) 2021-08-06
CN113223182B CN113223182B (zh) 2024-05-14

Family

ID=77089443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110465049.4A Active CN113223182B (zh) 2021-04-28 2021-04-28 一种基于mr眼镜技术应用于汽车行业的学习终端

Country Status (1)

Country Link
CN (1) CN113223182B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101581569A (zh) * 2009-06-17 2009-11-18 北京信息科技大学 双目视觉传感***结构参数的标定方法
EP2908219A1 (en) * 2014-02-14 2015-08-19 Omron Corporation Gesture recognition apparatus and control method of gesture recognition apparatus
CN104932691A (zh) * 2015-06-19 2015-09-23 中国航天员科研训练中心 带有触觉感知反馈的手势实时交互***
CN106843456A (zh) * 2016-08-16 2017-06-13 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训***和方法
CN109448126A (zh) * 2018-09-06 2019-03-08 国营芜湖机械厂 一种基于混合现实的航空装备修理辅助***及其使用方法
CN110491233A (zh) * 2019-08-23 2019-11-22 北京枭龙科技有限公司 一种基于混合现实的新能源汽车拆装***及方法
CN111191322A (zh) * 2019-12-10 2020-05-22 中国航空工业集团公司成都飞机设计研究所 一种基于深度感知手势识别的虚拟维修性仿真方法
CN112513787A (zh) * 2020-07-03 2021-03-16 华为技术有限公司 车内隔空手势的交互方法、电子装置及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101581569A (zh) * 2009-06-17 2009-11-18 北京信息科技大学 双目视觉传感***结构参数的标定方法
EP2908219A1 (en) * 2014-02-14 2015-08-19 Omron Corporation Gesture recognition apparatus and control method of gesture recognition apparatus
CN104932691A (zh) * 2015-06-19 2015-09-23 中国航天员科研训练中心 带有触觉感知反馈的手势实时交互***
CN106843456A (zh) * 2016-08-16 2017-06-13 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训***和方法
CN109448126A (zh) * 2018-09-06 2019-03-08 国营芜湖机械厂 一种基于混合现实的航空装备修理辅助***及其使用方法
CN110491233A (zh) * 2019-08-23 2019-11-22 北京枭龙科技有限公司 一种基于混合现实的新能源汽车拆装***及方法
CN111191322A (zh) * 2019-12-10 2020-05-22 中国航空工业集团公司成都飞机设计研究所 一种基于深度感知手势识别的虚拟维修性仿真方法
CN112513787A (zh) * 2020-07-03 2021-03-16 华为技术有限公司 车内隔空手势的交互方法、电子装置及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尚倩等: "双目立体视觉的目标识别与定位", 《智能***学报》, vol. 06, no. 04, pages 303 - 311 *
王天明: "基于头戴式摄像头的手势识别技术研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 978, no. 03, pages 138 - 5107 *

Also Published As

Publication number Publication date
CN113223182B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN106325509A (zh) 三维手势识别方法及***
CN107967057B (zh) 一种基于Leap Motion的虚拟装配示教方法
CN105278685B (zh) 一种基于eon的辅助教学***及教学方法
CN111028579A (zh) 一种基于vr现实的视觉教学***
Huang et al. An approach for augmented learning of finite element analysis
CN106293099A (zh) 手势识别方法及***
CN208351776U (zh) 一种基于vr虚拟现实技术的芯片电路教学***
CN108986577A (zh) 一种基于前置式的移动增强现实型实验的设计方法
CN112331001A (zh) 一种基于虚拟现实技术的教学***
CN110288861A (zh) 一种基于实物教材虚拟展示课程内容的方法
Patil et al. E-learning system using Augmented Reality
CN113223182B (zh) 一种基于mr眼镜技术应用于汽车行业的学习终端
CN103971551A (zh) 双向影音教学教育传导行销***
CN112037090A (zh) 基于vr技术和6dof姿态跟踪的知识教育***
CN110262662A (zh) 一种智能人机交互方法
CN114973832A (zh) 一种基于软件在环的智能车虚拟仿真教学***
Qu et al. Design and Implementation of Teaching Assistant System for Mechanical Course based on Mobile AR Technology
CN115984437A (zh) 一种互动型三维舞台模拟***及方法
Wang et al. Augmented Reality and Quick Response Code Technology in Engineering Drawing Course
CN114120443A (zh) 基于3d人体姿态估计的课堂教学手势识别方法及***
CN106603935B (zh) 一种全自动电控vr微距摄影平台箱
CN112825215A (zh) 基于虚拟现实技术的核电厂防人因培训***及方法
CN111369854A (zh) 一种Vr虚拟现实实验室的操作***及方法
CN204759788U (zh) 教学装置
Yu et al. On the Application of Digitized Virtual Reality Technology in the Teaching of Landscape Architecture Design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant