CN115909825A - 实现远程教育的***、方法及教学端 - Google Patents

实现远程教育的***、方法及教学端 Download PDF

Info

Publication number
CN115909825A
CN115909825A CN202110924590.7A CN202110924590A CN115909825A CN 115909825 A CN115909825 A CN 115909825A CN 202110924590 A CN202110924590 A CN 202110924590A CN 115909825 A CN115909825 A CN 115909825A
Authority
CN
China
Prior art keywords
teaching
projection
user
human body
dimensional parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110924590.7A
Other languages
English (en)
Inventor
吴增程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202110924590.7A priority Critical patent/CN115909825A/zh
Publication of CN115909825A publication Critical patent/CN115909825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明提供实现远程教育的***、方法及教学端,所述***包括:教学展示端和教学投影端;所述教学展示端设有用于对准使用者的图像采集装置;所述教学展示端用于通过所述图像采集装置获取所述使用者的三维参数,将所述三维参数传输至教学投影端;所述教学投影端设有投影装置;所述教学投影端用于接收所述教学展示端传输的所述三维参数,根据所述三维参数生成投影数据,通过所述投影装置呈现所述投影数据。教学展示端的使用者无需佩戴笨重的头戴全息头显,仅需通过***就能够实现教学展示内容的再现,且传输的数据不是最终呈现的投影数据而是三维参数,因此数据量较小,传输速度和负担都较小,整个***的设计难度低且花费成本也较低。

Description

实现远程教育的***、方法及教学端
技术领域
本发明涉及远程教育领域,更具体地,涉及实现远程教育的***、方法及教学端。
背景技术
远程在线教育是均衡教育资源的有力方式。目前的其中一种远程在线教育方式是,学生通过观看教室显示器上的远程实时视频或者录播视频,从而达到远程教育的目的,但该方式过于简单和单调,学生和老师之间缺少互动,无法让学生身临其境地体验教学过程。
另外一种稍有改进的远程在线教育方式是,在教师的主讲教室与学生的听课教室各配备至少一个全息显示终端,从而构建虚实融合的全息成像环境,但需要在主讲教室为主讲教师配备具有增强现实功能的全息头显,通过5G网络将云渲染的全息画面传送到远程听课教室,而在听课教室采用全息LED屏等形式再现主讲教室中的教学活动。该方式使用了复杂的设备、且设计难度大、花费成本高,且对于教师而言,头戴全息头显不仅笨重影响教学状态,且会影响学生的听课效率。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷,提供实现远程教育的***、方法及教学端,用于解决现有的远程教育方式设计难度大、成本高、课堂效果较差的问题。
本发明采用的技术方案包括:
一种实现远程教育的***,包括:教学展示端和教学投影端;所述教学展示端设有用于对准使用者的图像采集装置;所述教学展示端用于通过所述图像采集装置获取所述使用者的三维参数,将所述三维参数传输至教学投影端;所述教学投影端设有投影装置;所述教学投影端用于接收所述教学展示端传输的所述三维参数,根据所述三维参数生成投影数据,通过所述投影装置呈现所述投影数据。
进一步,所述使用者的三维参数包括人体骨骼三维参数;所述投影数据包括人体投影数据;所述教学展示端包括:人体骨骼参数处理单元,用于通过所述图像采集装置获取所述使用者的人体骨骼三维参数,将所述人体骨骼三维参数传输至教学投影端;所述教学投影端包括:人体参数赋值单元,用于将所述人体骨骼三维参数赋值于人体模型;人体数据转化单元,用于将赋值后的人体模型转化为所述人体投影数据,通过所述投影装置呈现所述人体投影数据。
进一步,所述人体三维骨骼参数为所述使用者的若干个关节点的三维参数。
在一种具体的实施方式中,所述使用者的三维参数还包括所述使用者的脸部三维参数;所述投影数据还包括脸部投影数据;所述教学展示端还包括:脸部参数处理单元,用于通过所述图像采集装置获取所述使用者的脸部三维参数,将所述脸部三维参数传输至教学投影端;所述教学投影端还包括:脸部参数赋值单元,用于将所接收的使用者的脸部三维参数赋值于脸部模型;脸部数据转化单元,用于将赋值后的脸部模型转化为所述脸部投影数据,通过所述投影装置呈现所述脸部投影数据。
进一步,所述教学展示端还包括:脸部请求接收传输单元,用于接收虚拟脸部请求并传输至所述教学投影端;所述教学投影端还包括:脸部请求接收单元,用于接收所述虚拟脸部请求;脸部模型选择单元,用于在接收到所述虚拟脸部请求时,将预设的虚拟脸部模型作为所述脸部模型,在没有接收到所述虚拟脸部请求时,将预设的真实脸部模型作为所述脸部模型。
在另一种具体的实施方式中,所述教学展示端还包括:人体请求接收传输单元,用于接收虚拟人体请求并传输至所述教学投影端;所述教学投影端还包括:人体请求接收单元,用于接收所述虚拟人体请求;人体模型选择单元,用于在接收到所述虚拟人体请求时,将预设的虚拟人体模型作为所述人体模型,在没有接收到所述虚拟人体请求时,将预设的真实人体模型作为所述人体模型。
进一步,所述教学展示端还包括:真实人体模型获取单元,用于通过所述图像采集装置对所述使用者进行扫描以获取扫描数据,根据所述扫描数据生成与所述使用者成比例的人体模型,将所生成的所述模型作为所述预设的真实人体模型。
进一步,所述教学展示端为教育平板设备,所述图像采集装置设置在所述教学展示端的边框上,和/或,所述教学投影端为教育平板设备,所述投影装置设置在所述教学投影端的边框上。
一种教学展示端,设有对准使用者的图像采集装置;所述教学展示端用于通过所述图像采集装置获取所述使用者的三维参数,将所述三维参数传输至教学投影端,以使所述教学投影端根据所述三维参数生成投影数据,通过其设有的投影装置呈现所述投影数据。
一种教学投影端,设有投影装置;所述教学投影端用于接收教学展示端传输的使用者的三维参数,根据所述三维参数生成投影数据,通过所述投影装置呈现所述投影数据;所述教学展示端传输的使用者的三维参数是由所述教学展示端通过其设有的图像采集装置获取到的
一种实现远程教育的方法,应用于教学展示端,其设有用于对准使用者的图像采集装置;所述方法包括:通过所述图像采集装置获取所述使用者的三维参数,将所述三维参数传输至教学投影端,以使所述教学投影端根据所述三维参数生成投影数据,通过其设有的投影装置呈现所述投影数据。
一种实现远程教育的方法,应用于教学投影端,其设有投影装置;所述方法包括:接收教学展示端传输的使用者的三维参数,根据所述三维参数生成投影数据,通过所述投影装置呈现所述投影数据;所述教学展示端传输的使用者的三维参数是由所述教学展示端通过其设有的图像采集装置获取到的。
与现有技术相比,本发明的有益效果为:
在本发明提供的***中,教学展示端的使用者所展示的内容通过该***可以以投影数据的方式呈现给教学投影端的使用者,从而实现了教学展示端和教学投影端之间的远程教育,教学展示端的使用者无需佩戴笨重的头戴全息头显,仅需通过图像采集装置和教学投影端的投影装置就能够实现教学展示内容的再现,且传输的数据不是最终呈现的投影数据,而是使用者的三维参数,因此数据量较小,传输速度和负担都较小,整个***的设计难度低且花费成本也较低。
附图说明
图1为本发明的实施例1中***的组成示意图。
图2为本发明的实施例1中作为示例说明的25个关节点的位置示意图。
图3为本发明的实施例1中教学展示端11的装置及单元组成示意图。
图4为本发明的实施例2中教学展示端21的装置及单元组成示意图。
图5为本发明的实施例2中教学投影端22的装置及单元组成示意图。
图6为本发明的实施例3中教学展示端31的装置及单元组成示意图。
图7为本发明的实施例3中作为示例说明的68个关键点的位置示意图。
图8为本发明的实施例3中教学投影端32的装置及单元组成示意图。
图9为本发明的实施例4中教学展示端41的装置及单元组成示意图。
图10为本发明的实施例4中教学投影端42的装置及单元组成示意图。
图11为本发明的实施例5中教学展示端51的装置及单元组成示意图。
图12为本发明的实施例5中教学投影端52的装置及单元组成示意图。
具体实施方式
本发明附图仅用于示例性说明,不能理解为对本发明的限制。为了更好说明以下实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
本实施例提供一种实现远程教育的***,用于实现至少两个教学端之间的远程教育,该至少两个教学端一般位于不同的地点,通过互联网等传播媒体方式实现教学,因此远程教育也称为网络教育,是指运用网络技术与环境开展的教育。
如图1所示,在本实施例中,实现远程教育的***中的教学端可具体分为教学展示端11和教学投影端12,教学展示端11和教学投影端12的数量可以是一个或多个。
教学展示端11,其设有用于对准使用者A1的图像采集装置13。教学展示端11用于通过图像采集装置13获取使用者A1的三维参数,将该三维参数传输至教学投影端12。
在本实施例中,教学展示端11的使用者A1为教育过程中进行教学互动展示的对象,可以是教师也可以是学生。使用者A1的三维参数具体是由使用者A1身体上若干个位置的三维参数组成的,该若干个位置的三维参数的组合应能够表示使用者A1在实际的教学互动展示时的动作和身体姿态等等关键信息。具体地,三维参数可以是指三维位置参数、三维尺寸参数,表示形状、形变和方向的参数等等,其中,三维位置参数一般以三维坐标的形式表示。优选地,在本实施例中,使用者A1的三维参数至少包括三维位置参数,用以清晰表示使用者A1身体上若干个位置的三维坐标。优选地,为了更好地捕捉以及获取使用者A1的三维参数,图像采集装置13置于教学展示端11的中轴线的顶部。优选地,为了使使用者A1更加便捷进行教学互动展示,教学展示端11为教学平板设备,平板设备也就是一种小型、方便携带的个人电脑,一般以触摸屏作为基本的输入设备,则图像采集装置13设置于教学展示端11的平板边框,最优选的位置是设置在教学展示端11的平板边框的中轴线顶部。
具体地,教学展示端11的图像采集装置13为深度图像采集装置13,例如深度相机或深度摄像头,具体是指可以测量物体到相机距离或其他深度信息的装置,深度图像采集装置13可用于获取所对准的区域内的图像数据,并直接从图像数据中获取到区域内物体的三维参数,在本实施例中,当使用者A1进入图像采集装置111所对准的区域时,深度图像采集装置13可以直接从实时图像数据中获取到使用者A1的三维参数。
教学投影端12,其设有投影装置14。教学投影端12用于接收教学展示端11传输的使用者A1的三维参数,根据所接收的使用者A1的三维参数生成投影数据,通过投影装置14呈现投影数据。
教学投影端12的使用者为接受教学展示端的使用者所展示内容的对象,可以是教师也可以是学生,投影装置14可以是任何适用的投影镜头或设备,投影数据是指能够适用于投影装置14从而实现投影的数据。优选地,为了使教学投影端12的使用者能够有更加真实的互动体验,投影装置14为全息投影装置14,具体可以是全息投影镜头等其他适用装置,则教学投影端12所转化的投影数据应为全息投影数据,并通过全息投影装置14投影至全息投影薄膜等适用设备或装置上,以更清晰地展示使用者A1进行互动教学的内容。优选地,为了使投影数据能够更好地呈现在教学投影端12的使用者面前,投影装置14设于教学投影端12的中轴线顶部。优选地,为了使教学投影端12的使用者更加便捷地接受远程教育,教学投影端12为教学平板设备,则投影装置14设置于教学投影端12的平板边框,最优选的位置是设置在教学投影端12的平板边框的中轴线顶部。
具体地,教学展示端11的使用者A1的三维参数包括人体骨骼三维参数,人体骨骼三维参数是指能够表示使用者A1的头部、躯干和四肢等部位的整体动作和姿态的参数。更具体地,由于人体的头部、躯干和四肢上的关节点能够更加准确地表示使用者的姿态和动作,所获取的人体骨骼三维参数是由使用者A1的若干个关节点的三维参数组成的,使用者的若干个关节点包括使用者四肢、躯干以及手指的若干个关节点。优选地,所获取的人体骨骼三维参数为使用者A1的25个关节点的三维参数,作为示例说明,如图2所示,该25个关节点分别为人体的脊柱基点、脊柱中点、颈部点、头部点、脊柱肩部点、左肩部点、左肘部点、左腕部点、左手部点、右肩部点、右肘部点、右腕部点、右手部点、左臀部点、左膝盖点、左脚踝点、左脚部点、右臀部点、右膝盖点、右脚踝点、右脚部点、左手指尖点、左手拇指点、右手指尖点、右手拇指点。
基于此,如图3所示,教学展示端11具体包括:
人体骨骼参数处理单元111,用于通过深度图像采集装置13获取使用者A1的若干个关节点的三维参数,将使用者A1的若干个关节点的三维参数传输至教学投影端12;
具体地,如图所示,教学投影端12在接收到使用者A1的若干个关节点的三维参数后,需要将其赋值于人体模型,再将赋值后的人体模型转化为投影数据。
基于此,如图3所示,教学投影端12具体包括:
人体参数赋值单元121,用于将所接收的使用者A1的若干个关节点的三维参数赋值于人体模型;
人体模型可以是预设的三维模型,该模型能够形成人体或其他人物的主要躯干和外形,当将使用者A1的若干个关节点的三维参数按照其对应位置赋值到人体模型的若干个位置时,赋值后的人体模型能够呈现出使用者A1在教学互动展示时的姿态和动作,则可以通过该人体模型再现使用者A1的教学展示内容。
人体数据转化单元122,用于将赋值后的人体模型转化为人体投影数据,通过投影装置14呈现投影数据。
具体地,人体数据转化单元122将赋值后的人体模型转化为人体投影数据时,是将赋值后的人体模型导入任何适用的三维渲染软件,利用三维渲染技术将该人体模型转化为投影数据。
在本实施例中,教学展示端11的使用者A1所展示的内容通过本实施例提供的***可以以投影数据甚至是全息投影数据的方式呈现给教学投影端12的使用者,从而实现了教学展示端11和教学投影端12之间的远程教育,教学展示端11的使用者A1无需佩戴笨重的头戴全息头显,仅需通过图像采集装置13和投影装置14就能够实现教学展示内容的再现,且传输的数据不是最终呈现的投影数据,而是使用者的三维参数,因此数据量较小,传输速度和负担都较小,整个***的设计难度低且花费成本也较低。
实施例2
基于与实施例1相同的思想,本实施例提供一种实现远程教育的***,用于实现教学展示端21和教学投影端22之间的远程教育,实施例2与实施例1的区别在于教学展示端21的图像采集装置23为非深度图像采集装置23,例如是彩色摄像头等适用装置,用于获取所对准的区域内的图像数据,但不能直接从图像数据中获取到区域内物体的三维参数,因此本实施例提供的***的教学展示端21所获取的教学展示端21的使用者A2的三维参数需要从图像数据中进行分析计算获取。
教学展示端21设有非深度图像采集装置23,如图4所示,具体包括:
人体图像数据获取单元211,用于通过非深度图像采集装置23获取对准使用者A2的图像数据;
人体骨骼参数处理单元212,用于根据该图像数据获取使用者A2的若干个关节点的三维参数,并将使用者A2的若干个关节点的三维参数传输至教学投影端22。
具体地,人体骨骼参数处理单元212是利用姿态、动作和手势的识别算法从图像数据中获取到使用者的若干个关节点的三维参数的,以常用的识别模型SMPL-X模型为例对该获取过程进行说明:
SMPL模型是指蒙皮多人线性模型(skinned multi-person linear model),而SMPL-X模型是在SMPL模型基础上改进的模型。
用S表示SMPL-X模型,S定义为函数:Mw=S(φwww)。
其中φw∈R3为全身的朝向参数;R为关节点回归函数;
θw是身体和左右手的姿态变形参数,θw∈R(21+15×2)×3,其中,21为使用者的身体上的关节数目,15是使用者的一只手的关节数目;
βw为形状参数;
Mw∈R10475×3是S得到的变形后的顶点信息。
计算得到Mw后,即获取到了若干个关节点的全身朝向参数、姿态变形参数和形状参数,同时可以通过关节点回归函数R得到关节点的三维位置参数
Figure BDA0003208791060000071
其中
Figure BDA0003208791060000072
Figure BDA0003208791060000073
教学投影端22设有投影装置24,如图5所示,具体包括:
人体参数赋值单元221,用于将所接收的若干个关节点的三维参数赋值于人体模型;
人体参数赋值单元221所接收到的若干个关节点的三维参数在赋值于人体模型并转化为投影数据时,转化过程中,投影数据中与关节点相关的参数会与教学展示端21所获取的图像数据中关节点的参数存在一定误差,为了尽量减小这些误差,优选地,人体参数赋值单元221在将使用者A2的关节点的三维参数赋值于人体模型之前,优化所接收到的关节点的三维参数,从而得到与教学展示端21所获取的图像数据更加对齐、更加准确的人体网格。
以SMPL-X模型所计算得到的若干个关节点的三维参数作为示例说明,将所接收到的若干个关节点的三维参数投影得到关节点的二维参数,该二维参数与教学展示端21所获取的图像数据中的关节点的二维参数之间存在误差F2d。Fpri是一个先验项,该项在SMPL-X模型保证θw和βw都处于一个合理的范围。将误差和先验项相加得到需要优化的目标函数:F([φwww,cw])=F2d+Fpri,其中cw=(tw,sw),为弱透视投影装置参数。通过该目标函数对所得到的关节点的三维参数进行优化拟合。
人体数据转化单元222,用于将赋值后的人体模型转化为投影数据,通过投影装置24呈现投影数据。
实施例2所提供的实现远程教育的***除了以上的区别外,其余定义的解释、具体及优选方案的说明与实施例1相同,因此,相同的定义、具体及优选方案所带来的技术效果与实施例1提供的实现远程教育的***相同,具体内容可参见实施例1的说明,此处不再赘述。
实施例3
基于与实施例1相同的思想,本实施例提供一种实现远程教育的***,用于实现教学展示端31和教学投影端32之间的远程教育,实施例3与实施例1的区别在于,本实施例提供的***获取的教学展示端31的使用者A3的三维参数包括使用者A3的若干个关节点的三维参数,以及使用者A3的脸部三维参数。
教学展示端31设有深度图像采集装置33,如图6所示,具体包括:
人体骨骼参数处理单元311,用于通过深度图像采集装置33获取使用者A3的若干个关节点的三维参数,将使用者A3的若干个关节点的三维参数传输至教学投影端32。
脸部参数处理单元312,用于通过深度图像采集装置33获取使用者A3的脸部三维参数,将使用者A3的脸部三维参数传输至教学投影端32。
具体地,使用者的脸部三维参数是首先通过深度图像采集装置33所获取的图像数据,再从该图像数据中获取得到的,使用者A3的脸部三维参数具体是由使用者A3的脸部上若干个位置的三维参数组成的,该若干个位置的三维参数的组合应能够表示使用者A3在实际的教学互动展示时的表情以及脸部动作等等关键信息。更具体地,使用者A3的脸部三维参数是由使用者A3脸部的若干个关键点的三维参数组成的,使用者A3脸部的若干个关键点包括使用者A3的五官的若干个关键点。优选地,所获取的脸部三维参数为使用者A3脸部的68个关键点的三维参数,作为示例说明,如图7所示,其中关键点1~17为脸部轮廓上的关键点,关键点18~22为左边眉骨上的关键点,关键点23~27为右边眉骨上的关键点,关键点28~31为鼻梁上的关键点,关键点32~36为鼻头上的关键点,关键点37~42为左眼上的关键点,关键点43~48为右眼上的关键点,关键点49~68为嘴部上的关键点。
优选地,使用者A3的脸部三维参数还包括使用者A3脸部的位姿系数以及表情系数,通过迭代计算所获取的使用者A3脸部的若干个关键点与预设的标准人脸关键点之间的差距,可计算得到使用者A3脸部的位姿系数和表情系数。其中,位姿系数由3个欧拉角组成,可以用三维坐标(pitch,yaw,roll)表示,pitch为根据使用者A3脸部的若干个关键点的三维参数所确定的脸部围绕x轴旋转时的俯仰角,yaw为以同样的参数确定的脸部围绕y轴旋转时的偏航角,roll以同样的参数确定的脸部围绕z轴旋转时的翻滚角。表情系数模拟了使用者A3脸部肌群的运动,用于充分地描述了使用者A3脸部的绝大部分表情。
教学投影端32设有投影装置34,教学投影端32所转化的投影数据由人体投影数据以及脸部投影数据组成,如图8所示,教学投影端32具体包括:
人体参数赋值单元321,用于将所接收的若干个关节点的三维参数赋值于人体模型;
人体数据转化单元322,用于将赋值后的人体模型转化为人体投影数据,通过投影装置34呈现人体投影数据。
脸部参数赋值单元323,用于将所接收的使用者的脸部三维参数赋值于脸部模型;
脸部模型可以是预设的三维模型,该模型能够形成人体或任何其他人物的整体头部以及脸部,当将使用者A3脸部的若干个关键点的三维参数按照对应关键点的位置赋值到该脸部模型的若干个位置后,结合使用者A3脸部的位姿系数和表情系数可以使赋值后的脸部模型能够呈现出使用者A3在教学互动时的表情、头部动作和脸部动作,从而通过该脸部模型再现使用者A3的教学展示内容。
脸部数据转化单元324,用于将赋值后的脸部模型转化为脸部投影数据,通过投影装置34呈现脸部投影数据。
具体地,投影装置34在投影脸部投影数据时,会将脸部投影数据配合人体投影数据以组成一个整体,从而更准确地再现出使用者A3的教学展示内容。
在本实施例中,由于教学展示端31所获取的使用者A3的三维参数还包括了脸部三维参数,从而使呈现在教学投影端32的使用者面前的投影数据还包括了脸部投影数据,使教学展示端31的使用者的脸部表情、脸部和头部动作都能够清晰再现给教学投影端32的使用者,远程教育的效果更好。
实施例3所提供的实现远程教育的***除了以上的区别外,其余定义的解释、具体及优选方案的说明与实施例1相同,因此,相同的定义、具体及优选方案所带来的技术效果与实施例1提供的实现远程教育的***相同,具体内容可参见实施例1的说明,此处不再赘述。
实施例4
基于与实施例1相同的思想,本实施例提供一种实现远程教育的***,用于实现教学展示端41和教学投影端42之间的远程教育,实施例4与实施例1的区别在于,本实施例提供的***还会获取并根据教学展示端41的使用者A4的虚拟人体请求,并根据该虚拟人体请求进行不同的数据处理。
教学展示端41设有深度图像采集装置43,如图9所示,具体包括:
人体骨骼参数处理单元411,用于通过图像采集装置43获取使用者A4的若干个关节点的三维参数,将使用者A4的若干个关节点的三维参数传输至教学投影端42;
人体请求接收传输单元412,用于接收虚拟人体请求并传输至教学投影端42。
虚拟人体请求为教学展示端42的使用者A4发出的,用于表示使用者A4要求将所获取的使用者A4的若干个关节点的三维参数赋值于虚拟人物的人体模型,虚拟人物可以是卡通人物等虚构性人物,也可以泛指所有使用者A4以外的真实或虚构的人物。
教学投影端42设有投影装置44,如图10所示,具体包括:
人体请求接收单元421,用于接收所述虚拟人体请求;
人体模型选择单元422,用于在接收到所述虚拟人体请求时,将预设的虚拟人体模型作为人体模型,在没有接收到虚拟人体请求时,将预设的真实人体模型作为人体模型;
虚拟人体模型为一预设的模型,该模型能够形成虚拟人物的主要躯干和外形。真实人体模型为一预设的模型,该模型能够形成/再现使用者A4真实的主要躯干和外形。该真实人体模型也可以是在预先获取而生成的,如图9所示,教学展示端41还包括真实人体模型获取单元413,用于通过图像采集装置43对使用者A4的整体进行扫描以获取扫描数据,根据扫描数据生成与使用者A4成比例的模型,将所生成的模型作为真实人体模型。通过实时扫描所获取到的真实人体模型更加贴近使用者A4当前的实际状态,能够在教学投影端42的使用者面前再现更加真实的教学展示内容。
当人体模型选择单元422有接收到使用者A4的虚拟人体请求时,表示使用者A4要求其三维参数赋值于虚拟人物的人体模型上,因此,人体模型选择单元422会将虚拟人体模型作为人体模型,作为后续赋值的模型,如没有接收到使用者A4的虚拟人体请求,表示使用者A4没有对三维参数所赋值的模型进行限定,为了能够更加真实地再现使用者A4的教学展示内容,在本实施例中,人体模型选择单元422在没有接收到使用者A4的虚拟人体请求时,默认将真实人体模型作为人体模型,作为后续赋值的模型。
人体参数赋值单元423,用于将所接收的若干个关节点的三维参数赋值于人体模型;
人体数据转化单元424,用于将赋值后的人体模型转化为投影数据,通过投影装置44呈现投影数据。
在本实施例中,使用者A4可以通过虚拟人体请求以虚拟人物的形象出现在教学投影端42的使用者面前,能够保护使用者A4的隐私。
实施例4所提供的实现远程教育的***除了以上的区别外,其余定义的解释、具体及优选方案的说明与实施例1相同,因此,相同的定义、具体及优选方案所带来的技术效果与实施例1提供的实现远程教育的***相同,具体内容可参见实施例1的说明,此处不再赘述。
实施例5
基于与实施例3相同的思想,本实施例提供一种实现远程教育的***,用于实现教学展示端51和教学投影端52之间的远程教育,实施例5与实施例3的区别在于,本实施例提供的***还会获取并根据教学展示端51的使用者A5的虚拟人体请求以及虚拟脸部请求,并根据该虚拟人体请求以及虚拟脸部请求进行不同的数据处理。
教学展示端51设有深度图像采集装置53,如图11所示,具体包括:
人体骨骼参数处理单元511,用于通过图像采集装置53获取使用者A5的若干个关节点的三维参数,将使用者的若干个关节点的三维参数传输至教学投影端52;
人体请求接收传输单元512,用于接收虚拟人体请求并传输至教学投影端52。
虚拟人体请求为教学展示端51的使用者A5所发出的,用于表示教学展示端51的使用者A5要求将所获取的使用者A5的若干个关节点的三维参数赋值于虚拟人物的人体模型,虚拟人物可以是卡通人物等虚构性人物,也可以泛指所有使用者A5以外的真实或虚构的人物。
脸部请求接收传输单元513,用于接收虚拟脸部请求并传输至教学投影端52;
虚拟脸部请求为教学展示端51的使用者A5所发出的,用于表示使用者A5要求将所获取的使用者A5脸部的若干个关键点的三维参数、位姿系数及表情系数赋值于虚拟人物的脸部模型。
脸部参数处理单元514,用于通过图像采集装置53获取使用者A5脸部的若干个关键点的三维参数,并获取使用者A5脸部的位姿系数及表情系数,将使用者A5脸部的若干个关键点的三维参数、位姿系数及表情系数传输至教学投影端52。
教学投影端52设有投影装置54,如图12所示,教学投影端52具体包括:
人体请求接收单元521,用于接收所述虚拟人体请求;
人体模型选择单元522,用于在接收到所述虚拟人体请求时,将预设的虚拟人体模型作为人体模型,在没有接收到虚拟人体请求时,将预设的真实人体模型作为人体模型;
虚拟人体模型为预设的模型,该模型能够形成虚拟人物的主要躯干和外形。真实人体模型为一预设的模型,该模型能够形成/再现使用者真实的主要躯干和外形。该真实人体模型也可以是在预先获取而生成的,如图11所示,教学展示端51还包括真实人体模型获取单元515,用于通过图像采集装置53对使用者A5的整体躯干进行扫描以获取扫描数据,根据扫描数据生成与使用者A5成比例的模型,将所生成的模型作为真实人体模型。通过实时扫描所获取到的真实人体模型更加贴近使用者A5当前的实际状态,能够在教学投影端52的使用者面前再现更加真实的教学展示内容。
当人体模型选择单元522有接收到使用者A5的虚拟人体请求时,表示使用者A5要求其三维参数赋值于虚拟人物的人体模型上,因此,人体模型选择单元522会将虚拟人体模型作为人体模型,作为后续赋值的模型,如没有接收到使用者A5的虚拟人体请求,表示使用者A5没有对人体骨骼三维参数所赋值的模型进行限定,为了能够更加真实地再现使用者A5的教学展示内容,在本实施例中,人体模型选择单元522在没有接收到使用者A5的虚拟人体请求时,默认将真实人体模型作为人体模型,作为后续赋值的模型。
人体参数赋值单元523,用于将所接收的若干个关节点的三维参数赋值于人体模型;
人体数据转化单元524,用于将赋值后的人体模型转化为人体投影数据,通过投影装置54呈现人体投影数据。
脸部请求接收单元525,用于接收所述虚拟脸部请求;
脸部模型选择单元526,用于在接收到所述虚拟脸部请求时,将预设的虚拟脸部模型作为脸部模型,在没有接收到虚拟脸部请求时,将预设的真实脸部模型作为脸部模型;
虚拟脸部模型为预设的模型,该模型能够形成虚拟人物的整体头部以及脸部。真实脸部模型为预设的模型,该模型能够形成/再现使用者A5真实的头部以及脸部。该真实人体模型也可以是在预先获取而生成的,如图11所示,教学展示端51还包括真实脸部模型获取单元516,用于通过图像采集装置53对使用者A5的头部进行扫描以获取扫描数据,根据扫描数据生成与使用者A5成比例的使用者真实脸部模型,将该使用者真实脸部模型作为真实脸部模型。通过实时扫描所获取到的真实脸部模型更加贴近使用者A5当前的实际脸部表情和动作,能够在教学投影端52的使用者面前再现更加真实的教学展示内容。
当脸部模型选择单元526有接收到使用者A5的虚拟脸部请求时,表示使用者A5要求其三维参数赋值于虚拟人物的脸部模型上,因此,脸部模型选择单元526会将虚拟脸部模型作为脸部模型,作为后续赋值的模型,如没有接收到使用者A5的虚拟脸部请求,表示使用者A5没有对脸部三维参数所赋值的模型进行限定,为了能够更加真实地再现使用者A5的教学展示内容,在本实施例中,脸部模型选择单元526在没有接收到使用者A5的虚拟脸部请求时,默认将真实脸部模型作为脸部模型,作为后续赋值的模型。
脸部参数赋值单元527,用于将所接收的使用者A5脸部的若干个关键点的三维参数赋值于脸部模型,并利用位姿系数及表情系数调整赋值后的脸部模型;
脸部数据转化单元528,用于将赋值后的脸部模型转化为脸部投影数据,通过投影装置54呈现脸部投影数据。
在本实施例中,使用者A5可以通过虚拟人体请求和虚拟脸部请求,以虚拟人物的脸部和形象出现在教学投影端52的使用者面前,能够保护使用者A5的隐私。
实施例5所提供的实现远程教育的***除了以上的区别外,其余定义的解释、具体及优选方案的说明与实施例3相同,因此,相同的定义、具体及优选方案所带来的技术效果与实施例1提供的实现远程教育的***相同,具体内容可参见实施例3的说明,此处不再赘述。
实施例6
基于与实施例1~5相同的思想,本实施例提供一种实现远程教育的方法,应用于教学展示端,其设有用于对准使用者的图像采集装置;
所述方法包括:
S1:通过所述图像采集装置获取所述使用者的三维参数;
S2:将所述三维参数传输至教学投影端,以使所述教学投影端根据所接收的使用者的三维参数生成投影数据,通过其设有的投影装置呈现所述投影数据。
具体地,所述使用者的三维参数包括人体骨骼三维参数;所述投影数据包括人体投影数据;
则步骤S1的具体执行过程为:通过所述图像采集装置获取所述使用者的人体骨骼三维参数;步骤S2的具体执行过程为:将所述人体骨骼三维参数传输至教学投影端,以使教学投影端将所述人体骨骼三维参数赋值于人体模型,并将赋值后的人体模型转化为所述人体投影数据,通过所述投影装置呈现所述人体投影数据。
优选地,所述人体三维骨骼参数为所述使用者的若干个关节点的三维参数。
优选地,所述使用者的三维参数还包括所述使用者的脸部三维参数;所述投影数据还包括脸部投影数据;
则步骤S1的具体执行过程为:通过所述图像采集装置获取所述使用者的人体骨骼三维参数以及脸部三维参数;步骤S2的具体执行过程为:将所述人体骨骼三维参数以及脸部三维参数传输至教学投影端,以使教学投影端将所述人体骨骼三维参数赋值于人体模型,将所述脸部三维参数赋值于脸部模型,并将赋值后的人体模型转化为所述人体投影数据,将赋值后的脸部模型转化为脸部投影数据,通过所述投影装置呈现所述人体投影数据和脸部投影数据。
优选地,方法还包括:接收虚拟人体请求并传输至所述教学投影端,以使教学投影端在接收到所述虚拟人体请求时,将预设的虚拟人体模型作为所述人体模型,在没有接收到所述虚拟人体请求时,将预设的真实人体模型作为所述人体模型;
优选地,方法还包括:接收虚拟脸部请求并传输至所述教学投影端,以使教学投影端在接收到所述虚拟脸部请求时,将预设的虚拟脸部模型作为所述脸部模型,在没有接收到所述虚拟脸部请求时,将预设的真实脸部模型作为所述脸部模型。
优选地,方法还包括:通过所述图像采集装置对所述使用者进行扫描以获取扫描数据,根据所述扫描数据生成与所述使用者成比例的人体模型,将所生成的所述模型作为所述预设的真实人体模型。
基于与上述方法相同的思想,本实施例还提供一种实现远程教育的方法,应用于教学投影端,其设有投影装置,方法包括:
T1:接收教学展示端传输的使用者的三维参数;
T2:根据所述三维参数生成投影数据,通过所述投影装置呈现所述投影数据。
教学展示端传输的使用者的三维参数是由所述教学展示端通过其设有的图像采集装置获取到的。
基于与上述应用于教学展示端方法相同的思想,本实施例提供一种教学展示端,其设有用于对准使用者的图像采集装置。
所述教学展示端用于通过所述图像采集装置获取所述使用者的三维参数,将所述三维参数传输至教学投影端,以使所述教学投影端根据所述三维参数生成投影数据,通过其设有的投影装置呈现所述投影数据。
基于与上述应用于教学展示端方法相同的思想,本实施例提供一种教学投影端,设有投影装置;
所述教学投影端用于接收教学展示端传输的使用者的三维参数,根据所述三维参数生成投影数据,通过所述投影装置呈现所述投影数据;
所述教学展示端传输的使用者的三维参数是由所述教学展示端通过其设有的图像采集装置获取到的。
实施例6所提供的实现远程教育的方法、教学展示端以及教学投影端中的定义解释、具体及优选方案的说明与实施例1~5中所提及的对应内容相同,因此,相同的定义、具体及优选方案所带来的技术效果与实施例1~5提供的实现远程教育的***相同,具体内容可参见实施例1~5中对应的说明,此处不再赘述。
显然,本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例,而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (12)

1.一种实现远程教育的***,其特征在于,包括:教学展示端和教学投影端;
所述教学展示端设有用于对准使用者的图像采集装置;所述教学展示端用于通过所述图像采集装置获取所述使用者的三维参数,将所述三维参数传输至教学投影端;
所述教学投影端设有投影装置;所述教学投影端用于接收所述教学展示端传输的所述三维参数,根据所述三维参数生成投影数据,通过所述投影装置呈现所述投影数据。
2.根据权利要求1所述的远程教育***,其特征在于,所述使用者的三维参数包括人体骨骼三维参数;所述投影数据包括人体投影数据;
所述教学展示端包括:
人体骨骼参数处理单元,用于通过所述图像采集装置获取所述使用者的人体骨骼三维参数,将所述人体骨骼三维参数传输至教学投影端;
所述教学投影端包括:
人体参数赋值单元,用于将所述人体骨骼三维参数赋值于人体模型;
人体数据转化单元,用于将赋值后的人体模型转化为所述人体投影数据,通过所述投影装置呈现所述人体投影数据。
3.根据权利要求2所述的远程教育***,其特征在于,所述人体三维骨骼参数为所述使用者的若干个关节点的三维参数。
4.根据权利要求2或3所述的远程教育***,其特征在于,所述使用者的三维参数还包括所述使用者的脸部三维参数;所述投影数据还包括脸部投影数据;
所述教学展示端还包括:
脸部参数处理单元,用于通过所述图像采集装置获取所述使用者的脸部三维参数,将所述脸部三维参数传输至教学投影端;
所述教学投影端还包括:
脸部参数赋值单元,用于将所接收的使用者的脸部三维参数赋值于脸部模型;
脸部数据转化单元,用于将赋值后的脸部模型转化为所述脸部投影数据,通过所述投影装置呈现所述脸部投影数据。
5.根据权利要求所述2或3任一项所述远程教育***,其特征在于,所述教学展示端还包括:
人体请求接收传输单元,用于接收虚拟人体请求并传输至所述教学投影端;
所述教学投影端还包括:
人体请求接收单元,用于接收所述虚拟人体请求;
人体模型选择单元,用于在接收到所述虚拟人体请求时,将预设的虚拟人体模型作为所述人体模型,在没有接收到所述虚拟人体请求时,将预设的真实人体模型作为所述人体模型。
6.根据权利要求4所述的远程教育***,其特征在于,所述教学展示端还包括:
脸部请求接收传输单元,用于接收虚拟脸部请求并传输至所述教学投影端;
所述教学投影端还包括:
脸部请求接收单元,用于接收所述虚拟脸部请求;
脸部模型选择单元,用于在接收到所述虚拟脸部请求时,将预设的虚拟脸部模型作为所述脸部模型,在没有接收到所述虚拟脸部请求时,将预设的真实脸部模型作为所述脸部模型。
7.根据权利要求5所述的远程教育***,其特征在于,所述教学展示端还包括:
真实人体模型获取单元,用于通过所述图像采集装置对所述使用者进行扫描以获取扫描数据,根据所述扫描数据生成与所述使用者成比例的人体模型,将所生成的所述模型作为所述预设的真实人体模型。
8.根据权利要求1~3或6~7任一项所述的远程教育***,其特征在于,所述教学展示端为教育平板设备,所述图像采集装置设置在所述教学展示端的边框上,和/或,所述教学投影端为教育平板设备,所述投影装置设置在所述教学投影端的边框上。
9.一种教学展示端,其特征在于,设有对准使用者的图像采集装置;
所述教学展示端用于通过所述图像采集装置获取所述使用者的三维参数,将所述三维参数传输至教学投影端,以使所述教学投影端根据所述三维参数生成投影数据,通过其设有的投影装置呈现所述投影数据。
10.一种教学投影端,其特征在于,设有投影装置;
所述教学投影端用于接收教学展示端传输的使用者的三维参数,根据所述三维参数生成投影数据,通过所述投影装置呈现所述投影数据;
所述教学展示端传输的使用者的三维参数是由所述教学展示端通过其设有的图像采集装置获取到的。
11.一种实现远程教育的方法,其特征在于,应用于教学展示端,其设有用于对准使用者的图像采集装置;
所述方法包括:
通过所述图像采集装置获取所述使用者的三维参数,将所述三维参数传输至教学投影端,以使所述教学投影端根据所述三维参数生成投影数据,通过其设有的投影装置呈现所述投影数据。
12.一种实现远程教育的方法,其特征在于,应用于教学投影端,其设有投影装置;
所述方法包括:
接收教学展示端传输的使用者的三维参数,根据所述三维参数生成投影数据,通过所述投影装置呈现所述投影数据;
所述教学展示端传输的使用者的三维参数是由所述教学展示端通过其设有的图像采集装置获取到的。
CN202110924590.7A 2021-08-12 2021-08-12 实现远程教育的***、方法及教学端 Pending CN115909825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110924590.7A CN115909825A (zh) 2021-08-12 2021-08-12 实现远程教育的***、方法及教学端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110924590.7A CN115909825A (zh) 2021-08-12 2021-08-12 实现远程教育的***、方法及教学端

Publications (1)

Publication Number Publication Date
CN115909825A true CN115909825A (zh) 2023-04-04

Family

ID=86471378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110924590.7A Pending CN115909825A (zh) 2021-08-12 2021-08-12 实现远程教育的***、方法及教学端

Country Status (1)

Country Link
CN (1) CN115909825A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740476A (zh) * 2018-12-25 2019-05-10 北京琳云信息科技有限责任公司 即时通讯方法、装置和服务器
CN210091423U (zh) * 2019-12-30 2020-02-18 杭州赛鲁班网络科技有限公司 一种基于全息投影的远程教学互动***
CN111880709A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 一种展示方法、装置、计算机设备及存储介质
CN112230772A (zh) * 2020-10-14 2021-01-15 华中师范大学 一种虚实融合的教具自动生成方法
CN112562433A (zh) * 2020-12-30 2021-03-26 华中师范大学 一种基于全息终端的5g强互动远程专递教学***及其工作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740476A (zh) * 2018-12-25 2019-05-10 北京琳云信息科技有限责任公司 即时通讯方法、装置和服务器
CN210091423U (zh) * 2019-12-30 2020-02-18 杭州赛鲁班网络科技有限公司 一种基于全息投影的远程教学互动***
CN111880709A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 一种展示方法、装置、计算机设备及存储介质
CN112230772A (zh) * 2020-10-14 2021-01-15 华中师范大学 一种虚实融合的教具自动生成方法
CN112562433A (zh) * 2020-12-30 2021-03-26 华中师范大学 一种基于全息终端的5g强互动远程专递教学***及其工作方法

Similar Documents

Publication Publication Date Title
Kruger et al. The responsive workbench: A virtual work environment
Patel et al. The effects of fully immersive virtual reality on the learning of physical tasks
Cheng et al. Construction of Interactive Teaching System for Course of Mechanical Drawing Based on Mobile Augmented Reality Technology.
Hoang et al. Augmented studio: Projection mapping on moving body for physiotherapy education
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
KR20120113058A (ko) 현실-가상 융합 공간 기반의 교육 장치 및 방법
CN111986334A (zh) Hololens和CAVE结合的虚拟体验***及方法
Faridan et al. Chameleoncontrol: Teleoperating real human surrogates through mixed reality gestural guidance for remote hands-on classrooms
Pandzic et al. Towards natural communication in networked collaborative virtual environments
JP2739444B2 (ja) 3次元モデルによる動き生成装置
Ponton et al. Fitted avatars: automatic skeleton adjustment for self-avatars in virtual reality
CN115909825A (zh) 实现远程教育的***、方法及教学端
Lu et al. An immersive telepresence system using rgb-d sensors and head mounted display
JP6892478B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Mujumdar Augmented Reality
CN115880954A (zh) 一种基于元宇宙的教学互动***
CN112508772B (zh) 图像生成方法、装置及存储介质
Li et al. Application of virtual reality and augmented reality technology in Teaching
Chessa et al. Insert your own body in the oculus rift to improve proprioception
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
KR20110107707A (ko) 증강현실을 이용한 온라인 학습 장치 및 그 방법
Horst et al. Avatar2Avatar: Augmenting the Mutual Visual Communication between Co-located Real and Virtual Environments.
Murnane et al. Learning from human-robot interactions in modeled scenes
CN114205640B (zh) 一种教学用vr场景控制***
Schäfer Improving Essential Interactions for Immersive Virtual Environments with Novel Hand Gesture Authoring Tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination