CN116453384A - 基于tof技术的沉浸式智能学习***及控制方法 - Google Patents

Abstract

本发明公开了一种基于TOF技术的沉浸式智能学习***及控制方法，该***包括台架以及分别设置在台架上的语音模块、识别模块、投影模块、指正模块以及照明模块，台架上集成有控制单元，语音模块、识别模块、投影模块、指正模块以及照明模块分别与控制单元电性连接，语音模块用于标准原声输出，跟读及语音命令输入；识别模块用于人脸识别用户合法鉴权管理、坐姿矫正、面部表情对学习内容兴趣程度反馈；投影模块用于输出教学信息的显示；指正模块用于书本指读、内容输入及作业内容收集；照明模块用于当前学习区域的照明以及学习区域的照明参数的调整。本发明解决了现有的台灯智能学习效果差的问题。

Description

基于TOF技术的沉浸式智能学习***及控制方法

技术领域

本发明涉及教育技术领域，特别涉及一种基于TOF技术的沉浸式智能学习***及控制方法。

背景技术

现如今，家庭学习教育已经变成了学习教育中不可忽视的一部分，现市面上已出现一些带显示屏的学习功能台灯，可通过显示屏进行学习展示，并提供学习过程中的照明功能。然而，单纯的学习展示仍然达不到智能学习的效果。

发明内容

有鉴于此，本发明的目的在于提供一种基于TOF技术的沉浸式智能学习***及控制方法，旨在解决现有技术中台灯智能学习效果差的问题。

本发明是这样实现的：

一种基于TOF技术沉浸式智能学习***，所述***包括台架以及分别设置在所述台架上的语音模块、识别模块、投影模块、指正模块以及照明模块，所述台架上集成有控制单元，所述语音模块、识别模块、投影模块、指正模块以及照明模块分别与所述控制单元电性连接，以通过所述控制单元对所述语音模块、识别模块、投影模块、指正模块以及照明模块进行控制；

其中，所述语音模块用于标准原声输出、书本指读、跟读及语音命令输入；

所述识别模块用于利用TOF技术进行人脸识别用户合法鉴权管理、坐姿矫正、面部表情对学习内容兴趣程度反馈；

所述投影模块用于输出教学信息的显示，所述教学信息至少包括教学内容视频、图片、图形、文字；

所述指正模块用于书本内容输入及作业内容收集；

所述照明模块用于当前学习区域的照明以及所述学习区域的照明参数的调整，所述照明参数至少包括照明亮度以及照明角度。

进一步的，上述基于TOF技术的沉浸式智能学习***，其中，所述台架包括底座、设于所述底座上的支撑架以及设于所述支撑架上的可调节支架。

进一步的，上述基于TOF技术的沉浸式智能学习***，其中，所述可调节支架包括转动连接的第一支架部与第二支架部，所述可调节支架通过所述第一支架部与所述底座转动连接，所述照明模块转动连接于所述第二支架部的端部。

进一步的，上述基于TOF技术的沉浸式智能学习***，其中，所述底座与支撑架内均形成内部空腔，所述控制单元设于所述底座内，所述语音模块、识别模块、以及投影模块设于所述支撑架内，所述照明模块设于所述可调节支架的端部，所述指正模块设于所述可调节支架上。

进一步的，上述基于TOF技术的沉浸式智能学习***，其中，所述基于TOF技术沉浸式智能学习***还包括设于所述台架一侧的投影架，所述投影架内设有投影幕布。

本发明的另一个目的在于提供一种基于TOF技术的沉浸式智能学习***的控制方法，应用于上述的基于TOF技术的沉浸式智能学习***，所述方法包括：

当检测到需要进行智能学习时，通过照明模块开启当前学习区域的照明以及根据所述当前学习区域的照明情况对照明参数进行调整；

利用识别模块进行人脸识别用户合法鉴权并在人脸识别用户合法鉴权成功后开启坐姿矫正、面部表情对学习内容兴趣程度反馈模式；

获取教学信息，并将所述教学信息通过投影模块进行显示，以对所述教学信息进行观看，并在观看过程中，实时采集用户的当前坐姿、面部表情，评估所述用户对所述教学信息的兴趣和专注度，以对所述教学信息进行改进。

进一步的，上述基于TOF技术的沉浸式智能学习***的控制方法，其中，所述方法还包括：

通过语音模块采集对桌面指定书本进行指读、跟读后的所述用户的朗读信息；

获取指正模块采集到的桌面拍照作业图像，对所述作业图像进行批改，批改显示分为对错批改评分和对错批改评分含答案及解析；

根据所述批改显示的结果生成个人错题集文档。

进一步的，上述基于TOF技术的沉浸式智能学习***的控制方法，其中，所述利用识别模块进行人脸识别用户合法鉴权的步骤包括：

获取布设于台架上的所述识别模块采集到的不同状态下的所述用户的人脸深度数据信息，根据所述人脸深度数据信息确定多个用于人脸识别的人脸模型，并将所述人脸模型进行数据录入得到对应的人脸识别数据库；

当检测到需要进行学习时，采集所述用户的当前人脸深度数据信息并根据所述当前人脸深度数据信息确定当前人脸模型；

将所述当前人脸模型与所述人脸识别数据库当中的人脸模型进行匹配，并在所述当前人脸模型与所述人脸识别数据库当中的人脸模型匹配成功时，确定所述用户鉴权成功。

进一步的，上述基于TOF技术的沉浸式智能学习***的控制方法，其中，所述识别模块当中设有激光发射器与对应的接收器，所述人脸深度数据信息的获取步骤包括：

获取所述激光发射器发射的光照射在人脸上各个点后被所述接收器接收的飞行时长；

根据所述飞行时长与光速确定所述人脸上各个点的距离信息以确定所述人脸深度数据信息。

进一步的，上述基于TOF技术的沉浸式智能学习***的控制方法，其中，所述坐姿矫正的步骤包括：

获取识别模块采集的用户标准坐姿信息建立用户标准坐姿三维模型，将所述用户标准坐姿三维模型录入至坐姿识别数据库；

采集用户的当前坐姿信息，并根据所述当前坐姿信息确定当前坐姿模型，将所述当前坐姿模型与所述标准坐姿三维模型进行匹配，并在所述当前坐姿模型与标准坐姿三维模型偏差度达到偏差阈值且持续时间达到时间阈值时进行语音提醒。

本发明通过当检测到需要进行智能学习时，开启当前学习区域的照明以及根据当前区域的照明情况对照明参数进行调整；进行人脸识别用户合法鉴权并在人脸识别用户合法鉴权成功后开启坐姿矫正、面部表情对学习内容兴趣程度反馈模式；获取教学信息，并将所述教学信息进行显示，以对所述教学信息进行观看，并在观看过程中，实时采集用户的坐姿矫正、面部表情，评估用户对所述教学信息的兴趣和专注度，以便***后台对所述教学信息进行改进，对桌面指定书本进行指读、跟读；拍照上传作业，作业智能批改反馈，批改显示分为：对错批改评分和对错批改评分含答案及解析；生成个人错题集文档，可选择含答案及解析或试卷模式不含答案及解析留答题空位，实现了多方位的学习，解决了现有的台灯智能学习效果差的问题。

附图说明

图1为本发明一实施例中提出的基于TOF技术的沉浸式智能学习***的结构示意图；

图2为本发明一实施例中提出的基于TOF技术的沉浸式智能学习***中的识别模块使用状态图；

图3为本发明一实施例中提出的基于TOF技术的沉浸式智能学习***中的投影模块使用状态图；

图4为本发明一实施例中提出的基于TOF技术的沉浸式智能学习***中的指正模块使用状态图；

图5为本发明一实施例中提出的基于TOF技术的沉浸式智能学习***中的照明模块使用状态图；

图6为本发明一实施例中提出的基于TOF技术的沉浸式智能学习***的控制方法的流程图。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列类型的任意的和所有的组合。

以下将结合具体实施例和附图来详细说明如何提升在进行智能学习时的学习效果。

实施例一

请参阅图1至图5，所示为本发明第一实施例当中提出的基于TOF技术的沉浸式智能学习***，该***包括台架10以及分别设置在所述台架10上的语音模块101、识别模块102、投影模块103、指正模块104以及照明模块105，其中：

台架10上集成有控制单元，语音模块101、识别模块102、投影模块103、指正模块104以及照明模块105分别与控制单元电性连接，以通过控制单元对语音模块101、识别模块102、投影模块103、指正模块104以及照明模块105进行控制，具体的，还可以通过平板、手机、电话手表等均可安装APP，通过APP可连接台灯硬件设备控制使用其是相应功能，软件APP可与网络云平台连接，以提供产品管理、销售渠道管理、***用户管理、软件升级管理、学习内容更新、教学直播互动以及精准宣传等服务。

具体的，语音模块101与（声音输入输出模块）用于标准原声输出，跟读及语音命令输入，识别模块102用于人脸识别用户合法鉴权管理、坐姿矫正、面部表情对学习内容兴趣程度反馈，投影模块103用于输出教学信息的显示，教学信息至少包括教学内容视频、图片、图形、文字，指正模块104用于书本指读、内容输入及作业内容收集，照明模块105用于当前学习区域的照明以及所述学习区域的照明参数的调整，所述照明参数至少包括照明亮度以及照明角度。

更具体的，台架10包括底座11、设于底座11上的支撑架12以及设于支撑架12上的可调节支架13，可调节支架13包括转动连接的第一支架部130与第二支架部131，可调节支架13通过第一支架部130与所述底座11转动连接，照明模块105转动连接于第二支架部131的端部，在本实施例当中，照明模块105为LED灯，通过可调节支架13可以调节LED灯的照射角度，底座11与支撑架12内均形成内部空腔，控制单元设于底座11内，语音模块101、识别模块102、以及投影模块103设于支撑架12内，照明模块105设于可调节支架13的端部，指正模块104设于可调节支架13上。照明模块105可通过精准控制使台灯照明区域，无眩光、无重影、可根据外部环境变化自动调光调色，接近于自然阳光照效果，将灯光控制在小范围区域使用户沉浸于这个学习环境中，减少外部干扰，能提高学习专注力。

另外，基于TOF技术的沉浸式智能学习***还包括设于台架10一侧的投影架20，所述投影架20内设有投影幕布，具体的，使用激光微投，微投尺寸小（尺寸最小40*25*7mm）、画面清晰分辨率720p显示面可达21寸以上，观看用眼轻松护眼。解决普通智能台灯小屏观看用眼疲劳。

请参阅图6，所示为本发明提出的基于TOF技术的沉浸式智能学习***的控制方法，所述方法包括步骤S10~S12。

步骤S10，当检测到需要进行智能学习时，通过照明模块开启当前学习区域的照明以及根据所述当前学习区域的照明情况对照明参数进行调整。

其中，可以对照明模块的当前的照明灯光进行精准调控，使台灯照明区域，无眩光、无重影、还可根据外部环境变化自动调光调色，接近于自然阳光照效果，并且将灯光控制在小范围区域使用户沉浸于这个学习环境中，减少外部干扰，能提高学习专注力。

步骤S11，利用识别模块进行人脸识别用户合法鉴权并在人脸识别用户合法鉴权成功后开启坐姿矫正、面部表情对学习内容兴趣程度反馈模式。

具体的，所述利用识别模块进行人脸识别用户合法鉴权的步骤包括：

获取布设于台架上的所述识别模块采集到的不同状态下的所述用户的人脸深度数据信息，根据所述人脸深度数据信息确定多个用于人脸识别的人脸模型，并将所述人脸模型进行数据录入得到对应的人脸识别数据库；

当检测到需要进行学习时，采集所述用户的当前人脸深度数据信息并根据所述当前人脸深度数据信息确定当前人脸模型；

将所述当前人脸模型与所述人脸识别数据库当中的人脸模型进行匹配，并在所述当前人脸模型与所述人脸识别数据库当中的人脸模型匹配成功时，确定所述用户鉴权成功。

其中，识别模块采用TOF技术实现人脸识别，具体的，所述识别模块当中设有激光发射器与对应的接收器，所述人脸深度数据信息的获取步骤包括：

获取所述激光发射器发射的光照射在人脸上各个点后被所述接收器接收的飞行时长；

根据所述飞行时长与光速确定所述人脸上各个点的距离信息以确定所述人脸深度数据信息。

其中，TOF（Time of Flight）字面意思飞行时间，即激光发射器发出的光从发射出去的瞬间到碰到物体反射回到接收器接收的瞬间，这么一段光的飞行时间，因为已知光速，通过距离计算公式就可以知道物体表面（人脸）各个点的深度信息。能得到一个带有位置深度信息的三维模型，本发明通过直接测量反射光脉冲和发射光脉冲之间的时间间隔。得到物体深度信息形成三维模型。对人脸识别授权的过程原理为：首先建立用户权限，通过TOF技术用户主动进行人脸深度数据信息采集录入，采集包括眨眼和微笑，通过对人脸表情变化对各特征点不同深度信息的记录，得到多个三维模型作为原始数据库。建立用户后就有了用户权限，需要使用确权进入时将人脸再次对准识别模块的照射范围进行权限识别。识别模块会再次采集人脸深度数据信息进行比对，其相符率达到一定比率后受权通过。采集确权过程小于1秒钟完成。

另外，用TOF技术还可以实现无拍照的坐姿校正，保证个人信息安全。因为，通过TOF技术的坐姿校正、人脸识别，采集对比的物体深度信息数据形成的三维图形数据是一种机器才能识别的信息，不会有高像素带色彩的图片形成，无法通过人眼识别。所以不会造成可识别的照片泄漏，保证了个人面部图片信息安全。

具体的，坐姿矫正的步骤包括：

获取所述识别模块采集的用户标准坐姿信息建立用户标准坐姿三维模型，将所述用户标准坐姿三维模型录入至坐姿识别数据库；

采集用户的当前坐姿信息，并根据所述当前坐姿信息确定当前坐姿模型，将所述当前坐姿与所述标准坐姿三维模型进行匹配，并在所述当前坐姿模型与标准坐姿三维模型偏差度达到偏差阈值且持续时间达到时间阈值时进行语音提醒。

其中，坐姿校正原理为：首先用TOF技术采集建立用户标准坐姿，将标准坐姿深度信息对应的三维模型记录入原始数据库（只需要首次使用时才需采集用户标准坐姿）。然后进入坐姿校正模式后识别模块会针对用户进行实时坐姿的相对位置深度信息采集与原始数据库进行对比。当用户实时坐姿偏差较大时间达到1分钟以上便会通过语音输出模块进行语音提醒。

步骤S12，获取教学信息，并将所述教学信息通过投影模块进行显示，以对所述教学信息进行观看，并在观看过程中，实时采集用户的当前坐姿、面部表情，评估所述用户对所述教学信息的兴趣和专注度，以对所述教学信息进行改进。

具体的，投影模块可使用激光微投，激光微投画面清晰分辨率720p显示面可达21寸以上，眼睛观看大尺寸画面相对小尺寸画面更轻松。解决普通智能台灯小屏观看用眼疲劳。

另外，在本发明一些可选的实施例当中，所述方法还包括：

通过语音模块采集对桌面指定书本进行指读、跟读后的所述用户的朗读信息；

获取指正模块采集到的桌面作业图像，对所述作业图像进行作业批改，批改显示分为对错批改评分和对错批改评分含答案及解析；

根据所述批改显示的结果生成个人错题集文档。

具体的，指正模块可采用RGB 摄像头进行作业图像的采集。

综上，本发明实施例通过当检测到需要进行智能学习时，开启当前学习区域的照明以及根据当前区域的照明情况对照明参数进行调整；进行人脸识别用户合法鉴权并在人脸识别用户合法鉴权成功后开启坐姿矫正、面部表情对学习内容兴趣程度反馈模式；获取教学信息，并将所述教学信息进行显示，以对所述教学信息进行观看，并在观看过程中，实时采集用户的坐姿矫正、面部表情，评估用户对所述教学信息的兴趣和专注度，以便***后台对所述教学信息进行改进，对桌面指定书本进行指读、跟读；拍照上传作业，作业智能批改反馈，批改显示分为：对错批改评分和对错批改评分含答案及解析；生成个人错题集文档，可选择含答案及解析或试卷模式不含答案及解析留答题空位，实现了多方位的学习，解决了现有的台灯智能学习效果差的问题。

另外，本发明实施例至少还可以具有如下的有益效果：

1、用TOF技术实现人脸识别技术，方便快捷、安全的实现用户使用授权管理。解决了普通用户名密码输入，智能化程度低，操作繁琐，可能被盗用安全性差的问题；

2、用TOF技术实现无拍照的坐姿校正，保证个人信息安全。坐姿校正、人脸识别采用TOF技术，采集对比的物体深度信息数据形成的三维图形数据是一种机器才能识别的信息，不会有高像素带色彩的图片形成，无法通过人眼识别。所以不会造成可识别的照片泄漏，保证了个人面部图片信息安全；

3、投影模块使用激光微投，画面清晰分辨率720p显示面可达21寸以上，眼睛观看大尺寸画面相对小尺寸画面更轻松。解决普通智能台灯小屏观看用眼疲劳的问题；

4、用识别模块对用户专注度、兴趣度进行分析反馈，以便教学内容更改及提高。

以上各个实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于TOF技术的沉浸式智能学习***，其特征在于，所述***包括台架以及分别设置在所述台架上的语音模块、识别模块、投影模块、指正模块以及照明模块，所述台架上集成有控制单元，所述语音模块、识别模块、投影模块、指正模块以及照明模块分别与所述控制单元电性连接，以通过所述控制单元对所述语音模块、识别模块、投影模块、指正模块以及照明模块进行控制，所述台架包括底座、设于所述底座上的支撑架以及设于所述支撑架上的可调节支架，所述可调节支架包括转动连接的第一支架部与第二支架部，所述可调节支架通过所述第一支架部与所述底座转动连接，所述照明模块转动连接于所述第二支架部的端部，所述台架的一侧设有投影架，所述投影架内设有投影幕布；

其中，所述语音模块用于标准原声输出、书本指读、跟读及语音命令输入；

所述识别模块用于利用TOF技术进行人脸识别用户合法鉴权管理、坐姿矫正、面部表情对学习内容兴趣程度反馈；

所述投影模块用于输出教学信息的显示，所述教学信息至少包括教学内容视频、图片、图形、文字；

所述指正模块用于书本内容输入及作业内容收集；

所述照明模块用于当前学习区域的照明以及所述学习区域的照明参数的调整，所述照明参数至少包括照明亮度以及照明角度。

2.根据权利要求1所述的基于TOF技术的沉浸式智能学习***，其特征在于，所述底座与支撑架内均形成内部空腔，所述控制单元设于所述底座内，所述语音模块、识别模块、以及投影模块设于所述支撑架内，所述照明模块设于所述可调节支架的端部，所述指正模块设于所述可调节支架上。

3.一种基于TOF技术的沉浸式智能学习***的控制方法，应用于权利要求1至2中任一项所述的基于TOF技术的沉浸式智能学习***，其特征在于，所述方法包括：

当检测到需要进行智能学习时，通过照明模块开启当前学习区域的照明以及根据所述当前学习区域的照明情况对照明参数进行调整；

利用识别模块进行人脸识别用户合法鉴权并在人脸识别用户合法鉴权成功后开启坐姿矫正、面部表情对学习内容兴趣程度反馈模式；

获取教学信息，并将所述教学信息通过投影模块进行显示，以对所述教学信息进行观看，并在观看过程中，实时采集用户的当前坐姿、面部表情，评估所述用户对所述教学信息的兴趣和专注度，以对所述教学信息进行改进。

4.根据权利要求3所述的基于TOF技术的沉浸式智能学习***的控制方法，其特征在于，所述方法还包括：

通过语音模块采集对桌面指定书本进行指读、跟读后的所述用户的朗读信息；

获取指正模块采集到的桌面作业图像，对所述作业图像进行批改，批改显示分为对错批改评分和对错批改评分含答案及解析；

根据所述批改显示的结果生成个人错题集文档。

5.根据权利要求3所述的基于TOF技术的沉浸式智能学习***的控制方法，其特征在于，所述利用识别模块进行人脸识别用户合法鉴权的步骤包括：

获取布设于台架上的所述识别模块采集到的不同状态下的所述用户的人脸深度数据信息，根据所述人脸深度数据信息确定多个用于人脸识别的人脸模型，并将所述人脸模型进行数据录入得到对应的人脸识别数据库；

当检测到需要进行学习时，采集所述用户的当前人脸深度数据信息并根据所述当前人脸深度数据信息确定当前人脸模型；

将所述当前人脸模型与所述人脸识别数据库当中的人脸模型进行匹配，并在所述当前人脸模型与所述人脸识别数据库当中的人脸模型匹配成功时，确定所述用户鉴权成功。

6.根据权利要求5所述的基于TOF技术的沉浸式智能学习***的控制方法，其特征在于，所述识别模块当中设有激光发射器与对应的接收器，所述人脸深度数据信息的获取步骤包括：

获取所述激光发射器发射的光照射在人脸上各个点后被所述接收器接收的飞行时长；

根据所述飞行时长与光速确定所述人脸上各个点的距离信息以确定所述人脸深度数据信息。

7.根据权利要求3所述的基于TOF技术的沉浸式智能学习***的控制方法，其特征在于，所述坐姿矫正的步骤包括：

获取所述识别模块采集的用户标准坐姿信息建立用户标准坐姿三维模型，将所述用户标准坐姿三维模型录入至坐姿识别数据库；

采集用户的当前坐姿信息，并根据所述当前坐姿信息确定当前坐姿模型，将所述当前坐姿模型与所述标准坐姿三维模型进行匹配，并在所述当前坐姿模型与标准坐姿三维模型偏差度达到偏差阈值且持续时间达到时间阈值时进行语音提醒。