CN112084814A - 一种学习辅助方法和智能装置 - Google Patents

Abstract

本发明提供了一种学习辅助方法和智能装置，其方法包括：智能装置，智能装置包括摄像头、支架和发光件；支架设有底座，底座处设有传感器阵列；包括步骤：获取传感器阵列检测到的点云数据；根据点云数据判定符合预设条件时，触发摄像头拍摄获取图像数据；分析图像数据得到场景类型、题目类型和情绪类型；根据获取的历史学习成绩清单、题目类型、情绪类型和场景类型查找对应的学习推荐内容，将学习推荐内容推荐给用户。本发明为用户推荐合适的学习推荐内容，以保证用户在适宜的环境中以及适宜的学习情绪下完成相应学习内容的学习，提高学习效率和达到更好的学习效果。

Description

一种学习辅助方法和智能装置

技术领域

本发明涉及智能化教学技术领域，尤指一种学习辅助方法和智能装置。

背景技术

随着计算机网络的发展，教育领域也受其影响越发地向着线上、远程教学发展，教学从线下课堂移到了线上。

然而，现有的向用户推荐学习内容的方案，往往是单一根据用户的学习成绩进行推荐对应的学习内容，但在日常学习生活中可以发现，不同的学习场景和学习情绪对于每个人的学习效率具有一定的影响。例如，用户的情绪不好时，可能会对在学习复杂的数学、物理等需要高度注意力的学习内容造成影响。处于安静的图书馆内时，则不宜进行口语类学习内容的练习。现有的学习内容推荐方法不具备环境适应性以及用户情绪适应性。

发明内容

本发明的目的是提供一种学习辅助方法和智能装置，实现为用户推荐合适的学习推荐内容，以保证用户在适宜的环境中以及适宜的学习情绪下完成相应学习内容的学习，提高学习效率和达到更好的学习效果。

本发明提供的技术方案如下：

本发明提供一种学习辅助方法，包括：智能装置，所述智能装置包括摄像头、支架和发光件；所述支架设有底座，所述底座处设有传感器阵列；包括步骤：

获取所述传感器阵列检测到的点云数据；

根据所述点云数据判定符合预设条件时，触发摄像头拍摄获取图像数据；

分析所述图像数据得到场景类型、题目类型和情绪类型；

根据获取的历史学习成绩清单、所述题目类型、所述情绪类型和所述场景类型查找对应的学习推荐内容，将所述学习推荐内容推荐给用户。

进一步的，所述传感器阵列包括压力传感器阵列；所述获取所述传感器阵列检测到的点云数据具体包括步骤：

获取所述压力传感器阵列检测得到的压力点云数据；

所述根据所述点云数据判定符合预设条件时，触发摄像头拍摄获取图像数据具体包括步骤：

根据所述压力点云数据，计算得到用户手部与所述底座之间的接触面积；

判断在预设时间间隔内所述接触面积是否保持不变；

当在预设时间间隔内所述接触面积保持不变时，触发所述摄像头拍摄获取所述图像数据。

进一步的，所述传感器阵列包括热敏红外传感器阵列；所述获取所述传感器阵列检测到的点云数据具体包括步骤：

获取所述热敏红外传感器阵列检测得到的温度点云数据；

所述根据所述点云数据判定符合预设条件时，触发摄像头拍摄获取图像数据具体包括步骤：

根据所述温度点云数据，计算得到用户手部与所述底座之间的接触面积；

判断在预设时间间隔内所述接触面积是否保持不变；

当在预设时间间隔内所述接触面积保持不变时，触发所述摄像头拍摄获取所述图像数据。

进一步的，所述分析所述图像数据得到场景类型、题目类型和情绪类型具体包括步骤：

对所述图像数据进行图像处理，提取场景特征、题目类型和用户的面部特征；

将所述场景特征输入至场景分类模型中得到对应的场景类型；

将所述面部特征输入至情绪分类模型中得到对应的情绪类型。

进一步的，所述根据获取的历史学习成绩清单、所述题目类型、所述情绪类型和所述场景类型查找对应的学习推荐内容，将所述学习推荐内容推荐给用户具体包括步骤：

获取学习内容集和用户的历史学习成绩清单；所述学习内容集包括若干个学习内容以及每个学习内容对应的预设场景类型；所述历史学习成绩清单包括每个题目类型对应的学习成绩；

判断所述题目类型是否与所述情绪类型匹配；

当所述题目类型与所述情绪类型不匹配时，根据所述历史学习成绩清单和所述学习内容集查找学习成绩与所述情绪类型匹配，且与所述场景类型相匹配的候选学习内容集，从所述候选学习内容集中获取与所述情绪类型相匹配的学习推荐内容；

当所述题目类型与所述情绪类型匹配时，判断所述题目类型是否与所述场景类型匹配；

当所述题目类型与所述场景类型不匹配时，查找与所述场景类型相匹配的学习推荐内容。

本发明还提供一种智能装置，包括摄像头、支架和发光件；所述支架设有底座，所述底座处设有传感器阵列；还包括：获取模块、控制模块、分析模块和处理模块；

所述获取模块，用于获取所述传感器阵列检测到的点云数据；

所述控制模块，与所述获取模块和所述摄像头连接，用于根据所述点云数据判定符合预设条件时，触发所述摄像头拍摄获取图像数据；

所述分析模块，与所述控制模块连接，用于分析所述图像数据得到场景类型、题目类型和情绪类型；

所述处理模块，与所述分析模块连接，用于根据获取的历史学习成绩清单、所述题目类型、所述情绪类型和所述场景类型查找对应的学习推荐内容，将所述学习推荐内容推荐给用户。

进一步的，所述传感器阵列包括压力传感器阵列；所述获取模块包括：压力点云获取单元；所述控制模块包括：第一计算单元、第一判断单元和第一控制单元；

所述压力点云获取单元，用于获取所述压力传感器阵列检测得到的压力点云数据；

所述第一计算单元，与所述压力点云获取单元连接，用于根据所述压力点云数据，计算得到用户手部与所述底座之间的接触面积；

所述第一判断单元，与所述第一计算单元连接，用于判断在预设时间间隔内所述接触面积是否保持不变；

所述第一控制单元，与所述第一判断单元连接，用于当在预设时间间隔内所述接触面积保持不变时，触发所述摄像头拍摄获取所述图像数据。

进一步的，所述传感器阵列包括热敏红外传感器阵列；所述获取模块包括：温度点云获取单元；所述控制模块包括：第二计算单元、第二判断单元和第二控制单元；

所述温度点云获取单元，用于获取所述热敏红外传感器阵列检测得到的温度点云数据；

所述第二计算单元，与所述温度点云获取单元连接，用于根据所述温度点云数据，计算得到用户手部与所述底座之间的接触面积；

所述第二判断单元，与所述第二计算单元连接，用于判断在预设时间间隔内所述接触面积是否保持不变；

所述第二控制单元，与所述第二判断单元连接，用于当在预设时间间隔内所述接触面积保持不变时，触发所述摄像头拍摄获取所述图像数据。

进一步的，所述分析模块包括：提取单元、场景类型分类单元和情绪类型分类单元；

所述提取单元，用于对所述图像数据进行图像处理，提取场景特征、题目类型和用户的面部特征；

所述场景类型分类单元，与所述提取单元连接，用于将所述场景特征输入至场景分类模型中得到对应的场景类型；

所述情绪类型分类单元，与所述提取单元连接，用于将所述面部特征输入至情绪分类模型中得到对应的情绪类型。

进一步的，所述获取模块，还用于获取学习内容集和用户的历史学习成绩清单；所述学习内容集包括若干个学习内容以及每个学习内容对应的预设场景类型；所述历史学习成绩清单包括每个题目类型对应的学习成绩；

所述处理模块，与所述获取模块连接，还用于判断所述题目类型是否与所述情绪类型匹配；当所述题目类型与所述情绪类型不匹配时，根据所述历史学习成绩清单和所述学习内容集查找学习成绩与所述情绪类型匹配，且与所述场景类型相匹配的候选学习内容集，从所述候选学习内容集中获取与所述情绪类型相匹配的学习推荐内容；当所述题目类型与所述情绪类型匹配时，判断所述题目类型是否与所述场景类型匹配；当所述题目类型与所述场景类型不匹配时，查找与所述场景类型相匹配的学习推荐内容。

通过本发明提供的一种学习辅助方法和智能装置，能够为用户推荐合适的学习推荐内容，以保证用户在适宜的环境中以及适宜的学习情绪下完成相应学习内容的学习，提高学习效率和达到更好的学习效果。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种学习辅助方法和智能装置的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种学习辅助方法的一个实施例的流程图；

图2是本发明一种学习辅助方法的另一个实施例的流程图；

图3是本发明一种学习辅助方法的另一个实施例的流程图；

图4是本发明一种学习辅助方法的另一个实施例的流程图；

图5是本发明一种学习辅助方法的另一个实施例的流程图；

图6是本发明一种智能装置的一个实施例的结构示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

本发明的一个实施例，如图1所示，一种学习辅助方法，包括：智能装置，智能装置包括摄像头、支架和发光件；支架设有底座，底座处设有传感器阵列；包括步骤：

S100获取传感器阵列检测到的点云数据；

S200根据点云数据判定符合预设条件时，触发摄像头拍摄获取图像数据；

S300分析图像数据得到场景类型、题目类型和情绪类型；

S400根据获取的历史学习成绩清单、题目类型、情绪类型和场景类型查找对应的学习推荐内容，将学习推荐内容推荐给用户。

具体的，智能装置为智能台灯、智能桌子等设有摄像头、支架、发光件和底座，且底座处设置有传感器阵列的装置，传感器阵列是多个传感器元件的组合，一般呈特殊的几何分布，可以更为全面的得到各个传感器元件的检测数据，大量的检测数据形成点云数据。书写对象包括书本，或者平板能够进行书写的区域等等。

智能装置获得点云数据后，对点云数据进行分析，判断点云数据是否符合预设条件，例如当预设条件为判断点云数据中对应的各个检测数据是否大于缺省值，一旦检测数据大于缺省值则判定点云数据符合预设条件。还例如当预设条件为判断点云数据中对应的各个检测数据是否发生变化，一旦检测数据发生变化则判定点云数据符合预设条件。智能装置根据点云数据判定符合预设条件时，向智能装置的摄像头发送指令，摄像头根据指令开始工作，从而调整摄像头的镜头朝向用户的面部、书写对象和用户所处环境，从而获取包括书写内容，用户面部以及用户所处环境对应的图像数据。优选的，为了减少智能装置的工作量，分别拍摄获取包括书写内容的第一图像数据，包括用户面部的第二图像数据，以及包括用户所处环境的第三图像数据。

智能装置对图像数据进行图像处理，识别图像数据中的所有信息得到场景类型、题目类型和情绪类型。智能装置在本地或者网络上查找对应于上述类型的学习推荐内容，然后，智能装置将查找获取的学习推荐内容推荐给用户，使得用户根据学习推荐内容进行学习。

优选的，智能装置中摄像头包括镜头、主控芯片和人工智能芯片，主控芯片与镜头和人工智能芯片连接，镜头可以进行预设角度范围内的转动，如120度内进行转动的同时，由主控芯片识别表征信息，进而调整镜头的角度拍摄得到图像数据，表征信息是指能够用于表征出物体特点的指向性信息，例如人脸、物品(例如图书馆的书架、教室中的黑板桌椅、家中卧室的床等等)以及书写对象，从而控制摄像头进行智能抓取图像数据，减少其余外界因素的干扰，从而能够较大程度的减小智能装置在后端的运算压力，进而提高整个流程的处理效率。

通过本实施例，能够通过智能装置根据历史学习成绩清单智能向用户推荐匹配于情绪类型和场景类型对应的学习推荐内容，不仅仅能够达到智能辅导的目的，还能够为用户推荐合适的学习内容，以保证用户在适宜的环境和适宜的情绪下完成相应知识点内容的学习，提高学习效率和达到更好的学习效果。

本发明的一个实施例，如图2所示，一种学习辅助方法，包括：智能装置，智能装置包括摄像头、支架和发光件；支架设有底座，传感器阵列包括压力传感器阵列；包括步骤：

S110获取压力传感器阵列检测得到的压力点云数据；

S210根据压力点云数据，计算得到用户手部与底座之间的接触面积；

S220当在预设时间间隔内接触面积保持不变时，触发摄像头拍摄获取图像数据；

S300分析图像数据得到场景类型、题目类型和情绪类型；

S400根据获取的历史学习成绩清单、题目类型、情绪类型和场景类型查找对应的学习推荐内容，将学习推荐内容推荐给用户。

具体的，由于用户按压底座时，设于底座处的压力传感器阵列中的各个压力传感器会受到用户按压力度的影响，导致压力传感器得到各自检测得到的压力值，若干个压力传感器在同一时刻检测得到的大量压力值得到压力点云数据。然后，智能装置根据压力点云数据进行计算得到用户的身体与底座之间的接触面积，还需要判断接触面积在预设时间间隔内是否保持不变，如果在预设时间间隔内接触面积保持不变时，说明用户具有在智能装置下进行学习的意图，然后智能装置向智能装置的摄像头发送指令，使得摄像头根据指令开始工作，从而调整摄像头的镜头朝向用户的面部、书写对象和用户所处环境，从而获取对应的图像数据。

通过本实施例，能够自动触发摄像头进行工作，不需要摄像头时刻保持拍摄状态，从而降低电量消耗，节约资源。

本发明的一个实施例，如图3所示，一种学习辅助方法，包括：智能装置，智能装置包括摄像头、支架和发光件；支架设有底座，传感器阵列包括热敏红外传感器阵列；包括步骤：

S120获取热敏红外传感器阵列检测得到的温度点云数据；

S230根据温度点云数据，计算得到用户手部与底座之间的接触面积；

S240当在预设时间间隔内接触面积保持不变时，触发摄像头拍摄获取图像数据；

S300分析图像数据得到场景类型、题目类型和情绪类型；

S400根据获取的历史学习成绩清单、题目类型、情绪类型和场景类型查找对应的学习推荐内容，将学习推荐内容推荐给用户。

具体的，热敏红外传感器是利用红外线的物理性质来进行测量的传感器。任何物质，只要其本身高于绝对零度，都能辐射红外线。热敏红外传感器包括热敏电阻，热敏电阻受到红外线辐射时温度升高，电阻发生变化，通过转换电路变成电信号输出，从而检测得到对应的温度值。

由于用户按压底座时，设于底座处的热敏红外传感器阵列中的各个热敏红外会受到用户按压力度的影响，导致热敏红外得到各自检测得到的温度值，若干个热敏红外在同一时刻检测得到的大量温度值得到温度点云数据。然后，智能装置根据温度点云数据进行计算得到用户的身体与底座之间的接触面积，还需要判断接触面积在预设时间间隔内是否保持不变，如果在预设时间间隔内接触面积保持不变时，说明用户具有在智能装置下进行学习的意图，然后智能装置向智能装置的摄像头发送指令，使得摄像头根据指令开始工作，从而调整摄像头的镜头朝向用户的面部、书写对象和用户所处环境，从而获取对应的图像数据。

通过本实施例，能够自动触发摄像头进行工作，不需要摄像头时刻保持拍摄状态，从而降低电量消耗，节约资源。

优选的，基于上述实施例，计算得到用户手部与底座之间的接触面积之后，判断在预设时间间隔内接触面积是否保持不变之前还包括步骤：

根据接触面积与预设面积范围进行比较，匹配出用户的身份类型；

当身份类型为青少年时，获取当前时间，若当前时间在预设学习时间段内时，则智能装置禁止向青少年显示娱乐内容，只显示学习内容。

当身份类型为成年时，当身份类型为成年时，向青少年显示娱乐内容或者学习内容。

示例性的，当用户的身份类型是儿童，儿童使用手指(或者手掌)按压压力传感器阵列时，预先定义一个儿童手指面积范围(或者儿童手掌面积范围)，儿童手指面积范围(或者儿童手掌面积范围)是通过大量测试儿童手指(或者手掌)面积大小，取其平均值所得到的。当儿童手指(或者手掌)按压底座的时候，设于底座处的压力传感器阵列可以测量出用户在每一个环境处按压下去的压力，根据压力点云数据能够测量得到儿童的手指面积(或者手掌面积)，当儿童手指(或者手掌)离开底座的时候，设于底座处的压力传感器阵列检测得到的压力值恢复缺省值。测量出儿童手指(或者手掌)面积后，当儿童手指(或者手掌)面积在儿童手指面积范围(或者儿童手掌面积范围)的时候，大致可以判断用户是儿童，那么可以限制儿童对于智能装置的使用权限，以保证身份类型为青少年的情况下，使得青少年能够在学习时间段内进行有效的学习，从而提升青少年的学习成绩。

本发明的一个实施例，如图4所示，一种学习辅助方法，包括：智能装置，智能装置包括摄像头、支架和发光件；支架设有底座，底座处设有传感器阵列；包括步骤：

S100获取传感器阵列检测到的点云数据；

S200根据点云数据判定符合预设条件时，触发摄像头拍摄获取图像数据；

S310对图像数据进行图像处理，提取场景特征、题目类型和用户的面部特征；

S320将场景特征输入至场景分类模型中得到对应的场景类型；

S330将面部特征输入至情绪分类模型中得到对应的情绪类型；

S400根据获取的历史学习成绩清单、题目类型、情绪类型和场景类型查找对应的学习推荐内容，将学习推荐内容推荐给用户。

具体的，当摄像头拍摄到一张图像数据，摄像头将这张图像数据发送至处理器，处理器接受到该图像数据后，将获取的图像数据进行灰度处理，并将灰度图像直方图均衡化，减少图像中的信息量，以加快检测速度。

当图像数据同时包括书写内容，用户面部以及用户所处环境时，利用识别算法从图像处理(即灰度和直方图均衡化)后的图像数据中提取脸部图像、题目图像和场景图像。具体地，从该图像数据中提取脸部图像、题目图像和场景图像的识别算法包括：基于几何特征识别提取、局部特征分析提取、神经网络提取等等。提取得到脸部图像后，根据提取的脸部图像识别出用户的面部特征，然后将面部特征输入至情绪分类模型中得到对应的情绪类型。面部特征包括：眼睛、眉毛、鼻子、嘴巴、脸部外轮廓的环境特征点，其中眼睛的环境特征点包括眼球的环境特征点。根据提取的题目图像识别出题目类型(疑难题目类型和简易题目类型，且疑难题目类型包括不擅长的学科、题型、知识点等等，简易题目类型包括擅长的学科、题型、知识点等等)。根据提取的场景图像识别出场景特征(桌椅、黑板、床、书架等等)，然后将场景特征输入至场景分类模型中得到对应的场景类型(包括教室、书房、图书馆、操场等等)。同理，任意一张图像数据包括有多个内容，例如图像数据同时包括用户面部和用户所处环境时，利用识别算法从该图像处理(即灰度和直方图均衡化)后的图像数据中提取脸部图像和场景图像。

当第一图像数据包括书写内容，第二图像数据包括用户面部，第三图像数据包括用户所处环境时，根据提取的脸部图像识别出用户的面部特征，然后将面部特征输入至情绪分类模型中得到对应的情绪类型。面部特征包括：眼睛、眉毛、鼻子、嘴巴、脸部外轮廓的环境特征点，其中眼睛的环境特征点包括眼球的环境特征点。根据提取的题目图像识别出题目类型(疑难题目类型和简易题目类型，且疑难题目类型包括不擅长的学科、题型、知识点等等，简易题目类型包括擅长的学科、题型、知识点等等)。根据提取的场景图像识别出场景特征(桌椅、黑板、床、书架等等)，然后将场景特征输入至场景分类模型中得到对应的场景类型(包括教室、书房、图书馆、操场等等)。

训练得到情绪分类模型的方法为：建立一个具有X张脸部图像的样本库，在每张脸部图像中人工标记u个面部特征得到面部特征训练集以及面部特征验证集，根据面部特征进行人工标记得到情绪类型训练集，以及面部特征验证集对应的情绪类型验证集，情绪类型训练集或者情绪类型验证集均包括有难过-1、生气-2、沮丧-3、忧虑-4、厌恶-5、高兴-6、喜悦-7等等。将面部特征训练集作为输入，将情绪类型训练集作为输出，多次训练初始识别模型获得情绪分类模型。

训练得到场景分类模型的方法为：建立一个具有X张场景图像的样本库，在每张场景图像中人工标记u个场景特征得到场景特征训练集以及场景特征验证集，根据场景特征进行人工标记得到场景类型训练集，以及场景特征验证集对应的场景类型验证集，场景类型训练集或者场景类型验证集均包括有教室-1、书房-2、图书馆-3、操场-4等等。将场景特征训练集作为输入，将场景类型训练集作为输出，多次训练初始识别模型获得场景分类模型。

在本实施例中，利用面部特征验证集以及面部特征验证集对应的情绪类型验证集去测试训练好的情绪分类模型，通过选择多个训练好的情绪分类模型中识别效果最好的一个识别模型作为最终的情绪分类模型，识别效果最好可以是分类正确率最高、收敛速度最快等。同理，可以得到识别效果最好的一个识别模型作为最终的场景分类模型。在后续的使用过程中持续更新训练情绪分类模型和场景分类模型，从而增加情绪判断和场景判断的准确性。

通过本实施例，能够自动识别得到用户当前情绪对应的情绪类型，用户当前所处场景对应的场景类型，以及用户当前所进行学习内容对应的题目类型，从而根据历史学习成绩清单智能向用户推荐匹配于情绪类型和场景类型对应的学习推荐内容，不仅仅能够达到智能辅导的目的，还能够为用户推荐合适的学习内容，以保证用户在适宜的环境和适宜的情绪下完成相应知识点内容的学习，提高学习效率和达到更好的学习效果。

本发明的一个实施例，如图5所示，一种学习辅助方法，包括：智能装置，智能装置包括摄像头、支架和发光件；支架设有底座，底座处设有传感器阵列；包括步骤：

S100获取传感器阵列检测到的点云数据；

S200根据点云数据判定符合预设条件时，触发摄像头拍摄获取图像数据；

S300分析图像数据得到场景类型、题目类型和情绪类型；

S410获取学习内容集和用户的历史学习成绩清单；学习内容集包括若干个学习内容以及每个学习内容对应的预设场景类型；历史学习成绩清单包括每个题目类型对应的学习成绩；

S420判断题目类型是否与情绪类型匹配；

S430当题目类型与情绪类型不匹配时，根据历史学习成绩清单和学习内容集查找学习成绩与情绪类型匹配，且与场景类型相匹配的候选学习内容集，从候选学习内容集中获取与情绪类型相匹配的学习推荐内容；

S440当题目类型与情绪类型匹配时，判断题目类型是否与场景类型匹配；

S450当题目类型与场景类型不匹配时，查找与场景类型相匹配的学习推荐内容。

具体的，事先通过人工识别每个学习内容适应进行学习的场景类型得到学习内容集。例如朗读学习内容对应的场景类型为书房、操场或者是教室，阅读学习内容对应的场景类型为书房、图书馆、操场或者是教室。根据上述方式实现建立学习内容集。

用户在智能装置下进行学习拍摄得到的图像数据，对图像数据进行分析得到用户当前的学习情绪即情绪类型，用户当前学习内容所对应的题目类型，以及用户当前所处环境的场景类型。判断题目类型与情绪类型是否匹配，即疑难题目类型(用户不擅长的题目类型)是否对应积极情绪类型(包括开心、喜悦等正面情绪类型)，简易题目类型(用户擅长的题目类型)对应消极情绪类型(包括难过、生气、沮丧、忧虑、厌恶等负面情绪类型)。

当题目类型与情绪类型不匹配时，例如疑难题目类型对应的是消极情绪类型时，可以判断用户对于学习处于消极态度，此时结合历史学习成绩清单生成与场景类型匹配的第一候选学习内容集(即用户所擅长并且与场景类型匹配的候选学习内容集)，然后从生成的第一候选学习内容集中查找与消极情绪类型相匹配的第一学习推荐内容。这样，由于用户处于消极情绪类型，不具有攻克或者锻炼不擅长的学习内容的兴趣，由于学习情绪消极会降低用户的学习效率，此时智能装置推荐第一学习推荐内容给用户，能够令用户保持学习状态的同时，还能够因为使用户学习自身所擅长的学习内容，提升用户的学习信心，从而调整消极情绪类型为积极情绪类型，巩固强化得分率高的学习内容，进一步提升得分率，达到提升用户的学习效果和学习成绩的效果。

当题目类型与情绪类型不匹配时，例如简易题目类型对应的是积极情绪类型时，可以判断用户对于学习处于积极态度，此时结合历史学习成绩清单生成与场景类型匹配的第二候选学习内容集(即用户不擅长并且与场景类型匹配的候选学习内容集)，然后从生成的第二候选学习内容集中查找与积极情绪类型相匹配的第二学习推荐内容。这样，由于用户处于积极情绪类型，能够具有攻克或者锻炼不擅长的学习内容的兴趣，由于学习情绪积极会提升用户的学习效率，此时智能装置推荐第二学习推荐内容给用户，能够使得用户在处于积极学习情绪的状态下加强训练得分率低的知识点和题型，进而提升用户的学习效果和学习成绩。

当题目类型与情绪类型匹配时，例如简易题目类型对应的是消极情绪类型时判断题目类型是否与场景类型匹配，疑难题目类型对应的是积极情绪类型时，进一步的判断题目类型与场景类型是否匹配时，当题目类型与场景类型匹配时，用户则继续使用书写对象展示的学习内容进行学习。当题目类型与场景类型不匹配时，查找与场景类型相匹配的第三学习推荐内容。

通过本实施例，判断用户对当前书写对象处的题目类型，以及用户当前情绪类型和用户所处环境的场景类型是否匹配，根据判断结果以及历史学习场景清单生成相应的学习推荐内容，一方面避免放任用户陷入对学习的消极态度中进而产生厌学的情绪，提高学习的效率，从而有效调节用户的学习成绩。另一方面能够针对性的帮助用户学习，提升用户的学习兴趣。最后，结合用户当前所处的环境的场景类型、题目类型、情绪类型和历史学习场景清单来为用户推荐合适的学习推荐内容，以保证用户在适宜的环境中以及适宜的学习情绪下完成相应学习内容的学习，提高学习效率和达到更好的学习效果。

本发明的一个实施例，如图6所示，一种智能装置1，包括摄像头15、支架和发光件；支架设有底座，底座处设有传感器阵列；还包括：获取模块11、控制模块12、分析模块13和处理模块14；

获取模块11，用于获取传感器阵列检测到的点云数据；

控制模块12，与获取模块11和摄像头15连接，用于根据点云数据判定符合预设条件时，触发摄像头15拍摄获取图像数据；

分析模块13，与控制模块12连接，用于分析图像数据得到场景类型、题目类型和情绪类型；

处理模块14，与分析模块13连接，用于根据获取的历史学习成绩清单、题目类型、情绪类型和场景类型查找对应的学习推荐内容，将学习推荐内容推荐给用户。

具体的，智能装置1为智能台灯、智能桌子等设有摄像头、支架、发光件和底座，且底座处设置有传感器阵列的装置，传感器阵列是多个传感器元件的组合，一般呈特殊的几何分布，可以更为全面的得到各个传感器元件的检测数据，大量的检测数据形成点云数据。书写对象包括书本，或者平板能够进行书写的区域等等。

智能装置1获得点云数据后，对点云数据进行分析，判断点云数据是否符合预设条件，例如当预设条件为判断点云数据中对应的各个检测数据是否大于缺省值，一旦检测数据大于缺省值则判定点云数据符合预设条件。还例如当预设条件为判断点云数据中对应的各个检测数据是否发生变化，一旦检测数据发生变化则判定点云数据符合预设条件。智能装置1根据点云数据判定符合预设条件时，向智能装置1的摄像头15发送指令，摄像头15根据指令开始工作，从而调整摄像头15的镜头朝向用户的面部、书写对象和用户所处环境，从而获取包括书写内容，用户面部以及用户所处环境对应的图像数据。优选的，为了减少智能装置1的工作量，分别拍摄获取包括书写内容的第一图像数据，包括用户面部的第二图像数据，以及包括用户所处环境的第三图像数据。

智能装置1对图像数据进行图像处理，识别图像数据中的所有信息得到场景类型、题目类型和情绪类型。智能装置1在本地或者网络上查找对应于上述类型的学习推荐内容，然后，智能装置1将查找获取的学习推荐内容推荐给用户，使得用户根据学习推荐内容进行学习。

优选的，智能装置1中摄像头15包括镜头、主控芯片和人工智能芯片，主控芯片与镜头和人工智能芯片连接，镜头可以进行预设角度范围内的转动，如120度内进行转动的同时，由主控芯片识别表征信息，进而调整镜头的角度拍摄得到图像数据，表征信息是指能够用于表征出物体特点的指向性信息，例如人脸、物品(例如图书馆的书架、教室中的黑板桌椅、家中卧室的床等等)以及书写对象，从而控制摄像头15进行智能抓取图像数据，减少其余外界因素的干扰，从而能够较大程度的减小智能装置1在后端的运算压力，进而提高整个流程的处理效率。

通过本实施例，能够通过智能装置1根据历史学习成绩清单智能向用户推荐匹配于情绪类型和场景类型对应的学习推荐内容，不仅仅能够达到智能辅导的目的，还能够为用户推荐合适的学习内容，以保证用户在适宜的环境和适宜的情绪下完成相应知识点内容的学习，提高学习效率和达到更好的学习效果。

基于上述实施例，传感器阵列包括压力传感器阵列；获取模块11包括：压力点云获取单元；控制模块12包括：第一计算单元、第一判断单元和第一控制单元；

压力点云获取单元，用于获取压力传感器阵列检测得到的压力点云数据；

第一计算单元，与压力点云获取单元连接，用于根据压力点云数据，计算得到用户手部与底座之间的接触面积；

第一判断单元，与第一计算单元连接，用于判断在预设时间间隔内接触面积是否保持不变；

第一控制单元，与第一判断单元连接，用于当在预设时间间隔内接触面积保持不变时，触发摄像头15拍摄获取图像数据。

具体的，由于用户按压底座时，设于底座处的压力传感器阵列中的各个压力传感器会受到用户按压力度的影响，导致压力传感器得到各自检测得到的压力值，若干个压力传感器在同一时刻检测得到的大量压力值得到压力点云数据。然后，智能装置1根据压力点云数据进行计算得到用户的身体与底座之间的接触面积，还需要判断接触面积在预设时间间隔内是否保持不变，如果在预设时间间隔内接触面积保持不变时，说明用户具有在智能装置1下进行学习的意图生成指令，使得摄像头15根据指令开始工作，从而调整摄像头15的镜头朝向用户的面部、书写对象和用户所处环境，从而获取对应的图像数据。

通过本实施例，能够自动触发摄像头15进行工作，不需要摄像头15时刻保持拍摄状态，从而降低电量消耗，节约资源。

基于上述实施例，传感器阵列包括热敏红外传感器阵列；获取模块11包括：温度点云获取单元；控制模块12包括：第二计算单元、第二判断单元和第二控制单元；

温度点云获取单元，用于获取热敏红外传感器阵列检测得到的温度点云数据；

第二计算单元，与温度点云获取单元连接，用于根据温度点云数据，计算得到用户手部与底座之间的接触面积；

第二判断单元，与第二计算单元连接，用于判断在预设时间间隔内接触面积是否保持不变；

第二控制单元，与第二判断单元连接，用于当在预设时间间隔内接触面积保持不变时，触发摄像头15拍摄获取图像数据。

具体的，热敏红外传感器是利用红外线的物理性质来进行测量的传感器。任何物质，只要其本身高于绝对零度，都能辐射红外线。热敏红外传感器包括热敏电阻，热敏电阻受到红外线辐射时温度升高，电阻发生变化，通过转换电路变成电信号输出，从而检测得到对应的温度值。

由于用户按压底座时，设于底座处的热敏红外传感器阵列中的各个热敏红外会受到用户按压力度的影响，导致热敏红外得到各自检测得到的温度值，若干个热敏红外在同一时刻检测得到的大量温度值得到温度点云数据。然后，智能装置1根据温度点云数据进行计算得到用户的身体与底座之间的接触面积，还需要判断接触面积在预设时间间隔内是否保持不变，如果在预设时间间隔内接触面积保持不变时，说明用户具有在智能装置1下进行学习的意图生成指令，使得摄像头15根据指令开始工作，从而调整摄像头15的镜头朝向用户的面部、书写对象和用户所处环境，从而获取对应的图像数据。

通过本实施例，能够自动触发摄像头15进行工作，不需要摄像头15时刻保持拍摄状态，从而降低电量消耗，节约资源。

基于上述实施例，分析模块13包括：提取单元、场景类型分类单元和情绪类型分类单元；

提取单元，用于对图像数据进行图像处理，提取场景特征、题目类型和用户的面部特征；

场景类型分类单元，与提取单元连接，用于将场景特征输入至场景分类模型中得到对应的场景类型；

情绪类型分类单元，与提取单元连接，用于将面部特征输入至情绪分类模型中得到对应的情绪类型。

具体的，当摄像头15拍摄到一张图像数据，摄像头15将这张图像数据发送至处理器，处理器接受到该图像数据后，将获取的图像数据进行灰度处理，并将灰度图像直方图均衡化，减少图像中的信息量，以加快检测速度。

当图像数据同时包括书写内容，用户面部以及用户所处环境时，利用识别算法从图像处理(即灰度和直方图均衡化)后的图像数据中提取脸部图像、题目图像和场景图像。具体地，从该图像数据中提取脸部图像、题目图像和场景图像的识别算法包括：基于几何特征识别提取、局部特征分析提取、神经网络提取等等。提取得到脸部图像后，根据提取的脸部图像识别出用户的面部特征，然后将面部特征输入至情绪分类模型中得到对应的情绪类型。面部特征包括：眼睛、眉毛、鼻子、嘴巴、脸部外轮廓的环境特征点，其中眼睛的环境特征点包括眼球的环境特征点。根据提取的题目图像识别出题目类型(疑难题目类型和简易题目类型，且疑难题目类型包括不擅长的学科、题型、知识点等等，简易题目类型包括擅长的学科、题型、知识点等等)。根据提取的场景图像识别出场景特征(桌椅、黑板、床、书架等等)，然后将场景特征输入至场景分类模型中得到对应的场景类型(包括教室、书房、图书馆、操场等等)。同理，任意一张图像数据包括有多个内容，例如图像数据同时包括用户面部和用户所处环境时，利用识别算法从该图像处理(即灰度和直方图均衡化)后的图像数据中提取脸部图像和场景图像。

当第一图像数据包括书写内容，第二图像数据包括用户面部，第三图像数据包括用户所处环境时，根据提取的脸部图像识别出用户的面部特征，然后将面部特征输入至情绪分类模型中得到对应的情绪类型。面部特征包括：眼睛、眉毛、鼻子、嘴巴、脸部外轮廓的环境特征点，其中眼睛的环境特征点包括眼球的环境特征点。根据提取的题目图像识别出题目类型(疑难题目类型和简易题目类型，且疑难题目类型包括不擅长的学科、题型、知识点等等，简易题目类型包括擅长的学科、题型、知识点等等)。根据提取的场景图像识别出场景特征(桌椅、黑板、床、书架等等)，然后将场景特征输入至场景分类模型中得到对应的场景类型(包括教室、书房、图书馆、操场等等)。

训练得到情绪分类模型的方法为：建立一个具有X张脸部图像的样本库，在每张脸部图像中人工标记u个面部特征得到面部特征训练集以及面部特征验证集，根据面部特征进行人工标记得到情绪类型训练集，以及面部特征验证集对应的情绪类型验证集，情绪类型训练集或者情绪类型验证集均包括有难过-1、生气-2、沮丧-3、忧虑-4、厌恶-5、高兴-6、喜悦-7等等。将面部特征训练集作为输入，将情绪类型训练集作为输出，多次训练初始识别模型获得情绪分类模型。

训练得到场景分类模型的方法为：建立一个具有X张场景图像的样本库，在每张场景图像中人工标记u个场景特征得到场景特征训练集以及场景特征验证集，根据场景特征进行人工标记得到场景类型训练集，以及场景特征验证集对应的场景类型验证集，场景类型训练集或者场景类型验证集均包括有教室-1、书房-2、图书馆-3、操场-4等等。将场景特征训练集作为输入，将场景类型训练集作为输出，多次训练初始识别模型获得场景分类模型。

在本实施例中，利用面部特征验证集以及面部特征验证集对应的情绪类型验证集去测试训练好的情绪分类模型，通过选择多个训练好的情绪分类模型中识别效果最好的一个识别模型作为最终的情绪分类模型，识别效果最好可以是分类正确率最高、收敛速度最快等。同理，可以得到识别效果最好的一个识别模型作为最终的场景分类模型。在后续的使用过程中持续更新训练情绪分类模型和场景分类模型，从而增加情绪判断和场景判断的准确性。

通过本实施例，能够自动识别得到用户当前情绪对应的情绪类型，用户当前所处场景对应的场景类型，以及用户当前所进行学习内容对应的题目类型，从而根据历史学习成绩清单智能向用户推荐匹配于情绪类型和场景类型对应的学习推荐内容，不仅仅能够达到智能辅导的目的，还能够为用户推荐合适的学习内容，以保证用户在适宜的环境和适宜的情绪下完成相应知识点内容的学习，提高学习效率和达到更好的学习效果。

基于上述实施例，获取模块11，还用于获取学习内容集和用户的历史学习成绩清单；学习内容集包括若干个学习内容以及每个学习内容对应的预设场景类型；历史学习成绩清单包括每个题目类型对应的学习成绩；

处理模块14，与获取模块11连接，还用于判断题目类型是否与情绪类型匹配；当题目类型与情绪类型不匹配时，根据历史学习成绩清单和学习内容集查找学习成绩与情绪类型匹配，且与场景类型相匹配的候选学习内容集，从候选学习内容集中获取与情绪类型相匹配的学习推荐内容；当题目类型与情绪类型匹配时，判断题目类型是否与场景类型匹配；当题目类型与场景类型不匹配时，查找与场景类型相匹配的学习推荐内容。

具体的，事先通过人工识别每个学习内容适应进行学习的场景类型得到学习内容集。例如朗读学习内容对应的场景类型为书房、操场或者是教室，阅读学习内容对应的场景类型为书房、图书馆、操场或者是教室。根据上述方式实现建立学习内容集。

用户在智能装置1下进行学习拍摄得到的图像数据，对图像数据进行分析得到用户当前的学习情绪即情绪类型，用户当前学习内容所对应的题目类型，以及用户当前所处环境的场景类型。判断题目类型与情绪类型是否匹配，即疑难题目类型(用户不擅长的题目类型)是否对应积极情绪类型(包括开心、喜悦等正面情绪类型)，简易题目类型(用户擅长的题目类型)对应消极情绪类型(包括难过、生气、沮丧、忧虑、厌恶等负面情绪类型)。

当题目类型与情绪类型不匹配时，例如疑难题目类型对应的是消极情绪类型时，可以判断用户对于学习处于消极态度，此时结合历史学习成绩清单生成与场景类型匹配的第一候选学习内容集(即用户所擅长并且与场景类型匹配的候选学习内容集)，然后从生成的第一候选学习内容集中查找与消极情绪类型相匹配的第一学习推荐内容。这样，由于用户处于消极情绪类型，不具有攻克或者锻炼不擅长的学习内容的兴趣，由于学习情绪消极会降低用户的学习效率，此时智能装置1推荐第一学习推荐内容给用户，能够令用户保持学习状态的同时，还能够因为使用户学习自身所擅长的学习内容，提升用户的学习信心，从而调整消极情绪类型为积极情绪类型，巩固强化得分率高的学习内容，进一步提升得分率，达到提升用户的学习效果和学习成绩的效果。

当题目类型与情绪类型不匹配时，例如简易题目类型对应的是积极情绪类型时，可以判断用户对于学习处于积极态度，此时结合历史学习成绩清单生成与场景类型匹配的第二候选学习内容集(即用户不擅长并且与场景类型匹配的候选学习内容集)，然后从生成的第二候选学习内容集中查找与积极情绪类型相匹配的第二学习推荐内容。这样，由于用户处于积极情绪类型，能够具有攻克或者锻炼不擅长的学习内容的兴趣，由于学习情绪积极会提升用户的学习效率，此时智能装置1推荐第二学习推荐内容给用户，能够使得用户在处于积极学习情绪的状态下加强训练得分率低的知识点和题型，进而提升用户的学习效果和学习成绩。

当题目类型与情绪类型匹配时，例如简易题目类型对应的是消极情绪类型时判断题目类型是否与场景类型匹配，疑难题目类型对应的是积极情绪类型时，进一步的判断题目类型与场景类型是否匹配时，当题目类型与场景类型匹配时，用户则继续使用书写对象展示的学习内容进行学习。当题目类型与场景类型不匹配时，查找与场景类型相匹配的第三学习推荐内容。

通过本实施例，判断用户对当前书写对象处的题目类型，以及用户当前情绪类型和用户所处环境的场景类型是否匹配，根据判断结果以及历史学习场景清单生成相应的学习推荐内容，一方面避免放任用户陷入对学习的消极态度中进而产生厌学的情绪，提高学习的效率，从而有效调节用户的学习成绩。另一方面能够针对性的帮助用户学习，提升用户的学习兴趣。最后，结合用户当前所处的环境的场景类型、题目类型、情绪类型和历史学习场景清单来为用户推荐合适的学习推荐内容，以保证用户在适宜的环境中以及适宜的学习情绪下完成相应学习内容的学习，提高学习效率和达到更好的学习效果。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种学习辅助方法，其特征在于，包括：智能装置，所述智能装置包括摄像头、支架和发光件；所述支架设有底座，所述底座处设有传感器阵列；包括步骤：

获取所述传感器阵列检测到的点云数据；

根据所述点云数据判定符合预设条件时，触发摄像头拍摄获取图像数据；

分析所述图像数据得到场景类型、题目类型和情绪类型；

根据获取的历史学习成绩清单、所述题目类型、所述情绪类型和所述场景类型查找对应的学习推荐内容，将所述学习推荐内容推荐给用户。

2.根据权利要求1所述的学习辅助方法，其特征在于，所述传感器阵列包括压力传感器阵列；所述获取所述传感器阵列检测到的点云数据具体包括步骤：

获取所述压力传感器阵列检测得到的压力点云数据；

所述根据所述点云数据判定符合预设条件时，触发摄像头拍摄获取图像数据具体包括步骤：

根据所述压力点云数据，计算得到用户手部与所述底座之间的接触面积；

判断在预设时间间隔内所述接触面积是否保持不变；

当在预设时间间隔内所述接触面积保持不变时，触发所述摄像头拍摄获取所述图像数据。

3.根据权利要求1所述的学习辅助方法，其特征在于，所述传感器阵列包括热敏红外传感器阵列；所述获取所述传感器阵列检测到的点云数据具体包括步骤：

获取所述热敏红外传感器阵列检测得到的温度点云数据；

所述根据所述点云数据判定符合预设条件时，触发摄像头拍摄获取图像数据具体包括步骤：

根据所述温度点云数据，计算得到用户手部与所述底座之间的接触面积；

判断在预设时间间隔内所述接触面积是否保持不变；

当在预设时间间隔内所述接触面积保持不变时，触发所述摄像头拍摄获取所述图像数据。

4.根据权利要求1所述的学习辅助方法，其特征在于，所述分析所述图像数据得到场景类型、题目类型和情绪类型具体包括步骤：

对所述图像数据进行图像处理，提取场景特征、题目类型和用户的面部特征；

将所述场景特征输入至场景分类模型中得到对应的场景类型；

将所述面部特征输入至情绪分类模型中得到对应的情绪类型。

5.根据权利要求1-4任一项所述的学习辅助方法，其特征在于，所述根据获取的历史学习成绩清单、所述题目类型、所述情绪类型和所述场景类型查找对应的学习推荐内容，将所述学习推荐内容推荐给用户具体包括步骤：

获取学习内容集和用户的历史学习成绩清单；所述学习内容集包括若干个学习内容以及每个学习内容对应的预设场景类型；所述历史学习成绩清单包括每个题目类型对应的学习成绩；

判断所述题目类型是否与所述情绪类型匹配；

当所述题目类型与所述情绪类型不匹配时，根据所述历史学习成绩清单和所述学习内容集查找学习成绩与所述情绪类型匹配，且与所述场景类型相匹配的候选学习内容集，从所述候选学习内容集中获取与所述情绪类型相匹配的学习推荐内容；

当所述题目类型与所述情绪类型匹配时，判断所述题目类型是否与所述场景类型匹配；

当所述题目类型与所述场景类型不匹配时，查找与所述场景类型相匹配的学习推荐内容。

6.一种智能装置，其特征在于，包括摄像头、支架和发光件；所述支架设有底座，所述底座处设有传感器阵列；还包括：获取模块、控制模块、分析模块和处理模块；

所述获取模块，用于获取所述传感器阵列检测到的点云数据；

所述控制模块，与所述获取模块和所述摄像头连接，用于根据所述点云数据判定符合预设条件时，触发所述摄像头拍摄获取图像数据；

所述分析模块，与所述控制模块连接，用于分析所述图像数据得到场景类型、题目类型和情绪类型；

所述处理模块，与所述分析模块连接，用于根据获取的历史学习成绩清单、所述题目类型、所述情绪类型和所述场景类型查找对应的学习推荐内容，将所述学习推荐内容推荐给用户。

7.根据权利要求6所述的智能装置，其特征在于，所述传感器阵列包括压力传感器阵列；所述获取模块包括：压力点云获取单元；所述控制模块包括：第一计算单元、第一判断单元和第一控制单元；

所述压力点云获取单元，用于获取所述压力传感器阵列检测得到的压力点云数据；

所述第一计算单元，与所述压力点云获取单元连接，用于根据所述压力点云数据，计算得到用户手部与所述底座之间的接触面积；

所述第一判断单元，与所述第一计算单元连接，用于判断在预设时间间隔内所述接触面积是否保持不变；

所述第一控制单元，与所述第一判断单元连接，用于当在预设时间间隔内所述接触面积保持不变时，触发所述摄像头拍摄获取所述图像数据。

8.根据权利要求6所述的智能装置，其特征在于，所述传感器阵列包括热敏红外传感器阵列；所述获取模块包括：温度点云获取单元；所述控制模块包括：第二计算单元、第二判断单元和第二控制单元；

所述温度点云获取单元，用于获取所述热敏红外传感器阵列检测得到的温度点云数据；

所述第二计算单元，与所述温度点云获取单元连接，用于根据所述温度点云数据，计算得到用户手部与所述底座之间的接触面积；

所述第二判断单元，与所述第二计算单元连接，用于判断在预设时间间隔内所述接触面积是否保持不变；

所述第二控制单元，与所述第二判断单元连接，用于当在预设时间间隔内所述接触面积保持不变时，触发所述摄像头拍摄获取所述图像数据。

9.根据权利要求6所述的智能装置，其特征在于，所述分析模块包括：提取单元、场景类型分类单元和情绪类型分类单元；

所述提取单元，用于对所述图像数据进行图像处理，提取场景特征、题目类型和用户的面部特征；

所述场景类型分类单元，与所述提取单元连接，用于将所述场景特征输入至场景分类模型中得到对应的场景类型；

所述情绪类型分类单元，与所述提取单元连接，用于将所述面部特征输入至情绪分类模型中得到对应的情绪类型。

10.根据权利要求6-9任一项所述的智能装置，其特征在于：

所述获取模块，还用于获取学习内容集和用户的历史学习成绩清单；所述学习内容集包括若干个学习内容以及每个学习内容对应的预设场景类型；所述历史学习成绩清单包括每个题目类型对应的学习成绩；

所述处理模块，与所述获取模块连接，还用于判断所述题目类型是否与所述情绪类型匹配；当所述题目类型与所述情绪类型不匹配时，根据所述历史学习成绩清单和所述学习内容集查找学习成绩与所述情绪类型匹配，且与所述场景类型相匹配的候选学习内容集，从所述候选学习内容集中获取与所述情绪类型相匹配的学习推荐内容；当所述题目类型与所述情绪类型匹配时，判断所述题目类型是否与所述场景类型匹配；当所述题目类型与所述场景类型不匹配时，查找与所述场景类型相匹配的学习推荐内容。

Images