CN109191940A - 一种基于智能设备的交互方法及智能设备 - Google Patents

Abstract

本发明提供了一种基于智能设备的交互方法及智能设备，当用户遇到困难时，可以指向所问问题内容，向智能设备询问解答内容，智能设备识别出用户的语音信息中含有提问关键词时，所述智能设备通过摄像模块获取提问区域图像；然后从所述摄像模块获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容；再根据所述解答内容生成投影信息，并根据用户选择的投影方式将所述投影信息投射至预设投影区域。本发明在智能设备上集成了获取问题、解答问题、显示解答内容等功能，可在学生遇到学习困难时，获取学生所提问题内容，并将解答内容以投影的方式展现出来，为学生提供学习帮助的同时，也减少了家长的负担。

Description

一种基于智能设备的交互方法及智能设备

技术领域

本发明涉及智能学习产品领域，尤指一种基于智能设备的交互方法及智能设备。

背景技术

当前环境下，我国学生的学习压力普遍比较大，每天都有成堆的作业需要完成。学生在完成作业时，时常会遇到各种各样的问题，例如生字不会读，算数不会做，这种情况下需要及时进行辅导。但是很多家长碍于工作压力，根本无法辅导孩子完成课后作业，导致很多孩子学习成绩下降。

随着科学技术的发展，市面上出现了电子设备，例如手机、平板电脑、学习平板等，帮助学生解决作业中遇到的问题。一种方式是利用电子设备对着书本拍摄照片后，搜索出问题的答案；另一种方式是对着电子设备说出问题，搜索出问题的答案。

以上帮助学生解决作业问题的方式，存在以下缺陷：(一)脱离学生的作业场景，在额外的智能设备上进行查询和查看；(二)脱离不了手机、平板电脑等智能设备，学生会以作业为由借机玩手机或平板电脑，耽误学习；(三)在对着电子设备说出问题时，若学生表达不清楚的问题，则没办法帮助学生解决作业问题。

本发明为了在学生遇到学习困难时提供及时的帮助，让学生遇到困难时完成自主学习，因而提供了一种基于智能设备的交互方法及智能设备。

发明内容

本发明的目的是提供一种基于智能设备的交互方法及智能设备，可在学生遇到学习困难时提供及时的帮助。

本发明提供的技术方案如下：

本发明提供了一种基于智能设备的交互方法，包括：

当智能设备识别出用户的语音信息中含有提问关键词时，所述智能设备通过摄像模块获取提问区域图像；

所述智能设备从所述摄像模块获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容；

所述智能设备根据所述解答内容生成投影信息，并根据用户选择的投影方式将所述投影信息投射至预设投影区域。

本方案结合了学生学习时所用的必需品——灯具，在灯具上集成了获取问题、解答问题、显示解答内容等功能，在学生学习遇到困难时，能够及时为学生提供帮助。本方案中，当智能设备获取到解答内容后，可以投影的方式将解答内容投射出来，不需要外接显示屏幕或者在灯具上增设显示屏幕，提高了智能设备应用的广泛性。

优选的，当智能设备监听到用户的语音信息中含有提问关键词时，所述智能设备通过摄像模块获取提问区域图像，此步骤之前还包括步骤：智能设备监听用户的语音信息，并检测所述语音信息中是否含有提问关键词；

若所述智能设备检测出所述语音信息中不含有提问关键词，则继续监听用户的语音信息；若所述智能设备检测出所述语音信息中含有所述提问关键词，则开启摄像模块。

本方案中，当学生遇到困难时，可提问“这道题怎么做”或“第五题怎么做”，智能设备在分析出语音中含有提问关键词后，即可打开摄像模块获取提问区域图像。本方案并非实时开启摄像模块，而是在满足特定条件下才开启摄像模块，降低了摄像模块的能耗。

优选的，当智能设备识别出用户的语音信息中含有提问关键词时，所述智能设备通过摄像模块获取提问区域图像，此步骤具体包括：

当智能设备识别出用户的语音信息中含有提问关键词时，所述智能设备打开摄像模块，以检测到书本的边缘为界，获取书本的界面图像；

所述智能设备从所述书本的界面图像中检测出目标指向区域，并将所述目标指向区域对应的图像作为所述提问区域图像。

本方案在获取提问区域图像时，首先获取书本的界面图像，然后在界面图像中获取目标指向区域作为提问区域图像，能够将检测范围缩小至书本的界面内，减小了检测的干扰。

优选的，以用户选择的投影方式将所述投影信息投射至预设投影区域，此步骤具体包括：

当用户选择所述投影方式为LED投射时，所述智能设备通过投影模块以LED投射方式将所述投影信息投射至预设投影区域；

或当用户选择所述投影方式为灯光投射时，所述智能设备通过投影模块以灯光投射方式将所述投影信息投射至预设投影区域；

或当用户选择所述投影方式为3D全息投射时，所述智能设备通过投影模块以3D全息投射方式将所述投影信息投射至预设投影区域；

或当用户选择所述投影方式为AR投射时，所述智能设备通过投影模块以AR投射方式将所述投影信息投射至预设投影区域。

本方案中提供了多种投射方式，能够满足不同的投射需求，例如投射的解答内容包含三维立体图像或者化学实验图像时，即可使用3D全息投射方式进行投射，当投射的解答内容中含有很多种颜色时，即可使用LED投射方式，使得投射的颜色区分更加明显。

优选的，还包括步骤：

所述智能设备记录所述问题内容形成提问记录，并在历史提问记录中查找是否存在与所述问题内容近似的提问记录；

若在历史提问记录中存在与所述问题内容相似的提问记录，则将所述相似的提问记录对应的提问内容以及解答内容投射至所述预设投影区域。

本方案中，学生问的问题都会被智能设备记录下来，形成提问记录，当下次提出相似的问题时可投射出相似问题以及解答内容，让学生回顾以前没懂的问题，加深对同一知识点的学习，巩固知识点。

本发明还提供了一种智能设备，包括：

摄像模块，用于当智能设备识别出用户的语音信息中含有提问关键词时，获取提问区域图像；

解析模块，与所述摄像模块电连接，用于从所述摄像模块获取的所述提问区域图像中解析出提问内容；

答案获取模块，与所述解析模块电连接，用于获取所述提问内容对应的解答内容；

投影信息生成模块，与所述答案获取模块电连接，用于根据所述解答内容生成投影信息；

投影模块，与所述投影信息生成模块电连接，用于根据用户选择的投影方式将所述投影信息投射至预设投影区域。

本方案中提供的智能设备上集成了摄像模块、解析模块、答案获取模块、投影信息生成模块和投影模块，实现了获取问题、解答问题、显示解答内容等功能，在学生学习遇到困难时，能够及时为学生提供帮助。本方案中，当智能设备获取到解答内容后，以投影的方式将解答内容投射出来，不需要外接显示屏幕或者在灯具上增设显示屏幕，增加应用的广泛性。

优选的，所述智能设备还包括：

语音检测模块，用于监听用户的语音信息，并检测所述语音信息中是否含有提问关键词；

所述语音检测模块，还用于若所述智能设备检测出所述语音信息中不含有提问关键词，则继续监听用户的语音信息；

控制模块，与所述语音检测模块电连接，用于识别出所述语音信息中含有提问关键词时，开启摄像模块。

本方案中，当学生遇到困难时，可提问“这道题怎么做”或“第五题怎么做”，智能设备在分析出语音中含有提问关键词后，即可打开摄像模块获取提问区域图像。本方案并非实时开启摄像模块，而是在满足特定条件下才开启摄像模块，降低了摄像模块的能耗。

优选的，所述智能终端包括：

控制模块，用于与所述语音检测模块电连接，用于当所述语音检测模块识别出用户的语音信息中含有提问关键词时，开启摄像模块；

所述摄像模块，还与所述控制模块电连接，用于以检测到的书本的边缘为界，获取书本的界面图像；

提问区域识别模块，与所述摄像模块电连接，用于从所述书本的界面图像中检测出目标指向区域，并将所述目标指向区域对应的图像作为所述提问区域图像。

本方案在获取提问区域图像时，首先获取书本的界面图像，然后在界面图像中获取目标指向区域作为提问区域图像，能够将检测范围缩小至书本的界面内，减小了检测的干扰。

优选的，所述投影模块，用于当用户选择所述投影方式为LED投射时，所述智能设备通过投影模块以LED投射方式将所述投影信息投射至预设投影区域；

或用于当用户选择所述投影方式为灯光投射时，所述智能设备通过投影模块以灯光投射方式将所述投影信息投射至预设投影区域；

或用于当用户选择所述投影方式为3D全息投射时，所述智能设备通过投影模块以3D全息投射方式将所述投影信息投射至预设投影区域；

或用于当用户选择所述投影方式为AR投射时，所述智能设备通过投影模块以AR投射方式将所述投影信息投射至预设投影区域。

本方案中提供了多种投射方式，能够满足不同的投射需求，例如投射的解答内容包含三维立体图像或者化学实验图像时，即可使用3D全息投射方式进行投射，当投射的解答内容中含有很多种颜色时，即可使用LED投射方式，使得投射的颜色区分更加明显。

优选的，所述智能设备还包括：

记录模块，用于记录所述问题内容形成提问记录；

查找模块，与所述记录模块电连接，用于在历史提问记录中查找是否存在与所述问题内容近似的提问记录；

所述投影模块，与所述查找模块电连接，还用于若在历史提问记录中存在与所述问题内容相似的提问记录，则将所述相似的提问记录对应的提问内容以及解答内容投射至所述预设投影区域。

本方案中，学生问的问题都会被智能设备记录下来，形成提问记录，当下次提出相似的问题时可投射出相似问题以及解答内容，让学生回顾以前没懂的问题，加深对同一知识点的学习，巩固知识点。

优选的，或；所述智能设备包括智能台灯，所述摄像模块和所述投影模块设置在所述智能台灯的头部，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述智能台灯的底座一侧；或；所述智能设备包括智能壁灯，所述摄像模块和所述投影模块设置在所述智能壁灯上，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域一侧；或；所述智能设备包括智能吊灯，所述摄像模块和所述投影模块设置在所述智能吊灯上，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域一侧。

通过本发明提供的一种基于智能设备的交互方法及智能设备，能够带来以下至少一种有益效果：

本发明为了在学生遇到学习困难时，能够提供及时的帮助，在智能设备上集成了获取问题、解答问题、显示解答内容等功能，在学生学习遇到困难时，只需指着不懂的问题说：“这道题怎么做”，智能设备即可采集提问区域图像，然后通过图像分析技术获取问题内容，再通过知识库获取解答内容，将解答的内容投射出来，供学生学习参考。可见智能设备担任了辅导一职，为学生提供学习帮助的同时，也减少了家长的负担。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于智能设备的交互方法及智能设备的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种基于智能设备的交互方法的一个实施例的流程图；

图2是本发明一种基于智能设备的交互方法的另一个实施例的流程图；

图3是本发明一种基于智能设备的交互方法的另一个实施例的流程图；

图4是本发明一种智能设备的一个实施例的结构示意图；

图5是本发明一种智能设备的另一个实施例的结构示意图；

图6是一种智能设备的结构示意图。

附图标号说明：

1-摄像模块、2-解析模块、3-答案获取模块、4-投影信息生成模块、5-投影模块、6-语音检测模块、7-控制模块、8-记录模块、9-查找模块、10-提问区域识别模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

本发明提供了一种基于智能设备的交互方法的一个实施例，如图1所示，包括：

S1当智能设备识别出用户的语音信息中含有提问关键词时，所述智能设备通过摄像模块获取提问区域图像；

本发明中的摄像模块可以为摄像头，可安装在智能设备上，智能设备包括智能台灯、智能吊灯、智能壁灯等等，可安装在书桌附近，使智能设备能够通过安装在本体上的摄像模块获取到书桌上书本的图像信息。

学生在学习时，若有遇到不清楚或者不会做的题目，可用手指向不会的题目，然后说“这道题怎么做”或“第一题怎么做”等类似提问语。智能设备会实时采集用户的语音信息，将语音信息转化问文本信息，然后判断是否有提问关键词(如“怎么做”、“如何做”、“如何说”等)，当智能设备识别出用户的语音信息中含有提问关键词时，会分析摄像头采集到的图像，通过图像识别技术识别出手的轮廓以及手指的指向，并在手指指向区域上查找出用户想要询问的题目所在的区域，将此区域的图像作为提问区域图像。

S2所述智能设备从所述摄像模块获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容；

具体的，智能设备中可集成有图像处理芯片(例如FH8510图像处理芯片或者FMS6502图像处理芯片)，可对提问区域图像进行识别，解析出提问区域图像中的提问内容，如解析提问区域图像，得到提问内容：“第四题、小明买了5斤苹果，每斤苹果3元钱，小明一共需要付多少钱？”。智能设备可根据提问内容，在预先储存的知识库中查找出提问内容对应的解答内容(包括题目解析、详细的解答步骤等)。

S3所述智能设备根据所述解答内容生成投影信息，并根据用户选择的投影方式将所述投影信息投射至预设投影区域。

具体的，智能设备上可设有投影模块，如微型投影器等。智能设备可根据预设的投影模板(包括：答案版块、解析版块、知识点版块)，将解答内容中相应的内容添加至投影模板的各个版块中，从而生成投影信息。用户可预先设定投影模块的投影方式(包括LED投射、灯光投射、3D全息投射、AR投射)，使投影模块按照选择的投影方式将投影信息投射至预设投影区域。

投影时，可通过图像识别技术，从摄像模块采集的图像信息中检测出一桌面区域，将这一区域作为预设投影区域。为了在投影时产生更好的投影效果，还可配套增加一块投影板，学生在学习时，可将投射板放置在书桌上，摄像头可通过图像识别技术自动识别出投射板的位置，同时调整投影模块的投射方向，将图像投射至投影板上。

所述智能设备上还可设置一视线检测装置，视线检测装置采集用户的头部图像，并根据所述头部图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域；或；所述智能设备上的视线检测装置采集用户的眼睛图像，并根据所述眼睛图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域；

具体的，为了方便用户查看投影出来的三维图像，可通过一视线检测装置检测用户的视线方向。本实施例中提供了两种检测用户视线方向的例子：

1、可通过视线检测装置获取人体的头部图像，通过人脸识别技术，检测出人脸上各个特征点(如鼻子、眼睛、颧骨、眉毛、嘴巴等特征点)，以及这些特征点在世界三维坐标系下的坐标，以双眼形成的直线方向为X坐标轴方向，以双眼之间的中点与鼻尖形成的直线方向为Y坐标轴方向，默认用户的眼睛为平视前方，则与X坐标轴和Y坐标轴相互垂直的方向，即可确定为视线方向所在直线。然后再以面部朝向确认出视线方向。

2、可通过视线检测装置包括拍摄单元，用于拍摄用户的眼睛图像并得到其变焦值，该拍摄单元具有变焦功能；角膜确定单元，其从眼睛图像中辨别角膜图像；基点指定单元，其基于所述角膜图像来指定用户的眼球中心，并且将在对象与从眼球中心到对象的垂线之间的交点指定为基点；距离测量单元，其指定指示角膜的图像的预定大小的变焦值，并且基于该变焦值来指定从角膜到对象的距离；视线移动量指定单元，其基于角膜图像的移动量来指定角膜的移动量，并且基于角膜的移动量和从角膜到对象的距离来指定在对象上的视线移动量；以及关注点指定单元，其基于基准点和视线移动量来指定关注点，从而确定出用户的视线方向。智能设备上的视线检测装置可以检测用户的视线方向，从而使确定出的预设投影区域就在用户的注视范围内，让用户能给非常直观地了解到解答内容。

本方案结合了学生学习时所用的必需品——灯具，在灯具上集成了获取问题、解答问题、显示解答内容等功能，在学生学习遇到困难时，能够及时为学生提供帮助。本方案中，当智能设备获取到解答内容后，以投影的方式将解答内容投射出来，不需要外接显示屏幕或者在灯具上增设显示屏幕，增加应用的广泛性。

如图2所示，本发明还提供了一种基于智能设备的交互方法的另一个实施例，包括步骤：

S01智能设备监听用户的语音信息，并检测所述语音信息中是否含有提问关键词；

当学生在学习或做题的过程中遇到问题时，可用手指向不懂的题目，然后说：“这道题如何做”或“第一题怎么做”等类似提问语。智能设备中的语音检测模块包括麦克风，可获取用户的语音信息，在获取到用户的语音信息后，语音检测模块将用户的语音信息转换为文本信息；然后判断文本信息中是否含有提问关键词(例如“怎么做”、“如何做”等关键词)。

S02若所述智能设备检测出所述语音信息中不含有提问关键词，则继续监听用户的语音信息；

S03若所述智能设备检测出所述语音信息中含有所述提问关键词，则开启摄像模块；

S11当智能设备识别出用户的语音信息中含有提问关键词时，所述智能设备通过摄像模块，以检测到书本的边缘为界，获取书本的界面图像；

具体的，为了更好地识别出桌面上的书本，可训练书本识别模型，本实施例以训练Unet分割模型为例。将基于tensorflow深度学习框架，构建Unet分割网络。为了降低分割网络的大小，提升分割网络的效率，修改现有的轻量化mobilenet_v2网络结构，将其用于unet网络编码部分，unet解码部分使用简单的卷积神经网络。

训练前可采集多种单一桌面图像，以及多种单一书本图像，将每一张单一桌面图像和每一张单一书本图像进行多样组合(例如将单一书本图像放置于单一书本图像上的不同位置)，得到若干单一书本图像和单一桌面图像的组合图像，然后将若干组合图像以4:1分为训练集和验证集，将训练集通过Unet分割网络进行训练，当Unet分割网络在训练集和测试集上的IOU(分割网络的标准度量)值都大于0.95时，得到Unet分割模型。

当摄像头获取桌面图像后，通过Unet分割模型对桌面图像进行二值分割，得到桌面图像的二值分割图，并从桌面图像的二值分割图中提取出书本的边缘，从而确定出书本的位置，从桌面图像中获取到书本的界面图像。

本方案中并非实时开启摄像模块，而是在满足特定条件下才开启摄像模块，降低了摄像模块的能耗。

S12所述智能设备从所述书本的界面图像中检测出目标指向区域，并将所述目标指向区域对应的图像作为所述提问区域图像。

智能设备在获取到书本的界面图像后，可通过图像识别技术，从界面图像中识别出用户的手指，并将指尖所指向的区域定义为目标指向区域，然后将目标指向区域的图像作为提问区域图像。

S2所述智能设备从所述摄像模块获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容；

本实施例中，智能设备从提问区域图像中解析出提问内容后，可将提问内容发送至服务器。在服务器端可预先储存有知识库，服务器会根据提问内容，在知识库中查找相应的解答内容，并将解答内容返回到智能设备。本技术方案中，智能设备上不需要储存知识库的相关数据，降低了对智能设备储存器的要求，从而减少了智能设备的制造成本。

S3所述智能设备根据所述解答内容生成投影信息，并根据用户选择的投影方式将所述投影信息投射至预设投影区域。

智能设备上可设有投影模块，如微型投影器等。智能设备可根据预设的投影模板(包括：答案版块、解析版块、知识点版块)，将解答内容中相应的内容添加至投影模板的各个版块中，从而生成投影信息。用户可预先设定投影模块的投影方式(包括LED投射、灯光投射、3D全息投射、AR投射)，将投影信息投射至预设投影区域。

优选的，本实施例中，所述智能设备可根据所述提问内容，分析得到所述提问内容所属学科类型；并根据所述提问内容所属的学科类型，选择相应的投影方式将所述解答内容投射至所述预设投影区域。

具体的，智能终端可对提问内容进行语义理解，分析出所述提问内容所属的学科类型；也可通过提问内容中的学科关键词进行学科的匹配，例如，若题目中出现化学式时，可判断出提问内容为化学类别，若题目中出现大量英文时，可判断出提问内容为英语类别；再或者，也可以通过提问内容的题号，或者提问内容所在页的页码，或者提问内容所在页面的位置，匹配出相应的书籍，然后根据此书籍所述的学科类别，确定出提问内容的学科类别。

为了使投影的方式更加符合提问内容所属学科的特性，在投影时会自动选择相应的投影方式进行投影。

例如，当提问内容所属的学科为英语时，由于英语都是文字型答案，因此用平面投影的方式进行投影能够达到更好的观看效果；而当提问内容所属的学科为几何学时，由于几何图形是立体图形，若是以平面投影方式进行投影，会对学生理解答案造成一定的困难，达不到为学生提供解题的目的；而以三维投影方式进行投影，学生可以从不同角度对投影出来的三维几何图形进行理解，使遇到的问题更加容易解答。

再例如，当提问内容所属学科为地理时，由于地理上很多都是关于山地、海洋、气候等研究，若是以平面投影方式来投射解答内容，可能无法让学生有直观的体验。如学生在理解喀斯特地貌、丹霞地貌、海岸地貌、冰川地貌等地形时，若是以平面投影方式投影相关的图片，学生可能并不能完全理解各类地形地貌的特色，从而不容易区分不同地形地貌，而以三维投影方式来投射解答内容，学生能够从不同的角度对各种地貌进行观察，更容易区分不同地形地貌的特征。

如图3所示，本发明提供了一种基于智能设备的交互方法的一个实施例，包括：

S01智能设备监听用户的语音信息，并检测所述语音信息中是否含有提问关键词；

S02若所述智能设备检测出所述语音信息中不含有提问关键词，则继续监听用户的语音信息；

S03若所述智能设备检测出所述语音信息中含有所述提问关键词，则开启摄像模块；

S11当智能设备识别出用户的语音信息中含有提问关键词时，所述智能设备打开摄像模块，以检测到书本的边缘为界，获取书本的界面图像；

S12所述智能设备从所述书本的界面图像中检测出目标指向区域，并将所述目标指向区域对应的图像作为所述提问区域图像。

S2所述智能设备从所述摄像模块获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容；

S3所述智能设备根据所述解答内容生成投影信息，并根据用户选择的投影方式将所述投影信息投射至预设投影区域，可选的，当用户选择所述投影方式为LED投射时，所述智能设备通过投影模块以LED投射方式将所述投影信息投射至预设投影区域；或当用户选择所述投影方式为灯光投射时，所述智能设备通过投影模块以灯光投射方式将所述投影信息投射至预设投影区域；或当用户选择所述投影方式为3D全息投射时，所述智能设备通过投影模块以3D全息投射方式将所述投影信息投射至预设投影区域；或当用户选择所述投影方式为AR投射时，所述智能设备通过投影模块以AR投射方式将所述投影信息投射至预设投影区域。

本实施例中提供了多种投射方式可供用户选择，可满足不同投射内容的投射需求。

S41所述智能设备记录所述问题内容形成提问记录，并在历史提问记录中查找是否存在与所述问题内容近似的提问记录；

S42若在历史提问记录中存在与所述问题内容相似的提问记录，则将所述相似的提问记录对应的提问内容以及解答内容投射至所述预设投影区域。

具体的，智能设备会将用户所提问题进行记录，形成提问记录，当用户后续再问到相似的问题时，可将相近的问题以及解答内容推送给用户。例如当用户所闻的问题内容为“‘百日依山尽’的下一句是____”，而用户以前也问过“‘更上一层楼’的上一句是____”，那么，智能设备在给用户投影解答信息后，会将相似的提问记录对应的提问内容以及解答内容都投射到预设投影区域，加深用户对相似知识点的认知。

可选的，本实施例中，所述智能设备分析所述提问内容，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点，并记录形成历史提问记录；所述智能设备根据预设时段内的历史提问记录，生成不同学科的学习评价报告，和/或每一学科中不同章节的学习评价报告，和/或每一学科的每一章节中不同知识点的学习评价报告。

用户在询问问题后，智能设备都会记录下相关的提问内容，并且对提问内容进行分析，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点。当用户想要了解最近一段时间的学习情况时，智能设备即可根据这段时间的历史提问记录，生成相应的学习评价报告，帮助用户了解当前的学习状况。例如用户需要本学期数学这门学科的学习评价报告时，则可根据历史提问记录，智能设备会将本学期所问问题的历史记录提取出来，并根据每个问题的所属章节归类，所属知识点归类，评价用户在数学学科中每一章节、每一知识点的学习情况。

另外，当需要投射几何图形，或者多种实验器材等立体图像时，本实施例考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作，在做实验题时，经常需要将多种器材进行组合，同时为了使学生更加完整、全面地查看投影出的几何图形，做实验时能够有更加直观的体验，本方案在以三维投影方式进行投影时增加了编辑操作，用户可以在投影出来的三维图像上进行相应的编辑，以此来更好地了解学习内容。

例如，当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，所述智能设备解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动；

当触碰所述三维图像上任意点的时间达到第二预设时间时，所述智能设备解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

当触碰所述三维图像上任意两点，并且两个触碰点距离缩小时，所述智能设备解析所述编辑操作为图像缩小操作；当触碰所述三维图像上任意两点，并且两个触碰点距离变大时，所述智能设备解析所述编辑操作为图像放大操作；

当触碰所述三维图像上任一点的时间达到第四预设时间，并且触碰点移动距离大于预设距离时，所述智能设备解析所述编辑操作为作图操作；

当用户用手抓取所述三维图像中的某一图形时，所述智能设备解析出所述编辑操作为图像删除操作；而当智能设备的语音检测模块6监听到用户的语音信息中包含图形添加信息时，则在三维图像中添加所述图形添加信息对应的图形，例如用户说“添加圆柱体”，智能设备在监听到这句话时，即可通过语义理解，分析出需要添加“圆柱体”这一图形。

如图4所示，本发明还提供了一种智能设备的实施例，智能设备包括摄像模块1、解析模块2、答案获取模块3、投影信息生成模块4、投影模块5：

摄像模块1，用于当智能设备识别出用户的语音信息中含有提问关键词时，获取提问区域图像；

解析模块2，与所述摄像模块1电连接，用于从所述摄像模块1获取的所述提问区域图像中解析出提问内容；

答案获取模块3，与所述解析模块2电连接，用于获取所述提问内容对应的解答内容；

投影信息生成模块4，与所述答案获取模块3电连接，用于根据所述解答内容生成投影信息；

投影模块5，与所述投影信息生成模块4电连接，用于根据用户选择的投影方式将所述投影信息投射至预设投影区域。

具体的，本发明中的摄像模块1可以为摄像头，可安装在智能设备上，智能设备包括智能台灯、智能吊灯、智能壁灯等等，可安装在书桌附近，使智能设备能够通过安装在本体上的摄像模块1获取到书桌上书本的图像信息。

学生在学习时，若有遇到不清楚或者不会做的题目时，可用手指指向不会的题目，然后说“这道题怎么做”或“第一题怎么做”等类似提问语。智能设备会实时采集用户的语音信息，将语音信息转化问文本信息，然后判断文本信息中是否有提问关键词(如“怎么做”、“如何做”、“如何说”等)，当智能设备识别出用户的语音信息中含有提问关键词时，会分析摄像头采集到的图像，通过图像识别技术识别出手的轮廓以及手指的指向，并在手指指向区域上查找出用户想要询问的题目所在的区域，并将此区域的图像作为提问区域图像。

智能设备中可集成有图像处理芯片(例如FH8510图像处理芯片或者FMS6502图像处理芯片)，可对提问区域图像进行识别，解析出图文区域图像中的提问内容，如解析提问区域图像，得到提问内容：“第四题、小明买了5斤苹果，每斤苹果3元钱，小明一共需要付多少钱？”。智能设备可根据提问内容，在预先储存的知识库中查找出提问内容对应的解答内容(包括题目解析、详细的解答步骤等)。

智能设备可根据预设的投影模板(包括：答案版块、解析版块、知识点版块)，将解答内容中相应的内容添加至投影模板的各个版块中，从而生成投影信息。智能设备上可设有投影模块5，如微型投影器等，用户可预先设定投影模块5的投影方式(包括LED投射、灯光投射、3D全息投射、AR投射)，当智能设备将解答内容生成投影信息后，即可通过投影模块5将投影信息投射至预设投影区域。

投影时，可通过图像识别技术，从摄像模块1采集的图像信息中检测出一桌面区域，将这一区域作为预设投影区域。为了在投影时产生更好的投影效果，还可配套增加一块投影板，学生在学习时，可将投射板放置在书桌上，摄像头可通过图像识别技术自动识别出投射板的位置，同时调整投影模块的投射方向，将图像投射至投影板上。

为了方便用户查看投影出来的图像，可通过在智能设备上设置一视线检测装置，用以检测用户的视线方向，在用户的视线方向上确定预设投影区域。具体的，所述视线检测装置采集用户的头部图像，并根据所述头部图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域；所述智能设备上的视线检测装置采集用户的眼睛图像，并根据所述眼睛图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域。本实施例中提供了两种检测用户视线方向的例子：

1、可通过视线检测装置获取人体的头部图像，通过人脸识别技术，检测出人脸上各个特征点(如鼻子、眼睛、颧骨、眉毛、嘴巴等特征点)，以及这些特征点在世界三维坐标系下的坐标，以双眼形成的直线方向为X坐标轴方向，以双眼之间的中点与鼻尖形成的直线方向为Y坐标轴方向，默认用户的眼睛为平视前方，则与X坐标轴和Y坐标轴相互垂直的方向，即可确定为视线方向所在直线。然后再以面部朝向确认出视线方向。

2、可通过视线检测装置包括拍摄单元，用于拍摄用户的眼睛图像并得到其变焦值，该拍摄单元具有变焦功能；角膜确定单元，其从眼睛图像中辨别角膜图像；基点指定单元，其基于所述角膜图像来指定用户的眼球中心，并且将在对象与从眼球中心到对象的垂线之间的交点指定为基点；距离测量单元，其指定指示角膜的图像的预定大小的变焦值，并且基于该变焦值来指定从角膜到对象的距离；视线移动量指定单元，其基于角膜图像的移动量来指定角膜的移动量，并且基于角膜的移动量和从角膜到对象的距离来指定在对象上的视线移动量；以及关注点指定单元，其基于基准点和视线移动量来指定关注点，从而确定出用户的视线方向。

本方案结合了学生学习时所用的必需品——灯具，在灯具上集成了获取问题、解答问题、显示解答内容等功能，在学生学习遇到困难时，能够及时为学生提供帮助。本方案中，当智能设备获取到解答内容后，以投影的方式将解答内容投射出来，不需要外接显示屏幕或者在灯具上增设显示屏幕，增加应用的广泛性。

优选的，本实施例中，所述智能设备可根据所述提问内容，分析得到所述提问内容所属学科类型；并根据所述提问内容所属的学科类型，选择相应的投影方式将所述解答内容投射至所述预设投影区域。

具体的，智能终端可对提问内容进行语义理解，分析出所述提问内容所属的学科类型；也可通过提问内容中的学科关键词进行学科的匹配，例如，若题目中出现化学式时，可判断出提问内容为化学类别，若题目中出现大量英文时，可判断出提问内容为英语类别；再或者，也可以通过提问内容的题号，或者提问内容所在页的页码，或者提问内容所在页面的位置，匹配出相应的书籍，然后根据此书籍所述的学科类别，确定出提问内容的学科类别。

为了使投影的方式更加符合提问内容所属学科的特性，在投影时会自动选择相应的投影方式进行投影。

例如，当提问内容所属的学科为英语时，由于英语都是文字型答案，因此用平面投影的方式进行投影能够达到更好的观看效果；而当提问内容所属的学科为几何学时，由于几何图形是立体图形，若是以平面投影方式进行投影，会对学生理解答案造成一定的困难，达不到为学生提供解题的目的；而以三维投影方式进行投影，学生可以从不同角度对投影出来的三维几何图形进行理解，使遇到的问题更加容易解答。

再例如，当提问内容所属学科为地理时，由于地理上很多都是关于山地、海洋、气候等研究，若是以平面投影方式来投射解答内容，可能无法让学生有直观的体验。如学生在理解喀斯特地貌、丹霞地貌、海岸地貌、冰川地貌等地形时，若是以平面投影方式投影相关的图片，学生可能并不能完全理解各类地形地貌的特色，从而不容易区分不同地形地貌，而以三维投影方式来投射解答内容，学生能够从不同的角度对各种地貌进行观察，更容易区分不同地形地貌的特征。

如图5所示，本发明还提供了一种智能设备的实施例，智能设备包括：

语音检测模块6，用于监听用户的语音信息，并检测所述语音信息中是否含有提问关键词；

所述语音检测模块6，还用于若所述智能设备检测出所述语音信息中不含有提问关键词，则继续监听用户的语音信息；

控制模块7，与所述语音检测模块6电连接，用于当识别出所述语音信息中含有提问关键词时，开启摄像模块1。

所述摄像模块1，还与所述控制模块7电连接，用于以检测到的书本的边缘为界，获取书本的界面图像；

提问区域识别模块10，与所述摄像模块1电连接，用于从所述书本的界面图像中检测出目标指向区域，并将所述目标指向区域对应的图像作为所述提问区域图像。

解析模块2，与所述摄像模块1、提问区域识别模块10电连接，用于从所述摄像模块1获取的所述提问区域图像中解析出提问内容；

答案获取模块3，与所述解析模块2电连接，用于获取所述提问内容对应的解答内容；

投影信息生成模块4，与所述答案获取模块3电连接，用于根据所述解答内容生成投影信息；

所述投影模块5，用于当用户选择所述投影方式为LED投射时，所述智能设备通过投影模块5以LED投射方式将所述投影信息投射至预设投影区域；

或用于当用户选择所述投影方式为灯光投射时，所述智能设备通过投影模块5以灯光投射方式将所述投影信息投射至预设投影区域；

或用于当用户选择所述投影方式为3D全息投射时，所述智能设备通过投影模块5以3D全息投射方式将所述投影信息投射至预设投影区域；

或用于当用户选择所述投影方式为AR投射时，所述智能设备通过投影模块5以AR投射方式将所述投影信息投射至预设投影区域。

记录模块8，与所述解析模块2电连接，用于记录所述问题内容形成提问记录；

查找模块9，与所述记录模块8电连接，用于在历史提问记录中查找是否存在与所述问题内容近似的提问记录；

所述投影模块5，与所述查找模块9电连接，还用于若在历史提问记录中存在与所述问题内容相似的提问记录，则将所述相似的提问记录对应的提问内容以及解答内容投射至所述预设投影区域。

具体的，当学生在学习或做题的过程中遇到问题时，可用手指向不懂的题目，然后说：“这道题如何做”或“第一题怎么做”等类似提问语。智能设备中的语音检测模块6包括麦克风，可获取用户的语音信息，同时将用户的语音信息转换为文本信息；然后判断文本信息中是否含有提问关键词(例如“怎么做”、“如何做”等关键词)。

智能设备监听到用户的语音信息中含有提问提问关键词时，会通过摄像模块1获取提问区域图像。，首先，智能设备的摄像模块1以检测到书本的边缘为界，获取书本的界面图像，然后从所述书本的界面图像中检测出目标指向区域，并将所述目标指向区域对应的图像作为所述提问区域图像。为了更好地识别出桌面上的书本，可训练书本识别模型，本实施例以训练Unet分割模型为例。将基于tensorflow深度学习框架，构建Unet分割网络。为了降低分割网络的大小，提升分割网络的效率，修改现有的轻量化mobilenet_v2网络结构，将其用于unet网络编码部分，unet解码部分使用简单的卷积神经网络。

训练前可采集多种单一桌面图像，以及多种单一书本图像，将每一张单一桌面图像和每一张单一书本图像进行多样组合(例如将单一书本图像放置于单一书本图像上的不同位置)，得到若干单一书本图像和单一桌面图像的组合图像，然后将若干组合图像以4:1分为训练集和验证集，将训练集通过Unet分割网络进行训练，当Unet网络在训练集和测试集上的IOU(分割网络的标准度量)值都大于0.95时，得到Unet分割模型。

当摄像模块1获取桌面图像后，通过Unet分割模型对桌面图像进行二值分割，得到桌面图像的二值分割图，并从桌面图像的二值分割图中提取出书本的边缘，从而确定出书本的位置，从桌面图像中获取到书本的界面图像。

智能设备在获取到书本的界面图像后，可通过图像识别技术，从界面图像中识别出用户的手指，并将指尖所指向的区域定义为目标指向区域，然后将目标指向区域的图像作为提问区域图像。

本实施例中，智能设备从提问区域图像中解析出提问内容后，可将提问内容发送至服务器，在服务器端可预先储存知识库，服务器会根据提问内容，在知识库中查找相应的解答内容，并将解答内容返回到智能设备。

智能设备上可设有投影模块5，如微型投影器等。智能设备可根据预设的投影模板(包括：答案版块、解析版块、知识点版块)，将解答内容中相应的内容添加至投影模板的各个版块中，从而生成投影信息。用户可预先设定投影模块5的投影方式(包括LED投射、灯光投射、3D全息投射、AR投射)，将投影信息投射至预设投影区域。本实施例中提供了多种投射方式可供用户选择，可满足不同投射内容的投射需求。

智能设备会将用户所提问题进行记录，形成提问记录，当用户后续再问到相似的问题时，可将相近的问题以及解答内容推送给用户。例如当用户所闻的问题内容为“‘百日依山尽’的下一句是____”，而用户以前也问过“‘更上一层楼’的上一句是____”，那么，智能设备在给用户投影解答信息后，会将相似的提问记录对应的提问内容以及解答内容都投射到预设投影区域，加深用户对相似知识点的认知。

另外，当投影模块5需要投射几何图形，或者多种实验器材等立体图像时，本实施例考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作，在做实验题时，经常需要将多种器材进行组合，同时为了使学生更加完整、全面地查看投影出的几何图形，做实验时能够有更加直观的体验，本方案在以三维投影方式进行投影时增加了编辑操作，用户可以在投影出来的三维图像上进行相应的编辑，以此来更好地了解学习内容。

例如，当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，所述智能设备解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动；

当触碰所述三维图像上任意点的时间达到第二预设时间时，所述智能设备解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

当触碰所述三维图像上任意两点，并且两个触碰点距离缩小时，所述智能设备解析所述编辑操作为图像缩小操作；当触碰所述三维图像上任意两点，并且两个触碰点距离变大时，所述智能设备解析所述编辑操作为图像放大操作；

当触碰所述三维图像上任一点的时间达到第四预设时间，并且触碰点移动距离大于预设距离时，所述智能设备解析所述编辑操作为作图操作；

当用户用手抓取所述三维图像中的某一图形时，所述智能设备解析出所述编辑操作为图像删除操作；而当智能设备的语音检测模块6监听到用户的语音信息中包含图形添加信息时，则在三维图像中添加所述图形添加信息对应的图形，例如用户说“添加圆柱体”，智能设备在监听到这句话时，即可通过语义理解，分析出需要添加“圆柱体”这一图形。

所述智能设备包括智能台灯，所述摄像模块和所述投影模块设置在所述智能台灯的头部，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述智能台灯的底座；或；所述智能设备包括智能壁灯，所述摄像模块和所述投影模块设置在所述智能壁灯上，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域；或；所述智能设备包括智能吊灯，所述摄像模块和所述投影模块设置在所述智能吊灯上，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域。

如图6所示，本发明提供了一种智能台灯的示意图，所述智能台灯本体包括台灯底座、连接杆、台灯头部；所述摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；所述麦克风和扬声器分别设置在所述台灯底座上。学生学习遇到困难时，可通过上述实施例中智能设备的辅助学习功能，完成自主学习。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于智能设备的交互方法，其特征在于，包括步骤：

当智能设备识别出用户的语音信息中含有提问关键词时，所述智能设备通过摄像模块获取提问区域图像；

所述智能设备从所述摄像模块获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容；

所述智能设备根据所述解答内容生成投影信息，并根据用户选择的投影方式将所述投影信息投射至预设投影区域。

2.根据权利要求1所述的一种基于智能设备的交互方法，其特征在于，当智能设备监听到用户的语音信息中含有提问关键词时，所述智能设备通过摄像模块获取提问区域图像，此步骤之前还包括步骤：

智能设备监听用户的语音信息，并检测所述语音信息中是否含有提问关键词；

若所述智能设备检测出所述语音信息中不含有所述提问关键词，则继续监听用户的语音信息；

若所述智能设备检测出所述语音信息中含有所述提问关键词，则开启摄像模块。

3.根据权利要求1所述的一种基于智能设备的交互方法，其特征在于，当智能设备识别出用户的语音信息中含有提问关键词时，所述智能设备通过摄像模块获取提问区域图像，此步骤具体包括：

当智能设备识别出用户的语音信息中含有提问关键词时，所述智能设备打开摄像模块，以检测到书本的边缘为界，获取书本的界面图像；

所述智能设备从所述书本的界面图像中检测出目标指向区域，并将所述目标指向区域对应的图像作为所述提问区域图像。

4.根据权利要求1-3中任一项所述的一种基于智能设备的交互方法，其特征在于，以用户选择的投影方式将所述投影信息投射至预设投影区域，此步骤具体包括：

当用户选择所述投影方式为LED投射时，所述智能设备通过投影模块以LED投射方式将所述投影信息投射至预设投影区域；

当用户选择所述投影方式为灯光投射时，所述智能设备通过投影模块以灯光投射方式将所述投影信息投射至预设投影区域；

当用户选择所述投影方式为3D全息投射时，所述智能设备通过投影模块以3D全息投射方式将所述投影信息投射至预设投影区域；

当用户选择所述投影方式为AR投射时，所述智能设备通过投影模块以AR投射方式将所述投影信息投射至预设投影区域。

5.根据权利要求1-3中任一项所述的一种基于智能设备的交互方法，其特征在于，还包括步骤：

所述智能设备记录所述问题内容形成提问记录，并在历史提问记录中查找是否存在与所述问题内容近似的提问记录；

若在历史提问记录中存在与所述问题内容相似的提问记录，则将所述相似的提问记录对应的提问内容以及解答内容投射至所述预设投影区域。

6.一种智能设备，其特征在于，包括：

摄像模块，用于当智能设备识别出用户的语音信息中含有提问关键词时，获取提问区域图像；

解析模块，与所述摄像模块电连接，用于从所述摄像模块获取的所述提问区域图像中解析出提问内容；

答案获取模块，与所述解析模块电连接，用于获取所述提问内容对应的解答内容；

投影信息生成模块，与所述答案获取模块电连接，用于根据所述解答内容生成投影信息；

投影模块，与所述投影信息生成模块电连接，用于根据用户选择的投影方式将所述投影信息投射至预设投影区域。

7.根据权利要求6所述的一种智能设备，其特征在于：

所述智能设备包括智能台灯，所述摄像模块和所述投影模块设置在所述智能台灯的头部，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述智能台灯的底座一侧；

或；所述智能设备包括智能壁灯，所述摄像模块和所述投影模块设置在所述智能壁灯上，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域一侧；

或；所述智能设备包括智能吊灯，所述摄像模块和所述投影模块设置在所述智能吊灯上，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域一侧。

8.根据权利要求6所述的一种智能设备，其特征在于，所述智能设备还包括：

语音检测模块，用于监听用户的语音信息，并检测所述语音信息中是否含有提问关键词；

所述语音检测模块，还用于若所述智能设备检测出所述语音信息中不含有提问关键词，则继续监听用户的语音信息；

控制模块，与所述语音检测模块电连接，用于当识别出所述语音信息中含有提问关键词时，开启摄像模块；

所述摄像模块，还与所述控制模块电连接，用于以检测到的书本的边缘为界，获取书本的界面图像；

提问区域识别模块，与所述摄像模块电连接，用于从所述书本的界面图像中检测出目标指向区域，并将所述目标指向区域对应的图像作为所述提问区域图像。

9.根据权利要求6-8中任一项所述的一种智能设备，其特征在于：

所述投影模块，用于当用户选择所述投影方式为LED投射时，所述智能设备通过投影模块以LED投射方式将所述投影信息投射至预设投影区域；

或用于当用户选择所述投影方式为灯光投射时，所述智能设备通过投影模块以灯光投射方式将所述投影信息投射至预设投影区域；

或用于当用户选择所述投影方式为3D全息投射时，所述智能设备通过投影模块以3D全息投射方式将所述投影信息投射至预设投影区域；

或用于当用户选择所述投影方式为AR投射时，所述智能设备通过投影模块以AR投射方式将所述投影信息投射至预设投影区域。

10.根据权利要求6-8中任一项所述的一种智能设备，其特征在于，所述智能设备还包括：

记录模块，用于记录所述问题内容形成提问记录；

查找模块，与所述记录模块电连接，用于在历史提问记录中查找是否存在与所述问题内容近似的提问记录；

所述投影模块，与所述查找模块电连接，还用于若在历史提问记录中存在与所述问题内容相似的提问记录，则将所述相似的提问记录对应的提问内容以及解答内容投射至所述预设投影区域。