CN113990128B - 基于ar的智能显示*** - Google Patents

Abstract

本发明涉及幼儿英文教学技术领域，具体涉及了一种基于AR的智能显示***。包括AR设备和AR设备的控制***，控制***包括：现实识别模块，通过AR设备获取现实世界的现实影像，识别现实影像中的现实元素；智能教学模块，包括单词提取模块，从内置的英文词库中，提取出所识别的现实元素的英文单词；增强现实模块，生成英文单词的虚拟元素，并将英文单词的虚拟元素通过AR设备与对应现实元素拼接显示；智能教学模块，还包括语音教学模块，通过AR设备发出所显示的英文单词以及中文翻译的读音，进行英文教学；教学反馈模块，获取用户的学习情况，判断用户学习是否通过，并记录用户的学习情况。相比于现有技术，能够激发儿童学习英语的兴趣，提高学习效率。

Description

基于AR的智能显示***

技术领域

本发明涉及幼儿英文教学技术领域，具体涉及了一种基于AR的智能显示***。

背景技术

目前，英语不仅仅是一种热门语言，更是一种实用的工具，如今英语教学已经成为当今教育的一大热门话题。如今的英语教学，从小学甚至幼儿阶段便开始进行，

传统的英语教学，首先是需要掌握单词，理解单词的含义并记忆发音以及拼写，在掌握一定的单词量后，再进行一些短句的学习。而对于儿童来说，这样的学习方式枯燥无味，效果也不太理想。目前虽然有一些帮助儿童学习的英文短片和专门进行幼儿英语培训的培训机构，但通过英文短片的方式来学习，有部分儿童的注意力完全被短片的内容所吸引，并未关注所教授的英文内容，并且对于儿童来说也不能长时间地盯着电视或电脑屏幕进行学习。而通过幼儿英语培训的方式进行学习，花销较大，且必须在指定的场合下才能够进行学习。

发明内容

本发明所解决的技术问题在于提供一种基于AR的智能显示***，激发儿童学习英语的兴趣，提高学习效率。

本发明提供的基础方案：基于AR的智能显示***，包括AR设备和AR设备的控制***，控制***包括现实识别模块、智能教学模块、增强现实模块以及教学反馈模块；

现实识别模块，用于通过AR设备获取现实世界的现实影像，并识别现实影像中的现实元素；

智能教学模块，包括单词提取模块，用于从内置的英文词库中，提取出所识别的现实元素的英文单词；

增强现实模块，用于生成英文单词的虚拟元素，并将英文单词的虚拟元素通过AR设备与对应现实元素拼接后显示；

智能教学模块，还包括语音教学模块，用于通过AR设备发出所显示的英文单词以及其中文翻译的读音，进行英文教学；

教学反馈模块，用于获取用户的学习情况，判断用户学习是否通过，并记录用户的通过情况。

本发明的原理及优点在于：用户在学习时，佩带AR设备，获取到用户所能够看见的画面的现实影像，并识别出现实影像里面存在的现实元素，识别出现实元素后，调取词库中的英文单词生成单词的虚拟元素与现实元素进行拼接后显示，最终在用户眼前成像的便是所看到的物体旁边标注着对应的英文单词。对用户进行显示出来的英文单词的教学，并通过获取用户的学习情况判断用户学习是否通过，同时记录下用户的学习情况。

相比于现有技术，使用户能够随时对身边存在的物体的英文进行学习，并且对于儿童在说，所看见的物体上有着英文单词是一件很奇特的事情，能够提起儿童对英文学习的兴趣，并且，

进一步，所述控制***还包括视线获取模块，用于通过AR设备获取用户的视线关注方位；

所述智能教学模块还用于根据用户的视线关注方位，进行英文教学。

通过获取用户的视线关注方位，根据用户的视线关注方位进行教学，从而对用户当前注视着的物体的英文进行教学，了解到用户当前关注的内容，进行教学。

进一步，所述教学反馈模块包括口语考核模块和拼写考核模块；

口语考核模块，用于获取用户对于进行过教学的英文单词的发音，并判断用户口语是否通过；

拼写考核模块，用于获取用户对于进行过教学的英文单词的拼写，并判断用于拼写是否通过；

学习记录模块，用于记录下用户对进行过教学的英文单词口语、拼写的通过情况。

对用户学习后的口语情况以及拼写情况进行考核，并记录通过情况。

进一步，所述控制***还包括兴趣点获取模块，所述兴趣点获取模块用于获取用户的兴趣点；

所述增强现实模块还包括兴趣点生成模块，所述兴趣点生成模块用于生成兴趣点的虚拟形象，并通过AR设备显示。

通过兴趣点获取模块获取到用户感兴趣的事物，由于用户主要是针对儿童，兴趣点具体可以是用户所感兴趣的卡通人员，动物等，通过将用户感兴趣的事物进行成像，提高用户的学习兴趣。

进一步，所述增强现实模块还包括兴趣点事件模块，所述兴趣点事件模块用于使兴趣点的虚拟形象，与拼接有英文单词的现实元素互动，产生互动事件；

所述智能教学模块，还包括事件教学模块，所述事件教学模块用于生成互动事件的英文短句，并通过语音教学模块发出英文短句的发音和中文翻译。

生成用户的兴趣点的虚拟形象后，使兴趣点的虚拟形象与拼接有单词的现实元素进行一些互动，并生成互动事件的英文短句，从而使用户学习如何将已经掌握的单词进行使用，以及对语法进行学习，并且学习的是用户的兴趣点所完成事件的英文短句，一方面能够提高用户的注意力，另一方面，能够激发用户学习的兴趣。

进一步，所述兴趣点事件模块还用于优先与用户未通过的英文单词所属的现实元素产生互动事件。

对于用户没有通过的英文单词，可能存在一些难点，因此优先通过兴趣点互动的方式，优先解决用户遇到的难点，并且同兴趣点互动的方式，也能够降低用户学习的难度。

进一步，所述增强现实模块还包括兴趣点交互模块，所述兴趣点交互模块包括指令获取模块、指令判断模块以及指令执行模块；

指令获取模块，用于获取用户发出的英文指令；

指令判断模块，用于判断用户发出的英文指令是否正确；

指令执行模块，用于在判断用户发出的英文指令正确后，控制兴趣点的虚拟形象完成用户发出的英文指令。

用户能够通过说出正确的英文指令控制兴趣点的虚拟形象的行为，通过这种方式提高用户的语法掌握速度，兴趣点的虚拟形象进行互动事件是不受用户控制的，用户只能被动地看着兴趣点的虚拟形象完成互动事件进行学习。而若是用户掌握了正确的语法的单词，发出正确的英文指令是能够对兴趣点的虚拟形象进行控制，从而更加能够激发用户学习的欲望，提升学习的效率。

进一步，所述兴趣点交互模块还包括指令指正模块，用于当判断用户发出的英文指令错误后，根据用户的历史学习情况，判断用户所想要发出的英文指令，对用户进行纠正。

当用户发出了错误的英文指令后，可能是单词错误，也可能是语法错误，因此根据用户的学习情况，了解用户已经学习过的单词和语法，判断出用户真正想发出的英文指令，并进行指正，及时纠错更能够加深印象。

进一步，所述兴趣点交互模块还用于根据用户的通过情况，调整兴趣点的虚拟形象在接收到用户的英文指令后，与现实元素进行交互的完成度，通过率越高，完成度越高。

还根据用户的通过情况，调整兴趣点的虚拟形象对于英文指令的完成度，防止用户只学习控制兴趣点的虚拟形象的英文，而不学习其他英文，需要有较好的学习效果才能够提高兴趣点的虚拟形象完成英文指令的完成度。

进一步，所述兴趣点事件模块还用于根据用户的通过情况产生状态事件；

根据预设的通过值，在用户通过率高于通过值时，生成正向状态事件，在用户通过率低于通过值时，生成负向状态事件

当用户通过率低于通过值时，生成负向状态事件，激发用户在看到自己喜爱的兴趣点处于负面状态后的学习欲望。

附图说明

图1为本发明基于AR的智能显示***实施例AR设备的控制***的逻辑框图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例基本如附图1所示：

基于AR的智能显示***，包括AR设备和AR设备的控制***，控制***基本如图1所示，包括现实识别模块、智能教学模块、增强现实模块、教学反馈模块、视线获取模块、兴趣点获取模块。

AR设备可以为AR眼镜或者是AR头盔，在本实施例中优选为AR眼镜。

现实识别模块，通过AR设备获取现实世界的现实影像，并识别现实影像中的现实元素。具体的，当用户佩带AR眼镜后，通过AR眼镜获取到用户所能够看见的现实世界的现实影像，并且识别出现实影像中的如桌子、椅子、书等物体。

智能教学模块，包括单词提取模块，用于从内置的英文词库中，提取出所识别的现实元素的英文单词。例如，若识别出的现实元素包括桌子、椅子、书，则从英文词库中提取出table、chair、book。

增强现实模块，用于生成英文单词的虚拟元素，并将英文单词的虚拟元素通过AR设备与对应的现实元素拼接后显示。具体的，通过AR眼镜，用户所看到的便是桌子旁边悬浮着“table”、椅子旁边悬浮着“chair”、书旁边悬浮着“book”。

视线获取通过AR设备获取用户的视线关注方位，具体可通过获取用户瞳孔的位置判断用户的视线关注方位。

智能教学模块还包括语音教学模块，用于通过AR设备发出所显示的英文单词以及中文翻译的发音，进行英文教学。并且英文教学时，根据用户的视线关注方位进行，例如若用户的视线关注方位是椅子所在的方位，则进行“chair”的英文教学。

教学反馈模块，包括口语考核模块、拼写考核模块以及学习记录模块。口语考核模块和拼写考核模块分别用于获取用户对于已经进行过教学的英文单词的发音以及拼写的学习情况。具体的，向用户发出提问，如：“椅子的英文是？”、“chair如何拼写？”，若用户回答正确，则将该单词标记为通过，若连续三次以上回答错误，则将该单词标记为未通过，并且由学习记录模块进行记录。

控制***还包括兴趣点获取模块，所述兴趣点为儿童比较感兴趣的事物，如卡通人物、小动物等，在本实施例中优选为卡通人物。兴趣点获取模块用于获取用户最喜欢的卡通人物，增强现实模块还包括兴趣点生成模块和兴趣点事件模块。

兴趣点生成模块用于生成用户的兴趣点的虚拟形象，并通过AR设备显示。例如，获取到的用户喜欢的卡通人物是喜羊羊，则生成一个喜羊羊的虚拟影像，用户在佩带AR眼镜时，还能够看见喜羊羊。

兴趣点事件模块，用于使兴趣点的虚拟形象与拼接有英文单词的现实元素互动，产生互动事件，智能教学模块还包括事件教学模块，用于生成互动事件的英文短句，并通过语音教学模块发出英文短句的发音和中文翻译。例如，当前用户的视野里拼接有英文单词的现实元素有桌子、椅子、书柜，使喜羊羊的虚拟影像与这些现实元素产生互动，从桌子上跳到椅子上，同时通过语音教学模块发出语音：“Pleasant Goat jumped from the tableto the chair，喜羊羊从桌子上跳到了椅子上”，通过用于所喜爱的卡通人物与现实元素进行互动，并学习互动事件的英文，提高用户的学习兴趣，以达到更好的学习效果。

并且兴趣点事件模块在选取进行互动的现实元素时，优先选择与学习记录模块中，记录的用户未通过的英文单词所属的现实元素进行互动。例如，之前学习过程中，用户对于“chair”未通过，则优先选择与椅子进行互动。用户未通过的单词，对于用户来说可能是因为存在难点，通过兴趣点的虚拟形象与之互动进行教学的方式，能够将这些难点单词以用户更能够接受的方式进行教学，帮助用户排除难点，降低学习难度。

增强现实模块还包括兴趣点交互模块，兴趣点交互模块包括指令获取模块、指令判断模块以及指令执行模块。

指令获取模块，用于获取用户发出的英文指令，此处所述的英文指令为用户说出的英文。

指令判断模块，用于判断用户发出的英文指令是否正确，在本实施例中，具体从发音和语法上判断是否正确。

指令执行模块，用于在用户发出的英文指令正确后，控制兴趣点的虚拟形象完成用户发出的英文指令。

具体的，用户可以通过说出英文，向兴趣点的虚拟形象下达命令，当说出正确的英文后，兴趣点的虚拟形象才会接受用户发出的命令并完成。例如用户说出：“PleasantGoat,go to the book”，指令判断模块判断用户发出的英文指令正确，指令执行模块控制喜羊羊的虚拟影像移动至书上。从而使用户将学到的单词和语法投入到实际使用中。

兴趣点交互模块还包括指令指正模块，用于当判断用户发出的英文指令错误后，根据用户的历史学习情况，判断用户所要发出的英文指令，并对用户进行纠正。例如用户某个单词发音错误，则由“喜羊羊”告诉他这个单词的正确发音。

兴趣点交互模块还用于根据用户的通过情况，调整兴趣点的虚拟形象在接收到用户的英文指令后与现实元素进行交互的完成度，通过率越高，完成度越高。

例如，用户共学习了20个单词，但是通过的单词只有10个，通过率为百分之五十，则兴趣点的虚拟形象在接收到用户的英文指令后，也只完成一半，比如走到一半便不走了。通过这种方式，提高用户对所有所学习内容的学习兴趣，避免用户只学习英文指令的部分。

实施例二

本实施例和实施例一的区别在于，兴趣点事件模块还根据用户的通过情况产生状态事件，根据预设的通过值，在用户通过率高于通过值时，生成正向状态事件，在用户的通过率低于通过值时，生成负向状态事件。

具体的，在本实施例中，通过值为百分六十，若用户的通过率在百分之六十以下，则会生成负向事件，例如“喜羊羊摔倒了”、“喜羊羊饿了”、“喜羊羊很伤心”等。若用户的通过率在百分之六十以上，则会生成正向事件，例如“喜羊羊很开心”、“喜羊羊在奔跑”等。并且正向状态事件和负向状态事件同样会通过语音教学模块进行英文教学。

通过这种方式，使通过率不高的用户看见自己所喜爱的卡通人物处于负面状态，遭受到一些不好的状态，为了使自己喜爱的卡通人物向正向发展，会更努力的学习。并且，通过率较低的用户首先会学习到一些关于负向状态事件的英文短句，之后通过率上升后，再学习到正向状态事件的英文短句。而通过率高的用户只会学习到正向事件的英文短句，从而使笨鸟先飞，让通过率低的用户更早地接触更多的语句，以加深影响。

实施例三

本实施例和实施例二的区别在于，所述控制***还包括家长告知模块，所述家长告知模块包括状态获取模块；

状态获取模块，用于获取兴趣点事件模块所产生的状态事件；

表情分析模块，用于在获取到兴趣点事件模块所产生的状态事件持续为负向状态事件后获取用户的面部表情，并对用户的面部表情进行分析；

告知模块：结合面部表情分析结果，告知用户的家长。

具体的，在兴趣点事件模产生的状态事件持续为负向状态事件时，说明用户的通过率一直处于通过值以下，没有得到改观。此时获取到用户的面部表情，并对通过已经训练好的神经网络模型对用户的面部表情进行分析，若用户的面部表情为伤心、难过的表情，说明他看到自己喜爱的卡通人物遭受到负向状态事件后很难受，难受到以至于无法继续学习，因为告知其家长，使家长安抚其情绪，之后取消对他的负向状态事件，以免造成心理创伤。

若是分析得到用户的面部表情为开心、激动的表情，说明他看到自己喜爱的卡通人物在遭受到负向状态事件后很兴奋，则说明他的心理可能存在一些问题，通知他的家长带他取看心理医生，尽早治疗。

以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (6)

1.基于AR的智能显示***，其特征在于：包括AR设备和AR设备的控制***，控制***包括现实识别模块、智能教学模块、增强现实模块以及教学反馈模块；

现实识别模块，用于通过AR设备获取现实世界的现实影像，并识别现实影像中的现实元素；

智能教学模块，包括单词提取模块，用于从内置的英文词库中，提取出所识别的现实元素的英文单词；

增强现实模块，用于生成英文单词的虚拟元素，并将英文单词的虚拟元素通过AR设备与对应现实元素拼接后显示；

智能教学模块，还包括语音教学模块，用于通过AR设备发出所显示的英文单词以及其中文翻译的读音，进行英文教学；

教学反馈模块，用于获取用户的学习情况，判断用户学习是否通过，并记录用户的通过情况；

所述控制***还包括兴趣点获取模块，所述兴趣点获取模块用于获取用户的兴趣点；

所述增强现实模块还包括兴趣点生成模块，所述兴趣点生成模块用于生成兴趣点的虚拟形象，并通过AR设备显示；

所述增强现实模块还包括兴趣点事件模块，所述兴趣点事件模块用于使兴趣点的虚拟形象，与拼接有英文单词的现实元素互动，产生互动事件；

所述智能教学模块，还包括事件教学模块，所述事件教学模块用于生成互动事件的英文短句，并通过语音教学模块发出英文短句的发音和中文翻译；

所述增强现实模块还包括兴趣点交互模块，所述兴趣点交互模块包括指令获取模块、指令判断模块以及指令执行模块；

指令获取模块，用于获取用户发出的英文指令；

指令判断模块，用于判断用户发出的英文指令是否正确；

指令执行模块，用于在判断用户发出的英文指令正确后，控制兴趣点的虚拟形象完成用户发出的英文指令；

所述兴趣点交互模块还用于根据用户的通过情况，调整兴趣点的虚拟形象在接收到用户的英文指令后，与现实元素进行交互的完成度，通过率越高，完成度越高。

2.根据权利要求1所述的基于AR的智能显示***，其特征在于：所述控制***还包括视线获取模块，用于通过AR设备获取用户的视线关注方位；

所述智能教学模块还用于根据用户的视线关注方位，进行英文教学。

3.根据权利要求2所述的基于AR的智能显示***，其特征在于：所述教学反馈模块包括口语考核模块和拼写考核模块；

口语考核模块，用于获取用户对于进行过教学的英文单词的发音，并判断用户口语是否通过；

拼写考核模块，用于获取用户对于进行过教学的英文单词的拼写，并判断用于拼写是否通过；

学习记录模块，用于记录下用户对进行过教学的英文单词口语、拼写的通过情况。

4.根据权利要求1所述的基于AR的智能显示***，其特征在于：所述兴趣点事件模块还用于优先与用户未通过的英文单词所属的现实元素产生互动事件。

5.根据权利要求1所述的基于AR的智能显示***，其特征在于：所述兴趣点交互模块还包括指令指正模块，用于当判断用户发出的英文指令错误后，根据用户的历史学习情况，判断用户所想要发出的英文指令，对用户进行纠正。

6.根据权利要求1所述的基于AR的智能显示***，其特征在于：所述兴趣点事件模块还用于根据用户的通过情况产生状态事件；

根据预设的通过值，在用户通过率高于通过值时，生成正向状态事件，在用户通过率低于通过值时，生成负向状态事件。

Images