CN108648535A - 一种基于vr移动端技术的教学***及其运行方法 - Google Patents

一种基于vr移动端技术的教学***及其运行方法 Download PDF

Info

Publication number
CN108648535A
CN108648535A CN201810337557.2A CN201810337557A CN108648535A CN 108648535 A CN108648535 A CN 108648535A CN 201810337557 A CN201810337557 A CN 201810337557A CN 108648535 A CN108648535 A CN 108648535A
Authority
CN
China
Prior art keywords
unit
subelement
user
voice
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810337557.2A
Other languages
English (en)
Inventor
莫俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Professional College of Science and Technology
Original Assignee
Wuxi Professional College of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Professional College of Science and Technology filed Critical Wuxi Professional College of Science and Technology
Priority to CN201810337557.2A priority Critical patent/CN108648535A/zh
Publication of CN108648535A publication Critical patent/CN108648535A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供一种基于VR移动端技术的教学***,可以让学生进行“说”的学习,针对口语学习中的发音、语法错误,能得到来自***的改进建议或老师的指导意见,能够实现教学互动;同时本发明还公开了其***的运行方法。其包括后台服务器以及连接到后台服务器的APP客户端、存储模块、VR眼镜、键盘和立体音效耳机,其还包括自然语音输入信息以及完成交互过程的交互单元,所述交互单元包括自然语音处理单元、语音交互教学单元、智能测评单元、题库处理单元和用户管理单元,所述交互单元与所述APP客户端、所述存储模块、所述VR眼镜、所述键盘和所述立体音效耳机通信连接。

Description

一种基于VR移动端技术的教学***及其运行方法
技术领域
本发明涉及教学设备领域,具体为一种基于VR移动端技术的教学***及其运行方法。
背景技术
VR是Virtual Reality的缩写,中文意思是虚拟现实,概念是在80年代初提出来的,其具体是指借助计算机及最新传感器技术创造的一种崭新的人机交互手段,虚拟现实***是近年来出现的图形图像领域的高新技术,也被称为灵境技术或人工环境,虚拟现实是利用电脑模拟产生一个三度空间的虚拟世界,提供使用者关于视觉、听觉、触觉等感官的模拟,让使用者如同身历其境一般,可以及时、没有限制地观察三度空间内的事物;随着信息技术的发展,传统的教育从线下发展到线上,但依然没有能够改变教学的本质,依然是教师通过“黑板”来讲课,变化无非就是从教室搬到了网络,其教学方式没有发生本质的变化,以现有的线上语言教育方式举例,存在的问题是:
1) 学生仍然是被动的“听”,没有“说”的环节;
2) 学生口语发音中的问题无法得到指导意见;
3) 讲是单方面,听也是单方面,没有互动环节。
发明内容
针对现有线上教育方式只能“听”不能“说”、发音问题无法被指导、无互动环节等问题,本发明提供一种基于VR移动端技术的教学***,可以让学生进行“说”的学习,针对口语学习中的发音、语法错误,能得到来自***的改进建议或老师的指导意见,能够实现教学互动;同时本发明还公开了其***的运行方法。
一种基于VR移动端技术的教学***,其技术方案是这样的:其包括后台服务器以及连接到后台服务器的APP客户端、存储模块、VR眼镜、键盘和立体音效耳机,其特征在于:其还包括自然语音输入信息以及完成交互过程的交互单元,所述交互单元包括自然语音处理单元、语音交互教学单元、智能测评单元、题库处理单元和用户管理单元,所述交互单元与所述APP客户端、所述存储模块、所述VR眼镜、所述键盘和所述立体音效耳机通信连接;
所述自然语音处理单元,对接收的自然语音输入的信息进行处理,把***采集到的自然语音数据转换成待处理的文本数据,并且提供把文本数据转换成音频数据的功能;
所述语音交互教学单元,对所述自然语音处理单元处理后的待处理文本数据做进一步的分析,与***中预设的数据进行匹配、比较,根据比较结果做出相应的响应,并且提供通过语音方式反馈用户的功能;
所述智能测评单元,用于提供笔试、口试等方式的模拟考试,并实现了对试卷评分、纠正错误、以及提供改进建议、学习报告等功能;
所述题库处理单元,对练习以及考试的内容进行管理,实现了按照用户权限分开管理的功能;
所述用户管理单元,用于对***的用户以及用户权限的管理。
所述其进一步特征在于:
所述自然语音处理单元包括语音合成单元、语音识别单元、自动分词单元、词性标注单元、句法分析单元、文本分类单元和信息抽取单元,所述自然语音处理单元内子单元之间通过数据通信对采集到的自然语音数据信息进行分析处理;所述语音合成单元将文字转换为语音音频数据,所述语音音频数据为bit rate 8000单声道音频,所述语音识别单元将人类语音内容转换为相对应的文字;所述自动分词单元包括用于对文件中的词语进行提取的词语子单元和用于对词语进行切分的词语切分子单元,所述词性标注单元包括用于对所述自动分词单元处理后的词语进行词性分析的词性分析子单元,和用于对词性进行标注的词性标注子单元;所述句法分析单元包括用于对所述词性标注单元处理后的语音单位进行语音单位成分分析的句法结构子单元、分析语句语法的语法成分子单元及分析语句中各部分之间关系的语句分析子单元;所述文本分类单元包括对文本集按照预定的分类体系进行标记的自动分类标记子单元;所述信息抽取单元包括对文本信息进行表格处理的结构化处理子单元;
所述语音交互教学单元包括问题/答案类型区分单元、提取关键词单元、答案匹配单元和返回交互答案单元,所述语音交互教学单元内各单元通过数据通信方式配合在一起,对接收到的数据进行处理;所述问题/答案类型区分单元采用朴素贝叶斯分类器进行问题、答案类型区分;所述提取关键词单元对问题、答案中的关键词进行提取;所述答案匹配单元包括根据问题类型、答案类型进行候选答案提取的候选答案提取子单元,和对候选答案进行最佳匹配的答案匹配子单元;所述返回交互答案单元包括将问题、答案转换成语音的语音转换子单元和将语音反馈给客户的语音反馈子单元;
所述智能测评单元包括测试单元、评分单元和报告单元;所述测试单元包括模拟考试流程和要求的模拟测试子单元,和将测试后的文件通过所述语音反馈子单元反馈客户的交互模拟测试子单元;所述评分单元按照评分标准对用户答案进行评分;所述报告单元包括指出用户错误答案的答案纠正子单元、对用户答案提出修改意见的改进建议子单元和总结学习阶段中学习情况和考试情况的总结子单元;
所述题库处理单元包括统一管理各种类型练习或测试题目的题库管理子单元和用户身份识别子单元;
所述用户管理单元包括用户增加子单元、删除子单元、修改子单元和查询子单元,实现对用户以及用户权限的增加、删除、修改和查询;
所述APP客户端包括学生客户端和教师客户端,分别通过有线、无线的方式连接到后台服务器;通过教师客户端,老师可以进行学生管理、题库管理和成绩管理;通过学生客户端,学生可根据当前个人进度,选择学习内容,选择跟读、对话等练习方式学习,其练习成绩和对话记录将被存储,可以在教师客户端由老师对其进行批改;
其还包括模拟操作台、体感交互设备、显示器,可以通过有线、无线的方式连接到后台服务器,进行信息的输入、输出。
一种基于VR移动端技术的教学***的运行方法,其包括如下步骤:
(1)根据在所述用户管理单元中设置的信息,对用户的权限进行判断;
(2)进入对应的用户界面;
(3)根据用户选择,根据所述智能测评单元、所述题库处理单元中预设的信息,进入对应的任务流程;
(4)通过所述题库处理单元中预设的数据信息,匹配对应的VR场景;
(5)通过所述交互单元实现人机交互过程;
(6)存储相关信息和数据;
其特征在于:所述人机交互过程包括:
***调用所述自然语音处理单元、所述语音交互教学单元、所述智能测评单元,对接收自然语音输入的信息做出相应的处理和响应;
***接收通过键盘输入的文本输入信息等其他的输入信息并做出相应的处理和响应;
如需要对用户做出语音的反馈,调用所述语音交互教学单元、所述智能测评单元,在相应VR场景中通过语音对用户做出反馈;
如需要对用户做出文本信息的反馈,调用所述智能测评单元,通过文本信息对用户做出反馈。
其进一步特征在于:
所述***对接收的自然语音输入的信息的处理过程,包含以下步骤:
a. 采用现有的第三方语音识别技术,接收自然语音输入数据;
b.***调用所述语音识别单元,将接收的自然语音输入的信息转换为对应的文本数据;
c.调用所述自动分词单元、所述词性标注单元、所述文本分类单元,对文本数据进行切分、词性分析、分类并形成文本集;
d.调用所述句法分析单元、所述信息抽取单元,进行结构、语法、句法分析,形成待处理语句信息;
e.调用所述问题/答案类型区分单元,判断待处理语句信息的文本数据所属类型;
f.调用所述提取关键词单元、所述答案匹配单元,根据文本数据所属类型与***中预设的数据进行匹配、比较;
g.调用所述返回交互答案单元、所述交互模拟测试子单元、所述报告单元,根据比较结果匹配相应的***需要做出的响应;
h.存储相关数据和信息;
所述通过文本信息对用户做出反馈的过程,包括以下步骤:
(Ⅰ)如需要做出改进建议,***根据用户的输入信息,进行判断后,通过所述改进建议子单元在预设的数据中匹配对应的数据信息,把改进建议推送给用户;
(Ⅱ)如需要出报告,***根据预设的学习阶段,针对用户的学习情况,通过所述报告单元总结出报告信息,推送给用户。
本发明提供的一种基于VR移动端技术的教学***及其运行方法,应用到语言教学的场景下,除了教学中“听”相关的教学内容外,通过交互单元的设置,以跟读或者对话等方式提供 “说”环节相关的教学,以及实现学生与***、教师之间,在教学、考试环节的互动;学生通过APP客户端登陆***后,选择学习内容;教师通过APP客户端根据自己的权限,进行学生管理、题库管理和成绩管理;学生的练习成绩、对话记录、考试成绩以及教师的批改意见等等教学相关数据会被存储在存储单元中,以便随时调取查看;用户通过VR眼镜、键盘和立体音效耳机等设备参与到不同场景的互动环节中,提高教学的效率;***通过交互单元中的自然语音处理单元把采集到的自然语音数据进行处理,通过切分、解析等环节,最后转换成对应的待处理数据;通过语音交互教学单元实现用户和***之间的交互,把待处理数据按其类型区分后,匹配到相应信息,然后可以通过语音等方式把相关信息反馈给用户;通过智能测评单元实现考试环节中的互动,针对学生的学习内容提供模拟考试,以及考试完毕后,把考试成绩、正确答案以及针对错误答案的修改意见、总结报告等等信息通过语音或者文本信息反馈给用户;通过题库处理单元管理各种类型的练习或测试题目;通过用户管理单元对访问***的用户和权限进行管理;由此避免了现有的线上教育方式只能“听”不能“说”、发音问题无法被指导、无互动教学环节等缺点。
附图说明
图1是本发明的***原理框图;
图2是本发明的自然语音处理单元、语音交互教学单元、智能测评单元的实施例的结构框图;
图3是本发明的运行方法的流程图;
图4是本发明的运行方法中对自然语音输入的信息的处理过程的流程图。
具体实施方式
为了更好的理解本发明,下面结合发明的一部分示意图和实施例进行说明,本发明的示意图和实施例仅用于解释本发明,并不构成对本发明的不当限定。
如图1和图4所示,为本发明的实施例,包括后台服务器1以及连接到后台服务器1的APP客户端10、存储模块2、VR眼镜3、键盘4和立体音效耳机5,其还包括交互单元6,交互单元6包括自然语音处理单元11、语音交互教学单元12、智能测评单元13、题库处理单元14和用户管理单元15,交互单元6与APP客户端10、存储模块2、VR眼镜3、键盘4和立体音效耳机5通信连接;
所述自然语音处理单元11,对接收的自然语音输入的信息进行处理,把***采集到的自然语音数据转换成待处理的文本数据,并且提供把文本数据转换成音频数据的功能;
所述语音交互教学单元12,对所述自然语音处理单元11处理后的待处理文本数据做进一步的分析,与***中预设的数据进行匹配、比较,根据比较结果做出相应的响应,并且提供通过语音方式反馈用户的功能;
所述智能测评单元13,用于提供笔试、口试等方式的模拟考试,并实现了对试卷评分、纠正错误、以及提供改进建议、学习报告等功能;
所述题库处理单元14,对练习以及考试的内容进行管理,实现了按照用户权限分开管理的功能;
所述用户管理单元15,用于对***的用户以及用户权限的管理。
自然语音处理单元11包括语音合成单元1101、语音识别单元1102、自动分词单元1103、词性标注单元1104、句法分析单元1105、文本分类单元1106和信息抽取单元1107,各单元之间通过数据通信,对采集到的自然语音数据信息进行分析处理;其中采集自然语音识别以及自然语音可以采用现有的第三方语音识别技术来实现,语音合成单元1101将文字转换为语音音频数据,语音音频数据为bit rate 8000单声道音频,语音识别单元1102将人类语音内容转换为相对应的文字;自动分词单元1103包括用于对文件中的词语进行提取的词语子单元和用于对词语进行切分的词语切分子单元,词性标注单元1104包括用于对自动分词单元1103处理后的词语进行词性分析的词性分析子单元,和用于对词性进行标注的词性标注子单元;句法分析单元1105包括用于对词性标注单元1104处理后的语音单位进行语音单位成分分析的句法结构子单元、分析语句语法的语法成分子单元及分析语句中各部分之间关系的语句分析子单元;文本分类单元1106包括对文本集按照预定的分类体系进行标记的自动分类标记子单元;信息抽取单元1107包括对文本信息进行表格处理的结构化处理子单元。
语音交互教学单元12包括问题/答案类型区分单元1201、提取关键词单元1202、答案匹配单元1203和返回交互答案单元1204,各单元通过数据通信方式配合在一起,对接收到的数据进行处理;问题/答案类型区分单元1201采用朴素贝叶斯分类器进行问题、答案类型区分;提取关键词单元1202对问题、答案中的关键词进行提取;答案匹配单元1203包括根据问题类型、答案类型进行候选答案提取的候选答案提取子单元,和对候选答案进行最佳匹配的答案匹配子单元;返回交互答案单元1204包括将问题、答案转换成语音的语音转换子单元和将语音反馈给客户的语音反馈子单元。
智能测评单元13包括测试单元1301、评分单元1302和报告单元1303;测试单元1301包括模拟考试流程和要求的模拟测试子单元,和将测试后的文件通过语音反馈子单元反馈客户的交互模拟测试子单元;评分单元1302按照评分标准对用户答案进行评分;报告单元1303包括指出用户错误答案的答案纠正子单元和对用户答案提出修改意见的改进建议子单元和总结学习阶段中学习情况和考试情况的总结子单元。
题库处理单元14包括统一管理各种类型练习或测试题目的题库管理子单元和用户身份识别子单元。
用户管理单元15包括用户增加子单元、删除子单元、修改子单元和查询子单元,实现对用户以及用户权限的增加、删除、修改和查询。
APP客户端10包括学生客户端和教师客户端,分别通过有线、无线的方式连接到后台服务器;通过教师客户端,老师可以进行学生管理、题库管理和成绩管理;通过学生客户端,学生可根据当前个人进度,选择学习内容,选择跟读、对话等练习方式学习,其练习成绩和对话记录将被存储,可以在教师客户端由老师对其进行批改。
其还包括显示器7、模拟操作台8、体感交互设备9,可以通过有线、无线的方式连接到后台服务器,进行信息的输入、输出;体感交互设备9用于捕捉体验者的动作,利用体感传感器捕获学生动作的力度和深度,配合VR眼镜完成学生的虚拟现实体验,增加学习的趣味性,在体验时学生也可以利用模拟操作台8配合完成教学中相关的操作,提高学生学习的积极性,还可以通过连接到后台服务器的显示器7观看学生的学习过程,增加一种观看途径,让学生从第三者的角度看到自己的学习过程,或者让教师了解学生的学习情况。
如图3,为基于VR移动端技术的教学***的运行方法的流程示意图,包括:
步骤S1000,判断用户权限,根据在用户管理单元中设置的信息,对用户的权限进行判断,主要分为三类用户,教师、学生、以及管理员;
步骤S1100,进入对应的用户界面,不同权限用户的用户界面不相同,画面中显示的可以实施的任务也不相同;
步骤S1200,根据用户选择,根据所述智能测评单元、所述题库处理单元中预设的信息,进入对应的任务流程,如:通过在智能测评单元、题库处理单元中预设的信息,学生可以选择进行考试任务或者学习任务,教师可以选择进行学生的课业辅导、学生管理、题库管理和成绩管理等等任务,管理员可以进行用户和权限管理;
步骤S1300,通过所述题库处理单元中预设的数据信息,匹配对应的VR场景,不同的任务内容,都有与之匹配的VR场景,通过所述题库处理单元种预设的数据信息,根据用户选择的任务可以进入不同的场景;
通过所述交互单元实现人机交互过程,人机交互过程包含如下步骤:
步骤S1400,***调用所述自然语音处理单元、所述语音交互教学单元、所述智能测评单元,对接收自然语音输入的信息做出相应的处理和响应,如:在考试任务中***可以根据用户选择,调用智能测评单元在考试结束后将答案反馈给用户;在学习任务中,***可以调用语音交互教学单元与用户进行跟读或对话形式的语音交互;在考试任务中***可以通过语音交互教学单元和智能测评单元,根据用户选择和用户进行对话形式的考试;
步骤S1500,***接收通过键盘输入的文本输入信息等其他的输入信息并做出相应的处理和响应,如:在考试任务中,用户可以选择笔答形式的考试,此时***根据用户的选择启动题库处理单元中对应的考试流程,并且接收用户通过键盘输入的文本信息;教师可以在观看学生的学习过程中,通过键盘随时写下辅导意见;如果***中配置了模拟操作台、体感交互设备,同样可以根据用户的操作记录用户的选择和输入;
步骤S1600,如需要对用户做出语音的反馈,调用所述语音交互教学单元、所述智能测评单元,在相应VR场景中通过语音对用户做出反馈;反馈时,首先调用自然语音处理单元的语音合成单元把需要通过语音反馈的内容转换成语音音频数据,语音音频数据为bit rate8000单声道音频,然后通过语音反馈子单元把相应的音频播放给用户;
步骤S1700,如需要对用户做出文本信息的反馈,调用所述智能测评单元,通过文本信息对用户做出反馈;
最后,***通过步骤S1900,存储相关信息和数据,对于运行过程中的数据和信息进行存储,以供随时调用。
如图4,为***对接收的自然语音输入的信息的处理过程示意图,包括:
步骤S2000,采用现有的第三方语音识别技术,接收自然语音输入数据;
步骤S2100,***调用所述语音识别单元,将接收的自然语音输入的信息转换为对应的文本数据;
步骤S2200,调用所述自动分词单元、所述词性标注单元、所述文本分类单元,对文本数据进行切分、词性分析、分类并形成文本集;
步骤S2300,调用所述句法分析单元、所述信息抽取单元,进行结构、语法、句法分析,形成待处理语句信息;
步骤S2400,调用所述问题/答案类型区分单元,判断待处理语句信息的文本数据所属类型;
步骤S2500,调用所述提取关键词单元、所述答案匹配单元,根据文本数据所属类型与***中预设的数据进行匹配、比较;
步骤S2600,调用所述返回交互答案单元、所述交互模拟测试子单元、所述报告单元,根据比较结果匹配相应的***需要做出的响应;
步骤S2700,存储相关数据和信息。
进一步的,通过文本信息对用户做出反馈的过程,包括以下步骤:
(Ⅰ)如需要做出改进建议,***根据用户的输入信息,进行判断后,通过所述改进建议子单元在预设的数据中匹配对应的数据信息,把改进建议推送给用户,改进建议是针对本次学习过程中发生的错误,做出的建议,包括发音、语法等相关内容,可以根据用户的选择的时机点进行推送;
(Ⅱ)如需要出报告,***根据预设的学习阶段,针对用户的学习情况,通过所述报告单元总结出报告信息,推送给用户,报告是针对一个完整的学习内容进行的总结性的报告,包括学习内容,考试成绩,发生的错误以及改进建议等待内容,在一个学习阶段完成后做出。
采用本发明的技术方案后,通过VR场景和学***台,给学生提供学习的机会,也可以作为学校课堂教学的辅助工具,用以改善学校教学的效果。
虽然结合附图描述了本发明的实施方式,但是本领域普通技术人员可以在所附的权利要求的范围内做出各种变形或者修改。本发明不受上述实施例的限制,在不脱离本发明精神和范围的前提下,这些变化和改进都落入要求保护的范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于VR移动端技术的教学***,其包括后台服务器以及连接到后台服务器的APP客户端、存储模块、VR眼镜、键盘和立体音效耳机,其特征在于:其还包括自然语音输入信息以及完成交互过程的交互单元,所述交互单元包括自然语音处理单元、语音交互教学单元、智能测评单元、题库处理单元和用户管理单元,所述交互单元与所述APP客户端、所述存储模块、所述VR眼镜、所述键盘和所述立体音效耳机通信连接;
所述自然语音处理单元,对接收的自然语音输入的信息进行处理,把***采集到的自然语音数据转换成待处理的文本数据,并且提供把文本数据转换成音频数据的功能;
所述语音交互教学单元,对所述自然语音处理单元处理后的待处理文本数据做进一步的分析,与***中预设的数据进行匹配、比较,根据比较结果做出相应的响应,并且提供通过语音方式反馈用户的功能;
所述智能测评单元,用于提供笔试、口试等方式的模拟考试,并实现了对试卷评分、纠正错误、以及提供改进建议、学习报告等功能;
所述题库处理单元,对练习以及考试的内容进行管理,实现了按照用户权限分开管理的功能;
所述用户管理单元,用于对***的用户以及用户权限的管理。
2.根据权利要求1所述的一种基于VR移动端技术的教学***,其特征在于:所述自然语音处理单元包括语音合成单元、语音识别单元、自动分词单元、词性标注单元、句法分析单元、文本分类单元和信息抽取单元,所述自然语音处理单元内子单元之间通过数据通信对采集到的自然语音数据信息进行分析处理;所述语音合成单元将文字转换为语音音频数据,所述语音音频数据为bit rate 8000单声道音频,所述语音识别单元将人类语音内容转换为相对应的文字;所述自动分词单元包括用于对文件中的词语进行提取的词语子单元和用于对词语进行切分的词语切分子单元,所述词性标注单元包括用于对所述自动分词单元处理后的词语进行词性分析的词性分析子单元,和用于对词性进行标注的词性标注子单元;所述句法分析单元包括用于对所述词性标注单元处理后的语音单位进行语音单位成分分析的句法结构子单元、分析语句语法的语法成分子单元及分析语句中各部分之间关系的语句分析子单元;所述文本分类单元包括对文本集按照预定的分类体系进行标记的自动分类标记子单元;所述信息抽取单元包括对文本信息进行表格处理的结构化处理子单元。
3.根据权利要求1所述的一种基于VR移动端技术的教学***,其特征在于:所述语音交互教学单元包括问题/答案类型区分单元、提取关键词单元、答案匹配单元和返回交互答案单元,所述语音交互教学单元内各单元通过数据通信方式配合在一起,对接收到的数据进行处理;所述问题/答案类型区分单元采用朴素贝叶斯分类器进行问题、答案类型区分;所述提取关键词单元对问题、答案中的关键词进行提取;所述答案匹配单元包括根据问题类型、答案类型进行候选答案提取的候选答案提取子单元,和对候选答案进行最佳匹配的答案匹配子单元;所述返回交互答案单元包括将问题、答案转换成语音的语音转换子单元和将语音反馈给客户的语音反馈子单元。
4.根据权利要求1所述的一种基于VR移动端技术的教学***,其特征在于:所述智能测评单元包括测试单元、评分单元和报告单元;所述测试单元包括模拟考试流程和要求的模拟测试子单元,和将测试后的文件通过所述语音反馈子单元反馈客户的交互模拟测试子单元;所述评分单元按照评分标准对用户答案进行评分;所述报告单元包括指出用户错误答案的答案纠正子单元、对用户答案提出修改意见的改进建议子单元和总结学习阶段中学习情况和考试情况的总结子单元。
5.根据权利要求1所述的一种基于VR移动端技术的教学***,其特征在于:所述题库处理单元包括统一管理各种类型练习或测试题目的题库管理子单元和用户身份识别子单元;所述用户管理单元包括用户增加子单元、删除子单元、修改子单元和查询子单元,实现对用户以及用户权限的增加、删除、修改和查询。
6.根据权利要求1所述的一种基于VR移动端技术的教学***,其特征在于:所述APP客户端包括学生客户端和教师客户端,分别通过有线、无线的方式连接到后台服务器;通过教师客户端,老师可以进行学生管理、题库管理和成绩管理;通过学生客户端,学生可根据当前个人进度,选择学习内容,选择跟读、对话等练习方式学习,其练习成绩和对话记录将被存储,可以在教师客户端由老师对其进行批改。
7.根据权利要求1所述的一种基于VR移动端技术的教学***,其特征在于:其还包括模拟操作台、体感交互设备、显示器,可以通过有线、无线的方式连接到后台服务器,进行信息的输入、输出。
8.采用如权利要求1~7任一项所述的一种基于VR移动端技术的教学***的运行方法,其包括如下步骤:
(1)根据在所述用户管理单元中设置的信息,对用户的权限进行判断;
(2)进入对应的用户界面;
(3)根据用户选择,根据所述智能测评单元、所述题库处理单元中预设的信息,进入对应的任务流程;
(4)通过所述题库处理单元中预设的数据信息,匹配对应的VR场景;
(5)通过所述交互单元实现人机交互过程;
(6)存储相关信息和数据;
其特征在于:所述人机交互过程包括:
***调用所述自然语音处理单元、所述语音交互教学单元、所述智能测评单元,对接收自然语音输入的信息做出相应的处理和响应;
***接收通过键盘输入的文本输入信息等其他的输入信息并做出相应的处理和响应;
如需要对用户做出语音的反馈,调用所述语音交互教学单元、所述智能测评单元,在相应VR场景中通过语音对用户做出反馈;
如需要对用户做出文本信息的反馈,调用所述智能测评单元,通过文本信息对用户做出反馈。
9.根据权利要求8所述的一种基于VR移动端技术的教学***的运行方法,其特征在于:所述***对接收的自然语音输入的信息的处理过程,包含以下步骤:
a. 采用现有的第三方语音识别技术,接收自然语音输入数据;
b.***调用所述语音识别单元,将接收的自然语音输入的信息转换为对应的文本数据;
c.调用所述自动分词单元、所述词性标注单元、所述文本分类单元,对文本数据进行切分、词性分析、分类并形成文本集;
d.调用所述句法分析单元、所述信息抽取单元,进行结构、语法、句法分析,形成待处理语句信息;
e.调用所述问题/答案类型区分单元,判断待处理语句信息的文本数据所属类型;
f.调用所述提取关键词单元、所述答案匹配单元,根据文本数据所属类型与***中预设的数据进行匹配、比较;
g.调用所述返回交互答案单元、所述交互模拟测试子单元、所述报告单元,根据比较结果匹配相应的***需要做出的响应;
h.存储相关数据和信息。
10.根据权利要求8所述的一种基于VR移动端技术的教学***的运行方法,其特征在于:所述通过文本信息对用户做出反馈的过程,包括以下步骤:
(Ⅰ)如需要做出改进建议,***根据用户的输入信息,进行判断后,通过所述改进建议子单元在预设的数据中匹配对应的数据信息,把改进建议推送给用户;
(Ⅱ)如需要出报告,***根据预设的学习阶段,针对用户的学习情况,通过所述报告单元总结出报告信息,推送给用户。
CN201810337557.2A 2018-04-16 2018-04-16 一种基于vr移动端技术的教学***及其运行方法 Pending CN108648535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810337557.2A CN108648535A (zh) 2018-04-16 2018-04-16 一种基于vr移动端技术的教学***及其运行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810337557.2A CN108648535A (zh) 2018-04-16 2018-04-16 一种基于vr移动端技术的教学***及其运行方法

Publications (1)

Publication Number Publication Date
CN108648535A true CN108648535A (zh) 2018-10-12

Family

ID=63746410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810337557.2A Pending CN108648535A (zh) 2018-04-16 2018-04-16 一种基于vr移动端技术的教学***及其运行方法

Country Status (1)

Country Link
CN (1) CN108648535A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325707A (zh) * 2018-10-25 2019-02-12 重庆鲁班机器人技术研究院有限公司 学生学习能力测评方法、***及装置
CN109359876A (zh) * 2018-10-25 2019-02-19 重庆鲁班机器人技术研究院有限公司 家长教育能力测评方法、***及装置
CN109598995A (zh) * 2019-01-08 2019-04-09 上海健坤教育科技有限公司 基于贝叶斯知识跟踪模型的智能教学***
CN109979262A (zh) * 2019-04-02 2019-07-05 中国铁路北京局集团有限公司石家庄车辆段 人身安全vr教育***
CN110148331A (zh) * 2019-05-17 2019-08-20 杭州登岸网络科技发展有限公司 一种基于虚拟现实的教学培训平台
CN110444087A (zh) * 2019-07-26 2019-11-12 深圳市讯呼信息技术有限公司 一种智能语言教学机器人
CN110533968A (zh) * 2019-09-06 2019-12-03 昆明中经网络有限公司 Vr教学统一控制***
CN112489508A (zh) * 2020-12-25 2021-03-12 广州狄卡视觉科技有限公司 一种适用于读写障碍患者的交互培训***
CN113888372A (zh) * 2021-09-18 2022-01-04 河南理工大学 基于大数据的翻译课堂云平台管理***
CN113920794A (zh) * 2021-09-09 2022-01-11 江西台德智慧科技有限公司 一种网络交互式教育的方法及智能***
CN114387834A (zh) * 2022-01-12 2022-04-22 安徽云轩教育科技有限公司 一种基于ar技术的语言教学一体交互***
CN114495599A (zh) * 2022-01-25 2022-05-13 广东工业大学 一种基于虚拟现实技术的教学辅导***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230712A (ja) * 1993-02-03 1994-08-19 Nippon Telegr & Teleph Corp <Ntt> 教材作成支援方式
CN105551328A (zh) * 2016-01-28 2016-05-04 北京聚力互信教育科技有限公司 基于移动交互和大数据分析的语言教学辅研同步集成***
CN105869457A (zh) * 2016-06-08 2016-08-17 徐洪军 一种基于vr技术的小学生科技教育***
CN106652622A (zh) * 2017-02-07 2017-05-10 广东小天才科技有限公司 一种课文训练方法和装置
CN107123327A (zh) * 2017-06-09 2017-09-01 河南中医药大学 英语综合能力训练***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230712A (ja) * 1993-02-03 1994-08-19 Nippon Telegr & Teleph Corp <Ntt> 教材作成支援方式
CN105551328A (zh) * 2016-01-28 2016-05-04 北京聚力互信教育科技有限公司 基于移动交互和大数据分析的语言教学辅研同步集成***
CN105869457A (zh) * 2016-06-08 2016-08-17 徐洪军 一种基于vr技术的小学生科技教育***
CN106652622A (zh) * 2017-02-07 2017-05-10 广东小天才科技有限公司 一种课文训练方法和装置
CN107123327A (zh) * 2017-06-09 2017-09-01 河南中医药大学 英语综合能力训练***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯志伟: "《自然语言处理的形式模型》", 31 January 2010 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325707A (zh) * 2018-10-25 2019-02-12 重庆鲁班机器人技术研究院有限公司 学生学习能力测评方法、***及装置
CN109359876A (zh) * 2018-10-25 2019-02-19 重庆鲁班机器人技术研究院有限公司 家长教育能力测评方法、***及装置
CN109598995A (zh) * 2019-01-08 2019-04-09 上海健坤教育科技有限公司 基于贝叶斯知识跟踪模型的智能教学***
CN109979262A (zh) * 2019-04-02 2019-07-05 中国铁路北京局集团有限公司石家庄车辆段 人身安全vr教育***
CN110148331A (zh) * 2019-05-17 2019-08-20 杭州登岸网络科技发展有限公司 一种基于虚拟现实的教学培训平台
CN110444087A (zh) * 2019-07-26 2019-11-12 深圳市讯呼信息技术有限公司 一种智能语言教学机器人
CN110533968A (zh) * 2019-09-06 2019-12-03 昆明中经网络有限公司 Vr教学统一控制***
CN112489508A (zh) * 2020-12-25 2021-03-12 广州狄卡视觉科技有限公司 一种适用于读写障碍患者的交互培训***
CN113920794A (zh) * 2021-09-09 2022-01-11 江西台德智慧科技有限公司 一种网络交互式教育的方法及智能***
CN113888372A (zh) * 2021-09-18 2022-01-04 河南理工大学 基于大数据的翻译课堂云平台管理***
CN114387834A (zh) * 2022-01-12 2022-04-22 安徽云轩教育科技有限公司 一种基于ar技术的语言教学一体交互***
CN114495599A (zh) * 2022-01-25 2022-05-13 广东工业大学 一种基于虚拟现实技术的教学辅导***

Similar Documents

Publication Publication Date Title
CN108648535A (zh) 一种基于vr移动端技术的教学***及其运行方法
Peixoto et al. Immersive virtual reality for foreign language education: A PRISMA systematic review
CN113095969B (zh) 一种基于多虚拟化身的沉浸式翻转课堂教学***及其工作方法
CN105632251B (zh) 具有语音功能的3d虚拟教师***及其方法
CN109584648B (zh) 数据生成方法及装置
WO2019174072A1 (zh) 智能机器人培训方法、装置、计算机设备及存储介质
CN110083690A (zh) 一种基于智能问答的对外汉语口语训练方法及***
CN107958433A (zh) 一种基于人工智能的在线教育人机交互方法与***
Ruiz-Madrid et al. Developing multimodal communicative competence in emerging academic and professional genres
CN108172048A (zh) 一种公共英语学***台
CN109841122A (zh) 一种智能机器人教学***及学生学习方法
CN101501741A (zh) 互动式外语教学
Meskill Teaching and learning in real time: Media, technologies, and language acquisition
CN106781724A (zh) 一种企业管理培训***
CN104021326B (zh) 一种外语教学方法与外语教具
CN102881199A (zh) 交互式背单词的方法与***
Alemi et al. Virtual reality assisted pronunciation training (VRAPT) for young EFL learners
Jing Application of mobile learning system in phonetics teaching
CN109754653A (zh) 一种个性化教学的方法及***
CN114429412A (zh) 一种职业教育数字化教学内容生产***
CN110046290B (zh) 一种个性化自主教学课程***
KR20070006742A (ko) 언어교육방법
JP6656529B2 (ja) 外国語の会話訓練システム
Thinh et al. The influential role of robot in second language classes based on artificial intelligence
Hart Video, foreign languages teaching and the documentary tradition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181012