CN112001824A - 基于增强现实的数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种基于增强现实的数据处理方法及装置，其中，该方法包括：确定用户账号在客户端上对应的口语课程；根据用户操作指令，将所述口语课程的虚拟讲师角色和对应的语料资源投射至现实场景；在所述现实场景中通过AR演示所述口语课程。通过本发明，解决了相关技术中不能使用AR学习口语课程的技术问题，提供了一种口语学习的新媒介，提高了用户的学习积极性。

Description

基于增强现实的数据处理方法及装置

技术领域

本发明涉及数据处理领域，具体而言，涉及一种基于增强现实的数据处理方法及装置。

背景技术

相关技术中，用户为了掌握某种语言，如英语，会使用到学习软件，如词典软件，翻译软件，通过学习任务来提升语言能力。

相关技术中，在线上进行学习口语时，一般都是给出一个口语环境，然后衍生出在该环境下的一些对话语料，***导读，然后用户对着手机进行跟读。或者进行真人学习，线上远程口语对话，对学习成本和通讯网络有较高的要求，普及率低。线上的口语学习方式又缺乏一些激励性的措施激发用户的学习欲望，用户学习的愿望不强烈，弃课率高。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种基于增强现实的数据处理方法及装置。

根据本发明的一个实施例，提供了一种基于增强现实的数据处理方法，包括：确定用户账号在客户端上对应的口语课程；根据用户操作指令，将所述口语课程的虚拟讲师角色和对应的语料资源投射至现实场景；在所述现实场景中通过AR演示所述口语课程。

可选的，在在所述现实场景中通过AR演示所述口语课程之后，所述方法还包括：判断所述语料资源对应的口语学习任务是否完成，其中，所述口语课程包括若干个所述口语学习任务；若所述语料资源对应的口语学习任务已经完成，为所述用户账号分配虚拟资产。

可选的，确定用户账号在客户端上对应的口语课程包括：确定所述用户账号当前学习的课程级别，其中，所述课程级别用于表征课程的难度系数或适用对象，所述课程级别包括多个相同难度的课程单元；根据所述用户账号的学习进度在所述课程级别中选择一个课程单元，其中，每个课程单元对应一个学习主题。

可选的，确定用户账号在客户端上对应的口语课程包括：通过所述客户端采集现实场景的场景信息；在课程库中查找学习情景与所述场景信息匹配的口语课程。

可选的，在所述现实场景中通过AR演示所述口语课程包括：控制虚拟讲师角色导播所述口语课程的语料音频，其中，所述虚拟讲师角色通过AR接口投射在所述现实场景中；通过所述客户端的音频接口采集与所述语料音频对应的应答音频。

可选的，判断所述语料资源对应的口语学习任务是否完成包括：判断所述用户账号在学习所述口语学习任务时的应答音频是否正确；若所述用户账号在学习所述口语学习任务时的应答音频正确，确定所述口语学习任务完成；若所述用户账号在学习所述口语学习任务时的应答音频不正确，确定所述口语学习任务未完成。

可选的，判断所述用户账号在学习所述口语学习任务时的应答音频是否正确包括：计算所述应答音频与标准音频的匹配度；若所述匹配度大于通过值，确定所述用户账号在学习所述口语学习任务时的应答音频正确；若所述匹配度小于或等于通过值，确定所述用户账号在学习所述口语学习任务时的应答音频不正确。

可选的，在计算所述应答音频与标准音频的匹配度之前，所述方法还包括：获取所述用户账号的口语学习记录，其中，所述口语学习记录包括所述用户账号在历史时间答题是否通过的答题成绩；若所述口语学习记录中的连续通过次数高于预设值，基于初始值提高所述通过值；若所述口语学习记录中的连续通过次数低于预设值，基于初始值降低所述通过值。

可选的，为所述用户账号分配虚拟资产包括以下之一：为所述用户账号分配虚拟货币，其中，所述虚拟货币用于在线上商城兑换第一虚拟产品；查找与所述口语学习任务匹配的第二虚拟产品，为所述用户账号分配所述第二虚拟产品。

可选的，在所述现实场景中通过AR演示所述口语课程之后，所述方法还包括：判断所述口语课程是否已经完成；若所述口语课程已经完成，响应拍照指令，控制玩家控制角色与虚拟讲师角色在所述现实场景中进行合影拍照，得到第一图片；根据所述第一图片和关联物料生成第二图片，并在社交软件上分享所述第二图片，其中，所述关联物料包括以下至少之一：所述口语课程的语料资源，所述口语课程的成绩信息，所述口语课程的入口信息。

根据本发明的另一个实施例，提供了一种基于增强现实的数据处理装置，包括：确定模块，用于确定用户账号在客户端上对应的口语课程；投射模块，用于根据用户操作指令，将所述口语课程的虚拟讲师角色和对应的语料资源投射至现实场景；演示模块，用于在所述现实场景中通过AR演示所述口语课程。

可选的，所述装置还包括：第一判断模块，用于在所述演示模块在所述现实场景中通过AR演示所述口语课程之后，判断所述语料资源对应的口语学习任务是否完成，其中，所述口语课程包括若干个所述口语学习任务；分配模块，用于若所述语料资源对应的口语学习任务已经完成，为所述用户账号分配虚拟资产。

可选的，所述确定模块包括：确定单元，用于确定所述用户账号当前学习的课程级别，其中，所述课程级别用于表征课程的难度系数或适用对象，所述课程级别包括多个相同难度的课程单元；选择单元，用于根据所述用户账号的学习进度在所述课程级别中选择一个课程单元，其中，每个课程单元对应一个学习主题。

可选的，所述确定模块包括：采集单元，用于通过所述客户端采集现实场景的场景信息；查找单元，用于在课程库中查找学习情景与所述场景信息匹配的口语课程。

可选的，所述演示模块包括：控制单元，用于控制虚拟讲师角色导播所述口语课程的语料音频，其中，所述虚拟讲师角色通过AR接口投射在所述现实场景中；采集单元，用于通过所述客户端的音频接口采集与所述语料音频对应的应答音频。

可选的，所述第一判断模块包括：判断单元，用于判断所述用户账号在学习所述口语学习任务时的应答音频是否正确；确定单元，用于若所述用户账号在学习所述口语学习任务时的应答音频正确，确定所述口语学习任务完成；若所述用户账号在学习所述口语学习任务时的应答音频不正确，确定所述口语学习任务未完成。

可选的，所述判断单元包括：计算子单元，用于计算所述应答音频与标准音频的匹配度；确定子单元，用于若所述匹配度大于通过值，确定所述用户账号在学习所述口语学习任务时的应答音频正确；若所述匹配度小于或等于通过值，确定所述用户账号在学习所述口语学习任务时的应答音频不正确。

可选的，所述判断单元还包括：获取子单元，用于在所述计算子单元计算所述应答音频与标准音频的匹配度之前，获取所述用户账号的口语学习记录，其中，所述口语学习记录包括所述用户账号在历史时间答题是否通过的答题成绩；调整子单元若所述口语学习记录中的连续通过次数高于预设值，基于初始值提高所述通过值；若所述口语学习记录中的连续通过次数低于预设值，基于初始值降低所述通过值。

可选的，所述分配模块包括以下之一：第一分配单元，用于为所述用户账号分配虚拟货币，其中，所述虚拟货币用于在线上商城兑换第一虚拟产品；第二分配单元，用于查找与所述口语学习任务匹配的第二虚拟产品，为所述用户账号分配所述第二虚拟产品。

可选的，所述装置还包括：第二判断模块，用于在所述演示模块在所述现实场景中通过AR演示所述口语课程之后，判断所述口语课程是否已经完成；控制模块，用于若所述口语课程已经完成，响应拍照指令，控制玩家控制角色与虚拟讲师角色在所述现实场景中进行合影拍照，得到第一图片；分享模块，用于根据所述第一图片和关联物料生成第二图片，并在社交软件上分享所述第二图片，其中，所述关联物料包括以下至少之一：所述口语课程的语料资源，所述口语课程的成绩信息，所述口语课程的入口信息。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项装置实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，确定用户账号在客户端上对应的口语课程，然后根据用户操作指令，将口语课程的虚拟讲师角色和对应的语料资源投射至现实场景，最后在现实场景中通过AR演示口语课程，本实施例口语课程包括针对单词等语料在听说等维度的学习或测试，如用户在客户端上跟读某个英语单词，用户在客户端上练习单词发音等，通过在现实场景中AR投射和演示口语课程，构建了一种身临其境的口语课程环境，解决了相关技术中不能使用AR学习口语课程的技术问题，提供了一种口语学习的新媒介，提高了用户的学习积极性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种基于增强现实的数据处理手机的硬件结构框图；

图2是根据本发明实施例的一种基于增强现实的数据处理方法的流程图；

图3是本发明实施例演示口语课程的示意图；

图4是本发明实施例分享课程图片的示意图；

图5是根据本发明实施例的一种基于增强现实的数据处理装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在手机、平板、计算机、穿戴设备或者类似的电子终端中执行。以运行在手机上为例，图1是本发明实施例的一种基于增强现实的数据处理手机的硬件结构框图。如图1所示，手机10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述手机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述手机的结构造成限定。例如，手机10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储手机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种基于增强现实的数据处理方法对应的手机程序，处理器102通过运行存储在存储器104内的手机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至手机10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括手机10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种基于增强现实的数据处理方法，图2是根据本发明实施例的一种基于增强现实的数据处理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，确定用户账号在客户端上对应的口语课程；

本实施例的用户账号是用户在客户端的应用程序上登录的账号，与目标用户对应，用户在客户端上学习时登录一个账号，通过该账号，用户在不同的客户端上关联课程库、用户数据和学习进度。

口语课程是用户在线上通过交互信息执行的学习任务，包括***推荐和用户自选的情景对话、练习对话等任意形式的口语学习方式。

步骤S204，根据用户操作指令，将口语课程的虚拟讲师角色和对应的语料资源投射至现实场景；

在本实施例中，动态切换的语料资源，课程背景，虚拟讲师角色等组成虚拟学***板电脑等)实现裸眼AR，将虚拟学***台的AR组件)搭建现实世界的坐标系，通过设置虚拟学习场景中的虚拟摄像机与真实设备(AR客户端)摄像机之间的位置与旋转之前的映射关系来实现。由于场景是允许玩家“投射”到任意的真实位置，要让场景“看上去”一直“固定”在真实世界中某个位置，需要让虚拟学习场景某个点(一般是场景的中心点)和真实世界中的某个点“对齐”(也就是说，虚拟学习场景中的某个点和真实世界中的某个点，显示在屏幕上的时候，正好会重合)。

本发明优选的可以设置虚拟场景的中心点移动到现实场景的参考点的指引标志。在一个示例中，通过计算虚拟场景的尺寸面积，定位虚拟场景的中心点为A点，现实场景的参考点为B点，根据A点和B点在同一坐标系中的坐标点位置生成连线AB，即指引标志，用户点击连线AB的任意位置，可以移动虚拟场景的投射画面，以使A点与B点重合。在另一个示例中，在虚拟场景中设置一个用于控制虚拟场景的投射区域的控制组件，用户点击该控制组件的UI控件(指引标志)，***控制虚拟场景在现实场景中的投射位置，以使虚拟场景的中心点与现实场景的参考点重合。

可选的，可以在现实场景中设置一个参考点，如三维空间的中心位置、用户的最佳视点，在投射虚拟讲师角色和语料资源时，根据参考点锚定所述虚拟讲师角色和语料资源在现实场景中的投射位置，使其稳定在现实场景的中间区域，方便用户观看。在一些实例中，现实场景中可能存在遮挡物，如树、建筑物、栏杆等，在这种情况下，如果直接投射，可能会遮挡AR画面中的虚拟讲师角色和语料资源，本实施例首先跟踪定位现实场景中的遮挡物，然后识别该遮挡物，在现实场景中的投射位置避开上述遮挡物，将虚拟讲师角色和语料资源投射在视线开阔的位置，或者对现实场景中的遮挡物进行特殊处理，在画面中移除遮挡物、将其设置为透明形态等。其中，在图像的跟踪定位过程中，基于视觉的跟踪注册技术进行跟踪定位，从真实环境中获取一幅或者多幅图像，然后标定摄像机与目标间的相对位置和方向，其包括以下四种实现方式：一，己知单幅图像中的六个或者六个以上的匹配点进行跟踪，使用相机标定的技术，利用单幅图像中己知点的三维空间位置与它们在图像平面坐标系中的成像坐标实现跟踪注册。这些已知点是物体的特征点:如拐点、孔洞、放置的标志点。二，从运动摄像机拍摄到的序列图像或者是从拍摄到的运动目标序列图像进行跟踪，通过运动目标的序列图像来研究运动目标的运动特征。首先要利用序列图像来估计目标的运动参数和确定目标的结构，即通过对序列图像的处理，然后在具有***噪声和测量噪声的情况下，从统计的意义上对运动目标参数做出精确的估计。三，图像的模板匹配，使用模板匹配的方法从不同视点提取真实环境的图像用作模板寻找真实环境的数字化图像，一旦找到虚拟物体就叠加到真实环境。四，三视图和多视图的跟踪技术，由多部摄像机从真实环境的各个角度提取标识物的图像，通过应用Harris角点检测或SIFT特征点匹配等算法提取图像特征点，计算场景中真实物体的深度信息，确定虚拟物体与真实环境的遮挡关系后显示虚实结合的场景图像，使真实场景与虚拟物体实现更加自然的时空范围中的融合，使用户可以与虚拟物体自由交互。图像分析的过程包括：采用基于特征提取加kmeans树求近似最近邻匹配的算法，然后再对匹配到的关键点对求单应性映射，最后根据inlier点集进行打分的方式来最终判定识别到的目标。在特征提取过程中，图像特征包括以下至少之一：颜色特征，纹理特征，形状特征，空间关系特征，其中，颜色特征是一种全局特征，描述了图像或图像区域所对应物体的表面性质，例如灰度直方图等。纹理特征，是一种全局特征，描述了图像或图像区域所对应物体的表面性质，例如基于共生矩阵的熵、角二阶矩和局部平稳性等。形状特征，是一种局部特征，描述了局部区域内物体的外形性质，例如边界特征等。空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重复关系和包含/包容关系等。

根据场景信息将AR客户端上呈现的虚拟学习场景投射至现实场景，得到AR场景，包括：将虚拟学习场景的虚拟摄像机与AR客户端的真实摄像机的投影矩阵保持一致，首先，得让虚拟摄像机的投影矩阵与真实摄像机的投影矩阵保持一致，要不然，就不能通过比较简单的摄像机坐标转化，达到目的；确定现实场景在世界坐标系中的第一参考点，以及虚拟学习场景中与第一参考点对应的在屏幕坐标系中的第二参考点；根据第一参考点和第二参考点将屏幕坐标系(即虚拟学习场景中的坐标系)转换为世界坐标系，并将转换后的虚拟学习场景投射至现实场景。

在本实施例的一个实施方式中，根据第一参考点和第二参考点将屏幕坐标系转换为世界坐标系包括：计算屏幕坐标系与世界坐标系的元素比例K；根据以下公式将屏幕坐标系转换为世界坐标系：P3＝P1+(P2–P0)*K；其中，P3虚拟摄像机的坐标位置，P1为第二参考点的坐标位置，P2为真实摄像机的坐标位置，P0为第一参考点的坐标位置。通过坐标系的转换，可以实现在不同坐标系中的虚实场景转换。假设场景中心点的位置是P1，真实世界对应的位置是P0，虚拟学习场景中物品与真实世界物品的比例是K,那么，虚拟摄像机位置P3与真实摄像机(包括景深传感器)位置P2的关系是:P3＝P1+(P2–P0)*K(摄像机的旋转与这个计算类似)。通过维护这个虚拟摄像机与真实摄像机之间的关系，就能达到“投射场景”的效果。

步骤S206，在现实场景中通过AR演示口语课程；

可选的，该口语课程的语料资源等数据可以同时存储在客户端和云端，以实现在不同客户端的数据迁移和同步。

在一些示例中，还可以进一步识别现实场景中的物体，如墙面上的挂件，桌面上的摆件，路面的汽车等，在识别过程中，通过提取画面中物体的关键特征作为标识信息，如logo、广告语、商标等标识信息，然后在原物体上将标识信息进行放大、闪烁、或者聚焦显示，使该物体在AR画面实现显示加强的效果。

基于上述示例，进一步的，还可以在***中配置广告语数据库，广告语数据库中包括多个物体的广告语或者广告视频，以及广告语适配的物品类别，在AR画面中通过图像识别，识别出具体物品后，在广告语数据库中匹配和物品类别对应的广告语。识别出配置有广告语的指定物体之后，在指定物体的周边位置添加广告语，可选的，还可以进一步添加购买链接，用户点击该购买链接，在站内打开网页或者跳转至第三方的购买平台。在匹配物体的广告语时，流程包括：提取AR画面中的标识信息(包括图片、文字、图案等)，根据标识信息在预设数据(预设数据中包括多个已经签约的物体的标准标识信息)中查找与该标识信息匹配的广告物体，若成功匹配到广告物体，进一步到广告语数据库查找与该物体对应的广告语。

通过上述步骤，确定用户账号在客户端上对应的口语课程，然后根据用户操作指令，将口语课程的虚拟讲师角色和对应的语料资源投射至现实场景，最后在现实场景中通过AR演示口语课程，本实施例口语课程包括针对单词等语料在听说等维度的学习或测试，如用户在客户端上跟读某个英语单词，用户在客户端上练习单词发音等，通过在现实场景中AR投射和演示口语课程，构建了一种身临其境的口语课程环境，解决了相关技术中不能使用AR学习口语课程的技术问题，提供了一种口语学习的新媒介，提高了用户的学习积极性。

在本实施例的一个实施方式中，确定用户账号在客户端上对应的口语课程包括：

S11，确定用户账号当前学习的课程级别，其中，课程级别用于表征课程的难度系数或适用对象，课程级别包括多个相同难度的课程单元；

本实施例的课程级别可以是用户选择的，也可以是***分配的。在一个示例中，课程级别根据难度等级可以分为：少儿口语、幼儿口语、小学口语、中学口语等，也可以根据词汇量的多少来划分课程级别，词汇量越高，可能级别越高。

S12，根据用户账号的学习进度在课程级别中选择一个课程单元，其中，每个课程单元对应一个学习主题。

本实施例的每一个课程级别都包括多个课程单元，多个课程单元的难度相同或者接近，在不同维度，不同情景，不同语法，不同词汇围绕同一个主题进行训练和学习。

在一个实例中，学习主题为名词“kite”，课程单元的语料资源包括以下句子或短语：

A kite！

Do you have a kite！

Yes,I do.

I have a kite.

I like my kite！

在本实施例的另一个实施方式中，确定用户账号在客户端上对应的口语课程包括：通过客户端采集现实场景的场景信息；在课程库中查找学习情景与场景信息匹配的口语课程。

在本实施例中，场景信息包括位置信息、时间信息、房间布局信息等，在一个示例中，AR客户端通过摄像头探测环境信息，以及GPS模块采集位置信息，确定当前是在商业街的场景，对应的学习情景包括“问路”、“购物”等场合，因此，可以在课程库中查找与“问路”、“购物”相关的口语课程，进而推送给用户账号，以达到身临其境的效果，提高沉浸感和用户体验。

在用户账号的每一个学习阶段(如每周)都围绕一个主题进行学习，整个课程包括多个级别，每个级别对应一个难度，一个级别有包括多个同等难度的主题，虚拟讲师角色把学习的语料库，包括单词卡，虚拟的学习场景，通过AR投射到真实环境中，进行真实场景的演示，对学习过程使用的语料和短句进行真实场景的演示，也可以AR识别真实环境，然后选择对应环境的情景语句。

在本实施例的一个实施方式中，在现实场景中通过AR演示口语课程包括：

S21，控制虚拟讲师角色导播口语课程的语料音频，其中，虚拟讲师角色通过AR接口投射在现实场景中；

可选的，在虚拟讲师角色导播口语课程的语料音频时，还可以在客户端的交互界面显示与语料音频对应的文本信息或图片，也可以同步通过AR接口投射在现实场景中。例如，语料音频为“triangle”的发音，则可以在交互界面同时显示：“triangle”，“n.三角形；三角形物体；三角铁(打击乐器)；三角关系”等文本信息，以及“△”等拟物图形。

S22，通过客户端的音频接口采集与语料音频对应的应答音频。

图3是本发明实施例演示口语课程的示意图，虚拟讲师角色当前正在导播的语料音频为“Do you have a kite！”，用户跟读语料音频，客户端通过音频接口采集用户跟读的与“Do you have a kite！”对应的应答音频，然后判断用户是否跟读正确，正确则完成学习任务，进入该学习课程的下一个学习任务“Yes,I do.”，直到“I like my kite！”，学习课程结束。

本实施例的口语课程除了跟读之外，还可以是其他形式的口语课程，如问答，看图说英文，看单词读英语等。在执行口语课程的课程任务时，根据用户账号的操作行为和操作结果来确定学习任务是否完成，如用户在客户端上跟读某个英语单词，是否准确地完成某个单词的跟读即操作结果，用户在客户端上练习单词发音，是否通过标准音标读出该单词即操作结果。

本实施例的语料资源可以是单词、句子、文章、习题、新闻等资源。针对某个语料单词，如某个英语单词，用户可以在不同的维度、通过不同的渠道来学习和掌握该单词的口语用法，而不同的掌握渠道会在客户端上采用不同的操作行为来实现。

在本实施例的一个实施方式中，在现实场景中通过AR演示口语课程之后，方法还包括：

S31，判断语料资源对应的口语学习任务是否完成，其中，口语课程包括若干个口语学习任务；

可选的，判断语料资源对应的口语学习任务是否完成包括：判断用户账号在学习口语学习任务时的应答音频是否正确；若用户账号在学习口语学习任务时的应答音频正确，确定口语学习任务完成；若用户账号在学习口语学习任务时的应答音频不正确，确定口语学习任务未完成。

在一个示例中，判断用户账号在学习口语学习任务时的应答音频是否正确包括：计算应答音频与标准音频的匹配度；若匹配度大于通过值，确定用户账号在学习口语学习任务时的应答音频正确；若匹配度小于或等于通过值，确定用户账号在学习口语学习任务时的应答音频不正确。

在一些实施例中，应答音频正确包括多个维度，相当于考试成绩中的及格、良好、优秀、不及格，其中，及格、良好、优秀三个档次的匹配度，***都认为是正确，当前学习任务完成，不及格则认为不正确，学习任务未完成，为了区别，在输出是否正确的成绩的同时，还可以分别对不同档次的成绩匹配一个标识，如图像、表情、文字、音频等，如优秀(匹配度大于80％)的成绩匹配“(^o^)”，良好(匹配度在80％～70％之间)的成绩匹配“(＾_＾)”等。

在一些实施方式中，在计算应答音频与标准音频的匹配度之前，还可以根据用户的历史答题成绩对通过线进行调整，以提高用户的成绩感，提高答题乐趣和挑战性。方案还包括：获取用户账号的口语学习记录，其中，口语学习记录包括用户账号在历史时间答题是否通过的答题成绩；若口语学习记录中的连续通过次数高于预设值，基于初始值提高通过值；若口语学习记录中的连续通过次数低于预设值，基于初始值降低通过值。

如表1所示，示意了不同匹配度的通过线，以及匹配的标识。

表1

序号	分值	反馈图片	是否通过
				1	70-100	笑脸	是
2	40-69	鼓励脸	是
				3	0-39	问号脸	否

其中，分值对应匹配度，40分为通过线，在一个实例中，动态调整只调整40这个值；每次调整降低(或提高)10分，最低值为20分，本实例中的调整规则包括：第一次不通过：通过线从40调整为30,即30-69为鼓励脸，0-29为问号脸；连续第二次不通过：通过线从30调整至20,即20-69为鼓励脸，0-19为问号脸；连续第三次不通过：不再调整分数，保持前面分值。若用户连续答对两次：下一次将分值线提高一档(10分)；若用户连续答对两次之后再次连续答对，则第三次答对可再提高一档(10分)；若第三次答错则需要重新连续答对两次后才会提高分数。

如表2所示，在表1的基础上，提高了及格档的分数线，并增加了各档成绩的语音标识。

表2

序号	分值	反馈图片	是否通过	反馈语音
					1	70-100	笑脸	是	Excellent！Perfect！Amazing！
2	50-69	鼓励脸	是	Good Job.Welldone.Not bad.
					3	0-49	问号脸	否	Nice try.Keepgoing.So close.

S32，若语料资源对应的口语学习任务已经完成，为用户账号分配虚拟资产。

本实施例的虚拟资产包括多种类型，如虚拟货币，虚拟产品，用户权限(如用于解锁课程，地图，软件功能模块、VIP体验卡等)。在本实施例的一个实施方式中，为用户账号分配虚拟资产可以但不限于为：为用户账号分配虚拟货币，其中，虚拟货币用于在线上商城兑换第一虚拟产品；查找与口语学习任务匹配的第二虚拟产品，为用户账号分配第二虚拟产品。

在本实施例中，每个任务完成之后会有星星币(一种类型的虚拟货币)的奖励，此外，也可以配置奖励体系，可以配置特定角色的皮肤、装饰物、线上产品权限的奖励、实体商品的配送。其中，作为角色皮肤、装饰物的第二虚拟产品可以自动穿戴在用户账号的主控角色(即PCC(Player-Controlled Character，玩家控制角色))上。

在本实施例的一些场景中，在现实场景中通过AR演示口语课程之后，还包括：判断口语课程是否已经完成；若口语课程已经完成，响应拍照指令，控制玩家控制角色与虚拟讲师角色在现实场景中进行合影拍照，得到第一图片；根据第一图片和关联物料生成第二图片，并在社交软件上分享第二图片，其中，关联物料包括以下至少之一：口语课程的语料资源，口语课程的成绩信息，口语课程的入口信息。

每个任务完成之后获得星星(一种虚拟货币)，以及所有任务完成之后具有三连拍的合照权限。将三连拍的合照、语料库的内容，***将这些物料形成新的图片，从该APP跳转到社交APP(如微信、支付宝、彩信等)，进行分享。

图4是本发明实施例分享课程图片的示意图，包括合影的照片(第一图片)，已完成的口语课程的语料资源A kite！，Do you have a kite！Yes,I do.I have a kite.I likemy kite！以及课程信息，以及口语课程的二维码链接，其他用户可以扫码识别二维码下载或进入口语课程的软件APP，或直接进入口语课程。

在口语学习过程中，每个学习语料对应一个皮肤，在完成学习任务后显示拍照按钮，虚拟角色穿戴皮肤后进行合影拍照，合照完成表示学习完成，可以进一步存储和分享合影的照片，发布在社交软件上，照片中除了虚拟角色和彩虹兔之外，还可以包括课程信息、成绩信息、app的链接入口等。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种基于增强现实的数据处理装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的一种基于增强现实的数据处理装置的结构框图，如图5所示，该装置包括：确定模块50，投射模块52，演示模块54，其中，

确定模块50，用于确定用户账号在客户端上对应的口语课程；

投射模块52，用于根据用户操作指令，将所述口语课程的虚拟讲师角色和对应的语料资源投射至现实场景；

演示模块54，用于在所述现实场景中通过AR演示所述口语课程。

可选的，所述装置还包括：第一判断模块，用于在所述演示模块在所述现实场景中通过AR演示所述口语课程之后，判断所述语料资源对应的口语学习任务是否完成，其中，所述口语课程包括若干个所述口语学习任务；分配模块，用于若所述语料资源对应的口语学习任务已经完成，为所述用户账号分配虚拟资产。

可选的，所述确定模块包括：确定单元，用于确定所述用户账号当前学习的课程级别，其中，所述课程级别用于表征课程的难度系数或适用对象，所述课程级别包括多个相同难度的课程单元；选择单元，用于根据所述用户账号的学习进度在所述课程级别中选择一个课程单元，其中，每个课程单元对应一个学习主题。

可选的，所述确定模块包括：采集单元，用于通过所述客户端采集现实场景的场景信息；查找单元，用于在课程库中查找学习情景与所述场景信息匹配的口语课程。

可选的，所述演示模块包括：控制单元，用于控制虚拟讲师角色导播所述口语课程的语料音频，其中，所述虚拟讲师角色通过AR接口投射在所述现实场景中；采集单元，用于通过所述客户端的音频接口采集与所述语料音频对应的应答音频。

可选的，所述第一判断模块包括：判断单元，用于判断所述用户账号在学习所述口语学习任务时的应答音频是否正确；确定单元，用于若所述用户账号在学习所述口语学习任务时的应答音频正确，确定所述口语学习任务完成；若所述用户账号在学习所述口语学习任务时的应答音频不正确，确定所述口语学习任务未完成。

可选的，所述判断单元包括：计算子单元，用于计算所述应答音频与标准音频的匹配度；确定子单元，用于若所述匹配度大于通过值，确定所述用户账号在学习所述口语学习任务时的应答音频正确；若所述匹配度小于或等于通过值，确定所述用户账号在学习所述口语学习任务时的应答音频不正确。

可选的，所述判断单元还包括：获取子单元，用于在所述计算子单元计算所述应答音频与标准音频的匹配度之前，获取所述用户账号的口语学习记录，其中，所述口语学习记录包括所述用户账号在历史时间答题是否通过的答题成绩；调整子单元若所述口语学习记录中的连续通过次数高于预设值，基于初始值提高所述通过值；若所述口语学习记录中的连续通过次数低于预设值，基于初始值降低所述通过值。

可选的，所述分配模块包括以下之一：第一分配单元，用于为所述用户账号分配虚拟货币，其中，所述虚拟货币用于在线上商城兑换第一虚拟产品；第二分配单元，用于查找与所述口语学习任务匹配的第二虚拟产品，为所述用户账号分配所述第二虚拟产品。

可选的，所述装置还包括：第二判断模块，用于在所述演示模块在所述现实场景中通过AR演示所述口语课程之后，判断所述口语课程是否已经完成；控制模块，用于若所述口语课程已经完成，响应拍照指令，控制玩家控制角色与虚拟讲师角色在所述现实场景中进行合影拍照，得到第一图片；分享模块，用于根据所述第一图片和关联物料生成第二图片，并在社交软件上分享所述第二图片，其中，所述关联物料包括以下至少之一：所述口语课程的语料资源，所述口语课程的成绩信息，所述口语课程的入口信息。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，确定用户账号在客户端上对应的口语课程；

S2，根据用户操作指令，将所述口语课程的虚拟讲师角色和对应的语料资源投射至现实场景；

S3，在所述现实场景中通过AR演示所述口语课程。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，确定用户账号在客户端上对应的口语课程；

S2，根据用户操作指令，将所述口语课程的虚拟讲师角色和对应的语料资源投射至现实场景；

S3，在所述现实场景中通过AR演示所述口语课程。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种基于增强现实的数据处理方法，其特征在于，包括：

确定用户账号在客户端上对应的口语课程；

根据用户操作指令，将所述口语课程的虚拟讲师角色和对应的语料资源投射至现实场景；

在所述现实场景中通过AR演示所述口语课程。

2.根据权利要求1所述的方法，其特征在于，在所述现实场景中通过AR演示所述口语课程之后，所述方法还包括：

判断所述语料资源对应的口语学习任务是否完成，其中，所述口语课程包括若干个所述口语学习任务；

若所述语料资源对应的口语学习任务已经完成，为所述用户账号分配虚拟资产。

3.根据权利要求1所述的方法，其特征在于，确定用户账号在客户端上对应的口语课程包括：

确定所述用户账号当前学习的课程级别，其中，所述课程级别用于表征课程的难度系数或适用对象，所述课程级别包括多个相同难度的课程单元；

根据所述用户账号的学习进度在所述课程级别中选择一个课程单元，其中，每个课程单元对应一个学习主题。

4.根据权利要求1所述的方法，其特征在于，确定用户账号在客户端上对应的口语课程包括：

通过所述客户端采集现实场景的场景信息；

在课程库中查找学习情景与所述场景信息匹配的口语课程。

5.根据权利要求1所述的方法，其特征在于，在所述现实场景中通过AR演示所述口语课程包括：

控制所述虚拟讲师角色导播所述口语课程的语料音频，其中，所述虚拟讲师角色通过AR接口投射在所述现实场景中；

通过所述客户端的音频接口采集与所述语料音频对应的应答音频。

6.根据权利要求2所述的方法，其特征在于，判断所述语料资源对应的口语学习任务是否完成包括：

判断所述用户账号在学习所述口语学习任务时的应答音频是否正确；

若所述用户账号在学习所述口语学习任务时的应答音频正确，确定所述口语学习任务完成；若所述用户账号在学习所述口语学习任务时的应答音频不正确，确定所述口语学习任务未完成。

7.根据权利要求6所述的方法，其特征在于，判断所述用户账号在学习所述口语学习任务时的应答音频是否正确包括：

计算所述应答音频与标准音频的匹配度；

若所述匹配度大于通过值，确定所述用户账号在学习所述口语学习任务时的应答音频正确；若所述匹配度小于或等于通过值，确定所述用户账号在学习所述口语学习任务时的应答音频不正确。

8.根据权利要求7所述的方法，其特征在于，在计算所述应答音频与标准音频的匹配度之前，所述方法还包括：

获取所述用户账号的口语学习记录，其中，所述口语学习记录包括所述用户账号在历史时间答题是否通过的答题成绩；

若所述口语学习记录中的连续通过次数高于预设值，基于初始值提高所述通过值；若所述口语学习记录中的连续通过次数低于预设值，基于初始值降低所述通过值。

9.根据权利要求2所述的方法，其特征在于，为所述用户账号分配虚拟资产包括以下之一：

为所述用户账号分配虚拟货币，其中，所述虚拟货币用于在线上商城兑换第一虚拟产品；

查找与所述口语学习任务匹配的第二虚拟产品，为所述用户账号分配所述第二虚拟产品。

10.根据权利要求1所述的方法，其特征在于，在所述现实场景中通过AR演示所述口语课程之后，所述方法还包括：

判断所述口语课程是否已经完成；

若所述口语课程已经完成，响应拍照指令，控制玩家控制角色与所述虚拟讲师角色在所述现实场景中进行合影拍照，得到第一图片；

根据所述第一图片和关联物料生成第二图片，并在社交软件上分享所述第二图片，其中，所述关联物料包括以下至少之一：所述口语课程的语料资源，所述口语课程的成绩信息，所述口语课程的入口信息。

11.一种基于增强现实的数据处理装置，其特征在于，包括：

确定模块，用于确定用户账号在客户端上对应的口语课程；

投射模块，用于根据用户操作指令，将所述口语课程的虚拟讲师角色和对应的语料资源投射至现实场景；

演示模块，用于在所述现实场景中通过AR演示所述口语课程。

12.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至10任一项中所述的方法。

13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至10任一项中所述的方法。

Images