CN117174117A - 一种基于虚拟数字人的英语助学***及方法 - Google Patents
一种基于虚拟数字人的英语助学***及方法 Download PDFInfo
- Publication number
- CN117174117A CN117174117A CN202311442972.1A CN202311442972A CN117174117A CN 117174117 A CN117174117 A CN 117174117A CN 202311442972 A CN202311442972 A CN 202311442972A CN 117174117 A CN117174117 A CN 117174117A
- Authority
- CN
- China
- Prior art keywords
- data
- voice
- module
- evaluation
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000009471 action Effects 0.000 claims abstract description 104
- 238000011156 evaluation Methods 0.000 claims abstract description 92
- 230000003993 interaction Effects 0.000 claims abstract description 48
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000013210 evaluation model Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims abstract description 15
- 238000012937 correction Methods 0.000 claims abstract description 15
- 238000013441 quality evaluation Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 30
- 238000004458 analytical method Methods 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 claims description 23
- 230000002452 interceptive effect Effects 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 17
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 21
- 230000001276 controlling effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 238000012074 hearing test Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开一种基于虚拟数字人的英语助学***及方法，涉及人工智能领域；通过交互平台根据真人形象进行拟人形象处理，并根据教学请求数据向教学白板传送拟人形象；控制拟人形象根据语音数据进行语言交流；根据预先存储的动作数据和学***台根据评测数据，对目标人物的语音数据进行语音纠正；本发明能够提高互动效果且提高语音评测精度。
Description
技术领域
本发明涉及人工智能领域，特别是涉及一种基于虚拟数字人的英语助学***及方法。
背景技术
目前的乡村义务教育英语智能教学模式，采用了一些AI评测和交互方面的技术，主要包括语音评测、自然语言理解、智能对话等技术。
其中，语音评测技术主要用于评估学生的口语表达能力，自然语言理解技术主要用于理解学生的语言输入，智能对话技术主要用于与学生进行交互。
具体来说，现有技术的主要内容和原理如下：1.语音评测：通过语音评测技术，对学生的英语口语进行自动评测，并给出错误提示和修正建议。语音评测技术通常采用基于语音识别和语音合成技术的方法，如基于深度学习的端到端语音识别技术、流利度评估技术等。
2.自然语言理解：通过自然语言理解技术，理解学生的语言输入，识别并纠正语法错误、语义错误等。自然语言理解技术通常采用基于机器学习的方法，如基于逻辑回归的词性标注、基于神经网络的句法分析等。
3.智能对话：通过智能对话技术，与学生进行交互，回答学生的问题、提供学习建议等。智能对话技术通常采用基于规则或机器学习的方法，如基于知识图谱的问答***、基于深度学习的对话生成技术等。
现有技术存在以下问题和缺点：1.教学问题：智能对话技术缺乏足够的个性化和互动性，难以满足不同学生的学习需求和兴趣。
2.数据问题：智能教学模式需要大量的语音和文本数据进行训练，但针对乡村地区的学生，缺乏针对性的数据集和资源。
3.成绩评测：目前的教学模式缺少***的英语评测的过程，无法对于学生的英语学习的过程进行常态化的评测。
发明内容
本发明的目的是提供一种基于虚拟数字人的英语助学***及方法，能够提高互动效果且提高语音评测精度。
为实现上述目的，本发明提供了如下方案：一种基于虚拟数字人的英语助学***，所述***包括：相互连接的学***台和测评模块。
所述学习终端处设置教学白板，且所述教学白板与所述学习终端连接；所述学习终端用于收集教学请求数据和教学白板处目标人物的语音数据。
所述交互平台，用于：根据真人形象进行拟人形象处理，并根据所述教学请求数据向所述教学白板传送拟人形象；控制所述拟人形象在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；
根据预先存储的动作数据和所述学习终端发送的动作帧进行编解码，生成动作指令，并控制所述拟人形象在所述教学白板上根据所述动作指令进行运动。
所述测评模块，用于：对所述语音数据进行特征提取，得到特征数据；将所述特征数据输入至语音评测模型，输出评测数据；所述评测数据包括：语音流畅度、语法正确性和发音正确性；所述语音评测模型是基于深度神经网络构建的语音质量测评模型；所述交互平台还用于根据所述评测数据，对目标人物的语音数据进行语音纠正。
可选地，所述交互平台包括：形象处理模块，用于根据真人形象进行拟人形象处理，得到拟人形象；传送模块，分别与所述形象处理模块和所述学习终端连接，用于根据所述教学请求数据将所述拟人形象经所述学习终端传送至所述教学白板；控制模块，分别与所述形象处理模块和所述学习终端连接，用于发出控制指令，并控制所述拟人形象根据所述控制指令在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；运动模块，分别与所述控制模块和所述形象处理模块连接，用于根据动作指令控制所述拟人形象在所述教学白板上进行运动；所述动作指令是所述控制模块根据预先存储的动作数据和所述学习终端发送的动作帧进行编解码生成的第一控制指令。
可选地，所述交互平台还包括：存储模块；所述存储模块与所述控制模块连接；所述存储模块用于存储动作数据。
可选地，所述控制模块包括：语音控制子模块，分别与所述形象处理模块和所述学习终端连接，用于发出控制指令，控制所述拟人形象根据所述控制指令在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；解码子模块，分别与所述存储模块和所述学习终端连接，用于分别对动作帧和预先存储的动作数据进行解析提取，得到各自的解析数据；所述解析数据包括：动作类型和动作参数；查找子模块，与所述解码子模块连接，用于根据动作帧的解析数据在预先存储的动作数据对应的解析数据中进行数据查找，直至动作帧的解析数据和预先存储的动作数据对应的解析数据相同，得到查找数据；指令生成子模块，与所述查找子模块连接，用于根据所述查找数据生成动作指令；渲染子模块，分别与所述指令生成子模块和所述形象处理模块连接，用于根据所述动作指令对所述拟人形象进行动作渲染，得到运动信息；所述运动信息为根据所述动作指令进行运动的拟人形象；反馈子模块，分别与所述渲染子模块和所述学习终端连接，用于将运动信息反馈至所述学习终端；所述学习终端将所述运动信息传送至所述教学白板，以使所述拟人形象在所述教学白板上进行运动。
可选地，所述测评模块包括：特征提取子模块，与所述学***台连接，用于将所述评测数据传输至所述交互平台。
可选地，所述特征提取子模块包括：预处理单元和提取单元；所述预处理单元与所述学习终端连接；所述提取单元与所述预处理单元连接；所述预处理单元用于对所述语音数据进行去噪处理，得到处理语音数据；所述提取单元用于对所述处理语音数据进行特征提取，得到特征数据。
一种基于虚拟数字人的英语助学方法，所述方法采用上述所述的基于虚拟数字人的英语助学***实现，所述方法包括：获取教学请求数据和目标人物的语音数据；根据真人形象进行拟人形象处理，得到拟人形象；根据所述教学请求数据向教学白板传送拟人形象；控制所述拟人形象在所述教学白板上与目标人物根据所述语音数据进行语言交流；根据预先存储的动作数据和学习终端发送的动作帧进行编解码，生成动作指令，并控制所述拟人形象在所述教学白板上根据所述动作指令进行运动；控制测评模块对所述语音数据进行特征提取，得到特征数据，并将所述特征数据输入至语音评测模型，输出评测数据；所述评测数据包括：语音流畅度、语法正确性和发音正确性；所述语音评测模型是基于深度神经网络构建的语音质量测评模型；根据所述评测数据，对目标人物的语音数据进行语音纠正。
可选地，所述语音评测模型的确定方法，具体包括：获取训练数据；所述训练数据包括：训练的语音数据和标签数据；所述标签数据为所述训练的语音数据对应的评测数据；对训练的语音数据进行特征提取，得到训练特征数据；将所述训练特征数据按照设定的比例划分为训练集和验证集；构建深度神经网络；将所述训练集输入到所述深度神经网络，以所述训练集对应的标签数据与所述深度神经网络的输出之间的误差最小为目标，对所述深度神经网络的参数进行训练，得到训练后的深度神经网络；采用所述验证集和对应的标签数据对训练后的深度神经网络的参数进行调整，得到调整后的深度神经网络；将调整后的深度神经网络确定为所述语音评测模型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于虚拟数字人的英语助学***及方法，通过交互平台根据真人形象进行拟人形象处理，并根据教学请求数据向教学白板传送拟人形象；控制拟人形象根据语音数据进行语言交流；根据预先存储的动作数据和学***台根据评测数据，对目标人物的语音数据进行语音纠正；又由于语音评测模型是基于深度神经网络构建的语音质量测评模型，因此本发明能够提高互动效果且提高语音评测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于虚拟数字人的英语助学***的结构图。
图2为本发明实施例提供的基于虚拟数字人的英语助学***的结构示意图。
图3为本发明实施例提供的基于虚拟数字人的英语助学***的处理流程图。
符号说明：学***台-2、测评模块-3。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于虚拟数字人的英语助学***及方法，能够提高互动效果且提高语音评测精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：如图1所示，本发明实施例提供了一种基于虚拟数字人的英语助学***，该***包括：相互连接的学***台2和测评模块3。
学习终端1处设置教学白板，且教学白板与学习终端1连接；学习终端1用于收集教学请求数据和教学白板处目标人物的语音数据。
交互平台2用于根据真人形象进行拟人形象处理，并根据教学请求数据向教学白板传送拟人形象；交互平台2控制拟人形象在教学白板上与目标人物根据所述语音数据进行语言交流。拟人形象即为虚拟数字人。
交互平台2根据预先存储的动作数据和学习终端1发送的动作帧进行编解码，生成动作指令，并控制拟人形象在教学白板上根据动作指令进行运动。
测评模块3用于对语音数据进行特征提取，得到特征数据；测评模块3将特征数据输入至语音评测模型，输出评测数据；评测数据包括：语音流畅度、语法正确性和发音正确性；语音评测模型是基于深度神经网络构建的语音质量测评模型。
交互平台2还用于根据评测数据，对目标人物的语音数据进行语音纠正。
具体地，交互平台2包括：形象处理模块、传送模块、控制模块和运动模块。
形象处理模块用于根据真人形象进行拟人形象处理，得到拟人形象。
传送模块分别与形象处理模块和学习终端1连接，传送模块用于根据教学请求数据将拟人形象经学习终端1传送至教学白板。
控制模块分别与形象处理模块和学习终端1连接；控制模块用于发出控制指令，并控制拟人形象根据控制指令在教学白板上与目标人物根据语音数据进行语言交流。
运动模块分别与控制模块和形象处理模块连接；运动模块用于根据动作指令控制拟人形象在教学白板上进行运动；动作指令是控制模块根据预先存储的动作数据和学习终端1发送的动作帧进行编解码生成的控制指令。
在一种实施例中，交互平台2还包括：存储模块；存储模块与控制模块连接；存储模块用于存储动作数据。
在一种实施例中，控制模块包括：语音控制子模块、解码子模块、查找子模块、指令生成子模块、渲染子模块和反馈子模块。
语音控制子模块分别与形象处理模块和学习终端1连接。语音控制子模块用于发出控制指令，控制拟人形象根据控制指令在教学白板上与目标人物根据语音数据进行语言交流。
解码子模块分别与存储模块和学习终端1连接；解码子模块用于分别对动作帧和预先存储的动作数据进行解析提取，得到各自的解析数据；解析数据包括：动作类型和动作参数。
查找子模块与解码子模块连接；查找子模块用于根据动作帧的解析数据在预先存储的动作数据对应的解析数据中进行数据查找，直至动作帧的解析数据和预先存储的动作数据对应的解析数据相同，得到查找数据。
指令生成子模块与查找子模块连接；指令生成子模块用于根据查找数据生成动作指令。
渲染子模块分别与指令生成子模块和形象处理模块连接；渲染子模块用于根据动作指令对拟人形象进行动作渲染，得到运动信息；运动信息为根据动作指令进行运动的拟人形象。
反馈子模块分别与渲染子模块和学习终端1连接；反馈子模块用于将运动信息反馈至学习终端1；学习终端1将运动信息传送至教学白板，以使拟人形象在教学白板上进行运动。
具体地，如图2和图3所示，在教学白板上显示的教师的拟人形象，主要是同学生进行交流，教学白板旁的学***台2。
关于语音数据的收集，在与拟人形象进行对话时，可以使用教学白板上的麦克风或录音设备来完成语音数据的采集。采集到的语音数据可以实时传输到交互平台2以及测评模块3进行处理和分析。
交互平台2接收到语音数据，可以用来管理学生、教师同拟人形象进行对话。经评测模块根据语音数据实现学生的语音评测评估。还可以实现过程性分析。
在测评模块3，首先对收集的语音数据还可以进行预处理操作：收集到的语音数据需要进行预处理，以提高语音测评的准确性。预处理包括去除噪声、降低语音信号的动态范围、语音段的分割和标记3个功能。
然后对预处理后的语音数据进行特征提取：特征提取是将语音数据的语音信号转换成机器学习算法可以处理的数字特征的过程。可以采用常用的特征提取方法包括Mel频率倒谱系数（MFCC）方法。
具体地，在一种实施例中，测评模块3包括：特征提取子模块、评测子模块和输送子模块。
特征提取子模块与学习终端1连接；特征提取子模块用于对语音数据进行特征提取，得到特征数据。
具体地，特征提取子模块包括：预处理单元和提取单元。
预处理单元与学习终端1连接；提取单元与预处理单元连接；预处理单元用于对语音数据进行去噪处理，得到处理语音数据；提取单元用于对处理语音数据进行特征提取，得到特征数据。
评测子模块与特征提取子模块连接；评测子模块用于将特征数据输入至语音评测模型，输出评测数据。
输送子模块分别与评测子模块和交互平台2连接；输送子模块用于将评测数据传输至交互平台2。
在实际应用中，以基于虚拟数字人即拟人形象的英语对话为例：拟人形象可以与学生进行多轮对话，从而提供更加个性化和互动性的英语学习体验。通过多轮对话，拟人形象可以根据学生的语音输入和相应的动作反馈，提供相应的英语学习内容和反馈，并且可以结合智能对话技术，为学生提供更加贴近实际生活的英语学习交互体验。因此，基于拟人形象的多轮对话可以有效地促进学生的英语学习，提高学习效果和兴趣。
此外，在实际应用中，还可以通过现场教师进行主体授课，拟人形象在线上协助。拟人形象可以通学生和教师进行语音提问、图像示范等协助教学的交互行为。现场教师还可以实时发送指令，向拟人形象灵活改变授课计划。
采用评测模块进行语音评测的过程是英语学***低等问题，为乡村义务教育英语智能教育的发展提供了一种全新的、高效的教学模式和教学手段。
实施例2：本发明实施例提供了一种基于虚拟数字人的英语助学方法，该方法采用实施例1中的基于虚拟数字人的英语助学***实现。
该方法包括：获取教学请求数据和目标人物的语音数据；根据真人形象进行拟人形象处理，得到拟人形象；根据教学请求数据向教学白板传送拟人形象；控制拟人形象在教学白板上与目标人物根据语音数据进行语言交流；根据预先存储的动作数据和学习终端发送的动作帧进行编解码，生成动作指令，并控制拟人形象在教学白板上根据动作指令进行运动；控制测评模块对语音数据进行特征提取，得到特征数据，并将特征数据输入至语音评测模型，输出评测数据；评测数据包括：语音流畅度、语法正确性和发音正确性；语音评测模型是基于深度神经网络构建的语音质量测评模型；根据评测数据，对目标人物的语音数据进行语音纠正。
其中，语音评测模型的确定方法，具体包括：获取训练数据；训练数据包括：训练的语音数据和标签数据；标签数据为训练的语音数据对应的评测数据；对训练的语音数据进行特征提取，得到训练特征数据。
将训练特征数据按照设定的比例划分为训练集和验证集；构建深度神经网络。
将训练集输入到深度神经网络，以训练集对应的标签数据与深度神经网络的输出之间的误差最小为目标，对深度神经网络的参数进行训练，得到训练后的深度神经网络。
采用验证集和对应的标签数据对训练后的深度神经网络的参数进行调整，得到调整后的深度神经网络。
将调整后的深度神经网络确定为语音评测模型。
关于语音评测模型，在实际应用中可以采用成熟的Microsoft Azure语音评测模型，调用了Microsoft Azure Speech Services API，同时也支持语音质量评估。它使用了基于深度神经网络（DNN）的模型进行语音质量评测，并且支持多种语音质量评测指标。
针对不同的语音评测任务，需要定义相应的评测标准。例如，针对口语表达任务，评测标准可以包括语音流畅度、语法正确性、发音准确性等。在进行语音评测时，需要将语音信号转换成数字特征，并使用语音评测模型进行测评。
收集学生的英语语音数据后，将其作为待评测的语音数据，然后调用MicrosoftAzure Speech Services API进行测评，最终获得评测结果。具体的API名称是AzureSpeech Services中的"Speech Quality"，可以使用REST API或者SDK进行调用，然后得到评测数据。
使用REST API或者SDK进行调用，得到的评测数据显示在该调用界面上，其中，界面上的"OverallScore"表示总体的语音质量，"WordScore"表示语音中单词的清晰度发音准确度，"NoiseScore"表示语音中噪声的干扰，"ClippingScore"表示语音中裁剪的情况，"EchoScore"表示语音中回声的干扰，"DistortionScore"表示语音失真的情况。这些数据都是在0到1之间的浮点数。
针对评测数据中存在的发音错误，根据具体的情况来对学生的发音进行纠错。例如，如果评估结果中"WordScore"得分较低，说明学生发音不够清晰，针对这个问题给出相应的纠正建议。
具体实现上，可以使用Microsoft Azure Speech Services语音纠错的SpeechSDK实现文本纠错。本发明使用现有的自然语言处理技术算法n-gram模型，n-gram模型是一种基于统计的语言模型，可以用于对文本数据进行概率建模和预测。在文本纠错中，可以使用n-gram模型来计算文本中不同单词或单词组合的概率，从而判断文本中可能存在的错误，并进行纠错。
语音识别技术将学生的发音转换为文本，然后使用文本纠错算法对文本进行纠错，最后将纠错后的文本存储和反馈给学生。
本发明采用了Microsoft Azure Speech Services模型的语音合成SpeechSynthesizer函数，选择了合适的语音合成模型和语音合成参数，合成了正确的英语发音，经拟人形象发出正确的声音指导学生进行英语对话纠正。
当学***台2，关于学***台2之间的内部通讯交互程序步骤，具体如下。
S1.学***台，该请求包含了一些必需的头部信息，如Upgrade和Connection等。
S2.交互平台接收到请求后，会进行握手确认，同时返回一个HTTP 101状态码和一些附加的头部，如Sec-WebSocket-Accept等。
S3.一旦握手确认完成，学***台之间就建立了一个WebSocket连接，它们可以通过这个连接进行数据交换。
S4.学***台发送各种类型的数据帧，如文本和二进制数据等。这些数据通常以JSON格式进行编码，并且包含拟人形象的动作、语音或图像等信息。
S5.交互平台接收到数据后，会进行解码并执行相应的操作。学***台就会根据该动作帧进行编解码处理，进而控制拟人形象执行相应的动作。
关于交互平台根据动作帧来控制拟人形象进行动作的具体过程如下。
1.学***台。
2.交互平台收到动作”数据帧，即动作帧后，会使用JSON解析器对其进行解码解析，提取出动作类型和动作参数。
3.交互平台根据提取出的动作类型，在其动作库中查找对应的动作实现程序。动作库中存放着各种拟人形象动作的实现代码。
4.交互平台将解析出的动作参数传入动作实现程序，运行该程序，以实现相应的动作。
5.动作实现程序根据输入的参数，调用拟人形象相关的API，为拟人形象的各个部位设置动画状态，实现动作的渲染和播放。
6.拟人形象完成动作渲染后，会将包含动作播放结果的信息反馈给交互平台。
7.交互平台最后可将动作播放结果通过WebSocket连接发送回学习终端，然后再传送至教学白板，以使拟人形象在教学白板上进行运动。
这样就完成了教学终端通过动作帧控制拟人形象进行动作的整个流程。
S6.交互平台可以向学***台发送了一个“语音”数据帧，学习终端就会播放相应的语音。
S7.当学***台，交互平台也可以关闭连接。例如，如果检测到学***台就会关闭连接。
此外，在实际应用中，本发明提供的英语助学***，还可以包括：学生信息录入模块。
通过学生信息录入模块实现学生进行个人信息的录入，其中，个人信息包括：姓名、学号、性别、年龄和学***等。
然后还可以对学生的个人信息进行存储，该过程的实现主要包括：前端页面设计和交互逻辑。
前端页面设计：根据用户需求和产品设计，使用HTML、CSS等技术设计学生信息录入页面的界面、布局、样式等方面的内容。
交互逻辑实现：使用JavaScript等技术，实现学生信息录入页面的交互逻辑，包括数据校验、表单提交、错误提示等功能。
此外，本发明还采用了基于统计学***特征，还可以对提取出的词汇量、语法结构、语言表达能力三个特征进行评测。
具体的实现过程具体包括:1.存储的学生数据:收集大量学生英语学习者的通过拟人形象的对话数据，即语音数据。
2.特征提取:从采集到的学生对话数据中提取表达特征，主要可以考虑词汇量、语法结构和表达能力三个方面。
词汇量:计算学生对话中使用的不同单词数量等指标；语法结构:分析使用的语法结构的复杂程度、正确性；表达能力:文字表达的流畅性、语义连贯性等。
3.标签标注:请专业英语教师根据对话内容对每个学生进行语言水平评级，比如分为高、中、低三个水平。
4.模型训练:使用已有的标注数据训练SVM模型，将学生的语言特征与标签对应起来。选择合适的核函数，调节模型超参数，得到最优的SVM评估模型。
5.模型评估:测试模型的分类性能，确保能够准确区分不同语言水平的学生。
6.结果预测:对新来的没有标注的学生对话数据，采用训练好的SVM模型预测它的语言水平。根据模型输出的预测结果，给出学生英语水平评估。
7.持续优化:收集更多标注数据并反馈评估结果，针对模型错误的案例继续优化模型，提升评估准确度。
根据评估结果，设定学生所需要学***，根据结果调整学习计划和学习策略。
在实际应用中，本发明提供的基于虚拟数字人的英语助学***还可以包括：多媒体教学和学习资源模块。
英语助学******根据学生的学***，调用相应的以下资源。
视频课件:通过视频教学能够有效地展示教学内容，让学生可以视觉听觉联合学习。
在线习语课程:通过网络学习英语发音、语法等内容，提供语音学习材料和练习任务。
英语新闻、歌曲和视频:利用许多英文新闻、视频和歌曲来提高学生语感、语言输入量和兴趣。
在一种实施例中，本发明提供的基于虚拟数字人的英语助学***还可以包括：英语学习数据分析模块。
通过学生的日志，对学习时间、习题成绩、练习和测试成绩等数据分析，进行大数据的展示，供学生和教师参考。
将采集到的学生的英语学习数据存储到数据库中，可以选择关系型数据库如MySQL或非关系型数据库如MongoDB。在数据库中建立学生、课程、成绩等数据表。
使用Python等编程语言对数据进行清洗、统计、分析等处理，例如计算学生的平均学习时间、习题成绩、练习和测试成绩等。使用Python 的通用函数库Pandas、NumPy、SciPy等库进行数据处理。
将处理后的数据通过数据可视化工具Tableau、Power BI、matplotlib进行展示。通过制作饼图、柱状图、折线图等，以直观地展示学生的学习情况。同时，通过交互式可视化实现动态查询、过滤、排序等功能，提高数据的可读性。
此外，还可以提供实现教学分析功能的教学分析模块，教师查看学生的学习效果，总结统计数据，提供学生知识点的雷达图，针对性的对每个学生的英语成绩，进行数据上的指导。
以下是教师的教学分析模块的4个详细功能点：1.学生英语学习效果分析：教师可以通过教学分析模块，对学生的英语学习效果进行分析。教师可以查看学生的英语考试成绩、听力成绩、阅读成绩、口语成绩等，从而了解学生在英语学习方面的优势和不足。同时，教师也可以将学生的英语学习数据进行可视化展示，如制作饼图、柱状图、折线图等，以直观地展示学生的英语学习情况。
2.总结统计数据：教师可以使用教学分析模块对整个班级的英语学***均成绩、班级英语最高成绩、班级英语最低成绩等。通过总结统计数据，教师可以了解班级的整体学习情况，为教学提供参考。
3.学生知识点的雷达图：教学分析模块可以提供学生知识点的雷达图，以帮助教师更全面地了解学生的英语学习情况。雷达图可以展示学生在各个英语知识点上的掌握情况，如语法、单词、阅读理解、听力等。通过了解学生在各个知识点上的掌握情况，教师可以有针对性地制定教学计划，帮助学生提高英语学习效果。
4.针对性的英语指导：教学分析模块可以针对每个学生的英语成绩和知识点掌握情况，提供针对性的英语指导。教师可以根据学生的英语学习情况，制定个性化的英语学习计划，指导学生在学习中遇到的问题，提供英语学习建议和指导。通过针对性的英语指导，教师可以帮助学生更好地掌握英语知识，提高英语学习效果。
本发明提供的基于虚拟数字人的英语助学***及方法的有益之处，具体如下。
1.提高教学效果：可以根据学生的英语水平和学习需求，为学生提供个性化的英语学习服务和支持，包括智能问答、语音识别、自然语言理解、情感计算等多种功能，有效提高了教学效果和学生的学习成果。
2.激发学生兴趣：可以为学生提供丰富多彩、趣味性和互动性的英语学习体验，如虚拟数字人物形象，即拟人形象、游戏化学习、语音交互、情感表达等，激发了学生的学习兴趣和动力。
3.实现个性化教学：可以根据学生的学习数据和学习情况，进行数据挖掘和分析，为学生提供个性化的学习策略和学习内容，实现了个性化教学和学习评估。
4.提供丰富的教学资源：可以为学生提供多样化、丰富的英语教学资源，包括多媒体教材、网络课程、虚拟实验室等，帮助学生更好地掌握英语知识和技能，提高英语学习效果。
5.提高教师教学水平：可以为教师提供智能化、便捷化的教学工具和教学支持，如智能评估、教学数据分析、学生管理等，帮助教师提高英语教学水平和教学质量。
通过结合自然语言处理、情感计算、机器学习、深度学习等技术的人工智能技术，可以实现虚拟数字人与学生之间的自然语音交互和智能化学习支持，为英语教学提供了一种全新的、高效的教学手段。同时，乡村义务教育英语英语助学***的建设和应用也需要涉及到网络技术、多媒体技术、教育技术等多个领域的知识和技术。因此，英语助学***是人工智能技术领域和教育技术领域的交叉应用。
综上所述，基于虚拟数字人的英语助学***可以解决传统乡村义务教育英语智能教学模式中存在的教学效果差、学生兴趣不高、教学资源有限、教学方式单一、教师教学水平低等问题，为乡村义务教育英语智能教育的发展提供了一种全新的、高效的教学模式和教学手段。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的***相对应，所以描述的比较简单，相关之处参见***部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于虚拟数字人的英语助学***，其特征在于，所述***包括：相互连接的学***台和测评模块；
所述学习终端处设置教学白板，且所述教学白板与所述学习终端连接；所述学习终端用于收集教学请求数据和教学白板处目标人物的语音数据；
所述交互平台，用于：
根据真人形象进行拟人形象处理，并根据所述教学请求数据向所述教学白板传送拟人形象；
控制所述拟人形象在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；
根据预先存储的动作数据和所述学习终端发送的动作帧进行编解码，生成动作指令，并控制所述拟人形象在所述教学白板上根据所述动作指令进行运动；
所述测评模块，用于：
对所述语音数据进行特征提取，得到特征数据；
将所述特征数据输入至语音评测模型，输出评测数据；所述评测数据包括：语音流畅度、语法正确性和发音正确性；所述语音评测模型是基于深度神经网络构建的语音质量测评模型；
所述交互平台还用于根据所述评测数据，对目标人物的语音数据进行语音纠正。
2.根据权利要求1所述的基于虚拟数字人的英语助学***，其特征在于，所述交互平台包括：
形象处理模块，用于根据真人形象进行拟人形象处理，得到拟人形象；
传送模块，分别与所述形象处理模块和所述学习终端连接，用于根据所述教学请求数据将所述拟人形象经所述学习终端传送至所述教学白板；
控制模块，分别与所述形象处理模块和所述学习终端连接，用于发出控制指令，并控制所述拟人形象根据所述控制指令在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；
运动模块，分别与所述控制模块和所述形象处理模块连接，用于根据动作指令控制所述拟人形象在所述教学白板上进行运动；所述动作指令是所述控制模块根据预先存储的动作数据和所述学习终端发送的动作帧进行编解码生成的第一控制指令。
3.根据权利要求2所述的基于虚拟数字人的英语助学***，其特征在于，所述交互平台还包括：存储模块；
所述存储模块与所述控制模块连接；所述存储模块用于存储动作数据。
4.根据权利要求3所述的基于虚拟数字人的英语助学***，其特征在于，所述控制模块包括：
语音控制子模块，分别与所述形象处理模块和所述学习终端连接，用于发出控制指令，控制所述拟人形象根据所述控制指令在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；
解码子模块，分别与所述存储模块和所述学习终端连接，用于分别对动作帧和预先存储的动作数据进行解析提取，得到各自的解析数据；所述解析数据包括：动作类型和动作参数；
查找子模块，与所述解码子模块连接，用于根据动作帧的解析数据在预先存储的动作数据对应的解析数据中进行数据查找，直至动作帧的解析数据和预先存储的动作数据对应的解析数据相同，得到查找数据；
指令生成子模块，与所述查找子模块连接，用于根据所述查找数据生成动作指令；
渲染子模块，分别与所述指令生成子模块和所述形象处理模块连接，用于根据所述动作指令对所述拟人形象进行动作渲染，得到运动信息；所述运动信息为根据所述动作指令进行运动的拟人形象；
反馈子模块，分别与所述渲染子模块和所述学习终端连接，用于将运动信息反馈至所述学习终端；所述学习终端将所述运动信息传送至所述教学白板，以使所述拟人形象在所述教学白板上进行运动。
5.根据权利要求1所述的基于虚拟数字人的英语助学***，其特征在于，所述测评模块包括：
特征提取子模块，与所述学习终端连接，用于对所述语音数据进行特征提取，得到特征数据；
评测子模块，与所述特征提取子模块连接，用于将所述特征数据输入至语音评测模型，输出评测数据；
输送子模块，分别与所述评测子模块和所述交互平台连接，用于将所述评测数据传输至所述交互平台。
6.根据权利要求5所述的基于虚拟数字人的英语助学***，其特征在于，所述特征提取子模块包括：预处理单元和提取单元；
所述预处理单元与所述学习终端连接；所述提取单元与所述预处理单元连接；
所述预处理单元用于对所述语音数据进行去噪处理，得到处理语音数据；
所述提取单元用于对所述处理语音数据进行特征提取，得到特征数据。
7.一种基于虚拟数字人的英语助学方法，其特征在于，所述方法采用权利要求1-6中任意一项所述的基于虚拟数字人的英语助学***实现，所述方法包括：
获取教学请求数据和目标人物的语音数据；
根据真人形象进行拟人形象处理，得到拟人形象；
根据所述教学请求数据向教学白板传送拟人形象；
控制所述拟人形象在所述教学白板上与目标人物根据所述语音数据进行语言交流；
根据预先存储的动作数据和学习终端发送的动作帧进行编解码，生成动作指令，并控制所述拟人形象在所述教学白板上根据所述动作指令进行运动；
控制测评模块对所述语音数据进行特征提取，得到特征数据，并将所述特征数据输入至语音评测模型，输出评测数据；所述评测数据包括：语音流畅度、语法正确性和发音正确性；所述语音评测模型是基于深度神经网络构建的语音质量测评模型；
根据所述评测数据，对目标人物的语音数据进行语音纠正。
8.根据权利要求7所述的基于虚拟数字人的英语助学方法，其特征在于，所述语音评测模型的确定方法，具体包括：
获取训练数据；所述训练数据包括：训练的语音数据和标签数据；所述标签数据为所述训练的语音数据对应的评测数据；
对训练的语音数据进行特征提取，得到训练特征数据；
将所述训练特征数据按照设定的比例划分为训练集和验证集；
构建深度神经网络；
将所述训练集输入到所述深度神经网络，以所述训练集对应的标签数据与所述深度神经网络的输出之间的误差最小为目标，对所述深度神经网络的参数进行训练，得到训练后的深度神经网络；
采用所述验证集和对应的标签数据对训练后的深度神经网络的参数进行调整，得到调整后的深度神经网络；
将调整后的深度神经网络确定为所述语音评测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311442972.1A CN117174117A (zh) | 2023-11-02 | 2023-11-02 | 一种基于虚拟数字人的英语助学***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311442972.1A CN117174117A (zh) | 2023-11-02 | 2023-11-02 | 一种基于虚拟数字人的英语助学***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117174117A true CN117174117A (zh) | 2023-12-05 |
Family
ID=88932102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311442972.1A Pending CN117174117A (zh) | 2023-11-02 | 2023-11-02 | 一种基于虚拟数字人的英语助学***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117174117A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105632251A (zh) * | 2016-01-20 | 2016-06-01 | 华中师范大学 | 具有语音功能的3d虚拟教师***及其方法 |
| CN107633719A (zh) * | 2017-09-15 | 2018-01-26 | 张占龙 | 基于多语种人机交互的拟人形象人工智能教学***和方法 |
| CN112599115A (zh) * | 2020-11-19 | 2021-04-02 | 上海电机学院 | 一种口语评测***及其方法 |
| US11410570B1 (en) * | 2021-09-27 | 2022-08-09 | Central China Normal University | Comprehensive three-dimensional teaching field system and method for operating same |
| CN116797695A (zh) * | 2023-04-12 | 2023-09-22 | 碳丝路文化传播(成都)有限公司 | 一种数字人与虚拟白板的交互方法、***及存储介质 |
-
2023
- 2023-11-02 CN CN202311442972.1A patent/CN117174117A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105632251A (zh) * | 2016-01-20 | 2016-06-01 | 华中师范大学 | 具有语音功能的3d虚拟教师***及其方法 |
| CN107633719A (zh) * | 2017-09-15 | 2018-01-26 | 张占龙 | 基于多语种人机交互的拟人形象人工智能教学***和方法 |
| CN112599115A (zh) * | 2020-11-19 | 2021-04-02 | 上海电机学院 | 一种口语评测***及其方法 |
| US11410570B1 (en) * | 2021-09-27 | 2022-08-09 | Central China Normal University | Comprehensive three-dimensional teaching field system and method for operating same |
| CN116797695A (zh) * | 2023-04-12 | 2023-09-22 | 碳丝路文化传播(成都)有限公司 | 一种数字人与虚拟白板的交互方法、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bibauw et al. | Discussing with a computer to practice a foreign language: Research synthesis and conceptual framework of dialogue-based CALL | |
| Deriu et al. | Survey on evaluation methods for dialogue systems | |
| Kim et al. | Design principles and architecture of a second language learning chatbot | |
| KR102302137B1 (ko) | 외국어 학습장치 및 이를 이용하는 외국어 학습서비스 제공방법 | |
| Ward et al. | My science tutor: A conversational multimedia virtual tutor for elementary school science | |
| US7542908B2 (en) | System for learning a language | |
| KR102035088B1 (ko) | 스토리텔링 기반 멀티미디어 무인 원격 1:1 맞춤형 교육시스템 | |
| CN110600033A (zh) | 学习情况的评估方法、装置、存储介质及电子设备 | |
| KR20160008949A (ko) | 음성 대화 기반의 외국어 학습 방법 및 이를 위한 장치 | |
| CN115146975A (zh) | 基于深度学习的面向师-机-生教学成效评估方法和*** | |
| KR20100078374A (ko) | 소셜 러닝 및 시맨틱 기술을 응용한 발음 교정 서비스 장치 | |
| CN113284502A (zh) | 一种智能客服语音交互方法及*** | |
| Wilske | Form and meaning in dialog-based computer-assisted language learning | |
| US20210225364A1 (en) | Method and system for speech effectiveness evaluation and enhancement | |
| US20210264812A1 (en) | Language learning system and method | |
| JP6656529B2 (ja) | 外国語の会話訓練システム | |
| Skidmore | Incremental disfluency detection for spoken learner english | |
| CN117174117A (zh) | 一种基于虚拟数字人的英语助学***及方法 | |
| Xia | Addressing the Tasks and Opportunities of Agency Using AI-based Chatbots | |
| CN112506405A (zh) | 一种基于互联网监管领域的人工智能语音大屏指挥方法 | |
| Liu et al. | Deep learning scoring model in the evaluation of oral English teaching | |
| Issa et al. | KalaamBot and KalimaBot: Applications of chatbots in learning Arabic as a foreign language | |
| KR102550406B1 (ko) | 온라인 쌍방향 실시간 영어 스피킹 강의 플랫폼 서비스 제공 시스템 | |
| Goh et al. | Reflective and effective teaching of listening | |
| CN118170945A (zh) | 一种社区视频课程的课后习题生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |