CN109272983A - 用于亲子教育的双语切换装置 - Google Patents

用于亲子教育的双语切换装置 Download PDF

Info

Publication number
CN109272983A
CN109272983A CN201811191473.9A CN201811191473A CN109272983A CN 109272983 A CN109272983 A CN 109272983A CN 201811191473 A CN201811191473 A CN 201811191473A CN 109272983 A CN109272983 A CN 109272983A
Authority
CN
China
Prior art keywords
cloud
module
voice
target language
bilingual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811191473.9A
Other languages
English (en)
Inventor
谭辽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Liaojiang Technology Co Ltd
Original Assignee
Wuhan Liaojiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Liaojiang Technology Co Ltd filed Critical Wuhan Liaojiang Technology Co Ltd
Priority to CN201811191473.9A priority Critical patent/CN109272983A/zh
Publication of CN109272983A publication Critical patent/CN109272983A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及用于亲子教育的双语切换装置，包括相互通讯的终端设备和云端服务器，所述终端设备上设置有语音输入模块，双语切换执行模块，包含通讯单元的云端处理模块，语音输出模块；所述云端服务器包括顺次电连接的云端语音识别模块、云端语义理解翻译模块、云端目标语种语音合成模块，还包括存储模块。本发明的装置使得不会目标语种语言的父母可以顺畅地对孩子进行双语教育，比如英语，法语等；会识别教育引导者的语言并翻译成目标语种语言，然后复述给孩子听，添加了图片(像)可以更直观，加入了测评装置测试孩子学习的效果。

Description

用于亲子教育的双语切换装置
技术领域
本发明涉及人工智能语音识别、语义理解及语音合成解技术应用领域，尤其是用于亲子教育的双语切换装置。
背景技术
在亲子教育中，父母为了让孩子更好的学习两种以上的语言，父母作为亲子教育引导者(用户)，人工智能装置作为老师，孩子作为亲子教育对象，三者之间进行互动，以期达到教育训练孩子学会多种语言的目的，需要把多种语言集合到人工智能装置里，根据教育训练孩子语言的需要使多种语言能够相互切换。目前，专利201711194068.8，公开了一种智能语音交互装置，涉及语音交互技术领域，包括声音采集模块、PFGA预处理模块、智能交互中心；PFGA预处理模块包括端点检测单元；端点检测单元分别与声音预处理单元、特征提取单元电性电连接；智能交互中心包括控制单元；控制单元分别与存储单元、语音识别模块、语义理解模块、交互处理模块、语音合成模块、反馈模块、扬声器电性电连接；所述存储单元分别与语音识别模块、语义理解模块、交互处理模块电性电连接；语音合成模块分别与语义理解模块、交互处理模块电性电连接；所述存储单元内设有语言模型库、声音模型库、语义词典数据库、应答信息库；声学模型库包括HMM模型数据库和ANN模型数据库；语言模型库包括N-Gram模型数据库和Rule-based模型数据库，利用反馈模块对识别信息的反馈，并通过控制单元向客户展示识别信息，同时控制改变声音匹配模型和语言模型库，提高交互装置的交互识别正确率。但没有提供亲子教育的双语切换技术。
发明内容
针对现有技术的不足，应用人工智能语音交互技术，提供亲子教育的双语切换人工智能装置，使父母、人工智能装置和孩子进行互动，实现语言学习亲子教育，本发明的用于亲子教育的双语切换装置，其特征在于包括：相互通讯的终端设备和云端服务器，
所述终端设备上设置有：
语音输入模块，用于获得外部输入的原始语种语音信号；
双语切换执行模块，用于选择或设置需切换的云端目标语种语音合成结果的请求；
包含通讯单元的云端处理模块，所述云端处理模块通过通讯单元与云端服务器进行数据交换，用于将所述原始语种语音信号发送至云端服务器并由所述云端服务器执行云端语音识别、云端语义理解翻译和云端目标语种语音合成，接收所述云端服务器发来的云端语音识别、云端语义理解翻译和云端目标语种语音合成结果；
语音输出模块，用于输出云端目标语种语音合成的结果的语音信号；
所述语音输入模块电连接双语切换执行模块，所述双语切换执行模块电连接云端处理模块，所述云端处理模块电连接语音输出模块；
所述云端服务器包括顺次电连接的云端语音识别模块、云端语义理解翻译模块、云端目标语种语音合成模块，还包括存储模块，所述存储模块均分别与云端语音识别模块、云端语义理解翻译模块、云端目标语种语音合成模块电连接。
进一步地，所述双语切换执行模块包括目标语种控制单元，用于确定所需要的双语切换的目标语种，发送所述语音信号至云端语音识别模块，然后进行云端语言文本转化和云端目标语种语音合成。
具体地，所述语音输出模块包括扬声器，用于以语音形式提供云端目标语种语音合成结果。
可选地，所述终端设备和所述云端服务器通过无线网络接口连接相互通讯。
进一步地，所述终端设备还包括图像展示模块，相应的所述云端服务器还包括与所述云端语义理解翻译结果相对应的图像库，由图像展示模块以图像形式提供云端图像库匹配结果，并展示于终端设备的图像展示单元上；所述图像展示模块与所述云端处理模块电连接，通过所述通讯单元与云端服务器进行数据交换。
进一步地，所述终端设备还包括跟读测评模块，用于亲子教育对象跟读云端目标语种语音合成结果的语音内容的跟读测评，由语音输入模块获得跟读语音信号，云端处理模块用于将所述跟读语音信号发送至云端服务器并由所述云端服务器执行云端语音识别，根据云端语音识别结果予以跟读语音测评，所述跟读测评模块分别与语音输入模块和云端处理模块电连接。
具体地，所述跟读测评模块包括文本语义提取法跟读测评单元，使用文本语义提取法进行跟读测评。
本发明的用于亲子教育的双语切换装置，把多种语言集合到人工智能装置里，通过人工智能语音交互应用技术，让教育引导者与亲子教育对象(孩子)利用该装置(老师)进行互动双语切换，输入的原始语种语言会用目标语种语言重复输出，形成双语教育环境，来实现教育训练孩子学会多种语言的目的，同时搭配图片(像)等多媒体展示，语音跟读测评等功能让双语交流更加有趣流畅，加强双语教育和用户体验的效果。
总之，本发明的装置将人声听写、翻译、人声合成技术创造性地合理结合以达到双语教育的目的，并给予配图和跟读测评。
具体地，首先，该装置需要进行人声听写功能，即录音人声然后转化成为文字；接着，装置会根据文字的内容和意义，展示对应的图片(像)，如物品的照片，动作的形容图，事件的动画，音乐的声音等；同时，装置还会将文字进行翻译，转化成目标语种语言的文字；然后，装置会将目标语种语言的文字用本装置人声合成发音读出来；最后，装置可以利用人声听写技术跟读翻译的内容并给予跟读语音测评打分。
本发明的装置使得不会目标语种语言的父母可以顺畅地对孩子进行双语教育，比如英语，法语等；会识别教育引导者的语言并翻译成目标语种语言，然后复述给孩子听，添加了图片(像)可以更直观，加入了测评装置测试孩子学习的效果。
附图说明
图1为本发明的实施例一的装置的框架结构示意图；
图2为本发明的实施例二的装置的框架结构示意图；
图3为本发明的实施例三的装置的框架结构示意图。
其中，1-终端设备，101-PC机，102-手机，11-语音输入模块，12-双语切换执行模块，121-目标语种控制单元，13-云端处理模块，131-通讯单元，14-语音输出模块,15-跟读测评模块，16-图像展示模块，2-云端服务器，21-云端语音识别模块，22-云端语义理解翻译模块，23-云端目标语种语音合成模块，24-存储模块(内设有语言模型库、声音模型库、语义词典数据库、应答信息库)，25-图像库。
具体实施方式
以下结合实施例对本发明作进一步描述。
实施例一：
如图1所示，用于亲子教育的双语切换装置，包括：相互通讯的终端设备和云端服务器，所述终端设备为PC机，安装苹果windos操作***；
所述终端设备上设置有：
语音输入模块，包括安装在所述终端设备上的麦克风，用于获得外部输入的原始语种语音信号，本实施例中为中文语音信号；
双语切换执行模块，用于选择或设置需切换的云端目标语种语音合成结果的请求；包括目标语种控制单元，用于确定所需要的双语切换的目标语种，发送所述语音信号至云端语音识别模块，本实施例中选择或设置需切换的云端目标语种语音合成结果为英文语音信号；
包含通讯单元的云端处理模块，所述云端处理模块通过通讯单元与云端服务器进行数据交换，用于将所述语音信号发送至云端服务器并由所述云端服务器执行云端语音识别、云端语义理解翻译和云端目标语种语音合成，接收所述云端服务器发来的云端语音识别、云端语义理解翻译和云端目标语种语音合成结果；本实施例中，具体地：语音识模块别将中文的语音转化成中文文本，语义理解翻译模块将中文文本翻译成英文文本，语音合成模块将英文文本合成英文语言的语音；
语音输出模块，包括安装在所述终端设备上的扬声器，用于输出云端目标语种语音合成的结果的英文语音信号，本实施例中设置有两个扬声器；
所述语音输入模块电连接双语切换执行模块，所述双语切换执行模块电连接云端处理模块，所述云端处理模块电连接语音输出模块；
所述云端服务器包括顺次电连接的云端语音识别模块、云端语义理解翻译模块、云端目标语种语音合成模块，还包括存储模块，所述存储模块均分别与云端语音识别模块、云端语义理解翻译模块、云端目标语种语音合成模块电连接，所述存储模块内设有语言(含原始语种语言和目标语种语言)模型库、声音(含原始语种声音和目标语种声音)模型库、语义词典(含原始语种语言和目标语种语言)数据库、应答信息库。其中所述云端语音识别(含原始语种语音识别和目标语种语音识别)模块、云端语义理解翻译模块和云端目标语种语音合成模块均采用百度大脑或科大讯飞语音处理、语义理解和语音合成算法。
所述终端设备和所述云端服务器通过有线网络接口连接相互通讯。
实施例二：
如图2所示，用于亲子教育的双语切换装置，与实施例一不同之处在于：所述终端设备为手机，安装Android操作***；所述终端设备和所述云端服务器通过无线网络接口连接相互通讯；所述终端设备还包括跟读测评模块，用于亲子教育对象跟读云端目标语种语音合成结果的语音内容的跟读测评，由语音输入模块获得跟读语音信号，云端处理模块其中的通讯单元用于将所述跟读语音信号发送至云端服务器并由所述云端服务器执行云端语音识别即云端语言文本转化并接收文本转化结果，跟读测评模块根据云端语言文本转化结果予以跟读语音测评，所述跟读测评模块采用文本语义提取算法进行跟读测评，例如5个字的文本信息中有4个字为目标字(满足要求的字)，占80％，满足阈值(阈值设定为不小于80％)要求，测评合格。跟读测评模块分别与语音输入模块、云端处理模块和语音输出模块电连接。跟读测评模块使手机屏幕上显示出“本次测试合格”的文字结果，或者扬声器送出“本次测试合格”的结果(声音)。
其余内容同实施例一。
实施例三：
如图3所示，用于亲子教育的双语切换装置，与实施例二不同之处在于：所述终端设备还包括图像展示模块，相应的所述云端服务器还包括与所述云端语义理解翻译结果相对应的图像库，由图像展示模块以图像形式提供云端图像库匹配结果，并展示于终端设备的图像展示单元上，本实施例中为手机显示屏；具体地，根据云端处理模块接收到的云端语音识别、云端语义理解翻译结果(即返回的文本)，提取关键字，然后以列表的形式展现这些关键字相关的信息，例如关键字为apple(苹果)，则展现apple的例图，简介等内容；
所述图像展示模块与所述云端处理模块电连接，通过所述云端处理模块的通讯单元与云端服务器进行数据交换。
所述图像库中包含物品的照片，动作的形容图，事件的动画等内容。
本实施例的装置会根据理解的语义的内容和意义，展示对应的图片(像)，如物品的照片，动作的形容图，事件的动画，音乐的声音等，通过对孩子眼、耳、脑的全方位刺激，强化学习效果。

Claims (7)

1.用于亲子教育的双语切换装置，其特征在于包括：相互通讯的终端设备和云端服务器，
所述终端设备上设置有：
语音输入模块，用于获得外部输入的原始语种语音信号；
双语切换执行模块，用于选择或设置需切换的云端目标语种语音合成结果的请求；
包含通讯单元的云端处理模块，所述云端处理模块通过通讯单元与云端服务器进行数据交换，用于将所述原始语种语音信号发送至云端服务器并由所述云端服务器执行云端语音识别、云端语义理解翻译和云端目标语种语音合成，接收所述云端服务器发来的云端语音识别、云端语义理解翻译和云端目标语种语音合成结果；
语音输出模块，用于输出云端目标语种语音合成的结果的语音信号；
所述语音输入模块电连接双语切换执行模块，所述双语切换执行模块电连接云端处理模块，所述云端处理模块电连接语音输出模块；
所述云端服务器包括顺次电连接的云端语音识别模块、云端语义理解翻译模块、云端目标语种语音合成模块，还包括存储模块，所述存储模块均分别与云端语音识别模块、云端语义理解翻译模块、云端目标语种语音合成模块电连接。
2.根据权利要求1所述的双语切换装置，其特征在于所述双语切换执行模块包括目标语种控制单元，用于确定所需要的双语切换的目标语种，发送所述语音信号至云端语音识别模块。
3.根据权利要求1所述的双语切换装置，其特征在于所述语音输出模块包括扬声器，用于以语音形式提供云端目标语种语音合成结果。
4.根据权利要求1所述的双语切换装置，其特征在于，所述终端设备和所述云端服务器通过无线网络接口连接相互通讯。
5.根据权利要求1所述的双语切换装置，其特征在于，所述终端设备还包括图像展示模块，相应的所述云端服务器还包括与所述云端语义理解翻译结果相对应的图像库，由图像展示模块以图像形式提供云端图像库匹配结果，并展示于终端设备的图像展示单元上；所述图像展示模块与所述云端处理模块电连接，通过所述通讯单元与云端服务器的图像库进行数据交换。
6.根据权利要求1所述的双语切换装置，其特征在于，所述终端设备还包括跟读测评模块，用于亲子教育对象跟读云端目标语种语音合成结果的语音内容的跟读测评，由语音输入模块获得跟读语音信号，云端处理模块用于将所述跟读语音信号发送至云端服务器并由所述云端服务器执行云端语音识别，根据云端语音识别结果予以跟读语音测评，所述跟读测评模块分别与语音输入模块和云端处理模块电连接。
7.根据权利要求6所述的双语切换装置，其特征在于，所述跟读测评模块包括文本语义提取法跟读测评单元，使用文本语义提取法进行跟读测评。
CN201811191473.9A 2018-10-12 2018-10-12 用于亲子教育的双语切换装置 Pending CN109272983A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811191473.9A CN109272983A (zh) 2018-10-12 2018-10-12 用于亲子教育的双语切换装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811191473.9A CN109272983A (zh) 2018-10-12 2018-10-12 用于亲子教育的双语切换装置

Publications (1)

Publication Number Publication Date
CN109272983A true CN109272983A (zh) 2019-01-25

Family

ID=65197190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811191473.9A Pending CN109272983A (zh) 2018-10-12 2018-10-12 用于亲子教育的双语切换装置

Country Status (1)

Country Link
CN (1) CN109272983A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110767005A (zh) * 2019-09-26 2020-02-07 北京光年无限科技有限公司 基于儿童专用智能设备的数据处理方法及***
CN112002325A (zh) * 2020-10-27 2020-11-27 苏州思必驰信息科技有限公司 多语种语音交互方法和装置
WO2021114617A1 (zh) * 2020-05-28 2021-06-17 平安科技（深圳）有限公司 语音合成方法、装置、计算机设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101105894A (zh) * 2006-07-12 2008-01-16 陈修志 多功能语言学习机
CN101183381A (zh) * 2007-11-30 2008-05-21 北京唐风汉语教育科技有限公司 一种基于多媒体的多平台间多终端多语种互译方法的装置
CN106935240A (zh) * 2017-03-24 2017-07-07 百度在线网络技术（北京）有限公司 基于人工智能的语音翻译方法、装置、终端设备和云端服务器
CN107632982A (zh) * 2017-09-12 2018-01-26 郑州科技学院 语音控制外语翻译设备用的方法和装置
CN207764798U (zh) * 2017-12-28 2018-08-24 科大讯飞股份有限公司 电子装置
CN209625781U (zh) * 2018-10-12 2019-11-12 武汉辽疆科技有限公司 用于亲子教育的双语切换装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101105894A (zh) * 2006-07-12 2008-01-16 陈修志 多功能语言学习机
CN101183381A (zh) * 2007-11-30 2008-05-21 北京唐风汉语教育科技有限公司 一种基于多媒体的多平台间多终端多语种互译方法的装置
CN106935240A (zh) * 2017-03-24 2017-07-07 百度在线网络技术（北京）有限公司 基于人工智能的语音翻译方法、装置、终端设备和云端服务器
CN107632982A (zh) * 2017-09-12 2018-01-26 郑州科技学院 语音控制外语翻译设备用的方法和装置
CN207764798U (zh) * 2017-12-28 2018-08-24 科大讯飞股份有限公司 电子装置
CN209625781U (zh) * 2018-10-12 2019-11-12 武汉辽疆科技有限公司 用于亲子教育的双语切换装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110767005A (zh) * 2019-09-26 2020-02-07 北京光年无限科技有限公司 基于儿童专用智能设备的数据处理方法及***
WO2021114617A1 (zh) * 2020-05-28 2021-06-17 平安科技（深圳）有限公司 语音合成方法、装置、计算机设备及计算机可读存储介质
CN112002325A (zh) * 2020-10-27 2020-11-27 苏州思必驰信息科技有限公司 多语种语音交互方法和装置
CN112002325B (zh) * 2020-10-27 2021-02-09 苏州思必驰信息科技有限公司 多语种语音交互方法和装置

Similar Documents

Publication Publication Date Title
CN110033659B (zh) 一种远程教学互动方法、服务器、终端以及***
US20210233521A1 (en) Method for speech recognition based on language adaptivity and related apparatus
KR102401942B1 (ko) 번역품질 평가 방법 및 장치
CN110490213B (zh) 图像识别方法、装置及存储介质
CA2929018C (en) Natural expression processing method, processing and response method, device and system
CN110288077A (zh) 一种基于人工智能的合成说话表情的方法和相关装置
US20230032385A1 (en) Speech recognition method and apparatus, device, and storage medium
CN107992195A (zh) 一种教学内容的处理方法、装置、服务器及存储介质
CN110600033B (zh) 学习情况的评估方法、装置、存储介质及电子设备
CN111651497B (zh) 用户标签挖掘方法、装置、存储介质及电子设备
CN109272983A (zh) 用于亲子教育的双语切换装置
CN109101663A (zh) 一种基于互联网的机器人对话***
CN111414506B (zh) 基于人工智能情绪处理方法、装置、电子设备及存储介质
CN108073572A (zh) 信息处理方法及其装置、同声翻译***
CN110444087A (zh) 一种智能语言教学机器人
KR20130086971A (ko) 음성인식 질의응답 시스템 및 그것의 운용방법
CN112232066A (zh) 一种教学纲要生成方法、装置、存储介质及电子设备
CN209625781U (zh) 用于亲子教育的双语切换装置
Cui et al. Evaluation system of mobile english learning platform by using deep learning algorithm
KR20060087821A (ko) 모국어 습득과정에 기초하는 언어 학습과정에서의언어능력 평가시스템 및 그 평가방법
Gayathri et al. Sign language recognition for deaf and dumb people using android environment
CN115222857A (zh) 生成虚拟形象的方法、装置、电子设备和计算机可读介质
CN105702130A (zh) 手语翻译器
CN113836932A (zh) 交互方法、装置和***，以及智能设备
CN112165627B (zh) 信息处理方法、装置、存储介质、终端及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination