CN112560512B - 用于外语学习的智能语音分析和辅助交流方法 - Google Patents

用于外语学习的智能语音分析和辅助交流方法 Download PDF

Info

Publication number
CN112560512B
CN112560512B CN202110203864.3A CN202110203864A CN112560512B CN 112560512 B CN112560512 B CN 112560512B CN 202110203864 A CN202110203864 A CN 202110203864A CN 112560512 B CN112560512 B CN 112560512B
Authority
CN
China
Prior art keywords
user
voice analysis
intelligent voice
language
analysis system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110203864.3A
Other languages
English (en)
Other versions
CN112560512A (zh
Inventor
张燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Kulang Electronics Co ltd
Lianyungang Technical College
Original Assignee
Nanjing Kulang Electronics Co ltd
Lianyungang Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Kulang Electronics Co ltd, Lianyungang Technical College filed Critical Nanjing Kulang Electronics Co ltd
Priority to CN202110203864.3A priority Critical patent/CN112560512B/zh
Publication of CN112560512A publication Critical patent/CN112560512A/zh
Application granted granted Critical
Publication of CN112560512B publication Critical patent/CN112560512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)

Abstract

用于外语学习的智能语音分析和辅助交流方法,当用户在交互式场景中与其他人进行交流时,通过智能语音分析***的辅助,围绕用户构建一个以第一语言为主的语言和文字环境、改善交流过程的流畅性;并且智能语音分析***记录用户在交流过程中出现的各种错误,在后期有针对性的对用户进行重点强化训练、以进行改正;从而帮助用户更快的进行外语学习,并可以从中获得学习的乐趣。

Description

用于外语学习的智能语音分析和辅助交流方法
技术领域
本发明涉及一种用于外语学习的智能语音分析和辅助交流方法,当用户在交互式场景中与其他人进行交流时,通过智能语音分析***的辅助,改善交流过程的流畅性;并且智能语音分析***记录用户在交流过程中出现的各种错误,在后期有针对性的对用户进行重点强化训练、以进行改正;属于语音识别的技术领域。
背景技术
当人们在学习一种全新的语言时,会遇到各种各样的困难;尤其是在学习差异较大的新语言时,更是困难重重;例如外国人学习汉语的情况。当然,不同的人学习外语的目的和目标都有所差异,而且在学习外语的不同阶段,其面临的难点和重点也是不同的。以往经验表明,通过不断融入外语语境的交互式场景,是一种促进语言学习的很好的途径;另外,增加学习的乐趣也是促进外语学习的一个重要因素。
随着人工智能技术的不断发展,自动语音翻译设备逐渐兴起;但是,现有的自动语音翻译设备其主要目的是帮助人们在陌生的语言环境中临时进行交流沟通;其主要目的并不是帮助人们学习如何应用外语口语。换言之,在外语学习过程中,学习者自己都不确定其用外语所叙述的内容是否正确,同样自动语音翻译设备也无法做出正确的翻译。
因此,如何利用自动语音识别的技术手段,促进外语学习的过程即成为一个有待解决的问题。
发明内容
本发明则是利用自动语音识别的技术手段,实时分析用户在不同的场景和不同学习阶段所遇到的问题,并由针对性的给予辅助性支持;当用户在交互式场景中与其他人进行交流时,通过智能语音分析***的辅助,改善交流过程的流畅性;并且智能语音分析***记录用户在交流过程中出现的各种错误,在后期有针对性的对用户进行重点强化训练、以进行改正;从而帮助用户更快的进行外语学习,并可以从中获得学习的乐趣。
本发明的技术方案是:用于外语学习的智能语音分析和辅助交流方法,其特征在于:包括智能语音分析***;首先,用户在智能语音分析***中设定第一语言和第二语言的种类;第一语言为用户正在学习的语言;第二语言为用户已熟练掌握的语言;
用于外语学习的智能语音分析和辅助交流方法应用于交互式场景之中;所述的交互式场景是以第一语言为主要交流方式的场景;具体的方法如下:
S101,当用户与交流对象进行对话时,交流对象使用第一语言作为表达方式,用户使用第一语言或第一语言为主混合第二语言的表达方式;智能语音分析***对用户表达的内容进行语音分析,并将其处理成为符合第一语言规范的文字或语音,使得交流对象能够理解用户所要表达的意思;若用户所叙述的内容具有不确定性,则由智能语音分析***给出若干种备选的处理结果,由用户或交流对象人为进行判断和选择;
需要说明的是,采用上述操作是为了让用户在场景中尽可能多使用第一语言,以促进其学习过程;重点在于尽可能容忍用户所犯各种错误;并且,智能语音分析***可以根据各种场景特别设定一些由第一语言加第二语言混合的常用语句范本、提示用户使用,使得用户在初学阶段能够降低与人交流的难度;
S102,智能语音分析***,能够分析并提取交流对象说话的内容,将内容按第一语言对应的文字的形式展示给用户,并且对其中的关键信息进行标注,便于用户对第一语言进行学习;若用户不理解所述的关键信息的含义,则通过智能语音分析***进行翻译、以第二语言进行解释说明,以便于用户的理解;
需要说明的是,“将内容按第一语言对应的文字的形式展示给用户”,虽然流程有些麻烦,但可以促进用户对第一语言的理解和学习;
S103,智能语音分析***能够对S101、S102中出现的用户使用第一语言的问题进行记录;
所述的问题至少包括用词不当、发音不准、语法错误、语序颠倒;
由于社交过程具有较高的交互性,当用户与交流对象的对话进行的顺畅时,智能语音分析***判定在该过程中双方均已理解对方所要表达的意思;若用户与交流对象的对话进行的不顺畅时,则需要更多的借助智能语音分析***进行中转,智能语音分析***对该过程中用户所出现的使用第一语言的问题进行记录。
进一步的,在所述的S103步骤之后,当用户离开交互式场景后,能够启动复习过程,通过智能语音分析***逐一回放交流过程中可能存在问题的对话,并通过与用户的交互逐一确认问题的细节、并进行纠正错误的强化练习。
进一步的,智能语音分析***通过耳机实时对用户播放辅助交流的语音,帮助用户完成交流过程、同时也不会对对话过程产生额外的干扰。
进一步的,智能语音分析***能够记录用户经常会犯的错误,当用户在交互式场景中进行交流的过程中,若出现所述的错误则能够有针对性的进行处理;即智能语音分析***能够根据用户经常性的错误记录进行自动纠错并更准确的翻译用户所要表达的内容,使得交流的过程更加顺畅。
进一步的,当用户学习到熟练的阶段后,通过智能语音分析***设定学习目标;在用户与交流对象进行对话时,智能语音分析***对于话内容进行实时翻译和分析;若对话的内容与学习目标重叠,则由智能语音分析***将对话的内容与相应的学习目标的知识点进行关联并提示,使用户加深印象、并逐渐掌握所述的知识点的使用条件和使用方法。
本发明的有益效果是:
1、现有的自动语音翻译设备主要是围绕用户构建一个以第二语言为主的语言和文字环境、便于交流;本发明则是围绕用户构建一个以第一语言为主的语言和文字环境、促进用户学习外语;
2、利用交互式场景的上下文环境,能够提高语音自动识别过程的准确性,降低出错的概率;并能够帮助用户进行更好的交流,形成良好的互动的氛围;
3、通过回放过程,强化学习的效果;并利用用户对交流过程的记忆、便于查找对话中的问题和错误,使用户能够更快的融入相关的交互式场景;
4、通过分阶段设定学习目标,不失时机的结合场景,即兴的加入需要学习的知识点,在交流对象的协助下,能够更轻松、有趣的达到学习的目的。
附图说明
图1:本发明的用于外语学习的智能语音分析和辅助交流方法的流程图。
具体实施方式
实施例1:
通常,所述的智能语音分析***安装在用户随身携带的智能终端之中;当用户处于某个交互式场景并与交流对象进行交流时,启动智能语音分析***。
当用户与交流对象进行对话时,交流对象使用第一语言作为表达方式,用户使用第一语言或第一语言为主混合第二语言的表达方式;
由于用户仍处于学习阶段、还不能够熟练运用第一语言;因此,智能语音分析***采集到的用户使用第一语言的语音可能存在各种各样的错误、例如发音、语法、用词、语序等错误,若直接进行翻译往往很难做到准确无误。因此,当用户所叙述的内容具有不确定性导致智能语音分析***无法确定用户所表达的意思时,由智能语音分析***将采集到的语音拆分成若干个片段,并对各个片段进行分析、设定若干个相同或相近似的词句,然后再进行排列组合、形成若干个意思通顺的备选的处理结果;再将备选的处理结果以第一语言的形式(文字或语音)进行展示,由用户或交流对象人为进行判断和选择;
上述过程,不仅是进行翻译,而是可根据用户在学习阶段的实际情况,对于对话的内容进行细分、标出其中的重点,从而促进用户的学习过程;与特定的场景结合之后,可以缩小智能语音分析***纠错的范围、降低纠错的难度;
当用户无法表达某些单词时(主要是一些使用频率较低或生僻的词),允许用户使用以第一语言为主混合第二语言的单词的语句,由智能语音分析***对上述语句进行相应的转换;通过这种灵活的设定,可以使得用户不必纠结在某些单词上、实现更流畅的交流。
并且,智能语音分析***能够分析并提取交流对象说话的内容,将内容按第一语言对应的文字的形式展示给用户;由于交流对象能够熟练使用第一语言,因此语音转换的准确度较高;智能语音分析***在展示文字的同时、对其中的关键信息进行标注,便于用户对第一语言进行学习;若用户仍然不理解所述的文字信息的含义,则通过智能语音分析***进行翻译、再以第二语言进行解释说明,以便于用户的理解;通过这个过程,使得用户可以加深语言和文字的对应关系的印象,同时使得交流过程更加顺畅;
由于社交过程具有较高的交互性,当用户与交流对象的对话进行的比较顺畅时(例如双方对答如流的情况),智能语音分析***判定在该过程中双方均已理解对方所要表达的意思;若用户与交流对象的对话进行的不顺畅时(例如双方不能互相理解表达的内容、就会在停顿在一个点上不断反复),则需要更多的借助智能语音分析***进行中转、促进双方的理解;
智能语音分析***能够对上述过程中出现的用户使用第一语言的问题进行记录;包括用词不当、发音不准、语法错误、语序颠倒等等。并且可以对实时场景的对话进行录音,便于后期重复播放。
当用户离开交互式场景后,能够启动复习过程,通过智能语音分析***逐一回放交流过程中可能存在问题的对话,并通过与用户的交互逐一确认问题的细节、并进行纠正错误的强化练习;
例如,当回放某一段对话时,采用第一语言与第二语言对照显示的方式,用户能够比较容易的发现对话内容是否与他的理解相同,若不同则对问题进行记录、对错误进行纠正;而且,通过这个重放的过程,智能语音分析***能够记录用户经常会犯的错误,当用户在交互式场景中进行交流的过程中,若出现所述的错误则能够有针对性的进行处理;即智能语音分析***能够自动纠错,因此能够更准确的翻译用户所要表达的内容,使得交流的过程更加顺畅。
进一步的,通过与定位***配合使用、获取准确的场景信息;通过与用户交互确认后设定到智能语音分析***,智能语音分析***能够根据具体的场景信息提供个性化的辅助翻译服务;并且能够推送与该场景相关的特定内容。例如,在某个旅游景点推送与该景点相关的导游信息;在某个饭店推送该饭店特色菜品的介绍等等,使得学习过程与场景紧密结合、更具趣味性。
进一步的,当用户学习到熟练的阶段后,通过智能语音分析***设定学习目标;在用户与交流对象进行对话时,智能语音分析***对于对话的内容进行实时翻译和分析;当对话的内容与学习目标重叠时,由智能语音分析***将对话的内容与相应的学习目标的知识点进行关联并提示,使用户加深印象、并逐渐掌握所述的知识点的使用条件和使用方法。
通过设定较高级的学习目标,智能语音分析***就像是一个参与社交过程的机器人,不仅聆听而且时不时的参与交流过程。以外国人学习中文为例,可以设定如下的学习目标,特定语法、成语、诗词、修辞手法等;该方法主要可以用于两个人或多个人聊天/闲谈的场景,当对话的内容与预先设定的学习目标重叠时,智能语音分析***通过语音或文字加入进来。例如说,“这句话还可以这样说:…………”、“这里可以使用XXXX成语”、“这个景色可以用XXX诗词来形容”等等。
由于交流对象并不了解用户的学习目标,所以也不会主动涉及相关知识点;但是在交流过程中,当相关的知识点被智能语音分析***适时的提出的时候,交流对象完全能够做出适当的反馈,从而自然而然的帮助用户完成学习的过程;另外,***自动提出的知识点,有可能合理或者不合理,而通过交流对象的反馈则可以排除不合理的内容。
当然,本发明创造并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出等同变形或替换,这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.用于外语学习的智能语音分析和辅助交流方法,其特征在于:包括智能语音分析***;首先,用户在智能语音分析***中设定第一语言和第二语言的种类;第一语言为用户正在学习的语言;第二语言为用户已熟练掌握的语言;
用于外语学习的智能语音分析和辅助交流方法应用于交互式场景之中;所述的交互式场景是以第一语言为主要交流方式的场景;具体的方法如下:
S101,当用户与交流对象进行对话时,交流对象使用第一语言作为表达方式,用户使用第一语言或第一语言为主混合第二语言的表达方式;智能语音分析***对用户表达的内容进行语音分析,并将其处理成为符合第一语言规范的文字或语音、并进行展示,使得交流对象能够理解用户所要表达的意思;若用户所叙述的内容具有不确定性,则由智能语音分析***给出若干种备选的处理结果、并进行展示,由用户或交流对象对于智能语音分析***所展示的信息进行人为的判断和选择;
S102,智能语音分析***,能够分析并提取交流对象说话的内容,将内容按第一语言对应的文字的形式展示给用户,并且对其中的关键信息进行标注,便于用户对第一语言进行学习;若用户不理解所述的关键信息的含义,则通过智能语音分析***进行翻译、以第二语言进行解释说明,以便于用户的理解;
S103、智能语音分析***能够对S101、S102中出现的用户使用第一语言的问题进行记录;由于社交过程具有较高的交互性,利用交互式场景的上下文环境,能够提高语音自动识别过程的准确性;当用户与交流对象的对话进行的顺畅时,智能语音分析***判定在该过程中双方均已理解对方所要表达的意思;若用户与交流对象的对话进行的不顺畅时,则借助智能语音分析***进行中转,智能语音分析***对该过程中用户所出现的使用第一语言的问题进行记录;
进一步的,通过智能语音分析***设定学习目标;在用户与交流对象进行对话时,智能语音分析***对于对话的内容进行实时翻译和分析;当对话的内容与学习目标重叠时,由智能语音分析***将对话的内容与相应的学习目标的知识点进行关联并提示,使用户加深印象、并逐渐掌握所述的知识点的使用条件和使用方法;对于由智能语音分析***自动提出的所述的知识点,通过交流对象对所述的知识点的反馈排除不合理的内容;
在所述的S103步骤之后,当用户离开交互式场景后,能够启动复习过程,通过智能语音分析***逐一回放交流过程中可能存在问题的对话,并通过智能语音分析***与用户的交互逐一确认问题的细节、并进行纠正错误的强化练习。
2.根据权利要求1所述的用于外语学习的智能语音分析和辅助交流方法,其特征在于:智能语音分析***通过耳机实时对用户播放辅助交流的语音,帮助用户完成交流过程、同时也不会对对话过程产生额外的干扰。
3.根据权利要求1所述的用于外语学习的智能语音分析和辅助交流方法,其特征在于:智能语音分析***能够记录用户经常会犯的错误,当用户在交互式场景中进行交流的过程中,若出现所述的错误则能够有针对性的进行处理;即智能语音分析***能够根据用户经常性的错误记录进行自动纠错并更准确的翻译用户所要表达的内容,使得交流的过程更加顺畅。
4.根据权利要求1所述的用于外语学习的智能语音分析和辅助交流方法,其特征在于:通过与定位***配合使用、获取准确的场景信息;通过与用户交互确认后设定到智能语音分析***,智能语音分析***能够根据具体的场景信息提供个性化的辅助翻译服务;并且能够推送与该场景相关的特定内容。
CN202110203864.3A 2021-02-24 2021-02-24 用于外语学习的智能语音分析和辅助交流方法 Active CN112560512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110203864.3A CN112560512B (zh) 2021-02-24 2021-02-24 用于外语学习的智能语音分析和辅助交流方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110203864.3A CN112560512B (zh) 2021-02-24 2021-02-24 用于外语学习的智能语音分析和辅助交流方法

Publications (2)

Publication Number Publication Date
CN112560512A CN112560512A (zh) 2021-03-26
CN112560512B true CN112560512B (zh) 2021-08-06

Family

ID=75034601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110203864.3A Active CN112560512B (zh) 2021-02-24 2021-02-24 用于外语学习的智能语音分析和辅助交流方法

Country Status (1)

Country Link
CN (1) CN112560512B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102667889A (zh) * 2009-12-16 2012-09-12 浦项工科大学校产学协力团 用于外语学习的设备和方法
CN106294327A (zh) * 2015-05-12 2017-01-04 ***通信集团公司 一种移动通信网络中实时翻译的方法、装置及网元设备
CN111368559A (zh) * 2020-02-28 2020-07-03 北京字节跳动网络技术有限公司 语音翻译方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034498A (zh) * 2006-03-07 2007-09-12 刘青松 语言环境转换方法、***及装置
CN112185187B (zh) * 2019-07-02 2022-05-20 广东小天才科技有限公司 一种社交语言的学习方法及智能装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102667889A (zh) * 2009-12-16 2012-09-12 浦项工科大学校产学协力团 用于外语学习的设备和方法
CN106294327A (zh) * 2015-05-12 2017-01-04 ***通信集团公司 一种移动通信网络中实时翻译的方法、装置及网元设备
CN111368559A (zh) * 2020-02-28 2020-07-03 北京字节跳动网络技术有限公司 语音翻译方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112560512A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
US9786199B2 (en) System and method for assisting language learning
Kong Establishing a Comprehensive English Teaching Pattern Combining the Communicative Teaching Method and the Grammar-Translation Method.
Guo et al. The implementation of task-based teaching in an online Chinese class through web conferencing
US8221126B2 (en) System and method for performing programmatic language learning tests and evaluations
Shi et al. Interaction patterns in synchronous Chinese tutorials
Brinton Innovations in pronunciation teaching
Fernández et al. Oral proficiency in second and third foreign languages in the Danish education system
Bestué From the trial to the transcription: Listening problems related to thematic knowledge. Some implications for the didactics of court interpreting studies
Basari et al. The use of Aegisub in teaching audiovisual translation classes: a review on IT-based subtitling course
CN112560512B (zh) 用于外语学习的智能语音分析和辅助交流方法
CN109920285B (zh) 基于词对应翻译的外语教学***及方法
Shi et al. Using technology to learn to speak Chinese
Vlugter et al. Dialogue-based CALL: A case study on teaching pronouns
KR20020058147A (ko) 인터넷을 통한 단계별 학습 방법
Grode et al. Authentic materials and project-based learning: In pursuit of accuracy
Batlle “Muy bien” as a transition token in teacher-student interactions in the Spanish as a foreign language classroom
Jahbel Communication difficulties faced by undergraduate Libyan students
Zeinali Nejad et al. Pronunciation achievement in computer-mediated communication (CMC) classrooms
Chu et al. Promoting thinking skills through interactive character learning model (ICLM) –Chinese character learning using WhatsApp for Malay L3 learners
Madzlan et al. Perception of the attitudinal function of intonation in responding to Yes/No questions: A study of non-native English language teachers
Fitri et al. The Use of an Online Learning Site (www. talkenglish. com) in Teaching Speaking for First Grade of Junior High School Students
Koeswiryono et al. Journeys to polyglotism: a case study of French, Spanish, and Japanese tourist guides
Papageorgiou et al. Mapping TOEFL® Essentials™ Test Scores to the Canadian Language Benchmarks
CN111581373B (zh) 基于对话的语言自助学习方法及***
Chao et al. An interactive interpretation game for learning Chinese.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant