CN111966840B - 一种语言教学的人机交互管理方法和管理*** - Google Patents

一种语言教学的人机交互管理方法和管理*** Download PDF

Info

Publication number
CN111966840B
CN111966840B CN202010830397.2A CN202010830397A CN111966840B CN 111966840 B CN111966840 B CN 111966840B CN 202010830397 A CN202010830397 A CN 202010830397A CN 111966840 B CN111966840 B CN 111966840B
Authority
CN
China
Prior art keywords
text
user
outputting
preset
prompt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010830397.2A
Other languages
English (en)
Other versions
CN111966840A (zh
Inventor
刘金龙
王亮
赵薇
何苏
柳景明
郭常圳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ape Power Future Technology Co Ltd
Original Assignee
Beijing Ape Power Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ape Power Future Technology Co Ltd filed Critical Beijing Ape Power Future Technology Co Ltd
Priority to CN202010830397.2A priority Critical patent/CN111966840B/zh
Publication of CN111966840A publication Critical patent/CN111966840A/zh
Application granted granted Critical
Publication of CN111966840B publication Critical patent/CN111966840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种语言教学的人机交互管理方法和管理***。所述方法包括：输出提示素材内容；获取用户的语音输入，转换成用户文本；在第一数据库中获取与所述提示素材具有对应关系的预设答案，将所述用户文本与所述预设答案进行匹配；根据语义相似性算法，查找第二数据库中是否包含与所述用户文本满足所述语义相似性算法条件的第一文本，若有，则获取与所述第一文本具有对应关系的内容；按照预置的第一规则，输出与第一文本具有对应关系的内容或者根据用户文本与预设答案的匹配程度输出提示素材内容。本发明提高了用户学习的体验和兴趣。

Description

一种语言教学的人机交互管理方法和管理***
技术领域
本发明属于人工智能技术领域，具体涉及一种语言教学的人机对话管理方法和管理***。
背景技术
现有在线学习软件中，与用户对话管理方法主要分为基于人工的和基于神经网络生成技术的。基于人工的对话管理，例如老师与学生进行一对一对话，老师根据学生的学习和作答情况跟学生进行提问或者回答。基于神经网络生成的对话管理，根据学生的作答历史，通过神经网络生成给小朋友回复。
基于人工的对话管理，需要大量的人力成本，且每个老师的教学方法和知识储备各不相同，无法量化这次对话中学生对知识的掌握程度。基于神经网络生成的对话管理往往会产生无意义的回复，例如在英语对话过程中***回复“I donot know.”，客观上迫使对话结束，这会导致对话的趣味性降低，对话轮数过少；另外，生成的回复中可能包含比较难的单词和词组，使得小朋友无法理解回复的含义。这种情况的出现降低了学生继续学习的兴趣，尤其在进行语文及英语等语言类的学习中，促进学生口语表达对于语言类内容的学习十分重要。
发明内容
本申请提供一种语言教学的人机交互管理方法和管理***。所述方法包括：输出提示素材内容；获取用户的语音输入，转换成用户文本；在第一数据库中获取与所述提示素材具有对应关系的预设答案，将所述用户文本与所述预设答案进行匹配；根据语义相似性算法，查找第二数据库中是否包含与所述用户文本满足所述语义相似性算法条件的第一文本，若有，则获取与所述第一文本具有对应关系的内容；按照预置的第一规则，输出与第一文本具有对应关系的内容或者根据用户文本与预设答案的匹配程度输出提示素材内容。
以上方法中，所述按照预置的第一规则，输出与第一文本具有对应关系的内容或者根据用户文本与预设答案的匹配程度输出提示素材具体包括：若所述用户文本与所述预设答案满足最低匹配度要求，则按照预置的第二规则输出新的提示素材或/和输出评分；否则，根据语义相似性算法执行查找第一文本，并输出与第一文本具有对应关系的内容。
上述方法中，若所述用户文本与所述预设答案满足最低匹配度要求，则按照预置的第二规则输出新的提示素材或/和输出评分包括：若用户文本中包含有预设答案中的最低数量的关键词，并且，所述预处理后的用户文本句式与预设答案的句式不一致；则，输出句型提示素材或/和输出评分。
或者，若所述用户文本与所述预设答案满足最低匹配度要求，则按照预置的第二规则输出新的提示素材或/和输出评分包括：若用户文本中不包含有预设答案中的最低数量的关键词，并且，所述预处理后的用户文本句式与预设答案的句式一致；则，输出单词提示素材或/和输出评分。
上述方法中，所述最低数量关键词为预设答案中的所有关键词。
以上方法基础上，还包括：若输出提示素材后的第一时长内未获取用户的语音输入，则重新输出该提示素材或者输出新的提示素材。
进一步，上述方法基础上还包括：首次输出提示素材后是否达到预置的第二时长，若是，则停止输出提示素材。
所述提示素材具体为：语音或动画或图片或者其组合；
以及，所述输出与第一文本具有对应关系的内容具体为，以语音或者动画或者图片形式，或者其任意组合的形式进行输出。
上述方法中，根据语义相似性算法，查找第二数据库中是否包含与所述用户文本满足所述相似性算法条件的第一文本具体为：利用长短期记忆LSTM和注意力机制Attention的文本匹配算法获取与用户文本语义相似的第一文本。
本申请还提供了一种人机对话管理***，包括：
处理器；以及，
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述方法。
本申请还提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：在进行语言类学习的过程中，如果用户语音输入内容并非预设问题的答案时，利用语义相似性算法查找与用户语音输入内容语义最相近的句子，从而能够获得回复这个句子的内容。当这个内容是句子时，输出这个句子的语音即与用户的语音输入形成了人机对话，即使在用户的输入并非题目的正确答案时，本方法也可以促使与用户的语言交互继续进行而不至于中断，在延续与用户交互的基础上引导用户回到学习内容和题目，提高了用户学习的体验和兴趣。
上述方法中，判断用户输入答案是否正确一方面判断用户输入答案是否包含预设答案中的所有的关键词，另一方面判断用户语音输入句子是否是正确的句式，从而本方法更适合应用在语言类的教学。
上述方法中，利用长短期记忆LSTM和注意力机制Attention的文本匹配算法获取与用户文本语义相似的内容，算法的准确性避免出现程序输出的内容与用户语音输入内容无关的情况，从而避免的人机交互体验的降低；另一方面，算法又可以发现能够用于维持与用户对话的内容输出，进一步提高了用户体验。
本方法中，程序输出的预设问题形式可以多样，例如图片、语音、短视频或者其结合；同样，维持与用户交互的程序输出的形式也可以是语音、语音与图像或动画的结合等形式。提高与用户交互的体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的一种语言教学的人机交互管理方法的流程示意图；
图2是本申请某一实施例中习题数据库举例。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在线学习的主要形式是用户利用智能终端，例如智能手机、电脑等设备进行学习。在线学习的一种方式是学生与老师分别在不同的地方通过连接互联网的智能设备进行在线的交互；在线学习的另一种方式是，在线学习软件输出计划的学习内容供用户查看学习。例如，软件通过在界面上输出英文单词，或同时配合输出与英文单词含义相一致的图片，用于帮助学生记忆；以及，通过利用智能终端输出问题，等待学生作答来检查学生的学习效果，即通常所说的在线测试。
在语言学习中，经常采用以语音交互为主的方式帮助学生完成在线学习。例如，智能终端输出一幅绵羊的图片，并同时语音输出问题“What is it？”。进而，现有技术中，软件程序通常等待学生的语音输入后，对学生语音输入的内容是否正确进行判断，并输出判断结果作为结束。
现有做法的问题在于降低了学生的学习兴趣。
一方面，软件输出计划的学习内容的教学方式与真人教学相比，本身减少了师生交互的过程，无法像老师一样根据学生当前学习的情况尤其是当下的表现引导学生完成学习任务。
另一方面，在低年龄段的语言学习(例如英语学习)中，小朋友虽然可能没有回复正确的答案，但可能对着智能终端说出另外一个句子，例如“Whoareyou？”。按照现有的做法，软件程序判定小朋友的句子不是正确答案，并给出答案不正确的结论，从而打击了小朋友与软件程序继续讲英语的兴趣，甚至对于英语的学习产生厌烦。
本发明提出了一种管理人机交互的方法，尤其用于用户借助智能终端进行学习的场景。
以下以英语学习场景为例，详细描述本申请一个优选实施例的技术方案。但本发明可以用于其他语言学习的场景。
本实施例中采用AI技术来引导用户与对话机器人进行多轮对话，在保证趣味性的同时，根据用户学习情况和作答历史，来动态选择对话机器人的回复，达到持续引导用户学习英语的目的。
为了让小朋友更好的用英语进行交流，本申请实施例设计了一种一对一的对话方式，该对话机制为。
首先，提问，并等待接收用户的语音输入。
由智能终端中的软件进行提问。所述提问可以是以语音输出的方式进行，也可以以语音结合图像的方式，或者以图像的方式进行。
例如，在交互页面显示一只羊，并且语音提问“What is it？”。
提出问题后，等待小朋友说话进行作答，获得用户的语音输入后，根据本发明的方法输出相应的素材，完成知识学习并提高小朋友的学习体验。
其次，***计时器判断是否达到对话练习最大时长
预设学习的时长，例如20分钟，从对话机器人提出第一个问题开始计时；
如果未达到预置的时长，则对话机器人根据小朋友的作答情况和历史信息输出问题等素材，继续引导小朋友学习；
如果已达到预置的时长，则结束与小朋友的交互，结束学习；或者小朋友主动关闭对话。
在英语教学的整个交互过程中，利用预设的习题数据库和用户对话素材库对小朋友进行提问和回复，具体的方法如下，参照图1。
11)输出提示素材内容。
习题数据库由问句和其对应的答案组成，其中答案又可以拆分为句型和关键词。从而，在小朋友进行英语学习时，能掌握相应的句型和关键词。
习题数据库中保存了问题、答案、句型和关键词的对应关系。举例参见图2所示，数据格式中包括素材、问题、答案、句式、单词、备注等。参见图2所示第一行，素材为“羊”，问题为“What is it？”，答案为“it’s a sheep”，句式为“It’s a”，单词(即关键词)为“sheep”，备注中“It is＝It’s”。
在习题数据库中选取题目对用户进行提问，提问采用多种形式，例如语音，图片等形式。例如，在交互页面显示一只羊，并且语音提问“What is it？”。
12)获取用户的语音输入，并将获取的语音输入内容转换为文本形式的文件。
输出题述素材内容后等待用户语音回答问题。作为较优的实现方式，如果在预置的第一时长内没有获得用户的语音输入，则可以将提示素材的内容重新输出，或者按照相关业务规则输出新的提示素材内容。
获得用户的语音输入，进行语音识别，转换为文本形式。
13)在习题数据库中获取与所述提示素材具有对应关系的预设答案，将所述用户文本与所述预设答案进行匹配。
131)根据输出的问题，查找习题数据库中与该问题对应的答案。参见上文，输出问题为“What is it？”，预期对应的预设答案为“it’s a sheep”。
132)对转换为文本形式的用户答案进行预处理，预处理主要包含以下几个方面：
a)去除无意义的标点符号。
b)进行大小写转换。
c)将单词的缩写进行展开，如将It’s转化为It is。
d)对单词的单复数进行转换，如apples与apple进行转换。
进行预处理可以极大的降低语言表达形式的不同所造成的文本不匹配问题。本发明并不限制预处理的方法，也并不要求必须全部实现以上记载所有预处理步骤。例如，不对单词的单数/复数进行转换。
133)将预处理后的用户答案与问题对应的答案进行匹配。
本实施例以英语教学为例，英语语句的正确答案通常包含两部分，即关键词和句型。
所述关键词为要求用户学习掌握的单词，例如上文举例中的单词“sheep”，即小朋友知道英文中“羊”的说法。
所述句型也即英语的语法。小朋友掌握了语法后才能说出一个完整的句子，而不是仅仅回答单词。
为实现将预处理后的用户答案与问题对应的答案进行匹配的目的，本实施例采用细粒度的文本匹配方法分别对预设答案中的关键词和句型进行匹配。
对于关键词匹配，采用最长公共子序列算法，判断小朋友的作答是否包含所有的关键词。如果包含则认为小朋友的语音输入的内容与关键词匹配，反之则认为不匹配。
对于句型匹配，判断小朋友的作答是否包含连续且完整的句式，如果包含，则认为小朋友的作答与句型匹配，反之则不匹配。
对于答案的匹配，判断小朋友的作答与关键词和句型都匹配，如果都匹配，则认为小朋友的作答与答案匹配，否则不匹配。
以图2所示举例，素材输出：在交互页面显示一只羊，并且语音提问“What isit？”。习题数据库中所对应的答案为“it’s a sheep”，句式为“It’s a”，单词(即关键词)为“sheep”，备注中“It is＝It’s”。
将小朋友的语音输入转换为文本形式后，利用最长公共子序列算法判断是否包含关键词“sheep”，如果包含，则单词匹配；并且，判断是否包含句式“It’s a”，如果包含在，则句式匹配。
14)根据语义相似性算法，查找用户对话素材库中是否包含与所述用户文本满足所述相似性算法条件的第一文本，若有，则获取与所述第一文本具有对应关系的内容；
较佳的实施例中，所述用户对话素材库中预设有能够与用户语音输入形成对话的句子。
例如，所述用户对话素材库保存“Whoareyou？”以及“Iam Zack.”，以及该两句话具有对应关系，即若识别用户语音输入“Whoareyou？”时，***输出“Iam Zack.”。
用户对话素材库保存的对话素材举例参见以下表格。例如，若识别用户语音输入为“I like you.”时，***输出“I like you,too.”。
问题 ***输出
What's your hobby？ I like singing.
What do you like to eat？ I like to eat apples.
What are you doing？ I'm talking with you.
Nice to meet you. Nice to meet you,too！
I love you. I love you,too.
I like you. I like you,too.
How old are you？ I'm six years old.
How are you？ I'm happy.
Good night Good night！
Good morning！ Good morning！
Good evening！ Good evening！
Do you like dogs Yes,I like dogs.
Do you like cats Yes,I like cats.
Can you swim？ No,I can't.
Are you sad？ No,I'm happy.
Are you happy？ Yes,I'm happy.
Are you angry？ No,I'm happy.
Are you angry？ No,I'm happy！
本发明对所述对用户话素材库中预设的语句并不做限制，本领域技术人员可以针对具体的业务场景设置和不断添加对话语料。
本发明不对所述用户对话素材库中的输出内容形式进行限制。作为较佳的实现方式所述用户对话素材库中保存完成人机交互的对话语句，例如“Whoareyou？”以及“IamZack.”的语音输入形式。然而，所述素材库中也可以包括例如图片或者动画等素材，丰富与用户交互的形式，增强用户体验。例如，在输出语音与用户对话的同时，交互页面上输出相应的动画或者图片或者语句文字，以辅助用户对***输出的语音含义的理解。
本发明不对所述用户对话素材库的数据格式，以及搜索方式进行限定，只要能够实现根据用户语句输入形成对应的素材输出即可。
以下本发明实施例提供一种较佳的语义相似性算法，用于在用户对话素材库中查找是否有与用户输入语义相近的语句。较佳的语义相似性算法能够避免***输出的素材与用户语音输入内容无关，避免降低人机交互体验；另一方面，通过语义相似性算法可以获得那些能够维持与用户对话的素材，避免对话被迫中断。
所述语义相似性算法是判断两个句子是否具有相同的语义。
首先，采用Lucene搜索引擎筛选出与小朋友作答最相似的几个预设问题，
然后，用基于长短期记忆(LSTM)和注意力机制(Attention)的文本匹配算法筛选出与小朋友作答最相似的人设问题。
长短期记忆(Long Short-Term Memory，LSTM)是一种时间递归神经网络(RNN)，适合被用于处理和预测时间序列中间隔和延迟非常长的重要事件。注意力机制(Attention)是计算当前输入序列与输出向量的匹配程度，匹配度高也就是注意力集中点其相对的得分越高，其中Attention计算得到的匹配度权重只限于当前序列对。
基于LSTM和Attention的文本匹配算法，是将文本匹配视为一个分类问题，即两个文本是否表达同一个语义。定义两个文本分别用question和answer进行表示。整个文本匹配算法如图2所示，由输入层、注意力层和输出层组成。
输入层，对文本信息进行编码表示。对于一个文本选择以下两种特征。
(1)单词表示的全局向量(Global Vectors for Word Representation)。
(2)一个文本中的词是否出现在另一个文本中的共现特征。
将这两个特征对两个文本进行编码，将其输入到下面的注意力(Attention)层。
注意力层，负责进行两个文本词级别的交互，通过不断地交互得到的新特征，可以融合更多的上下文信息和学习到不同文本间的语义信息。具体的：
首先，将question的词向量特征与answer的词向量特征进行seq_attention操作，得到新的answer的表示。
所述seq_attention操作是将question和answer的词向量特征矩阵相乘，计算它们向量之间的对齐特征，之后用对齐特征和question的词向量特征矩阵来重新表示answer的特征得到answer的新特征。
然后，将answer的词向量特征、手工特征(例如共现特征等)以及所述新特征拼接起来，输入给一个双向的LSTM得到新的特征ha，同时将question的词向量特征和手工特征输入给另一个双向LSTM得到新的特征hq。通过注意力层学到特征不仅能够学习到question和answer的交互特征，同时加入LSTM也可以捕捉文本中丰富的语义和上下文特征。
上述双向的LSTM基本思想是每一个训练序列向前和向后分别是两个循环神经网络(RNN)，而且这两个都连接着一个输出层。这个结构提供给输出层输入序列中每一个点的完整的过去和未来的上下文信息。
输出层，进行更近一步的交互，并输出结果来预测两个句子语义相似性。
对于特征hq和ha，用self-attention得到新的特征hq1和ha1；
其中self-attention建模句子中不同词的关联程度，之后再用其他词表示当前词，这样可以更好地捕捉上下文信息。之后利用hq1和ha1来构建特征[ha1,hq1,ha1*hq1]，将这个特征通过一个全连接层来预测两个文本是否相似。
15)按照预置的第一规则，输出与第一文本具有对应关系的内容或者根据用户文本与预设答案的匹配程度输出提示素材内容。
以上，在将用户语音输入转换为用户文本后，分别用户文本与习题数据库中预设答案进行匹配，以及根据语义相似性算法，查找用户对话素材库中是否包含与所述用户文本语义相同的文本。进而，分别根据习题数据库的匹配结果和用户对话素材库的查找结果执行后续处理。具体包括：
如果所述用户文本与预设答案中的关键词和句式均匹配，则从习题库中选择一道新的题目，输出该题的提示素材，例如参照图2所示：输入一张小狗的图片，并输出语音“Isit a dog？”；
如果所述用户文本与预设答案中的句型匹配，但与预设答案中的关键词不匹配，则输出该关键词内容，例如“sheep”的文字或/和“sheep”的语音；进一步，作为更佳的实施方式，如果用户是第一次做该题，则在输出关键词内容(“sheep”的文字或/和“sheep”的语音)后，将本题的提示素材再重复输出一次，否则选择一道新题目的素材输出。
如果所述用户文本与预设答案中的关键词匹配，但与预设答案中的句式不匹配，则输出该句式的提示内容，例如，“It’s a”的文字或/和“It’s a”的语音，或者“It’s asheep”的文字或/和语音。进一步，作为更佳的实施方式，如果用户是第一次做该题，则在输出句式内容后，将本题的提示素材再重复输出一次，否则选择一道新题目的素材输出。
如果用户输入与预设答案中的关键词和句式均不匹配，进一步判断在用户对话素材库中是否找到了与用户文本语义相同的句子，如果是，则输出用户对话素材库中与这个句子相对应的内容。
例如，通过语义相似性算法，发现用户语音输入的句子与用户对话素材库中的“Whoareyou？”具有相同的语义，从而，输出相应的素材，例如包括语音或/和“Iam Zack.”。
如果用户输入与预设答案中的关键词和句式均不匹配，并且用户对话素材库中没有与用户文本语义相同的句子。则输出预设答案的内容，例如，“It’s a sheep.”的语音和/或文字。此后，作为较佳的实施方式，如果判断用户是第一次做本题，则将本题的提示素材再重复输出一次，否则选择一道新题目输出。
以上说明了本发明方法的一个具体实现过程。上述实施例中，根据用户语音输入后得到的用户文本，分别进行习题库预设答案匹配以及利用语义相似性算法查找用户对话素材库，并分别根据习题数据库的匹配结果和用户对话素材库的查找结果的情况，根据预设的规则，在满足不同条件时执行相应处理。
在另一种实现方式中，首先根据所述用户文本进行预设答案的匹配，若用户文本与预设答案无法匹配，即与预设答案的关键词和句式均不匹配时，再利用语义相似性算法在用户对话素材库中查找是否有满足该算法条件的语句。
以上实施例中，利用语义相似性算法得到用户对话素材库中与用户文本语义相同的句子。在其他的实现方式中，本申请不排除利用语义相似性算法所获得与用户文本具有相近语义的句子。因而，本领域技术人员可以根据业务的需求设置算法的要求，所获得句子满足语义相似性算法的条件，其可能实质上具有与用户文本相同或者相似的语义。
上文记载的实施例中，预设答案具有一个关键词和一个句式，例如：答案为“it’sa sheep”时，其句式为“It’s a”，关键词为“sheep”。当用户文本与关键词和句式均不匹配时，通过语义相似性算法输出与用户维持对话交互关系的素材。当预设***括多个关键词时，本领域技术人员需要设置最低匹配度要的要求，使得在用户文本未包含所有关键词时，何种情况得到用户文本与关键词匹配或不匹配的结论。较优的实现方式是要求用户文本与所有的关键词匹配，才得到用户文本与关键词匹配的结论。其他的实现方式中，本领域技术人员通过设置最低的关键词匹配数量或者其他关键词最低匹配度的规则，达到在何种条件下执行语义相似性算法的目的。
以上实施例仅以英语语言教学为例说明了本发明的实现方式，但本发明并不限制应用于其他语言教学的场景。在涉及到具有语法和单词作为语言教学的场景下，均可利用语义相似性算法维持与用户的对话，基于对话的继续提高语言教学的效果。
根据本公开的方法还可以实现为一种语言教学的人机对话管理***，包括：处理器；以及，存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行本公开的上述方法的各个步骤的部分或全部。
本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本公开的上述方法的各个步骤的部分或全部。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和步骤并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (11)

1.一种语言教学的人机交互管理方法，其特征在于，包括：
输出提示素材内容，进行提问；
获取用户的语音输入，转换成用户文本；
在第一数据库中获取与所述提示素材具有对应关系的预设答案，将所述用户文本与所述预设答案进行匹配；其中，所述第一数据库为习题数据库；
若匹配，则根据用户文本与预设答案的匹配程度输出提示素材内容；
若不匹配，则进一步根据语义相似性算法，查找第二数据库中是否包含与所述用户文本满足所述语义相似性算法条件的第一文本，若有，则获取与所述第一文本具有对应关系的内容，并输出与第一文本具有对应关系的内容；其中，所述第二数据库为用户对话素材库；
否则，输出预设答案的内容；其中包括：判断用户是第一次做本题，则将本题的提示素材再重复输出一次，否则选择一道新题目输出。
2.根据权利要求1所述的方法，其特征在于，所述按照预置的第一规则，输出与第一文本具有对应关系的内容或者根据用户文本与预设答案的匹配程度输出提示素材具体包括：
若所述用户文本与所述预设答案满足最低匹配度要求，则按照预置的第二规则输出新的提示素材或/和输出评分；
否则，根据语义相似性算法执行查找第一文本，并输出与第一文本具有对应关系的内容。
3.根据权利要求2所述的方法，其特征在于，若所述用户文本与所述预设答案满足最低匹配度要求，则按照预置的第二规则输出新的提示素材或/和输出评分包括：
若用户文本中包含有预设答案中的最低数量的关键词，并且，所述预处理后的用户文本句式与预设答案的句式不一致；
则，输出句型提示素材或/和输出评分。
4.根据权利要求2所述的方法，其特征在于，若所述用户文本与所述预设答案满足最低匹配度要求，则按照预置的第二规则输出新的提示素材或/和输出评分包括：
若用户文本中不包含有预设答案中的最低数量的关键词，并且，所述预处理后的用户文本句式与预设答案的句式一致；
则，输出单词提示素材或/和输出评分。
5.根据权利要求3或4所述的方法，其特征在于，所述最低数量关键词为预设答案中的所有关键词。
6.根据权利要求1至4其中之一所述的方法，其特征在于，还包括：
若输出提示素材后的第一时长内未获取用户的语音输入，则重新输出该提示素材或者输出新的提示素材。
7.根据权利要求6所述的方法，其特征在于，还包括：
首次输出提示素材后是否达到预置的第二时长，若是，则停止输出提示素材。
8.根据权利要求1所述的方法，其特征在于，
所述提示素材具体为：语音或动画或图片或者其组合；
以及，所述输出与第一文本具有对应关系的内容具体为，以语音或者动画或者图片形式，或者其任意组合的形式进行输出。
9.根据权利要求1所述的方法，其特征在于，根据语义相似性算法，查找第二数据库中是否包含与所述用户文本满足所述相似性算法条件的第一文本具体为：
利用长短期记忆LSTM和注意力机制Attention的文本匹配算法获取与用户文本语义相似的第一文本。
10.一种语言教学的人机交互管理***，其特征在于，包括：
处理器；以及，
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-9中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被计算设备的处理器执行时，使所述处理器执行如权利要求1-9中任一项所述的方法。
CN202010830397.2A 2020-08-18 2020-08-18 一种语言教学的人机交互管理方法和管理*** Active CN111966840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010830397.2A CN111966840B (zh) 2020-08-18 2020-08-18 一种语言教学的人机交互管理方法和管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010830397.2A CN111966840B (zh) 2020-08-18 2020-08-18 一种语言教学的人机交互管理方法和管理***

Publications (2)

Publication Number Publication Date
CN111966840A CN111966840A (zh) 2020-11-20
CN111966840B true CN111966840B (zh) 2024-07-02

Family

ID=73389156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010830397.2A Active CN111966840B (zh) 2020-08-18 2020-08-18 一种语言教学的人机交互管理方法和管理***

Country Status (1)

Country Link
CN (1) CN111966840B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609101A (zh) * 2017-09-11 2018-01-19 远光软件股份有限公司 智能交互方法、设备及存储介质
CN110263144A (zh) * 2019-06-27 2019-09-20 深圳前海微众银行股份有限公司 一种答案获取方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100855563B1 (ko) * 2007-03-27 2008-09-02 안희달 대화식 로봇을 이용한 영어 학습시스템 및 그 방법
KR20140123369A (ko) * 2013-04-12 2014-10-22 얄리주식회사 음성인식 질의응답 시스템 및 그것의 운용방법
JP2015153108A (ja) * 2014-02-13 2015-08-24 株式会社東芝 音声会話支援装置、及び音声会話支援方法及びプログラム
KR101521281B1 (ko) * 2014-10-20 2015-05-19 포항공과대학교 산학협력단 어학 학습 시스템 및 학습 방법
CN105930452A (zh) * 2016-04-21 2016-09-07 北京紫平方信息技术股份有限公司 一种识别自然语言的智能应答方法
CN107797984B (zh) * 2017-09-11 2021-05-14 远光软件股份有限公司 智能交互方法、设备及存储介质
CN110287294A (zh) * 2018-12-27 2019-09-27 厦门智融合科技有限公司 知识产权概念自动解答方法及***
CN110335595A (zh) * 2019-06-06 2019-10-15 平安科技（深圳）有限公司 基于语音识别的插问对话方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609101A (zh) * 2017-09-11 2018-01-19 远光软件股份有限公司 智能交互方法、设备及存储介质
CN110263144A (zh) * 2019-06-27 2019-09-20 深圳前海微众银行股份有限公司 一种答案获取方法及装置

Also Published As

Publication number Publication date
CN111966840A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN110427617B (zh) 推送信息的生成方法及装置
CN110347792B (zh) 对话生成方法及装置、存储介质、电子设备
CN110148318B (zh) 一种数字助教***、信息交互方法和信息处理方法
CN110175228B (zh) 基于基础模块和机器学习的循环嵌入对话训练方法及***
CN112765333B (zh) 基于情感与提示词结合的自动对话生成方法及***
CN114239547A (zh) 一种语句生成方法及电子设备、存储介质
Wilks et al. A prototype for a conversational companion for reminiscing about images
CN112818106A (zh) 一种生成式问答的评价方法
CN110597968A (zh) 一种回复选择方法及装置
CN112632242A (zh) 智能对话方法及装置、电子设备
CN111090664A (zh) 基于神经网络的高仿人多模式对话方法
CN116415650A (zh) 生成对话语言模型及生成对话的方法、装置和存储介质
CN116910220A (zh) 多轮对话交互处理方法、装置、设备和存储介质
CN112948558A (zh) 面向开放域对话***的上下文增强的问题生成方法及装置
CN117725163A (zh) 智能问答方法、装置、设备及存储介质
Wang et al. Information-enhanced hierarchical self-attention network for multiturn dialog generation
Gong et al. Lanser: Language-model supported speech emotion recognition
Ye et al. A sentiment based non-factoid question-answering framework
CN111966840B (zh) 一种语言教学的人机交互管理方法和管理***
KR20210123545A (ko) 사용자 피드백 기반 대화 서비스 제공 방법 및 장치
CN111767386A (zh) 对话处理方法、装置、电子设备及计算机可读存储介质
CN115617972A (zh) 一种机器人对话方法、装置、电子设备及存储介质
CN115376547A (zh) 发音评测方法、装置、计算机设备和存储介质
CN114661864A (zh) 一种基于受控文本生成的心理咨询方法、装置及终端设备
KR102386898B1 (ko) 인텐츠 기반의 질문/답변 서비스 제공장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant