CN106057023A - 一种面向智能机器人的儿童教学方法和装置 - Google Patents

Abstract

本发明公开了一种面向智能机器人的儿童教学方法和装置，属于机器人技术领域，解决了现有的智能机器人的儿童教育功能不能支持除中文外的其他语种、用户体验度较低的技术问题。该方法包括：接收多模态输入数据并解析，获取语言教学指示信息；解析所述语言教学指示信息，确定需要进行语言教学的语种及内容，并获取语种及内容的组合数据；根据所述语种及内容的组合数据生成多模态输出数据并输出。

Description

一种面向智能机器人的儿童教学方法和装置

技术领域

本发明涉及机器人技术领域，具体的说，涉及一种面向智能机器人的儿童教学方法和装置。

背景技术

随着信息技术、计算机技术以及人工智能技术的不断发展，智能机器人已经走入到医疗、保健、家庭、娱乐以及服务行业等与人们生活息息相关的领域。人们对于智能机器人的要求也越来越高，需要智能机器人具备更多的功能从而为人类生活提供更多的帮助。

目前，智能机器人技术在儿童教育领域的应用获得了越来越多的关注，但是现有的智能机器人的儿童教育功能尚存在很多不足，例如，教学功能和方式比较单一，不能支持除中文外的其他语种，不能进行深度的交互和信息获取等等，导致用户体验度较低。

因此，亟需一种能够提高用户体验的面向智能机器人的儿童教学方法和装置。

发明内容

本发明的目的在于提供一种面向智能机器人的儿童教学方法和装置，提高儿童教育的用户体验。

本发明提供一种面向智能机器人的儿童教学方法，该方法包括：

接收多模态输入数据并解析，获取语言教学指示信息；

解析所述语言教学指示信息，确定需要进行语言教学的语种及内容，并获取语种及内容的组合数据；

根据所述语种及内容的组合数据生成多模态输出数据并输出。

在所述根据语种及内容的组合数据生成多模态输出数据并输出的步骤中包括：

对所述语种及内容的组合数据进行分析，获取教学内容文字信息，以及，生成第一语种讲解文字信息；

识别所述教学内容文字信息并进行第二语种翻译，获取第二语种翻译文字信息；

生成用第一语种朗读第一语种讲解文字信息结合用第二语种朗读第二语种翻译文字信息的语音信息并输出。

本发明提供的面向智能机器人的儿童教学方法还包括：

将所述教学内容文字信息及其对应的翻译文字信息存储入单词库；

当单词库中存储的教学内容文字信息达到预设数量时，生成测验需求询问的多模态信息并输出。

本发明提供的面向智能机器人的儿童教学方法，当确认需要进行测验时，还包括：

基于所述单词库生成单词测验的多模态输出信息并输出；

接收用户针对所述单词测验的多模态输出信息的回答信息；

解析所述回答信息，生成对所述回答信息进行评价的多模态信息并输出。

所述多模态输出数据包括：与所述语言教学的内容相关联的图像输出数据和肢体动作输出数据。

本发明还提供一种面向智能机器人的儿童教学装置，该装置包括：

指示获取单元，其用于接收多模态输入数据并解析，获取语言教学指示信息；

解析单元，其用于解析所述语言教学指示信息，确定需要进行语言教学的语种及内容，并获取语种及内容的组合数据；

第一输出单元，其用于根据所述语种及内容的组合数据生成多模态输出数据并输出。

所述输出单元包括：

分析模块，其用于对所述语种及内容的组合数据进行分析，获取教学内容文字信息，以及，生成第一语种讲解文字信息；

翻译模块，其用于识别所述教学内容文字信息并进行第二语种翻译，获取第二语种翻译文字信息；

输出模块，其用于生成用第一语种朗读第一语种讲解文字信息结合用第二语种朗读第二语种翻译文字信息的语音信息并输出。

本发明提供的面向智能机器人的儿童教学装置还包括：

存储单元，其用于将所述教学内容文字信息及其对应的翻译文字信息存储入单词库；

第二输出单元，其用于当单词库中存储的教学内容文字信息达到预设数量时，生成测验需求询问的多模态信息并输出。

本发明提供的面向智能机器人的儿童教学装置当确认需要进行测验时，还包括：

第三输出单元，其用于基于所述单词库生成单词测验的多模态输出信息并输出；

回答接收单元，其用于接收用户针对所述单词测验的多模态输出信息的回答信息；

第四输出单元，其用于解析所述回答信息，生成对所述回答信息进行评价的多模态信息并输出。

所述多模态输出数据包括：与所述语言教学的内容相关联的图像输出数据和肢体动作输出数据。

本发明实施例提供的面向智能机器人的儿童教学方法和装置，针对现有的智能机器人的儿童教育功能不能为不同母语语种的儿童用户提供多语种的语言教学服务，用户体验度低等问题。本发明通过用户的多模态输入数据以被动或主动方式触发儿童语言教学功能，然后基于儿童的母语语种以及所需求的教学语种和相应教学内容生成结合语音、图像和动作的多模态的语言教学行为输出，实现对外语母语儿童进行中文等多语种语言教学的功能。同时对用户学习过的单词等教学内容进行存储记录，并可以基于用户学习过的内容生成结合语音、图像和动作的多模态的测验教学行为输出，实现对于所学知识的巩固和复习。语言教学和测验教学方式丰富多样，可以提高儿童的学习兴趣和学习效果。针对在语言教学过程中要进行的多语种交错地语音输出，本发明采用对应语种的TTS对相应语种内容进行朗读，避免了朗读声音误差情况的发生，提高教学质量和用户体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚的说明本发明实施例中的技术方案，下面将对实施例描述中所需要的附图做简单的介绍：

图1是本发明实施例提供的面向智能机器人的儿童教学方法的流程示意图；

图2是本发明实施例提供的单词翻译教学模式的流程示意图；

图3是本发明实施例提供的单词翻译以及测验教学模式的流程示意图；

图4是本发明实施例提供的面向智能机器人的儿童教学装置的示意图；

图5是本发明实施例提供的面向智能机器人的儿童教学装置的具体应用示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

本发明实施例提供一种面向智能机器人的儿童教学方法，该方法针对的用户群体为儿童。众所周知，儿童在思想、性格以及智力等方面的可塑性很强，儿童时期的教育将为人的一生打下重要的基础。因此，为儿童提供更丰富、更适宜的教学方法是儿童教育方面的重要环节，本发明实施例提供的面向智能机器人的儿童教学方法和装置，针对现有的智能机器人儿童教育功能的不足，为不同母语语种的儿童用户提供多语种的语言教学，丰富了教学功能，提高了用户体验。

本发明实施例提供一种面向智能机器人的儿童教学方法，如图1所示，该方法包括：步骤101至步骤103。其中，在步骤101中，接收多模态输入数据并解析，获取语言教学指示信息。在本步骤中，首先接收多模态输入数据，其中包括语音、视觉以及感应输入等相关信息，如来自用户的语言、文字、图像以及肢体动作，以及与交互环境相关的信息。

然后对接收的多模态输出数据进行解析，获取语言教学指示信息。即对获取的多模态数据中的来自用户的语言、文字、图像、肢体动作以及当前交互环境信息进行识别，并分析其中是否存在语言教学指示信息，若存在则获取该语言教学指示信息。语言教学指示信息为从多模态输入数据中解析出的可以判断用户需要进行语言教学的相关多模态信息。也就是说通过对于多模态输入数据中的来自用户的语言、文字、图像或肢体动作结合交互环境判断用户是否有与机器人进行语言教学的意图。在确认多模态输入数据中存在语言教学指示信息时，也即表明当前用户需要与机器人进行交互教学，则进入语言教学模式，并执行后续的语言教学步骤。

例如，用户为中国儿童，其可以向机器人说：“我想学习英语。”机器人获取多模态数据，并对其进行识别和解析，确认并获取其中存在的对中文用户进行英语教学的语言指示信息，即确定当前中文儿童用户需要进行英语语言教学。同样的，若用户为英语母语国家儿童，其可以向机器人说：“I want to learn Chinese.”机器人在对获取的多模态数据进行识别和解析，确认并获取其中存在的对英文用户进行中文教学的语言指示信息，即确定当前英文母语国家儿童用户需要进行中文语言教学。或者，儿童可以通过对机器人的交互界面进行操作，如点击界面内的相关教学选项，机器人根据儿童用户的信息输入，进入相应的教学模式。又或者，机器人通过对多模态视觉输入的识别获知当前儿童用户正在阅读相关语言学习的书籍或进行其他与进行语言学习相关的行为，则可通过对于儿童行为的识别确认儿童需要进行语言教学，也可根据上述分析通过多模态输出相应的语言教学需求询问，然后根据儿童用户的回答确认其是否有进行语言教学的需求，进而选择是否进入相应的语言教学模式。

在步骤102中，解析语言教学指示信息，确定需要进行语言教学的语种及内容，并获取语种及内容的组合数据。在获取语言教学指示信息后，在本步骤中对其进行解析，从语言教学指示信息中分析出语言教学的教学方式、教学内容、讲解语种和教学语种，讲解语种即在教学时对教学内容进行讲解和阐明所用的语种，教学语种即用户想要学习的语种。在确定上述内容和语种信息后，进而获取语种及内容的组合数据，语种及内容的组合数据用于描述具体的教学行为模式，其中包括教学语种和教学内容的组合方式，如采用讲解语种讲解什么样的内容，同时采用教学语种进行什么内容的教学。

其中，讲解语种可以根据用户的母语语种确定，例一，英文母语用户对机器人说：“I want to practice Chinese conversation。”即用户想要进行中文的对话练习，机器人通过多模态输入信息获取描述该用户需要进行对话教学的语言教学指示信息，然后在本步骤中进一步通过语音识别分析出当前用户的语种为英语，即讲解语种为英语，教学内容为进行对话练习，进行对话练习采用的教学语种为中文，即进行中文对话练习，所对应获取的语种及内容的组合数据则描述通过英文讲解并通过中文进行对话练习的行为模式。

当然，在本步骤中，机器人也可通过用户使用操作界面输入以及其他多模态输入方式输入的数据来确定需要进行语言教学的语种及内容，并获取语种及内容的组合数据。例如，用户通过操作界面选择自己的母语语种、教学语种以及教学内容，继而机器人分析获取对应的语种及内容的组合数据，然后基于其所描述的教学行为方式进行下一步的教学行为输出步骤。

在本发明的其他实施方式中，讲解语种也可以不为用户的母语语种，如上例用户可以通过操作界面直接进行讲解语种的选择，或其他多模态输入方式进行讲解语种的设置。例二，中文母语用户对机器人说：“用西班牙语为我讲解一下apple的意思。”机器人根据相关的分析和语义识别确认讲解语种为西班牙语，教学语种为英语，教学内容为apple，教学方式为翻译，对应获得的语种及内容的组合数据所描述的教学行为方式即为对apple进行西班牙语翻译，用西班牙语进行apple在西班牙语中释义的讲解的语音输出，同时配合用英语语音输出单词apple。

在本发明实施例中，讲解语种和教学语种的数量都可以为多个。例三，若用户对机器人说：“How to say apple in Chinese and Spanish？”即在中文和西班牙语中apple怎么说？机器人根据相关的分析和语义识别确认讲解语种为英语，教学语种则为中文和西班牙语，教学内容为apple，教学方式为翻译，对应获得的语种及内容的组合数据所描述的教学行为方式即为对apple进行中文和西班牙语翻译，用英语进行相关说明式讲解，同时配合用西班牙语语音进行西班牙翻译单词的语音输出，用中文语音进行中文翻译词语的语音输出。

亦或者，中文母语用户对机器人说：“用英语和西班牙语为我讲解一下apple的意思。”则经过分析和语义识别确认的讲解语种为英语和西班牙语，教学语种为英语，教学内容为apple，教学方式为翻译讲解，对应获得的语种及内容的组合数据所描述的教学行为方式即为对apple进行中文和西班牙语翻译，分别用西班牙语语音和中文语音对单词进行翻译释义讲解，同时配合用英语语音输出单词apple。

在步骤103中，根据语种及内容的组合数据生成多模态输出数据并输出。在本步骤中，基于步骤102中获取的语种及内容的组合数据进行多模态的语言教学行为输出，即将语种及内容的组合数据所描述的具体教学行为模式付诸实现。

对应步骤102中的多个例举，如上例一，若语种及内容的组合数据描述通过英文讲解并通过中文进行对话练习的行为模式，则可通过语音输出相应的行为，如：机器人通过讲解语种(英语)语音输出：“Now,let's start a conversation practice.”然后用教学语种(中文)进行教学内容(对话练习)的语音输出：“你叫什么名字？”儿童用户回答：“我叫麦克。”机器人可根据儿童用户的回答通过语音输出对儿童用户的对话练习内容进行教学错误的纠正，或者继续进行后续的对话练习。

如上例三，若获得的语种及内容的组合数据所描述的教学行为方式为对apple进行中文和西班牙语翻译，用英语进行相关说明式讲解，同时配合用西班牙语语音进行西班牙翻译单词的语音输出，用中文语音进行中文翻译词语的语音输出。则在本步骤中可通过语音输出相应的行为，如：机器人通过讲解语种(英语)语音输出讲解语句结合用中文和西班牙语语音分别输出相应的翻译单词：“Apple in Chinese is苹果,Apple in Spanish ismanzana.”

在本步骤中，语音信息的输出采用从文本到语言(TextToSpeech，TTS)技术实现。获取的语种及内容的组合数据所描述的教学行为模式需要进行语音信息输出时，则对应生成语音输出文本信息，然后通过TTS技术对文字信息进行朗读，并且对于不同语种对应的文本信息采用对应的语种TTS进行朗读。其具体实现方式是，首先根据语种及内容的组合数据生成对应教学行为的文本信息，其中包括讲解语种对应的讲解内容文本信息以及教学语种对应的教学内容文本信息，对于讲解内容文本信息标记讲解语种TTS朗读，对于教学内容文本信息标记教学语种TTS朗读，进而在对文本信息进行语音朗读输出时根据文本信息上的相应标记进行对应语种的TTS朗读。

如上例一，机器人通过英文TTS语音朗读相应讲解文本信息：“Now,let's start aconversation practice.”然后在对话练习过程中使用中文TTS语音朗读相应的教学内容文本信息：“你叫什么名字？”等后续对话练习内容。

在本步骤中，在输出教学行为语音信息时针对教学行为中需采用的不同语种使用对应的语种TTS来朗读，这样做的目的在于，对于某一语种的文本信息避免使用其他语种的TTS来进行朗读，由于采用非同一语种TTS进行朗读往往声音会有较大误差，例如用英文TTS来朗读汉语拼音就会产生很大的误差，不伦不类，与标准语音语调相差较多，这种情况一旦发生在语言教学过程中，不仅教学质量差，更会造成误人子弟的严重后果。因此在本发明中提出通过语种及内容的组合数据确定教学的内容和语种的组合方式，确定用什么语种进行什么内容的语音输出，然后通过对应语种的TTS对相应内容进行朗读，避免了上述朗读声音误差情况的发生，提高教学质量和用户体验。

进一步的，在本发明实施例中，多模态输出数据包括：与语言教学的内容相关联的图像输出数据和肢体动作输出数据。即在步骤103中对于步骤102中获取的语种及内容的组合数据所描述的具体教学行为可以采用多种形式的输出方式实现，可以通过语音、图像、动作以及多种方式的结合的多模态输出数据实现。

如上例一中，机器人通过讲解语种(英语)语音输出：“Now,let's start aconversation practice.”然后用教学语种(中文)进行教学内容(对话练习)的语音输出：“你叫什么名字？”的同时可以通过机器人自身显示界面将对话内容“你叫什么名字？”显示出来，从而使儿童用户可以在听到语音的同时看到对应的文字。与此同时，还可以输出与教学内容(对话练习)相关联的肢体动作输出，如机器人可以结合对话练习的语句语义进行动作输出，在语音输出：“你叫什么名字？”的同时伸出手指向用户。又或者机器人可以在通过自身显示界面显示对话内容“你叫什么名字？”的同时伸出手指向自身显示界面上显示的字，并且依据语音输出，在读到哪个字的同时指向那个字，从而加深儿童对于声音和文字之间的关联记忆，也可以使教学过程更加生动，有效提高儿童的学习效果和学习积极性，提高用户体验。

更为具体的，在本发明提供的面向智能机器人的儿童教学方法中，一种教学行为模式为单词翻译教学模式。在该种教学模式中教学语种和讲解语种可以分别为中文和英语，从而为母语为英语的儿童提供中文学习功能。

在该单词翻译教学模式中，如图2所示，步骤103生成多模态输出数据并输出的步骤具体为：首先对语种及内容的组合数据进行分析，获取教学内容文字信息以及教学语种和讲解语种，以及，根据语种及内容的组合数据所描述的用户的意图生成对应的第一语种(讲解语种)讲解文字信息。例如，用户对机器人说“Can you tell me how can I sayapple in Chinese,”机器人进行识别分析后可获得描述教学语种和教学内容的组合方式以及需要进行的教学行为模式的语种及内容的组合数据，即对apple进行中文翻译并输出，用英语进行相关说明式讲解。然后基于此对应生成讲解文字信息“Apple in Chineseis___”。

然后对上一步中确认的教学内容文字信息进行语义识别并进行第二语种(教学语种)翻译，获取第二语种翻译(教学语种)文字信息。如上例教学内容单词“apple”，对其进行识别和翻译后获得翻译文字信息“苹果”。由此，最终输出的教学行为文字信息由讲解文字信息与翻译文字信息按照确定的结合方式组合形成，本例中的组合方式为在讲解文字信息“Apple in Chinese is”的后面加入翻译文字信息“苹果”。

最后，根据语种及内容的组合数据中确认的教学内容和教学语种的组合方式，对讲解文字信息和翻译文字信息进行TTS朗读语种标记。如上例中，对讲解文字信息“Applein Chinese is”进行英文TTS朗读标记，对翻译文字信息“苹果”进行中文TTS朗读标记。

然后依据对应标记生成用第一语种(讲解语种)朗读第一语种讲解文字信息结合用第二语种(教学语种)朗读第二语种翻译文字信息的语音信息并输出。如上例即机器人输出语音：“Apple in Chinese is苹果”，其中“Apple in Chinese is”采用英文TTS进行朗读，然后朗读到“苹果”时切换用中文TTS朗读。

与此同时，可在进行朗读输出语音的同时，将最终输出的教学行为文字信息“Apple in Chinese is苹果”通过机器人的显示界面显示出来，或者在另一种实施方式中基于教学内容“apple”通过联网等方式搜索相关的图片，配合朗读语音输出同时将苹果的图片显示在显示界面上，并且还可以同时进行用手指向屏幕中的图片的机器人肢体动作输出。

对于一些可以结合交互场景用肢体动作表示的教学内容，则可以在输出图像和语音的同时，进行相关肢体动作的输出，以生动表达教学内容的含义。例如，若需要翻译的教学内容为“he”和“she”，机器人在向儿童用户语音输出相应的翻译“他”和“她”时，若当前的交互场景中儿童的父母也在场，机器人则可通过相应的身份识别技术，或者儿童父母的位置以及对应身份，在进行语音和图像输出“他”时，通过肢体动作指向儿童的父亲，在进行语音和图像输出“她”时，通过肢体动作指向儿童的母亲。更为生动的，比如机器人在向儿童用户语音输出翻译“汽车”时，可以输出用双手转动方向盘的肢体动作，在向儿童用户语音输出翻译“飞翔”时，可以输出两个手臂学鸟一样煽动翅膀的肢体动作。

由于形体语言是有声语言的重要补充，在进行语言教学过程中，针对儿童用户的年龄特点和心理特点，通过上述语音、图像和动作相结合的语言教学方式，可以充分调动儿童的各种感官，使教学过程更加形象、生动、新奇、有趣，增加儿童的学习兴趣，同时使儿童用户在学习单词时，通过单词语义、读音和字型的关联学习方式，加深对应单词的记忆，理解所学单词含义，增强学习效果，提高学习效率。

进一步的，在进行多模态的教学行为输出之后，可以根据用户的反馈输入信息对教学内容的输出进行重复和调整，使教学过程更加人性化，教学服务更加周到贴心。例如，机器人朗读输出语音：“Apple in Chinese is苹果”之后，若用户说：“pardon”或者“Sayagain”，则通过对用户语义的解析获知用户的意图，然后对教学内容再进行一次朗读输出，即再读一遍“苹果”。同样的，若用户说：“Louder”，则增加音量再进行一次朗读输出，若用户说“Please speak more slowly”，则降低语速再进行一次朗读输出。

进一步的，在语言教学中，不断的巩固和复习所学单词是尤为重要的。因此，本发明实施例提供的面向智能机器人的儿童教学方法，如图3所示，在步骤101至103后还包括：单词测验教学模式，即下述步骤104至步骤108。

在步骤104中，将教学内容文字信息及其对应的翻译文字信息存储入单词库。也就是说，每当通过上述步骤101至103完成一个单词的教学输出之后，就将该单词和其翻译相对应地存进单词库中。如进行完教学内容文字信息为“apple”的教学行为输出后，将教学内容文字信息单词“apple”和其翻译文字信息单词“苹果”相对应的存储进单词库。

然后，在步骤105中，当单词库中存储的教学内容文字信息达到预设数量时，生成测验需求询问的多模态信息并输出。当单词库中存储的教学内容文字信息达到一定数量时就说明用户已经学习了一定数量的单词，此时就需要对已经学过的单词进行测验，即对单词库中存储的单词进行测验，进而对学习过的单词进行复习和巩固。例如在一种应用情境下，当完成一个单词的教学后，单词库中存储的单词数量达到了预设数量5个，则机器人输出测验需求询问的语音信息：“Now,you have learned more than 5 words in Chinese,shall we start a small game to make sure that whether you have known thewords clearly？”(现在，你已经学会了5个以上的中文单词，要不我们开始一个小游戏，来看看你是否已经学会了这些词语的意思好吗？)或者，通过显示界面显示测验需求询问的文字信息。

预设数量可结合实际应用情况进行设置，例如设置为5，则单词库中每新增5个单词就进行一次单词测验的需求询问。其具体数量可以由用户进行设置，也可以由机器人根据用户的学习习惯进行设置。

在发出测验需求询问后，根据用户输入的是否有测验需求的意思表示来确定是否进入单词测验教学模式。例如，用户说：“OK”、“Yes”、“start”、“begin”等表示有测验需求，或者用户通过操作界面输入相应指令，进而确定进入单词测验教学模式。

若用户表示没有进行测验的需求，则不进入单词测验教学模式，可以在单词库中又新增预设数量单词后再次进行单词测验的需求询问，亦或者结合用户的学习习惯就此禁止单词测验需求询问的触发。

当然，单词测验教学模式也可以根据用户的指示直接触发，如用户可以在学习过程中想要进行测验的时候和机器人说：“testing”，机器人识别后确认用户有进行测验的需求，从而进入单词测验教学模式。基于此，可以在用户拒绝单词测验的需求询问后，向用户输出语音以提示单词测验的触发方式：“Ok,in the future,you can say testing toplay this again.”(好的，回头你可以说“测验”来再次进行这个测验。)

在进入单词测验教学模式后，机器人可先生成测验开始的提示语音信息：“OK,let’s begin right now and if you want to end this please say quit”(好，让我们现在开始，如果你想结束测验请说“退出”)，也就是说，在单词测验教学模式进行的过程中，用户可以通过输入指示来暂停或终止测验教学模式。在机器人进行测验开始的提示后，机器人开始进行主动提问流程即步骤106。

在步骤106中，基于单词库生成单词测验的多模态输出信息并输出。其中，首先从单词库中存储的所有已学单词中随机挑选一单词进行测验，以教学内容文字信息作为正确答案信息，其对应的翻译文字信息作为测验内容文字信息，正确答案信息用于判断用户回复的答案的正确性，测验内容文字信息用于进一步生成测验的多模态输出信息。

例如，从单词库中随机挑选出的测验单词为“apple”，则以教学内容文字信息“apple”作为正确答案信息，其翻译文字信息“苹果”作为测验内容文字信息。

同时，生成问题文字信息，问题文字信息为用于进行提问的语句文字，问题文字信息的语种采用讲解语种。例如，在单词翻译教学模式中，采用的讲解语种为英语，则在进行测验时用英语进行提问，进而生成问题文字信息“What dose___mean in English？”

问题文字信息和测验内容文字信息结合后获得测验行为输出文字信息：“Whatdose苹果mean in English？”然后通过多模态方式进行输出。在进行语音输出时，基于问题文字信息和测验内容文字信息不同的语种，采用英文TTS结合中文TTS的方式进行语音输出，具体实现方式在上文中已经说明，在此不再赘述。

或者，根据测验内容文字信息“苹果”搜索相关的图片，通过显示界面显示该苹果图片，同时语音输出问题文字信息：“what does it mean in English？”并输出用手指向显示的图片的肢体动作输出信息。

在步骤107中，接收用户针对单词测验的多模态输出信息的回答信息。即接收用户针对测验行为输出提出的问题进行回答的多模态输入信息，如上例，用户回答说“apple”，或通过机器人文字输入界面输入文字“apple”。

在步骤108中，解析回答信息，生成对回答信息进行评价的多模态信息并输出。首先对接收的回答信息进行解析识别，并对比正确答案信息，判断用户的回答是否正确。如上例，对用户输入的音频或文字进行识别，若识别出的内容与正确答案信息“apple”的相似度超过90％，则认为用户回答正确，否则不正确。

然后，基于回答的正确与否对用户的回答进行评价。若回答正确，则生成肯定评价信息输出：“yes”“great”等等，然后执行步骤106继续进行单词测验。若回答不正确则生成纠正信息输出，例如通过语音输出：“ok,and I think it’s apple that you wanted tosay.”(我认为你想说的是苹果)将正确答案告知用户，然后执行步骤106继续进行单词测验。

步骤106中，在单词库中选取单词进行测验的选择方式可以为随机选择，并且不排除已经在测验教学模式中测验过的单词。在这种选择方式下，可以对单词库中的单词的测验次数和用户回答正确率进行记录，对于测验次数较多且用户回答正确率较高的单词适当减小选择到的几率，对于测验次数较少且用户回答正确率较低的单词则增加选择到的几率，以使用户可以对单词库中的所有单词都进行复习、巩固和掌握。

在单词库中选取单词进行测验的选择方式也可以结合儿童的记忆方式和兴趣进行变通。如若单词库中有一些单词(翻译前或翻译后)在内容和字形上相近或有关联，则可以把这些单词放在一起进行测验，即在单词库中进行选择时，在对这些单词进行连续选择。例如，在进行词语“姐姐”的测验后，若单词库中有相关联的单词“妹妹”，则可以紧接着进行单词“妹妹”测验。

本发明实施例还提供一种面向智能机器人的儿童教学装置，如图4所示，该装置包括：指示获取单元1，解析单元2以及第一输出单元3。

其中，指示获取单元1用于接收多模态输入数据并解析，获取语言教学指示信息。

解析单元2用于解析语言教学指示信息，确定需要进行语言教学的语种及内容，并获取语种及内容的组合数据。

第一输出单元3用于根据语种及内容的组合数据生成多模态输出数据并输出。

进一步的，第一输出单元3中包括有：分析模块、翻译模块和输出模块。

分析模块用于对语种及内容的组合数据进行分析，获取教学内容文字信息，以及，生成第一语种讲解文字信息。

翻译模块用于识别教学内容文字信息并进行第二语种翻译，获取第二语种翻译文字信息。

输出模块用于生成用第一语种朗读第一语种讲解文字信息结合用第二语种朗读第二语种翻译文字信息的语音信息并输出。

本发明实施例提供的面向智能机器人的儿童教学装置，如图5所示，还包括：

存储单元4、第二输出单元5、第三输出单元6、回答接收单元7以及第四输出单元8。

存储单元4用于将教学内容文字信息及其对应的翻译文字信息存储入单词库.

第二输出单元5用于当单词库中存储的教学内容文字信息达到预设数量时，生成测验需求询问的多模态信息并输出。

第三输出单元6用于基于单词库生成单词测验的多模态输出信息并输出。

回答接收单元7用于接收用户针对单词测验的多模态输出信息的回答信息；

第四输出单元8用于解析回答信息，生成对回答信息进行评价的多模态信息并输出。

进一步的，在本发明提供的面向智能机器人的儿童教学装置中，第一输出单元3、第二输出单元5、第三输出单元6以及第四输出单元8输出的多模态输出数据中都可以包括有与语言教学的内容相关联的图像输出数据和肢体动作输出数据。

本发明实施例提供的面向智能机器人的儿童教学方法和装置，针对现有的智能机器人的儿童教育功能不能为不同母语语种的儿童用户提供多语种的语言教学服务，用户体验度低等问题。本发明通过用户的多模态输入数据以被动或主动方式触发儿童语言教学功能，然后基于儿童的母语语种以及所需求的教学语种和相应教学内容生成结合语音、图像和动作的多模态的语言教学行为输出，实现对外语母语儿童进行中文等多语种语言教学的功能。同时对用户学习过的单词等教学内容进行存储记录，并可以基于用户学习过的内容生成结合语音、图像和动作的多模态的测验教学行为输出，实现对于所学知识的巩固和复习。语言教学和测验教学方式丰富多样，可以提高儿童的学习兴趣和学习效果。针对在语言教学过程中要进行的多语种交错地语音输出，本发明采用对应语种的TTS对相应语种内容进行朗读，避免了朗读声音误差情况的发生，提高教学质量和用户体验。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种面向智能机器人的儿童教学方法，其特征在于，包括：

接收多模态输入数据并解析，获取语言教学指示信息；

解析所述语言教学指示信息，确定需要进行语言教学的语种及内容，并获取语种及内容的组合数据；

根据所述语种及内容的组合数据生成多模态输出数据并输出。

2.根据权利要求1所述的面向智能机器人的儿童教学方法，其特征在于，在所述根据语种及内容的组合数据生成多模态输出数据并输出的步骤中包括：

对所述语种及内容的组合数据进行分析，获取教学内容文字信息，以及，生成第一语种讲解文字信息；

识别所述教学内容文字信息并进行第二语种翻译，获取第二语种翻译文字信息；

生成用第一语种朗读第一语种讲解文字信息结合用第二语种朗读第二语种翻译文字信息的语音信息并输出。

3.根据权利要求2所述的面向智能机器人的儿童教学方法，其特征在于，还包括：

将所述教学内容文字信息及其对应的翻译文字信息存储入单词库；

当单词库中存储的教学内容文字信息达到预设数量时，生成测验需求询问的多模态信息并输出。

4.根据权利要求3所述的面向智能机器人的儿童教学方法，其特征在于，当确认需要进行测验时，还包括：

基于所述单词库生成单词测验的多模态输出信息并输出；

接收用户针对所述单词测验的多模态输出信息的回答信息；

解析所述回答信息，生成对所述回答信息进行评价的多模态信息并输出。

5.根据权利要求1所述的面向智能机器人的儿童教学方法，其特征在于，

所述多模态输出数据包括：与所述语言教学的内容相关联的图像输出数据和肢体动作输出数据。

6.一种面向智能机器人的儿童教学装置，其特征在于，包括：

指示获取单元，其用于接收多模态输入数据并解析，获取语言教学指示信息；

解析单元，其用于解析所述语言教学指示信息，确定需要进行语言教学的语种及内容，并获取语种及内容的组合数据；

第一输出单元，其用于根据所述语种及内容的组合数据生成多模态输出数据并输出。

7.根据权利要求6所述的面向智能机器人的儿童教学装置，其特征在于，所述输出单元包括：

分析模块，其用于对所述语种及内容的组合数据进行分析，获取教学内容文字信息，以及，生成第一语种讲解文字信息；

翻译模块，其用于识别所述教学内容文字信息并进行第二语种翻译，获取第二语种翻译文字信息；

输出模块，其用于生成用第一语种朗读第一语种讲解文字信息结合用第二语种朗读第二语种翻译文字信息的语音信息并输出。

8.根据权利要求7所述的面向智能机器人的儿童教学装置，其特征在于，还包括：

存储单元，其用于将所述教学内容文字信息及其对应的翻译文字信息存储入单词库；

第二输出单元，其用于当单词库中存储的教学内容文字信息达到预设数量时，生成测验需求询问的多模态信息并输出。

9.根据权利要求8所述的面向智能机器人的儿童教学装置，其特征在于，当确认需要进行测验时，还包括：

第三输出单元，其用于基于所述单词库生成单词测验的多模态输出信息并输出；

回答接收单元，其用于接收用户针对所述单词测验的多模态输出信息的回答信息；

第四输出单元，其用于解析所述回答信息，生成对所述回答信息进行评价的多模态信息并输出。

10.根据权利要求6所述的面向智能机器人的儿童教学装置，其特征在于，

所述多模态输出数据包括：与所述语言教学的内容相关联的图像输出数据和肢体动作输出数据。