CN109559576A - 一种儿童伴学机器人及其早教***自学习方法 - Google Patents

Abstract

本发明公开了一种儿童伴学机器人及其早教***自学习方法，自学习方法包括：步骤A10，训练卷积神经网络；步骤A20，采用卷积神经网络对输入的图像提取特征向量；步骤A30，采用乘积量化技术对特征向量分组量化；步骤A40，根据Imagenet数据集生成基准字母表；步骤A50，获取未知的新事物的图像和类别，提取新事物图像的特征向量并分组量化，并在基准字母表中查找匹配的新事物字符串；在联想记忆模型中将新事物字符串与类别匹配连接，实现将新事物学习到早教***中；步骤A60，获取待识别事物的图像，早教***识别得到待识别事物的类别。本发明可以实现与儿童一起学习新知识，共同竞赛，提高儿童学习的乐趣。

Description

一种儿童伴学机器人及其早教***自学习方法

技术领域

本发明涉及智能设备，特别是指一种儿童伴学机器人及其早教***自学习方法。

背景技术

学龄前的儿童由于智力和身体的发育尚不完全，需要成年人长期陪伴和看管。而且儿童阶段是运动、语言、数学等能力发展最快的敏感期，其重要性不言而喻，这就需要家长付出大量的精力和成本来陪伴和教育儿童。目前现有的早教***大多仅具备音频、视频的播放功能，部分早教***虽然可通过语音或触控的方式与其进行简单的交互，但是交互的内容必须是***数据库中已有的素材。也就是说，现有早教***主要具备的是“点播”***中已有的素材功能，由于早教***不具备学习能力，导致***无法学习到在实际应用中遇到的***数据库未能涵盖的新知识，***进而无法达到寓教于乐地与儿童一起学习识物、识字、算数等基本功能，无法满足与儿童一起共同成长的要求。

发明内容

针对目前的儿童早教***不具备自学习功能导致的无法学习到***未涵盖的新知识的技术问题，本发明提供一种儿童伴学机器人的早教***自学习方法，通过伴学机器人的早教***的自学习功能来提高儿童的学习乐趣，从而实现与儿童一起学习、共同成长的目的，并消除儿童的畏惧厌学情绪。

为实现上述技术目的，本发明采用如下技术方案：

一种儿童伴学机器人的早教***自学习方法，包括以下步骤：

步骤A10，训练卷积神经网络；

构建卷积神经网络模型，以Imagenet数据集的所有样本图像作为输入、样本图像的类别作为标签，训练卷积神经网络；

步骤A20，提取图像特征信息；

采用步骤A10训练得到的卷积神经网络对输入的图像进行特征提取，输出特征向量；

步骤A30，对特征向量分组量化；

采用乘积量化技术将特征向量进行分组量化，形成m个子特征向量；

步骤A40，生成基准字母表；

将Imagenet数据集的所有样本图像，均按步骤A20和A30处理，得到每个样本图像的m个子特征向量；

对所有样本图像，取序列相同的子特征向量构成1个分组数据集，总共计m个分组数据集；

对每个分组数据集采用K-means算法计算得到k_s个类中心，记录每个分组数据集的k_s个类中心为1个类集合，总共m个类集合构成基准字母表；

将基准字母表预置于联想记忆模型的输入层；

步骤A50，学习新事物；

从早教***外部获取未知的新事物的图像和类别；

将获取的新事物图像按步骤A20和步骤A30处理，得到新事物的m个子特征向量；遍历新事物的m个子特征向量，在基准字母表的与新事物的当前子特征向量序列相同的类集合中查找匹配的字母，得到长度为m的新事物字符串；

激活联想记忆模型输入层中存储有新事物字符串各字母的节点，联想记忆模型将输入层被激活的节点与表示新事物类别的输出层节点匹配连接；其中，所述联想记忆模型为包括输入层和输出层的二值神经网络，所述输出层的节点预置有事物类别；

步骤A60，识别待识别事物；

从早教***外部获取待识别事物的图像；

将获取的待识别事物的图像按步骤A20和步骤A30处理，得到待识别事物的m个子特征向量；遍历待识别事物的m个子特征向量，在基准字母表的与待识别事物的当前子特征向量序列相同的类集合中查找匹配的字母，得到长度为m的待识别事物字符串；

激活联想记忆模型输入层中存储有待识别事物字符串各字母的节点，联想记忆模型查找与输入层被激活的节点匹配连接的输出层节点，并输出输出层节点相应的事物类别，识别得到待识别事物的类别。

对于早教***中没有的新事物，本方案可以通过自学习方法，在获取到新事物的图像和其他儿童/教导人员告知新事物类别的情况下，将新事物的图像与类别匹配连接，联想记忆模型中存储的事物图像与类别间的匹配关系得到更新，儿童伴学机器人实现对事物的增量式学习。从而在儿童或者其他人员的教导下，学习识别新的物体、新的文字，实现与儿童一起学习新知识，相互竞赛，从而提高儿童学习的乐趣。

进一步地，所述联想记忆模型的输出层为每个事物类别分配至少2个节点；当学习新事物时，与激活的输入层节点匹配连接的输出层节点是当前事物类别下尚未与输入层节点连接的第一个节点。

联想记忆模型的输出层事物的类别分别多个节点，可以对同类事物进行多次学习，记录多条该类事物与类别的连接关系，从而提高事物识别的辨识度。

进一步地，所述联想记忆模型为两层的神经网络。

进一步地，在基准字母表的m个类集合中分别查找与事物的m个子特征向量匹配的字母的方法为：分别计算当前子特征向量与对应的类集合中的k_s个类中心之间的距离，取距离最近的1个类中心作为与事物对应的1个字母，由事物的m个子特征向量得到m个字母，从而得到与事物对应的长度为m的字符串。

进一步地，事物的类别与事物的真实名称之间以键值对保存在.txt格式的键值对文件中；学习新事物时，先从外界获取新事物的真实名称，然后在键值对文件中查找到与真实名称对应的类别；若不存在该类别信息，则***一个新的键值对，以表示新学习的类别，再将事物的类别输入给联想记忆模型；识别待识别事物时，联想记忆模型输出的是待识别事物的类别，通过在键值对文件中查找到与类别对应的真实名称，早教***输出待识别事物的真实名称。

本方案通过存储键值对可以节省存储空间。

进一步地，使用交叉熵作为损失函数来训练卷积神经网络模型，并根据损失函数的计算值L更新卷积神经网络各层的权重矩阵；

其中，所述损失函数如式1所示：

其中，N表示每次输入卷积神经网络的样本图像的数量，y_i为第i个样本图像的类别真实标签，y'_i为卷积神经网络对第i个样本图像的预测值。

进一步地，所述卷积神经网络包括输入层、卷积层、跳层连接、池化层、全连接层和分类层；训练卷积神经网络时，以分类层输出的预测值计算损失函数值；使用卷积神经网络提取图像特征信息时，以全连接层输出的特征来构成图像的特征向量。

与早教***自学习方法相对应的，本发明还提供一种儿童伴学机器人，包括：

功能选择模块，用于启动早教***功能中的新事物学习功能或事物识别功能；

存储模块，用于存储事物的类别与真实名称的键值对文件以及存储基准字母表；

信息输入模块，用于新事物学习功能被启动时获取新事物的图像和真实名称，或事物识别功能被启动时获取待识别事物的图像；

信息处理模块，新事物学习功能被启动时，用于根据获取到的新事物的真实名称，在键值对文件中查找与真实名称对应的类别，然后根据新事物的图像和类别，依据上述方法学习新事物；事物识别功能被启动时，用于根据获取到的待识别事物的图像，依据上述方法识别待识别事物，然后根据识别到的类别在键值对文件中查找到类别对应的真实名称；

信息输出模块，用于在事物识别功能被启动时输出待识别事物的真实名称。

进一步地，所述信息输入模块包括摄像头和语音输入单元。

进一步地，所述信息输出模块包括显示屏和语音输出单元。

有益效果

本发明提供一种儿童伴学机器人及其早教***自学习方法，对于早教***中没有的新事物，本方案可以通过自学习方法，在获取到新事物的图像和其他儿童/教导人员告知新事物的真实名称或类别的情况下，根据新事物图像经卷积神经网络和乘积量化后的字符串激活联想记忆模型的输入层节点，并将输入层节点与相应类别的输出层节点匹配连接，联想记忆模型中存储的事物图像与类别间的匹配关系得到更新，儿童伴学机器人实现对事物的增量式学习。从而在儿童或者其他人员的教导下，学习识别新的物体、文字、算式等，实现与儿童一起学习新知识，相互竞赛，从而提高儿童学习的乐趣。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一个具体实施例。附图如下：

图1为根据本发明实施例的儿童伴学机器人的示意性构造图；

图2为根据本发明实施例的儿童伴学机器人的模块构成框图；

图3为本发明儿童伴学机器人对物体、文字、算式进行识别的实施例示意图；

图4为学习模块的学习框架示意图；

图5为学习模块中的字母表生成示例图；

图6为学习模块中特征乘积量化的结果示例图；

图7为伴学机器人的学习或识别过程示意图；

图8为卷积神经网络模型示意图，其中，(a)为残差块的结构示意图，(b)为卷积层的示意图，(c)为最大池化层示意图，(d)为全连接层的示意图；

图9为卷积神经网络训练流程图；

图10为本发明例举的简易神经网络模型。

附图标号：1-摄像头，2-交互式功能选择区，3-语音接收与输出区，4-显示屏。

具体实施方式

下面将结合附图和实例对本发明做进一步的说明。

本发明的儿童伴学机器人，其示意性结构图如图1所示，包括摄像头1、交互功能选择区2、语音接收与输出区3以及显示屏4。其中，摄像头1位于伴学机器人的头顶部，主要用于机器人从周围环境中获取各种用于事物识别的图像信息。交互功能选择区2位于伴学机器人身体的前部，使用者可以通过在该区域点击、拖拽、滑动等操作交互式地选择该机器人的各项功能。语音接收与输出区3位于该伴学机器人的头后部，其主要用于从周围环境中识别和接受使用者的语音，以及输出响应语音信息的回复语音或者响应***各操作的反馈声音。显示屏4位于伴学机器人的头前部，其主要用于显示机器人的应答信息，以及机器人的相关表情。本实施例采用触摸屏，兼具交互功能选择区与显示屏的功能。例如，若使用者回答问题回答正确，则可在伴学机器人的显示屏上显示一个笑脸，其他情感表达与之类似。

依据上述儿童伴学机器人的结构，其早教***原理框图如图2所示。本发明儿童伴学机器人早教***包括：功能选择模块、存储模块、信息输入模块、信息处理模块、信息输出模块。

本发明的儿童伴学机器人的早教***具有多种功能：识物、识字、算数、唱歌、学习等功能，使用者在交互功能选择区选择相应的功能，早教***的功能选择模块便启动该项功能。该功能选择模块的交互界面既可以采用触摸屏的形式，也可通过语音命令的形式以方便使用者选择。

早教***具有存储器作为存储模块，用于存储卷积神经网络的参数、在Imagenet数据集上学习得到的基准字母表、二值联想记忆模型的连接方式、二值联想记忆模型输出节点对应的类别(即事物的类别信息，也即键值对关系)等。

信息输入模块，用于输入使用者的语音信息以及从伴学机器人周围环境中提取出的物体、文本、算式等用于***识别的图像信息。

信息处理模块，主要对信息输入模块采集到的语音和图像信息进行处理，完成对输入图像中相关目标对象的学习和识别工作，其中的学习模块能让伴学机器人通过相关学习机制获知***外部的客观实体信息。语音信息的处理包括语音的识别和理解；图像信息的处理包括图像预处理、图像特征提取和图像识别。该处理过程包括以下两类情况：

一是单纯的识别，直接调用在已有数据库上训练出的模型对图像进行识别，并把识别的结果返回给***，可识别常见的物体以及文字，并且可以做简单的四则运算。

二是学习新事物，对于***数据库中没有的物体、文字等，该伴学机器人可以通过学习模块的学习算法在其他儿童或者教导人员告知新事物的类别或文本信息的情况下，利用新数据更新旧模型，实现增量式的学习。在经过若干次的学习后，就可以对新事物进行识别，从而实现与作为使用者的儿童一起学习，一起进步的目的，以陪伴儿童学习的方式来提高其学习兴趣。

信息输出模块，包括语音输出模块和显示输出模块。语音输出模块，用于输出机器人的应答语音或者响应本***的反馈声音以及在唱歌功能时播放音乐。显示输出模块，用于输出与语音信息以及应答语音相匹配的图案、或者伴学机器人的相关表情，以及向监护人发送的警告信息等。

其中，信息处理模块包括学习模块和警告模块。

警告模块，通过对儿童与伴学机器人的互动时间进行判断，当儿童一定的时间未与伴学机器人进行互动时，则认为儿童长时间开小差，，通过语音提示或者显示屏显示的方式向监护人及时发送警告信息。

学习模块，用于通过自学习的方式获知早教***数据库中没有的新事物，该新事物是指物体或文本信息。本发明的早教***利用学习模块所具有的功能，可在其他人员的教导下，学习识别新的物体、新的文字等，可以与儿童一起学习新知识，相互竞赛、共同进步，从而提高儿童学习的乐趣。

本发明早教***通过学习模块实现学习功能，可以在充当儿童玩伴的同时，还可以寓教于乐地与儿童一起学习识物、识字、算数等基本技能，并能与儿童一起共同成长。为此，本发明针对原先训练识别模型时没有数据的新物体或新文字。在***信息处理模块的学习模块中构建了一个学习框架，如图4所示。学习模块采用卷积神经网络(CNNS)和二值联想记忆模型相结合的方法，首先利用预训练的卷积神经网络模型对新样本进行特征提取，然后利用乘积量化技术将提取的特征映射到一个有限的字母表里，最后使用二值联想记忆模型存储新样本，从而实现对新样本的学习。在识别和预测时用二值联想记忆模型进行最近邻搜索，实现对新类别的识别。由此，机器人即可通过自学习的方式获知原未有的新物体、文本信息，从而与儿童一起学习，共同成长。由图4可知，所示的学习框架主要包括卷积神经网络(CNNS)和二值联想记忆模型。其中卷积神经网络具有强大的学习能力和表达能力，利用在Imagenet数据集中上百万数据集预训练的卷积网络提取的特征可以很好的表达图像。

本发明的儿童伴学机器人的早教***自学习方法，包括以下所述步骤：

步骤A10，训练卷积神经网络：

首先构建卷积神经网络模型，本实施例所使用的模型是在ResNet的基础上进行了相应的改进，共使用了50个残差块，残差块的结构如图8(a)所示，每个残差块包含三个卷积层和一个跳跃连接，卷积层的结构示意图如图(b)所示，跳跃连接可以有效的解决训练过程中的梯度消失问题；每10个残差块接一个最大池化层，最大池化层如图8(c)所示，池化层可以降低特征尺寸，并提取其中最显著的特征。最后接着全连接层，全连接层如图8(d)所示，本文所使用的网络一共使用了三个全连接层，第一个全连接层有1024个节点，第二个全连接层有2048个节点，最后一个全连接层有1000(Imagenet数据集共有1000个类)个节点，最后一个全连接层的结果经过softmax后就得到Imagenet数据集内的1000个类别的概率。在后续使用该网络提取特征时，使用第二个全连接层的输出作为特征。

然后使用交叉熵作为损失函数来训练卷积神经网络模型，损失函数如式1所示，其中y_i为第i个样本图像的类别真实标签，y'_i为卷积神经网络对第i个样本图像的预测值。模型训练的过程就是通过比较预测值和真实标签，再根据两者的差异情况来更新卷积神经网络每一层的权重矩阵，本实施例采用式1所示的交叉熵作为损失函数来衡量预测值和真实标签之间差异，然后根据损失函数值来更新卷积神经网络模型中每一层的权重矩阵。

其中N为batchsize，即一次送入训练的样本图像的数量。

具体地，对卷积神经网络训练的过程包括前向传播、计算损失函数和反向传播三部分。前向传播即是对输入到卷积神经网络的图像经过卷积、池化和全连接层得到预测值y'；由于已知样本的真实标签y，即已知样本所示事物的类别，因此可根据样本真实标签y、预测值y'按式1计算损失值L；然后使用梯度下降法进行反向传播并更新卷积神经网络的权重矩阵。不断重复上述过程，直到损失函数值L小于预设期望值或达到预设的训练轮数。整个训练流程如图9所示，其中求导过程中是用链式求导法则，从损失函数往前传。下面以全连接层为例详细说明反向传播过程。

图10是一个由两个全连接层组成的神经网络，其中i为输入，h为中间层，o为输出层，w为权重，前向传播的计算如下：

h₁＝w₁*i₁+w₃*i₂+w₅*i₃ (2)

h₂＝w₂*i₁+w₄*i₂+w₆*i₃ (3)

o₁＝w₇*h₁+w₉*h₂ (4)

o₂＝w₈*h₁+w₁₀*h₂ (5)

可知o＝[o₁,o₂]，经过softmax函数激活后得到预测值为y＝[y'₁,y'₂]，具体计算如下式：

假设该样本的真实标签为y＝[y₁,y₂]则有损失值如下：

上面就是前向传播和计算损失值的过程，下面详细说明反向传播及权重参数更新的过程。

通过链式求导法则可知损失值L对参数w₁的梯度计算公式如下：

同理可计算出其他权重参数的梯度值，参数更新的公式如下：

其中α为学习率，经过上述过程就完成了对神经网络权重参数的一轮学习，经过不断的学习，损失值L会不断下降，直到收敛到某一值或训练一定的轮数即完成卷积神经网络的训练过程，得到优化的权重矩阵，该权重矩阵的卷积神经网络即为训练后的卷积神经网络。在后续使用卷积神经网络输出特征向量时，由分类层前一个全连接层输出特征向量。

步骤A20，提取图像特征信息：采用卷积神经网络对输入的图像进行特征提取，形成维度为d的特征向量。其中，提取得到的特征向量是由关系神经网络的分类层的前一个全连接层输出得到。

步骤A30，对特征向量分组量化：采用乘积量化技术，将d维的特征向量进行分组量化，形成m个子特征向量，每个子特征向量的维度为d/m。

步骤A40，生成基准字母表：

获取Imagenet数据集的所有样本图像，数量共计n个，每个样本图像均按步骤A20和A30处理，则n个样本图像均得到m个子特征向量；

对所有样本图像，取序列相同的子特征向量，n个样本图像的序列相同的子特征向量构成1个分组数据集，每个样本均有m个子特征向量，故总共计m个分组数据集。此处序列相同是指，每个样本图像都有m个子特征向量，对m个子特征向量按顺序编号，取每个样本图像中序列编号相同的子特征向量，从而得到该序列编号的分组数据集。由于每个样本数据有m个子特征向量，故所有样本图像可得到m个分组数据集。例如，每个样本图像，均取其第1个子特征向量，所有样本图像的第1个子特征向量构成第1个分组数据集；然后，每个样本图像，均取其第2个子特征向量，所有样本图像的第2个子特征向量构成第2个分组数据集；……；最终得到m个分组数据集。

对每个分组数据集采用K-means算法计算得到每个分组数据集的k_s个类中心，记该k_s个类中心为1个类集合，则总共m个类集合构成基准字母表。

如图5所示实例，图中假设总共有n个样本，提取出的特征维度d＝12，分组数m＝4，每个组内类中心为k_s个，量化得到的结果如图6所示，这里假设k_s＝4，即得到的字母表包含4个字母组(即m个类集合，分别为J＝1，2，3，4)，每个字母组又包含4个字母(即k_s个类中心分别为C_ij，表示第i组子特征向量里的第j个类中心)，我们利用在Imagenet数据集得到的字母表作为基准字母表，Imagenet数据包括上千类、上百万图片，在这些数据上学习得到的字母表可以非常有效的概括图像特征，从而提高事物识别时的辨识度。

然后再将基准字母表预置于联想记忆模型的输入层。

步骤A50，学习新事物：

当早教***启动新事物的学习功能时，如图4所示，伴学机器人通过摄像头从***外部获取***未知的新事物的图像，其他儿童或教导人员通过语音告知机器人***未知新事物的真实名称。

将获取的新事物图像按步骤A20处理得到新事物的特征向量x^d，再按步骤A30处理得到新事物的m个子特征向量i表示子特征向量的序号。

在基准字母表的第i个类集合的k_s个类中心里面查找与新事物的第i个子特征向量最匹配的字母，直到新事物的m个子特征向量都找到最匹配的字母，从而得到长度为m的新事物字符串。由于每个类集合是由样本的序列相同的子特征向量得到的，因此新事物学习时，也是在序列相同的类集合中查找匹配的字母。

其中，查找最匹配的字母的方法为：分别计算第i个子特征向量与第i个类集合的k_s个类中心之间的欧式距离，取距离最小所对应的类中心作为事新事物对应的1个字母，新事物共m个子特征向量则得到m个字母，从而得到与新事物对应的长度为m的字符串，并输出给联想记忆模型中。例如图7中，第1个子特征向量在4个类中心找到距离最近的字母为C₁₁，第2个子特征向量在4个类中心找到距离最近的字母为C₂₃，第3个子特征向量在4个类中心找到距离最近的字母为C₃₄，第4个子特征向量在4个类中心找到距离最近的字母为C₄₂，该新事物经过乘积量化后得到的字符串为C₁₁C₂₃C₃₄C₄₂,

在存储于存储模块中的.txt格式的键值对文件中查找与新事物的真实名称所对应的类别，并在联想记忆模型的输出层中找到与该新事物类别对应的节点。若在键值对文件中没找到该类别信息，表示该事物是以前没学习过，则在键值对文件中***一个新的键值对。

新事物字符串的各字母激活联想记忆模型的输入层中的相应节点，联想记忆模型将新事物字符串激活的的输入层节点与表示新事物类别的输出层节点匹配连接。

在本实施例中，联想记忆模型为包括输入层和输出层的二值神经网络，且输出层的节点预置有事物类别。

联想记忆模型的输出层为每个事物类别分配至少2个节点，当学习新事物时，与激活的输入层节点匹配连接的输出层节点是当前事物类别下尚未与输入层节点连接的第一个节点，直到所有该类别的节点被分配完，说明该类别的事物已充分学习到***中。通过对同类事物进行多次学习，记录多条该类事物与类别间的连接关系，从而提高事物识别时的辨识度。

本实施例中的联想记忆模型使用一个两层的神经网络来实现：输入层由m组节点组成，每组包括k_s个节点，输入层节点用于对应存储基准字母表的m个类集合的各k_s类中心；输出层包括RC个节点，其中C表示可学习的新事物类别总数，R表示联想记忆模型为每类事物分配的节点数，在图7中假设C＝9，R＝2，在实际中可将R和C取一个非常大的值，因此仅需很少的存储需求就能实现非常多类和数据量的增量学习。

例如图7中，学习的新事物经乘积量化后得到的字母C₁₁、C₂₃、C₃₄、C₄₂输入到联想记忆模型，分别激活联想记忆模型的输入层中的相应节点(由于基准字母表预置于联想记忆模型的输入层节点，因此这里的相应节点指的是，输入层中分别存储有字母C₁₁、C₂₃、C₃₄、C₄₂的各个节点)；联想记忆模型为该新事物类别(假设类别为‘6’)在输出层分配第6类别节点，且激活该第6类别第一个不存在连接的节点，即‘η₆₁’；再而将输入层各节点C₁₁、C₂₃、C₃₄、C₄₂分别与该新事物类别节点η₆₁进行匹配连接。由于本发明中的联想记忆模型是是二值记忆模型，因此没有连接权重，只有存在连接和不存在连接。当该类别的R个节点均被分配完，表示该类别的事物已充分学习到***中，这样就实现了对新样本的学习。

该伴学机器人对新事物的学习过程与儿童的学习过程相似，随着反复学习，对事物识别的准确度会逐步提高，形成一种与儿童共同学习共同进步的局面，这种以儿童同学角色来陪伴儿童学习的方式，而不是以儿童的老师的角色来教导儿童学习的方式，可以消除儿童的畏惧厌学情绪，提高儿童的学习兴趣。

目前已有的***将物体、文字等内容以各种的形式存储在***内部，使用时调出，缺乏实体对象。而本发明伴学机器人所识别的事物是外部的客观实体，通过计算机视觉技术，即借用摄像头获取事物的图像，通过自学习来识别***外部的物体、文字、算式，并发音说出物体名称，念出文字和算式的计算结果，因此可以提高已有***的趣味性和真实感。

步骤A60，识别待识别事物：

当早教***的事物识别功能被启动时，伴学机器人通过摄像头从***外部获取待识别事物的图像；

将获取的待识别事物的图像按步骤A20处理得到待识别事物的特征向量x^d，再按步骤A30处理得到待识别事物的m个子特征向量i表示子特征向量的序号。

在基准字母表的第i个类集合的k_s个类中心里面查找与待识别事物的第i个子特征向量最匹配的字母，直到待识别事物的m个子特征向量都找到最匹配的字母，从而得到长度为m的待识别事物的字符串。其中，查找最匹配的字母的方法为：分别计算第i个子特征向量与k_s个类中心之间的欧式距离，取距离最小所对应的类中心作为待识别事物对应的1个字母，待识别事物共m个子特征向量则得到m个字母，从而得到与待识别事物对应的长度为m的字符串，并输出给联想记忆模型中。

待识别事物字符串的各字母激活联想记忆模型的输入层的相应节点，联想记忆模型查找与激活的输入层节点匹配连接的输出层节点，并输出输出层节点相应的事物类别。

在存储于存储模块中的.txt格式的键值对文件中查找与待识别事物的类别所对应的真实名称，然后将待识别事物的真实名称通过显示屏或语音输出儿童伴学机器人。

在本发明中，事物可以是物体、文字、算式等各种形式中任意一种，事物的类别是指为各个不同事物的编码序列。当事物具体指物体时，事物的真实名称是指物体的中文名称、拼音和/或英文名称；当事物具体是指文字时，事物的真实名称是指文字的拼音、释义等，当事物具体是指算式时，事物的真实名称是指运算结果。

图3为本发明儿童伴学机器人对物体、文字、数字进行识别的实施例示意图。如该图3所示，当伴学机器人通过头顶部的摄像头看到物体时，将会自动识别此物体，并将该物体的名称告知使用者。例如，当伴学机器人早教***处于事物识别功能时，当伴学机器人看到放置于前方的苹果时，就会自动识别出该物体为苹果，显示屏主动输出该物体名称，或者当使用者询问伴学机器人这是什么时能给予回答。告知使用者事物的真实名称的方式既可以通过语音输出，也可以在显示屏上显示出“苹果”二字及其对应的拼音和英文单词，或者两者兼而有之。与之类似，处于文字识别功能时，当伴学机器人看到放置于前方的汉字(如“弈”字)时，也能自动识别出该汉字，并能主动输出该汉字的拼音、释义，或者在使用者询问时给予回答。此外，本发明儿童伴学机器人除了可以识物、识字外，还可以进行加减乘除四则运算。例如，处于算式功能时，当伴学机器人看到放置于前方写有“6+4”的卡片，或者机器人听到使用者询问其“6+4＝？”时，此机器人可语音告知使用者运算结果为“6+4＝10”，同时在显示屏上显示数字“6+4＝10”。

事物识别的目标对象若是***根据Imagenet数据集图片中已有的事物类别，或者已通过新事物学习过的事物类别，该伴学机器人可做到随时识别，即识别后立刻告知使用者该事物的真实名称及相关信息。其中Imagenet数据集图片中已有的事物类别，是伴学机器人***预学习到联想记忆模型中的，其学习方法与上述步骤A50使用伴学机器人时的增量式学习的方法相同。若目标对象是***没有且没有学习过的，该伴学机器人可以启动早教***的新事物学习功能，在使用者告知新事物类别的情况下，学习该学见过的新事物的类别，使伴学机器人在下一次看到此对象时能够正确识别出来。

例如，若最初的Imagenet数据集图片中有梨子的数据，则本发明儿童伴学机器人在看到梨子后，能立即识别出来并告知使用者这是梨子。而对于最初的训练数据库中没有的苹果，家长或其他教导人员可以在伴学机器人摄像头看到苹果时告知该伴学机器人这是苹果，该机器人即可通过相新事物学习功能实现增量式的学习，以便下一次与作为使用者的儿童一起辨识该物。

本发明伴学机器人具备监督功能，通过对儿童与伴学机器人的互动时间进行判断，当儿童一定的时间未与伴学机器人进行互动时，则认为儿童长时间开小差，，然后通过语音提示或者显示屏显示的方式向监护人及时发送警告信息，避免儿童在做一些不安全的事情；同时语音提示和显示屏显示可以勾起儿童的兴趣，让儿童更多的与玩伴机器人进行互动。

本实施例的儿童伴学机器人以及儿童早教***将机器人技术、图像处理、模式识别技术运用于学龄前儿童的陪伴，智能化地响应使用者的各种动作和状态，给予使用者良好的使用体验。相比于已有早教机器人***，本发明专利***具有如下优势：1)本***具备学习功能，可在相关人员的指导下，学习识别新的物体、新的文字，从而实现与儿童一起学习、共同成长的目标，节省了家长在儿童早起教育方面所花费的时间和精力；2)本***更多的定位于儿童的同学，而不是儿童的老师，从而有利于消除儿童的畏惧厌学情绪；3)本***可以利用摄像头采集的图像识别外界的客观实体，因此本***具有比较好的趣味性和真实感；4)本***具备监督功能，可在儿童行为异常时，如长时间开小差，向监护人发送警告信息。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变形或修改。因此，本发明的范围应该被理解和认定为覆盖了所有这些其他变形或修改。

Claims (10)

1.一种儿童伴学机器人的早教***自学习方法，其特征在于，包括以下步骤：

步骤A10，训练卷积神经网络；

构建卷积神经网络模型，以Imagenet数据集的所有样本图像作为输入、样本图像的类别作为标签，训练卷积神经网络；

步骤A20，提取图像特征信息；

采用步骤A10训练得到的卷积神经网络对输入的图像进行特征提取，输出特征向量；

步骤A30，对特征向量分组量化；

采用乘积量化技术将特征向量进行分组量化，形成m个子特征向量；

步骤A40，生成基准字母表；

将Imagenet数据集的所有样本图像，均按步骤A20和A30处理，得到每个样本图像的m个子特征向量；

对所有样本图像，取序列相同的子特征向量构成1个分组数据集，总共计m个分组数据集；

对每个分组数据集采用K-means算法计算得到k_s个类中心，记录每个分组数据集的k_s个类中心为1个类集合，总共m个类集合构成基准字母表；

将基准字母表预置于联想记忆模型的输入层；

步骤A50，学习新事物；

从早教***外部获取未知的新事物的图像和类别；

将获取的新事物图像按步骤A20和步骤A30处理，得到新事物的m个子特征向量；遍历新事物的m个子特征向量，在基准字母表的与新事物的当前子特征向量序列相同的类集合中查找匹配的字母，得到长度为m的新事物字符串；

激活联想记忆模型输入层中存储有新事物字符串各字母的节点，联想记忆模型将输入层被激活的节点与表示新事物类别的输出层节点匹配连接；其中，所述联想记忆模型为包括输入层和输出层的二值神经网络，所述输出层的节点预置有事物类别；

步骤A60，识别待识别事物；

从早教***外部获取待识别事物的图像；

将获取的待识别事物的图像按步骤A20和步骤A30处理，得到待识别事物的m个子特征向量；遍历待识别事物的m个子特征向量，在基准字母表的与待识别事物的当前子特征向量序列相同的类集合中查找匹配的字母，得到长度为m的待识别事物字符串；

激活联想记忆模型输入层中存储有待识别事物字符串各字母的节点，联想记忆模型查找与输入层被激活的节点匹配连接的输出层节点，并输出输出层节点相应的事物类别，识别得到待识别事物的类别。

2.根据权利要求1所述的方法，其特征在于，所述联想记忆模型的输出层为每个事物类别分配至少2个节点；当学习新事物时，与激活的输入层节点匹配连接的输出层节点是当前事物类别下尚未与输入层节点连接的第一个节点。

3.根据权利要求1所述的方法，其特征在于，所述联想记忆模型为两层的神经网络。

4.根据权利要求1所述的方法，其特征在于，在基准字母表的m个类集合中分别查找与事物的m个子特征向量匹配的字母的方法为：分别计算当前子特征向量与对应的类集合中的k_s个类中心之间的距离，取距离最近的1个类中心作为与事物对应的1个字母，由事物的m个子特征向量得到m个字母，从而得到与事物对应的长度为m的字符串。

5.根据权利要求1所述的方法，其特征在于，事物的类别与事物的真实名称之间以键值对保存在.txt格式的键值对文件中；学习新事物时，先从外界获取新事物的真实名称，然后在键值对文件中查找到与真实名称对应的类别；若不存在该类别信息，则***一个新的键值对，以表示新学习的类别，再将事物的类别输入给联想记忆模型；识别待识别事物时，联想记忆模型输出的是待识别事物的类别，通过在键值对文件中查找到与类别对应的真实名称，早教***输出待识别事物的真实名称。

6.根据权利要求1所述的方法，其特征在于，使用交叉熵作为损失函数来训练卷积神经网络模型，并根据损失函数的计算值L更新卷积神经网络各层的权重矩阵；

其中，所述损失函数如式1所示：

其中，N表示每次输入卷积神经网络的样本图像的数量，y_i为第i个样本图像的类别真实标签，y'_i为卷积神经网络对第i个样本图像的预测值。

7.根据权利要求6所述的方法，其特征在于，所述卷积神经网络包括输入层、卷积层、跳层连接、池化层、全连接层和分类层；训练卷积神经网络时，以分类层输出的预测值计算损失函数值；使用卷积神经网络提取图像特征信息时，以全连接层输出的特征来构成图像的特征向量。

8.一种儿童伴学机器人，其特征在于，包括：

功能选择模块，用于启动早教***功能中的新事物学习功能或事物识别功能；

存储模块，用于存储事物的类别与真实名称的键值对文件以及存储基准字母表；

信息输入模块，用于新事物学习功能被启动时获取新事物的图像和真实名称，或事物识别功能被启动时获取待识别事物的图像；

信息处理模块，新事物学习功能被启动时，用于根据获取到的新事物的真实名称，在键值对文件中查找与真实名称对应的类别，然后根据新事物的图像和类别，依据权利要求1所述的方法，学习新事物；事物识别功能被启动时，用于根据获取到的待识别事物的图像，依据权利要求1所述的方法，识别待识别事物，然后根据识别到的类别在键值对文件中查找到类别对应的真实名称；

信息输出模块，用于在事物识别功能被启动时输出待识别事物的真实名称。

9.根据权利要求8所述的一种儿童伴学机器人，其特征在于，所述信息输入模块包括摄像头和语音输入单元。

10.根据权利要求8所述的一种儿童伴学机器人，其特征在于，所述信息输出模块包括显示屏和语音输出单元。