CN110480656B - 一种陪护机器人、陪护机器人控制方法及装置 - Google Patents

Abstract

本申请提供了一种陪护机器人、陪护机器人控制方法及装置，包括生物特征采集模块、处理器；所述生物特征采集模块，用于每隔预设时长，采集用户的生物特征信息，并将所述生物特征信息传输至所述处理器；所述处理器，用于接收所述生物特征采集模块传输的所述生物特征信息，并基于所述生物特征信息，预测所述用户的情绪；并将预测出的情绪输入至预先训练好的第一指令预测模型中，确定与所述生物特征信息相匹配的控制指令，并控制所述陪护机器人做出与所述控制指令相对应的操作。通过这种陪护机器人，可以提高用户需求指令预测的精度。

Description

一种陪护机器人、陪护机器人控制方法及装置

技术领域

本申请涉及自动控制技术领域，尤其是涉及一种陪护机器人、陪护机器人控制方法及装置。

背景技术

随着中国人口老龄化进程的加剧、以及独生子女的增多，许多子女无法时刻陪伴在老年父母身边，这就导致“空巢老人”在老年人中所占比例逐日增加。老年人的心理健康问题已经成为重要的社会问题。据统计，70％以上的老年人出现孤独感的症状，特别是体弱、失能、独居、高龄、丧偶的老年人。

为了解决老年人情感陪护及生活照料的问题，近年来人们提出利用机器人来代替人进行老年人陪护。现有陪护机器人在对老年人进行看护时，一般只能根据老年人所输入的指令，执行对应的操作，然而因为老年人在不同情绪下所需要的服务可能并不相同，这种不考虑用户情绪变化仅仅根据指令提供服务的方式并不能满足老年人情感陪护的需求。

发明内容

有鉴于此，本申请的目的在于提供一种陪护机器人、陪护机器人控制方法及装置，以提供反映用户真实情感需求的服务，并提高用户需求指令预测的精度。

第一方面，本申请实施例提供了一种陪护机器人，所述陪护机器人包括生物特征采集模块、处理器；

所述生物特征采集模块，用于每隔预设时长采集用户的生物特征信息，并将所述生物特征信息传输至所述处理器；

所述处理器，用于接收所述生物特征采集模块传输的所述生物特征信息，并基于所述生物特征信息，预测所述用户的情绪；并将预测出的情绪输入至预先训练好的第一指令预测模型中，确定与所述生物特征信息相匹配的控制指令，并控制所述陪护机器人做出与所述控制指令相对应的操作。

一种可能的设计中，所述生物特征采集模块包括以下模块中的至少一种：

声音采集模块、图像采集模块；

针对所述生物特征采集模块包括声音采集模块的情况，所述生物特征信息包括声音信息；

针对所述生物特征采集模块包括图像采集模块的情况，所述生物特征信息包括面部图像信息。

一种可能的设计中，所述处理器，在基于所述生物特征信息，预测所述用户的情绪时，具体用于：

提取所述声音信息中的语音特征，所述语音特征包括短时能量、短时过零率、基音频率、共振峰特征、语速、梅尔倒谱系数；

将所述语音特征输入至语音识别子模型，得到所述语音特征属于任意一种预设情绪的第一得分；

将所述声音信息输入至语义识别子模型，提取所述声音信息中的语义关键词；

基于所述语义关键词，确定所述声音信息属于任意一种预设情绪的第二得分；

将所述面部图像信息输入至面部识别子模型中，确定所述面部图像信息属于任意一种预设情绪的第三得分；

将所述第一得分、所述第二得分、所述第三得分按照预设权重进行加权求和，基于求和后的得分，确定所述用户的情绪。

一种可能的设计中，所述陪护机器人还包括：接收模块、以及存储模块；

所述接收模块，用于接收用户的指令，并将所述指令传输至所述处理器；

所述处理器，还用于：当接收到所述接收模块传输的所述指令时，控制所述生物特征采集模块采集所述用户的生物特征信息；基于所述生物特征信息确定所述用户的行为信息，并将所述指令、接收所述指令的时间、以及所述行为信息，传输至所述存储模块；所述用户的行为信息用于表示所述用户的活动状态；

所述存储模块，用于存储所述指令、接收所述指令的时间、以及所述行为信息。

一种可能的设计中，所述处理器，还用于通过以下方法训练所述第一指令预测模型：

获取所述用户至少一个历史情绪预测结果，以及每一个历史情绪预测结果相关联的指令；

将所述历史情绪预测结果输入至待训练的指令预测模型中，得到所述历史情绪预测结果对应的预测指令；

基于所述预测指令以及与所述历史情绪预测结果相关联的指令，对所述待训练的指令预测模型进行本轮训练；

经过对所述指令预测模型的多轮训练，得到所述第一指令预测模型。

一种可能的设计中，所述处理器，在接收到所述生物特征信息之后，还用于：

基于所述生物特征信息，确定所述用户的行为信息；

将所述用户的行为信息、以及接收所述生物特征信息的时间，输入至预先训练好的第二指令预测模型中，确定与所述生物特征信息相匹配的控制指令，并控制所述陪护机器人做出与所述控制指令相对应的操作。

一种可能的设计中，所述处理器，按照以下方法训练所述第二指令预测模型：

获取所述存储模块存储的指令、接收所述指令的时间、以及所述指定对应的行为信息；

将所述接收所述指令的时间、以及所述指定对应的行为信息输入至待训练的预测模型中，输出得到预测指令；

基于从所述存储模块获取的指令、以及所述预测指令，对所述预测模型进行本轮训练；

经过对所述预测模型的多轮训练，得到所述第二指令预测模型。

一种可能的设计中，所述陪护机器人还包括：语音合成模块；

所述语音合成模块，用于提取模板语音的音频特征，并在接收到所述处理器发出的语音播放指示时，基于所述音频特征发出语音。

一种可能的设计中，所述陪护机器人还包括：报警模块；

所述报警模块，用于将所述行为信息与存储在所述存储模块中异常行为信息进行对比，当比对成功时，向预先绑定的设备发送报警信息。

一种可能的设计中，所述陪护机器人，还包括：距离检测模块、移动模块；

所述距离检测模块，用于检测所述陪护机器人与所述用户之间的距离，并将所述距离发送至所述移动模块；

所述移动模块，用于当检测到所述距离大于预设距离时，控制所述陪护机器人朝向所述用户所在的位置进行移动。

一种可能的设计中，所述陪护机器人还包括：清扫模块；

所述清扫模块，用于当接收到所述处理器发送的清扫指令时，控制与所述陪护机器人连接的清扫机器人进行清扫。

一种可能的设计中，所述陪护机器人和所述清扫机器人主体上都设置有红外定位装置；

所述清扫机器人在完成清扫之后，基于所述红外定位装置重新与所述陪护机器人建立连接。

第二方面，本申请实施例还提供一种陪护机器人控制方法，包括：

接收用户的生物特征信息；

基于所述生物特征信息，预测所述用户的情绪；

将预测出的情绪输入至预先训练好的第一指令预测模型中，确定与所述生物特征信息相匹配的控制指令；

控制所述陪护机器人做出与所述控制指令相对应的操作。

第三方面，本申请实施例还提供了一种陪护机器人控制装置，包括：

接收模块，用于接收用户的生物特征信息；

预测模块，用于基于所述生物特征信息，预测所述用户的情绪；

确定模块，用于将预测出的情绪输入至预先训练好的第一指令预测模型中，确定与所述生物特征信息相匹配的控制指令；

控制模块，用于控制所述陪护机器人做出与所述控制指令相对应的操作。

第四方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第二方面中的步骤。

第五方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第二方面中的步骤。

本申请实施例提供的陪护机器人、陪护机器人控制方法及装置，通过部署在陪护机器人上的生物特征采集模块采集用户的生物特征信息，然后基于部署在机器人上的处理器，根据生物特征信息进行情绪预测，并将预测处的情绪输入至预先训练好的第一指令预测模型中，确定与生物特征信息相匹配的控制指令，这种控制指令确定方法结合了用户当前的情绪，因此所确定出的指令更加精确，在控制机器人做出与控制指令相对应的操作时，所做出的操作也更符合用户需求。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种陪护机器人的架构示意图；

图2示出了本申请实施例所提供的处理器在接收到生物特征采集模块传输的生物特征信息之后的处理流程示意图；

图3示出了本申请实施例所提供的一种预测用户的情绪的方法的流程示意图；

图4示出了本申请实施例所提供的第一指令预测模型训练方法的流程示意图；

图5示出了本申请实施例所提供的另外一种可能的陪护机器人的架构示意图；

图6示出了本申请实施例所提供的第二指令预测模型的训练方法的流程示意图；

图7示出了本申请实施例所提供的一种陪护机器人控制方法的流程示意图；

图8示出了本申请实施例所提供的一种陪护机器人控制装置的架构示意图；

图9示出了本申请实施例所提供的电子设备900的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

为便于对本实施例进行理解，首先对本申请实施例所公开的一种陪护机器人进行详细介绍。

参见图1所示，为本申请实施例所提供的一种陪护机器人的架构示意图，包括生物特征采集模块、以及处理器。

具体的，生物特征采集模块用于每隔预设时长，采集用户的生物特征信息，然后将采集的生物特征信息传输至处理器。

其中，生物特征采集模块可以包括声音采集模块、图像采集模块中的至少一种。

当生物特征采集模块包括声音采集模块时，生物特征信息包括声音信息，当生物特征采集模块包括图像采集模块时，生物特征信息包括面部图像信息。

处理器在接收到生物特征采集模块传输的生物特征信息之后，可以执行如图2所述的处理过程，包括以下几个步骤：

步骤201、基于生物特征信息，预测用户的情绪。

在一种可能的实施方式中，处理器在基于生物特征信息，预测用户的情绪时，可以通过如图3所示的方法，包括：

步骤301、提取声音信息中的语音特征。

其中，声音信息中的语音特征包括短时能量、短时过零率、基音频率、共振峰特征、语速、梅尔倒谱系数，具体提取声音信息中的语音特征的方法，在此将不在展开叙述。

步骤302、将语音特征输入至语音识别子模型，得到语音特征属于任意一种预设情绪的第一得分。

一种可能的实施方式中，预设情绪可以包括：开心、难过、烦躁、愤怒等，在将语音特征输入到语音识别子模型中之后，可以得到该语音特征属于任意一种预设情绪的第一得分。

示例性的，在将一段语音特征输入到语音识别子模型中之后，可能得到该语音特征属于开心的第一得分是80，属于难过的第一得分是30，属于烦躁的第一得分是20，属于愤怒的第一得分是10。

步骤303、将声音信息输入至语义识别子模型，提取声音信息中的语义关键词。

本申请一种可能的实施方式中，在将声音信息输入至语义识别子模型之后，语义识别子模型可以先将该声音信息转化成对应的文本信息，然后利用语义识别子模型中的N元模型，对该文本信息进行切分，得到该文本信息所对应的词语集合，然后将该词语集合与数据库中预先存储的关键词进行对比，将对比成功的词语确定为语义关键词。

步骤304、基于语义关键词，确定声音信息属于任意一种预设情绪的第二得分。

步骤305、将面部图像信息输入至面部识别子模型中，确定面部图像信息属于任意一种预设情绪的第三得分。

具体的，在将面部图像信息输入至面部识别子模型中之前，还可以提取面部图像信息的图像特征，例如五官各个部位的几何特征、形变特征、运动特征等，然后将图像特征输入至面部识别子模型中，确定面部图像信息属于任意一种预设情绪的第三得分。

其中，需要说明的是步骤301-步骤302、步骤303-步骤304和步骤305的执行不分先后顺序。

步骤306、将第一得分、第二得分、第三得分按照预设权重进行加权求和，基于求和后的得分，确定用户的情绪。

其中，在基于求和后的得分，确定用户的情绪时，可以将得分最高的情绪确定为用户的情绪。

在一种可能的应用场景中，陪护机器人可能只采集到了用户的声音信息或者只采集到了用户的面部图像信息，则在基于生物特征信息预测用户的情绪时，可以将未采集到的信息所对应的得分确定为0。

示例性的，若只采集到了用户的声音信息，则将第三得分确定为0，在确定用户情绪的得分时，将第一得分和第二得分按照预设权重进行加权求和即可。

本申请一示例中，面部识别子模型、语义识别子模型、以及语音识别子模型可以是支持向量机、卷积神经网络、K近邻分类模型中的一种。

步骤202、将预测出的情绪输入至预先训练好的第一指令预测模型中，确定与生物特征信息相匹配的控制指令。

步骤203、控制机器人做出与控制指令相对应的操作。

在一种可能的实施方式中，处理器在训练第一指令预测模型时，可以按照如图4所示的方法进行训练，包括以下几个步骤：

步骤401、获取用户至少一个历史情绪预测结果，以及每一个历史情绪预测结果相关联的指令。

在一种可能的设计中，陪护机器人还包括存储模块，存储模块中存储有历史情绪预测结果、以及每一个历史情绪预测结果相关联的指令，处理器在训练指令预测模型时，可以从存储模块中获取历史情绪预测结果，以及每一个历史情绪预测结果相关联的指令。

存储模块所存储的历史情绪预测结果，以及每一个历史情绪预测结果相关联的指令可以是，生物特征采集模块每隔预设时长采集用户的生物特征信息，然后传输到处理器，处理器基于生物特征信息对用户的情绪进行预测，在再次接受到生物特征采集模块传输的生物特征信息之前，若接收到用户输入的指令，则将用户输入的指令确定为与预测出的情绪相关联的指令，然后将预测出的情绪、以及用户输入的指令存储到存储模块。

步骤402、将历史情绪预测结果输入至待训练的指令预测模型中，得到历史情绪预测结果对应的预测指令。

步骤403、基于预测指令以及与历史情绪预测结果相关联的指令，对待训练的指令预测模型进行本轮训练。

具体实施中，可以基于预测指令、以及与历史情绪预测结果相关联的指令，确定本轮训练过程中的交叉熵损失，然后基于交叉熵损失调整本轮训练过程中指令预测模型的模型参数。

步骤404、经过对指令预测模型的多轮训练，得到第一指令预测模型。

在上述过程中，第一指令预测模型的训练过程中的样本数据来源于用户输入的指令以及在每一次指令输入过程中，预测出的用户情绪，因此，通过这种方法训练出的第一指令预测模型符合当前用户的行为特征，能够为用户提供个性化的服务。

在一种可能的应用场景中，若用户包括多人，则处理器可以根据生物特征信息识别多个用户，并将不同用户的情绪预测结果、以及每一个情绪预测结果相关联的指令存储进不同的存储模块中。处理器在训练第一指令预测模型时，可以根据不同存出模块中存储的情绪预测结果、以及每一个情绪预测结果相关联的指令，训练得到不同的第一指令预测模型。当处理器接收到生物特征信息时，可以基于生物特征信息进行用户识别，然后确定与该用户对应的第一指令预测模型，并基于该第一指令预测模型对控制指令进行预测。

在本实施例提供的方案中，生物特征采集模块每隔预设时长采集一次用户的生物特征信息，在另外一种可能的实施方式中，生物特征采集模块还可以在陪护机器人接收到用户输入的指令后，采集用户的生物特征信息。

参见图5所示，为本申请实施例所提供的另外一种可能的陪护机器人的架构示意图，该陪护机器人还可以包括接收模块、以及存储模块；

接收模块，用于接收用户的指令，并将接收的指令传输至处理器；

处理器，还可以用于当接收到接收模块传输的指令时，控制生物特征采集模块采集用户的生物特征信息，并基于生物特征信息确定用户的行为信息，将接收的指令、接收指令的时间、以及确定的行为信息都传输至存储模块；

存储模块，用于存储处理器传输过来的接收的指令、接收指令的时间、以及确定的行为信息。

其中，用户的行为信息用于表示用户的活动状态，如行为信息可以包括静坐、睡觉、起床、步行、跌倒等。

在一种可能的实施方式中，处理器在接收到生物特征信息之后，还可以基于生物特征信息，确定用户的行为信息，然后将用户的行为信息、以及接收生物特征信息的时间，输入至预先训练好的第二指令预测模型中，确定与生物特征信息相匹配的控制指令，并控制陪护机器人做出与控制指令相对应的操作。

在一种可能的应用场景中，若用户包括多人，则处理器可以根据生物特征信息识别多个用户，并将不同用户的行为信息、以及接收生物特征信息的时间发送到不同的存储模块中。第二指令预测模型也可以根据不同存储模块所存储的用户的行为信息、接收生物特征信息的时间、以及相关指令训练不同的第二指令预测模型，当接收生物特征信息时，根据生物特征信息确定对应的第二指令预测模型，然后对控制指令进行预测。

在一种可能的设计中，陪护机器人还可以包括报警模块，报警模块可以将行为信息与存储在存储模块中的异常行为信息进行对比，当对比成功时，向预先绑定的设备发送报警信息。

其中，第二指令预测模型的训练方法可以参照图6所示的方法，包括以下几个步骤：

步骤601、获取存储模块存储的指令、接收指令的时间、以及指定对应的行为信息。

步骤602、将接收指令的时间、以及指定对应的行为信息输入至待训练的预测模型中，输出得到预测指令。

步骤603、基于从存储模块获取的指令、以及预测指令，对预测模型进行本轮训练。

其中，在基于预测指令、以及从存储模块获取的指令，对预测模型进行本轮训练时，可以是基于预测指令、以及从存储模块获取的指令，确定本轮训练过程中的交叉熵，然后基于交叉熵调整本轮训练过程中的预测模型的模型参数。

步骤604、经过对预测模型的多轮训练，得到第二指令预测模型。

在一种可能的设计中，陪护机器人还可以包括语音合成模块，语音合成模块可以用于提取模板语音的音频特征，并在接收到处理器发出的语音播放指示时，基于提取的模板语音的音频特征发出语音。

其中，模板语音可以是通过人工手动输入的，也可以是通过陪护机器人的外接接口从外接设备导入的。

在一种可能的设计中，陪护机器人还可以包括距离检测模块、移动模块；距离检测模块可以用于检测陪护机器人与用户之间的距离，并将距离发送到移动模块，移动模块用于当检测到检测模块发送的距离大于预设距离时，控制陪护机器人朝向用户所在的位置进行移动。

其中，移动模块在检测陪护机器人与用户之间的距离时，可以先通过安装在陪护机器人上的摄像机拍摄包含有用户的图像，然后基于图像分割确定用户在图像中的位置，再基于安装在陪护机器人上的红外装置，通过红外测距的方式检测陪护机器人与用户之间的距离。

在一种可能的设计中，陪护机器人还可以包括清扫模块，清扫模块用于当接收到处理器发送的清扫指令时，控制与陪护机器人连接的清扫机器人进行清扫。

其中，清扫机器人可以通过内嵌的方式与陪护机器人连接。陪护机器人和清扫机器人的主体上可以都设置有红外定位装置，当清扫机器人完成清扫之后，基于红外定位装置重新与陪护机器人建立连接。

在一种可能的设计中，陪护机器人还可以与外接设备进行连接，并通过外界设备对用户的心率、血压等进行检测，当检测到心率、血压等出现异常时，通过报警模块向预先绑定的设备发送报警信息。

基于相同的构思，本申请还提供了一种陪护机器人控制方法，参见图7所示，为本申请实施例所提供的一种陪护机器人控制方法的流程示意图，包括以下几个步骤：

步骤701、接收用户的生物特征信息。

步骤702、基于生物特征信息，预测用户的情绪。

步骤703、将预测出的情绪输入至预先训练好的第一指令预测模型中，确定与生物特征信息相匹配的控制指令。

步骤704、控制陪护机器人做出与控制指令相对应的操作。

本申请还提供了一种陪护机器人控制装置，参见图8所示，为本申请实施例所提供的一种陪护机器人控制装置的架构示意图，包括接收模块801、预测模块802、确定模块803、控制模块804，具体的：

接收模块801，用于接收用户的生物特征信息；

预测模块802，用于基于所述生物特征信息，预测所述用户的情绪；

确定模块803，用于将预测出的情绪输入至预先训练好的第一指令预测模型中，确定与所述生物特征信息相匹配的控制指令；

控制模块804，用于控制所述陪护机器人做出与所述控制指令相对应的操作。

本申请实施例提供的陪护机器人、陪护机器人控制方法及装置，通过部署在陪护机器人上的生物特征采集模块采集用户的生物特征信息，然后基于部署在机器人上的处理器，根据生物特征信息进行情绪预测，并将预测处的情绪输入至预先训练好的第一指令预测模型中，确定与生物特征信息相匹配的控制指令，这种控制指令确定方法结合了用户当前的情绪，因此所确定出的指令更加精确，在控制机器人做出与控制指令相对应的操作时，所做出的操作也更符合用户需求。

基于同一技术构思，本申请实施例还提供了一种电子设备。参照图9所示，为本申请实施例提供的电子设备900的结构示意图，包括处理器901、存储器902、和总线903。其中，存储器902用于存储执行指令，包括内存9021和外部存储器9022；这里的内存9021也称内存储器，用于暂时存放处理器901中的运算数据，以及与硬盘等外部存储器9022交换的数据，处理器901通过内存9021与外部存储器9022进行数据交换，当电子设备900运行时，处理器901与存储器902之间通过总线903通信，使得处理器901在执行以下指令：

接收用户的生物特征信息；

基于所述生物特征信息，预测所述用户的情绪；

将预测出的情绪输入至预先训练好的第一指令预测模型中，确定与所述生物特征信息相匹配的控制指令；

控制所述陪护机器人做出与所述控制指令相对应的操作。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一实施例中所述的陪护机器人控制方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述陪护机器人控制方法的步骤，从而提高提高用户需求指令预测的精度。

本申请实施例所提供的进行陪护机器人控制方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种陪护机器人，其特征在于，所述陪护机器人包括生物特征采集模块、处理器；

所述生物特征采集模块，用于每隔预设时长，采集用户的生物特征信息，并将所述生物特征信息传输至所述处理器；

所述处理器，用于接收所述生物特征采集模块传输的所述生物特征信息，并基于所述生物特征信息，预测所述用户的情绪；并将预测出的情绪输入至预先训练好的第一指令预测模型中，确定与所述生物特征信息相匹配的控制指令，并控制所述陪护机器人做出与所述控制指令相对应的操作；

所述陪护机器人还包括：接收模块、以及存储模块；

所述接收模块，用于接收用户的指令，并将所述指令传输至所述处理器；

所述处理器，还用于：当接收到所述接收模块传输的所述指令时，控制所述生物特征采集模块采集所述用户的生物特征信息；基于所述生物特征信息确定所述用户的行为信息，并将所述指令、接收所述指令的时间、以及所述行为信息，传输至所述存储模块；所述用户的行为信息用于表示所述用户的活动状态；

所述存储模块，用于存储所述指令、接收所述指令的时间、以及所述行为信息；

所述处理器，还用于通过以下方法训练所述第一指令预测模型：

获取所述用户至少一个历史情绪预测结果，以及每一个历史情绪预测结果相关联的指令；

将所述历史情绪预测结果输入至待训练的指令预测模型中，得到所述历史情绪预测结果对应的预测指令；

基于所述预测指令以及与所述历史情绪预测结果相关联的指令，对所述待训练的指令预测模型进行本轮训练，其中，基于所述预测指令以及与所述历史情绪预测结果相关联的指令，确定本轮训练过程中的交叉熵损失，然后基于交叉熵损失调整本轮训练过程中指令预测模型的模型参数；

经过对所述指令预测模型的多轮训练，得到所述第一指令预测模型；

所述处理器，在接收到所述生物特征信息之后，还用于：

基于所述生物特征信息，确定所述用户的行为信息；

将所述用户的行为信息、以及接收所述生物特征信息的时间，输入至预先训练好的第二指令预测模型中，确定与所述生物特征信息相匹配的控制指令，并控制所述陪护机器人做出与所述控制指令相对应的操作。

2.根据权利要求1所述的陪护机器人，所述生物特征采集模块包括以下模块中的至少一种：

声音采集模块、图像采集模块；

针对所述生物特征采集模块包括声音采集模块的情况，所述生物特征信息包括声音信息；

针对所述生物特征采集模块包括图像采集模块的情况，所述生物特征信息包括面部图像信息。

3.根据权利要求2所述的陪护机器人，所述处理器，在基于所述生物特征信息，预测所述用户的情绪时，具体用于：

提取所述声音信息中的语音特征，所述语音特征包括短时能量、短时过零率、基音频率、共振峰特征、语速、梅尔倒谱系数；

将所述语音特征输入至语音识别子模型，得到所述语音特征属于任意一种预设情绪的第一得分；

将所述声音信息输入至语义识别子模型，提取所述声音信息中的语义关键词；

基于所述语义关键词，确定所述声音信息属于任意一种预设情绪的第二得分；

将所述面部图像信息输入至面部识别子模型中，确定所述面部图像信息属于任意一种预设情绪的第三得分；

将所述第一得分、所述第二得分、所述第三得分按照预设权重进行加权求和，基于求和后的得分，确定所述用户的情绪。

4.根据权利要求1所述的陪护机器人，其特征在于，所述处理器，按照以下方法训练所述第二指令预测模型：

获取所述存储模块存储的指令、接收所述指令的时间、以及所述指令对应的行为信息；

将所述接收所述指令的时间、以及所述指令对应的行为信息输入至待训练的预测模型中，输出得到预测指令；

基于从所述存储模块获取的指令、以及所述预测指令，对所述预测模型进行本轮训练；

经过对所述预测模型的多轮训练，得到所述第二指令预测模型。

5.根据权利要求1所述的陪护机器人，其特征在于，所述陪护机器人还包括：报警模块；

所述报警模块，用于将所述行为信息与存储在所述存储模块中异常行为信息进行对比，当比对成功时，向预先绑定的设备发送报警信息。

6.一种陪护机器人控制方法，其特征在于，包括：

接收用户的生物特征信息；

基于所述生物特征信息，预测所述用户的情绪；

将预测出的情绪输入至预先训练好的第一指令预测模型中，确定与所述生物特征信息相匹配的控制指令；

控制所述陪护机器人做出与所述控制指令相对应的操作；

获取所述用户至少一个历史情绪预测结果，以及每一个历史情绪预测结果相关联的指令；

将所述历史情绪预测结果输入至待训练的指令预测模型中，得到所述历史情绪预测结果对应的预测指令；

基于所述预测指令以及与所述历史情绪预测结果相关联的指令，对所述待训练的指令预测模型进行本轮训练，其中，基于所述预测指令以及与所述历史情绪预测结果相关联的指令，确定本轮训练过程中的交叉熵损失，然后基于交叉熵损失调整本轮训练过程中指令预测模型的模型参数；

经过对所述指令预测模型的多轮训练，得到所述第一指令预测模型；基于所述生物特征信息，确定所述用户的行为信息；

将所述用户的行为信息、以及接收所述生物特征信息的时间，输入至预先训练好的第二指令预测模型中，确定与所述生物特征信息相匹配的控制指令，并控制所述陪护机器人做出与所述控制指令相对应的操作。

7.一种陪护机器人控制装置，其特征在于，包括：

接收模块，用于接收用户的生物特征信息；

预测模块，用于基于所述生物特征信息，预测所述用户的情绪；

确定模块，用于将预测出的情绪输入至预先训练好的第一指令预测模型中，确定与所述生物特征信息相匹配的控制指令；

控制模块，用于控制所述陪护机器人做出与所述控制指令相对应的操作；

所述控制装置还用于：获取所述用户至少一个历史情绪预测结果，以及每一个历史情绪预测结果相关联的指令；

将所述历史情绪预测结果输入至待训练的指令预测模型中，得到所述历史情绪预测结果对应的预测指令；

基于所述预测指令以及与所述历史情绪预测结果相关联的指令，对所述待训练的指令预测模型进行本轮训练，其中，基于所述预测指令以及与所述历史情绪预测结果相关联的指令，确定本轮训练过程中的交叉熵损失，然后基于交叉熵损失调整本轮训练过程中指令预测模型的模型参数；

经过对所述指令预测模型的多轮训练，得到所述第一指令预测模型；

基于所述生物特征信息，确定所述用户的行为信息；

将所述用户的行为信息、以及接收所述生物特征信息的时间，输入至预先训练好的第二指令预测模型中，确定与所述生物特征信息相匹配的控制指令，并控制所述陪护机器人做出与所述控制指令相对应的操作。

Images