CN111568314B - 基于场景识别的清洁方法、装置、清洁机器人和存储介质 - Google Patents

Abstract

本申请涉及一种基于场景识别的清洁方法、装置、清洁机器人和存储介质。所述方法包括：获取待清洁区域对应的环境图像；对所述环境图像进行目标检测，当检测结果为所述待清洁区域包括目标区域时，获取待清洁区域对应的环境对象；调用场景识别模型，根据所述环境对象对所述待清洁区域进行场景识别，得到所述待清洁区域对应的区域场景；根据所述区域场景和所述检测结果确定所述目标区域对应的区域类型；根据所述区域类型对清洁策略进行调整，根据调整后的清洁策略对所述目标区域执行对应的清洁操作。采用本方法能够有效的提高清洁机器人的清洁效率。

Description

基于场景识别的清洁方法、装置、清洁机器人和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于场景识别的清洁方法、装置、清洁机器人和存储介质。

背景技术

随着科学技术的发展，清洁机器人作为一种智能家用电器，能够自动在房间内对需要清洁的区域进行地面清理工作，降低对应用户的清洁劳动强度。在传统方式中，清洁机器人在进行清洁时，通常是按照预设清洁路线进行清洁的。

但是，在实际应用过程中，清洁机器人清洁的区域中可能存在相对较难清洁的脏污区域。为了保证将整个区域清洁干净，在传统方式中，清洁机器人通常只能多次清洁整个区域，无法准确检测脏污区域进行针对性的清洁，导致清洁机器人的清洁效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高清洁机器人的清洁效率的基于场景识别的清洁方法、装置、清洁机器人和存储介质。

一种基于场景识别的清洁方法，所述方法包括：

获取待清洁区域对应的环境图像；

对所述环境图像进行目标检测，当检测结果为所述待清洁区域包括目标区域时，获取待清洁区域对应的环境对象；

调用场景识别模型，根据所述环境对象对所述待清洁区域进行场景识别，得到所述待清洁区域对应的区域场景；

根据所述区域场景和所述检测结果确定所述目标区域对应的区域类型；

根据所述区域类型对清洁策略进行调整，根据调整后的清洁策略对所述目标区域执行对应的清洁操作。

在其中一个实施例中，所述调用场景识别模型，根据所述环境对象对所述待清洁区域进行场景识别，得到所述待清洁区域对应的区域场景包括：

根据所述环境对象生成对象组矩阵；

调用场景识别模型，根据所述场景识别模型进行特征提取，得到所述对象组矩阵对应的对象组特征；

根据所述对象组特征进行场景识别，得到所述场景识别模型输出的所述待清洁区域对应的区域场景。

在其中一个实施例中，所述根据所述区域场景和所述检测结果确定所述目标区域对应的区域类型包括：

获取与所述区域场景对应的多个区域类型权重；

获取检测结果中所述目标区域对应的多个检测区域类型，根据所述区域类型权重对所述检测区域类型进行加权处理，得到区域类型分数；

根据所述区域类型分数从所述检测区域类型中确定目标区域类型。

在其中一个实施例中，所述方法还包括：

获取预设时间段内用户标识对应的用户日程信息；

根据所述用户标识对应的所述用户日程信息进行预测，得到所述用户标识对应的周期行为类型；

根据所述周期行为类型调整清洁机器人对应的时间子策略。

在其中一个实施例中，所述方法还包括：

当所述检测结果还包括目标对象时，获取所述目标对象对应的轮廓信息；

根据所述检测结果和所述轮廓信息确定所述目标对象对应的对象类型；

当所述对象类型属于目标类型时，控制所述清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置。

在其中一个实施例中，所述方法还包括：

当所述检测结果还包括动态对象时，根据所述环境对象确定所述动态对象对应的对象位置；

根据所述对象位置确定所述动态对象所对应的行为轨迹信息；

根据所述行为轨迹信息生成对象活动区域，控制所述清洁机器人对所述对象活动区域执行对应的清洁操作。

一种基于场景识别的清洁装置，所述装置包括：

图像检测模块，用于获取待清洁区域对应的环境图像；对所述环境图像进行目标检测，当检测结果为所述待清洁区域包括目标区域时，获取待清洁区域对应的环境对象；

场景识别模块，用于调用场景识别模型，根据所述环境对象对所述待清洁区域进行场景识别，得到所述待清洁区域对应的区域场景；

类型确定模块，用于根据所述区域场景和所述检测结果确定所述目标区域对应的区域类型；

区域清洁模块，用于根据所述区域类型对清洁策略进行调整，根据调整后的清洁策略对所述目标区域执行对应的清洁操作。

在其中一个实施例中，所述场景识别模块还用于根据所述环境对象生成对象组矩阵；调用场景识别模型，根据所述场景识别模型进行特征提取，得到所述对象组矩阵对应的对象组特征；根据所述对象组特征进行场景识别，得到所述场景识别模型输出的所述待清洁区域对应的区域场景。

一种清洁机器人，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于场景识别的清洁方法中的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于场景识别的清洁方法中的步骤。

上述基于场景识别的清洁方法、装置、清洁机器人和存储介质，通过获取待清洁区域对应的环境图像，对环境图像进行目标检测，以此检测待清洁区域中是否包括目标区域。当检测结果为待清洁区域包括目标区域时，获取待清洁区域对应的环境对象，调用场景识别模型，根据环境对象对待清洁区域进行场景识别，得到场景识别模型输出的待清洁区域对应的区域场景，根据区域场景和检测结果确定目标区域对应的区域类型。基于场景识别和图像检测确定目标区域对应的区域类型，提高了对目标区域检测的准确性。根据区域类型对清洁策略进行调整，根据调整后的清洁策略对目标区域执行对应的清洁操作，从而根据区域类型对目标区域进行针对性的清洁，有效的提高了清洁机器人的清洁效率。

附图说明

图1为一个实施例中基于场景识别的清洁方法的应用环境图；

图2为一个实施例中基于场景识别的清洁方法的流程示意图；

图3为一个实施例中调用场景识别模型，根据环境对象对待清洁区域进行场景识别，得到待清洁区域对应的区域场景的步骤的流程示意图；

图4为另一个实施例中基于场景识别的清洁方法的流程示意图；

图5为又一个实施例中基于场景识别的清洁方法的流程示意图；

图6为一个实施例中基于场景识别的清洁装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的基于场景识别的清洁方法，可以应用于如图1所示的清洁机器人中。如图1所示，清洁机器人100可以包括但不限于传感器102、控制器104以及执行组件106。控制器104可以根据该基于场景识别的清洁方法，控制清洁机器人100执行对应的清洁操作。清洁机器人100在移动或者清洁的过程中，通过传感器102采集待清洁区域对应的环境图像。清洁机器人100通过控制器104对环境图像进行目标检测，当检测结果为待清洁区域包括目标区域时，获取待清洁区域对应的环境对象。清洁机器人100调用场景识别模型，根据环境对象对待清洁区域进行场景识别，得到待清洁区域对应的区域场景，根据区域场景和检测结果确定目标区域对应的区域类型。清洁机器人100根据区域类型对清洁策略进行调整，根据调整后的清洁策略，控制执行组件106对目标区域执行对应的清洁操作。其中，传感器102是设置在清洁机器人中的传感设备，具体可以包括但不限于视觉传感器、激光传感器、超声波传感器、摄像机以及深度相机等。控制器104具体可以包括但不限于处理器(CPU，central processingunit)、存储器以及控制电路等。执行组件106具体可以包括但不限于移动组件以及清洁组件等。

在一个实施例中，如图2所示，提供了一种基于场景识别的清洁方法，以该方法应用于图1中的清洁机器人100为例进行说明，包括以下步骤：

步骤202，获取待清洁区域对应的环境图像。

待清洁区域是指清洁机器人进行清洁时所需要清洁的区域待清洁区域与清洁机器人所处的环境是相对应的。例如，在实际应用过程中，清洁机器人通常被用于居家房屋或者办公室内，待清洁区域可以是房屋或者办公室房间对应的区域范围。在其中一个实施例中，用户或者清洁机器人可以对房屋或者办公室进行区域划分，待清洁区域可以是房屋或者办公室的整个区域，也可以是整个区域中的部分区域。用户是指清洁机器人对应的所有者或者使用者。

待清洁区域可以是清洁机器人视觉范围内需要清洁的区域。例如，清洁机器人在进行清洁的过程中，可以采集清洁方向的视觉范围内的区域图像，得到待清洁区域对应的环境图像。清洁方向是指清洁机器人进行清洁时的移动方向，视觉范围可以是清洁机器人对应传感器的有效检测范围。待清洁区域还可以是整个需要清洁的区域。例如，清洁机器人在开始清洁之前，可以通过移动组件在清洁区域内移动，在移动过程中采集整个待清洁区域对应的环境图像。

在其中一个实施例中，清洁机器人可以获取整个待清洁区域对应的环境图像，通过环境图像检测整个待清洁区域中是否包括目标区域，以及待清洁区域包括一个或者多个目标区域。清洁机器人可以对检测出的目标区域进行统一、针对性的清洁之后，再对待清洁区域或者待清洁区域中除了目标区域以外的未清洁区域进行统一清洁，以此提高清洁机器人的清洁效率。

环境图像是指待清洁区域所对应环境的图像数据，清洁机器人可以通过对应的传感器采集待清洁区域对应的环境图像。与待清洁区域相对应的，环境图像可以是清洁机器人在清洁过程中采集视觉范围内的图像，也可以是在开始清洁之前采集的整个待清洁区域所对应的图像。当用于采集环境图像的传感器所对应的传感器类型不同时，通过传感器采集的环境图像对应的数据类型也可以是不同的。举例说明，清洁机器人上可以设置有摄像头、激光传感器或者超声波传感器等。清洁机器人在清洁过程中，可以通过摄像头采集视觉范围内的视频数据。清洁机器人可以从视频数据中提取图像帧作为环境图像。清洁机器人也可以通过摄像头直接采集视觉范围内的图像数据。

清洁机器人还可以通过激光传感器采集待清洁区域对应的环境图像，根据激光传感器采集的环境图像的数据类型具体可以是点云图像。具体的，清洁机器人可以通过激光传感器向待清洁区域发射探测信号，探测信号具体可以是激光束。清洁机器人可以接收待清洁区域中的地面或者物体反射回的信号，将反射回的信号与探测信号进行比对，得到待清洁区域对应的点云数据。清洁机器人可以对点云数据进行数据清理、点云分割以及点云投影等处理，得到待清洁区域对应的点云图像。

步骤204，对环境图像进行目标检测，当检测结果为待清洁区域包括目标区域时，获取待清洁区域对应的环境对象。

清洁机器人可以对待清洁区域对应的环境图像进行目标检测，得到环境图像所对应的检测结果。具体的，清洁机器人可以调用图像检测模型，将环境图像输入图像检测模型中，通过图像检测模型对环境图像进行目标检测，得到图像检测模型输出的检测结果。图像检测模型可以是预先建立，并且经过训练之后配置在清洁机器人中，以便清洁机器人调用图像检测模型进行目标检测，基于视觉的检测待清洁区域中是否包括目标区域。其中，图像检测模型可以是基于目标检测算法建立的，目标检测算法具体可以是YOLO、Faster-RCNN、CornerNet、MobileNet或者SSD(Single Shot Multi Box Detector)等多种目标检测算法中的任意一种或者多种的组合。多种可以表示两种或者两种以上。

清洁机器人可以获取图像检测模型输出的检测结果，根据检测结果判断待清洁区域是否包括目标区域。目标区域是指待清洁区域中的地面脏污区域。例如，目标区域具体可以包括但不限于咖啡污迹区域、酱油污迹区域、牛奶污迹区域以及泥沙脏污区域等。清洁机器人可以通过图像检测模型对环境图像进行基于视觉的目标检测，检测待清洁区域中是否存在脏污区域，以此更加准确的对脏污区域进行检测，有利于清洁机器人对脏污区域进行针对性的清洁。

当清洁机器人从环境图像中检测出目标区域时，确定检测结果为待清洁区域包括目标区域，检测结果中还可以包括目标区域对应的描述信息。例如，图像检测模型可以通过矩形框框选出环境图像中的目标区域，描述信息可以包括目标区域对应矩形框的尺寸、坐标，以及检测出的目标区域对应的多种类型和各自对应的类型置信度。类型置信度用于表示待清洁区域属于对应区域类型的可能性。检测结果中还可以包括从环境图像中检测出的环境对象。环境对象是指清洁机器人所处环境中的静态对象，环境对象通常是周围环境中不常移动的物体。例如，环境对象具体可以包括但不限于茶几、桌子、沙发、电视、以及电视柜等物体。当确定待清洁区域包括目标区域时，清洁机器人可以从检测结果中获取待清洁区域内检测出的环境对象，以便根据环境对象确定待清洁区域对应的场景信息。

在其中一个实施例中，当检测结果为待清洁区域不包括目标区域时，清洁机器人可以继续获取下一个待清洁区域对应的环境图像进行目标检测，或者对该不包括目标区域的待清洁区域进行清洁。

步骤206，调用场景识别模型，根据环境对象对待清洁区域进行场景识别，得到待清洁区域对应的区域场景。

环境对象与待清洁区域对应的场景之间存在关联关系，清洁机器人可以调用场景识别模型，利用场景识别模型对待清洁区域进行场景识别，根据环境对象确定待清洁区域所对应的场景信息，场景信息可以包括待清洁区域对应的场景类型。清洁机器人可以将待清洁区域对应的场景类型记作区域场景。例如，待清洁区域具体可以是房屋中的客厅、卫生间、阳台、厨房、饭厅以及卧室等场景类型。当环境对象包括浴缸时，清洁机器人可以通过环境对象确定待清洁区域对应的区域场景为卫生间。

场景识别模型可以是基于神经网络建立的网络模型，并且经过训练后得到的。例如，场景识别模型具体可以是基于Place-CNN(CNN：Convolutional NeuralNetworks，卷积神经网络)建立的网络模型，场景识别模型的网络架构可以是卷积神经网络对应多种网络架构中的一种。例如，场景识别模型可以基于ResNet(Residual Network，残差网络)建立的。清洁机器人可以调用场景识别模型，将环境对象输入至场景识别模型中，通过训练得到的对象与场景之间的关联关系，对待清洁区域进行场景识别，输出待清洁区域对应的区域场景。

步骤208，根据区域场景和检测结果确定目标区域对应的区域类型。

由于目标区域为待清洁区域中的脏污区域，脏污区域的检测难度加大，仅通过图像检测可能存在检测结果不准确的情况。因此，清洁机器人可以根据识别出待清洁区域对应的区域场景，综合目标区域对应的检测结果，根据区域场景和图像检测结果综合确定目标区域对应的区域类型，以此提高识别目标区域对应区域类型的准确性。具体的，在不同的区域场景中，对应出现的脏污区域的可能性是不同的。举例说明，当待清洁区域为阳台时，出现泥沙类型的脏污区域的可能性，相较于出现酱油污迹类型的脏污区域的可能性更大。当待清洁区域为卧室时，出现牛奶污迹类型的脏污区域的可能性，相较于出现泥沙类型的脏污区域的可能性更大。

图像检测模型输出的检测结果可以包括目标区域，以及多种目标区域对应类型分别对应的类型置信度。其中，类型置信度具体可以采用小数、百分比以及百分制的分数等形式表示，区域对应的类型可以是根据实际应用需求预先分类设置的。清洁机器人可以获取检测结果中目标区域所对应的多个类型置信度，根据区域场景对类型置信度进行调整，根据调整后的类型置信度确定目标区域所对应的区域类型。

在其中一个实施例中，清洁机器人可以获取与区域场景对应的多个区域类型权重。区域场景与区域类型权重之间可以存在对应关系，每种区域的场景类型可以对应不同的区域类型权重。区域场景与区域类型权重之间的对应关系可以是预先经过大数据分析得到的。区域类型权重可以用于表示在该区域场景下，目标区域分别属于多种区域类型的可能性，相同区域类型在不同场景中对应的权重可以是不同的。清洁机器人可以获取检测结果中目标区域对应的多个检测区域类型，根据区域类型权重对检测区域类型进行加权处理，得到多个区域类型各自对应的区域类型分数。清洁机器人可以根据区域类型分数确定与目标区域对应的目标区域类型。

步骤210，根据区域类型对清洁策略进行调整，根据调整后的清洁策略对目标区域执行对应的清洁操作。

清洁策略是指预先为清洁机器人设置的清洁规则，清洁策略具体可以包括但不限于清洁机器人进行的清洁时间、清洁模式、清洁次数以及清洁频率等。当目标区域属于不同的区域类型时，清洁机器人可以根据区域类型对清洁策略进行相同或者不同的调整，得到与区域类型相对应的调整后的清洁策略，控制清洁机器人的执行组件对目标区域执行与调整后的清洁策略对应的清洁操作。例如，当清洁机器人从待清洁区域中检测出目标区域时，清洁机器人可以调整清洁策略，躲避目标区域，将待清洁区域中的其他区域进行清洁之后再对目标区域进行针对性清洁，也可以先对目标区域执行对应的清洁操作，对目标区域清洁结束之后，再清洁待清洁区域中的未清洁区域。当目标区域对应的区域类型为咖啡污迹类型时，清洁机器人可以根据区域类型提高对目标区域的清洁次数和清洁力度等，以此采用与区域类型相对应的清洁策略，对目标区域进行更加有效的清洁。

在本实施例中，通过获取待清洁区域对应的环境图像，对环境图像进行目标检测，以此检测待清洁区域中是否包括目标区域。当检测结果为待清洁区域包括目标区域时，获取待清洁区域对应的环境对象，调用场景识别模型，根据环境对象对待清洁区域进行场景识别，得到场景识别模型输出的待清洁区域对应的区域场景，根据区域场景和检测结果确定目标区域对应的区域类型。基于场景识别和图像检测确定目标区域对应的区域类型，有效的提高了目标区域检测的准确性。根据区域类型对清洁策略进行调整，根据调整后的清洁策略对目标区域执行对应的清洁操作，从而根据区域类型对目标区域进行有效的针对性清洁，有效的提高了清洁机器人的清洁效率。

在一个实施例中，如图3所示，上述调用场景识别模型，根据环境对象对待清洁区域进行场景识别，得到待清洁区域对应的区域场景的步骤包括：

步骤302，根据环境对象生成对象组矩阵。

步骤304，调用场景识别模型，根据场景识别模型进行特征提取，得到对象组矩阵对应的对象组特征。

步骤306，根据对象组特征进行场景识别，得到场景识别模型输出的待清洁区域对应的区域场景。

当环境对象为多个场景中都可能存在的物体时，通过单个环境对象与场景之间的关联关系进行场景识别可能存在误差。例如，客厅和卧室中都可能存在电视，当环境对象为电视时，无法通过电视准确的识别对应的区域场景是客厅还是卧室。因此，清洁机器人可以根据环境对象生成对象组矩阵，根据对象组确定待清洁区域所对应的区域场景，以此提高识别待清洁区域对应场景类型的准确性。

具体的，清洁机器人可以将环境图像中检测出的环境对象进行组合，得到多个对象组，每个对象组可以包括一个或者多个环境对象。在其中一个实施例中，由于每个对象组中的环境对象过多会造成对场景较大的限制，因此，对象组中环境对象的数量可以是1个、2个、3个或者4个中的一种。例如，清洁机器人可以将多个环境对象进行排列组合，每两个环境对象组成一个对象组。在不同对象组中的环境对象可以重复。通过包括多个环境对象的对象组能够更加准确的表达环境对象与场景之间的关联关系。例如，当对象组中包括茶几和沙发时，可以确定待清洁区域对应的区域场景为客厅。

清洁机器人可以将生成的多个对象组按照矩阵队形排列，生成对象组矩阵。清洁机器人可以调用场景识别模型，将对象组矩阵输入至场景识别模型，通过场景识别模型对对象组矩阵进行特征提取，得到对象组矩阵对应的对象组特征。清洁机器人可以通过场景识别模型对对象组特征进行分类处理，从而根据对象组特征进行场景识别。具体的，场景识别模型可以包括但不限于SVM(ResidualNetwork，支持向量机)、DT(Decision Tree，决策树)或者NBM(Naive BayesianModel，朴素贝叶斯模型)或者分类神经网络等分类器，清洁机器人可以根据对象组特征对待清洁区域进行分类，得到场景识别模型输出的待清洁区域对应的区域场景。

在本实施例中，通过环境对象生成对象组矩阵，调用场景识别模型对对象组矩阵进行特征提取，得到对象组矩阵对应的对象组特征，根据对象组矩阵提取的对象组特征能够更加准确的表达环境对象与场景之间的关联关系。根据对象组特征进行场景识别，得到待清洁区域对应的区域场景，有效的提高了对待清洁区域进行场景识别的准确性。

在一个实施例中，如图4所示，上述方法还包括：

步骤402，获取预设时间段内用户标识对应的用户日程信息。

步骤404，根据用户标识对应的用户日程信息进行预测，得到用户标识对应的周期行为类型。

步骤406，根据周期行为类型调整清洁机器人对应的时间子策略。

用户标识是指清洁机器人的用户所对应的标识信息，用户可以是清洁机器人的所有者或者使用者。预设时间段可以是根据实际应用需求设置的时间长度。例如，预设时间段可以根据实际需求设置为两周、一个月或者三个月等。清洁机器人可以获取预设时间段内与用户标识对应的用户日程信息。具体的，清洁机器人可以与对应用户的用户终端建立通信连接，通过用户终端获取用户日程信息。用户日程信息具体可以包括用户对应的每次出门以及回家的时间、每日出门次数以及出门时长等信息。

清洁机器人可以调用预先建立并且配置的行为预测模型，通过行为预测模型可以对预设时间段内用户标识对应的用户日程信息进行预测分析。具体的额，清洁机器人可以从预设时间段内的用户日程信息中获取多个行为特征维度的行为数据，利用多个维度的行为数据所对应的行为特征生成用户行为矩阵，将用户行为矩阵输入行为预测模型。通过行为预测模型进行运算，输出与用户标识对应的周期行为类型。清洁机器人可以通过用户标识对应的周期行为类型对时间子策略进行调整，以此根据调整后的清洁策略更加智能、准确和有效的对用户的待清洁区域进行清洁。其中，时间子策略是清洁机器人对应的清洁策略包括的多个子策略中的一个。例如，清洁策略具体可以包括时间子策略、模式子策略、频率子策略以及次数子策略等。

在本实施例中，通过获取预设时间段内用户标识对应的用户日程信息，根据用户日程信息进行预测分析，得到用户标识对应的周期行为类型，通过周期行为类型调整清洁机器人对应的时间子策略，有利于根据调整后的时间子策略控制清洁机器人进行清洁操作，避免对用户的日常生活产生影响。

在一个实施例中，图像检测模型可以是通过训练数据对建立的标准检测模型进行训练后得到的。为了节省清洁机器人的运算资源，图像检测模型的训练可以是由清洁机器人对应的服务器进行的，服务器将训练得到的图像检测模型配置在清洁机器人中。其中，服务器可以用独立的服务器或者多个服务器组成的服务器集群来实现。

具体的，标准检测模型可以是基于深度学习网络MobileNet V1(efficientconvolutional neural networks for mobile vision application，用于移动视觉应用的高效卷积神经网络)建立的TFLite(TensorFlow Lite，一种用于设备端推断的开源深度学习框架)类型的模型，标准检测模型也可以是基于其他深度学习网络建立的。例如，标准检测模型具体可以基于VGG、ResNet(Residual Neural Network，残差神经网络)、RetinaNet、CornerNet-lite、YOLO或者SSD等网络建立。在其中一个实施例中，标准检测模型具体还可以是基于MobileNet-SSD算法建立的模型。MobileNet-SSD算法是通过MobileNet进行图像特征提取，用SSD框架来完成对象框检测的目标检测算法，通过深度可分离卷积提取图像特征，有效的提高了卷积网络的计算效率。

训练数据可以是模型训练人员根据实际训练需求收集的图像数据，也可以是训练数据库中的图像数据。例如，用于模型训练的图像数据具体可以是TensorFlow(一个开放源代码的数据库)中包括需要识别的区域以及对象的图像数据。需要识别的区域是指待清洁区域内的脏污区域。例如，脏污区域具体可以包括咖啡污迹区域、酱油污迹区域、泥沙污迹区域以及牛奶污迹区域等。需要识别的对象包括清洁机器人所处环境中的物体对象，可以包括沙发、茶几、餐桌以及电视柜等。获取到用于训练的图像数据之后，可以将图像数据转化为TFRecord(一种二进制数据格式)格式数据，将TFRecord格式数据作为训练数据输入标准检测模型进行模型训练。在其中一个实施例中，用于对标准检测模型进行训练的数据具体可以包括训练数据、验证数据以及测试数据。

根据训练图像可以对标准检测模型进行循环训练，直到训练收敛，得到训练后的图像检测模型。例如，可以采用Fine-Tune(模型微调)的方式进行迁移学习，训练预设数量个Epoch(每个Epoch表示使用全部训练数据训练一次)，比如3万个Epoch，将检测模型的损失值(loss)降低至预设值时，确定训练收敛。其中，预设值可以是根据实际需求预先设置的参数值，比如预设值可以设置为0.2。训练结束之后，可以通过模型转化算法对训练收敛的标准检测模型进行转化，将标准检测模型转化为能够在清洁机器人中运行，以此对传感器采集的环境图像进行检测的预设格式的图像检测模型。例如，图像检测模型具体可以是TFLite类型的检测模型。

在本实施例中，根据目标检测算法建立标准检测模型，通过与待清洁区域的检测需求相对应的训练图像对标准检测模型进行训练，将训练后的图像检测模型转化后配置在清洁机器人中，便于清洁机器人调用图像检测模型对环境图像进行目标检测，有利于清洁机器人基于视觉准确的检测待清洁区域内包括的目标区域和对象。

在一个实施例中，如图5所示，上述方法还包括：

步骤502，当检测结果还包括目标对象时，获取目标对象对应的轮廓信息。

步骤504，根据检测结果和轮廓信息确定目标对象对应的对象类型。

步骤506，当对象类型属于目标类型时，控制清洁机器人将目标对象移动至与对象类型相对应的目标位置。

目标对象是指清洁机器人需要对其进行清洁的物体，目标对象具体可以是待清洁区域中需要进行清洁的垃圾。当环境图像检测出的对象中还包括目标对象时，清洁机器人可以获取目标对象对应的轮廓信息。轮廓信息具体可以是通过激光传感器获取的。具体的，激光传感器包括发射组件和接收组件。当确定待清洁区域中包括目标对象时，清洁机器人可以根据检测结果中的检测框坐标确定目标对象对应的对象位置，通过发射组件向目标对象发射激光束。发射组件可以发射多个方向的激光束。例如，发射组件可以水平发射激光束，也可以让激光束与水平面之间存在夹角，从而获取竖直方向上的信息。在其中一个实施例中，激光传感器可以包括多个发射组件，不同发射组件所发射的激光角度之间可以是相同的，也可以是不同的。清洁机器人可以通过接收组件接收由目标对象返回的激光信号，通过激光传感器获取目标对象对应的轮廓信息。轮廓信息具体可以包括目标对象对应的体积以及轮廓形状等。

清洁机器人可以根据环境图像对应的检测结果，以及检测到的目标对象对应的轮廓信息，确定目标对象对应的对象类型。具体的，对象类型可以包括目标对象在多个分类维度各自对应的分类类型。例如，根据对象体积维度进行分类，可以包括能够吸入垃圾收纳盒的垃圾和不能够吸入垃圾收纳盒的垃圾。根据垃圾分类标准进行分类，可以包括可回收垃圾、厨余垃圾、有害垃圾以及其它垃圾等。清洁机器人可以根据目标对象对应的轮廓信息对检测结果中目标对象对应的置信度进行调整，结合轮廓信息和检测结果确定目标对象对应的对象类型。例如，当目标对象为牛奶盒时，清洁机器人可以确定目标对象属于不能够吸入垃圾收纳盒的可回收垃圾。当目标对象为泥沙时，清洁机器人可以确定目标对象属于能够吸入垃圾收纳盒的其他垃圾。目标对象相较于其本身形状可能会发生形变，导致根据图像检测得到的检测结果存在误差，通过结合目标对象对应的轮廓信息和检测结果，能够更加准确的确定目标对象对应的对象类型，有效的提高了识别目标对象的对象类型的准确性。

目标类型是指清洁机器人不能够吸入垃圾收纳盒的垃圾类型。当对象类型属于目标类型时，可以获取与对象类型相对应的目标位置，控制清洁机器人将目标对象移动至与对象类型相对应的目标位置。其中，与对象类型对应的目标位置可以是用户预先设置的，目标位置可以是预设的与对象类型一一对应的位置。例如，可回收垃圾、厨余垃圾、有害垃圾以及其它垃圾可以分别对应设置不同的摆放位置。清洁机器人可以将目标对象移动至与对象类型相对应的目标位置。例如，当检测到目标对象为发生形变的牛奶盒或者易拉罐时，确定目标对象对应的对象类型为不能够吸入垃圾收纳盒的可回收垃圾，清洁机器人可以将发生形变的牛奶盒或者易拉罐推至预先设置的目标位置，有助于清洁机器人对应的用户对同一对象类型的目标对象进行统一分类处理。

在其中一个实施例中，当清洁机器人无法将目标对象移动至对应的目标位置时，例如，当目标对象的重量较大时，清洁机器人可以获取目标对象对应的当前位置，将目标对象对应的对象类型、当前位置等信息发送至清洁机器人对应的用户终端，以此提示用户对目标对象进行清理。

在其中一个实施例中，当对象类型不属于目标类型时，清洁机器人可以根据与对象类型对应的清洁策略，对目标对象进行清洁处理。例如，当目标对象为泥沙时，清洁机器人可以将泥沙吸入垃圾收纳盒中。

在本实施例中，当检测结果还包括目标对象时，获取目标对象对应的轮廓信息，通过检测结果和轮廓信息确定目标对象对应的对象类型，避免因目标对象发生形变导致确定对象类型时产生误差，提高了确定对象类型的准确性。当对象类型属于目标类型时，控制清洁机器人将目标对象移动至与对象类型相对应的目标位置，相较于传统方式，不需要人工逐一清理分布在多个位置的目标对象，用户可以在目标位置对目标对象进行统一清理，有效的提高了清洁机器人的清洁效率。

在一个实施例中，上述方法还包括：当检测结果还包括动态对象时，根据环境对象确定动态对象对应的对象位置；根据对象位置确定动态对象所对应的行为轨迹信息；根据行为轨迹信息生成对象活动区域，控制清洁机器人对对象活动区域执行对应的清洁操作。

动态对象是指清洁机器人周围环境中能够自行移动的对象。例如，动态对象可以是待清洁区域中的宠物，具体可以包括宠物猫、宠物狗以及宠物兔等。对象位置是指对应环境图像中动态对象在环境中的位置。在不同的环境图像中，动态对象所对应的对象位置可以是相同的，也可以是不同的。

清洁机器人可以获取周围环境对应的环境信息，环境信息可以是预先配置在清洁机器人中的，也可以是清洁机器人在工作过程中自动探测所处的周围环境得到的。环境信息具体可以包括但不限于清洁机器人所处环境的清洁环境地图、周围环境中包括的环境对象，以及环境对象对应的环境对象位置等信息。环境对象位置可以是环境对象在清洁环境地图中的位置坐标。清洁机器人可以根据环境图像中动态对象与环境对象之间的相对位置关系，以及环境对象对应的环境对象位置，确定动态对象所对应的对象位置。

清洁机器人可以根据多张环境对象中的对象位置，确定动态对象对应的行为轨迹。具体的，清洁机器人可以将动态对象在多张环境图像各自对应的对象位置映射到清洁环境地图中，得到动态对象在多个环境图像采集时间分别所在的环境地图坐标。清洁机器人可以根据多张环境图像所对应采集时间的先后顺序，将动态对象对应的多个环境地图坐标进行连接，根据环境图像坐标拟合行为轨迹，得到动态对象对应的行为轨迹。

清洁机器人可以根据行为轨迹确定动态对象对应的对象活动区域，对对象活动区域进行针对性的清洁。具体的，清洁机器人可以获取与动态对象对应的对象清洁策略，对象清洁策略具体可以包括但不限于对对象活动区域的清洁方式、清洁频率、清洁力度以及清洁时间等。不同的动态对象所对应的对象清洁策略可以是不同的。根据动态对象对应的对象清洁策略，控制清洁机器人对对象活动区域进行对应的清洁。

在其中一个实施例中，清洁机器人可以获取动态对象对应的动态对象类型，动态对象类型可以包括动态对象对应的具体品种。例如，动态对象类型具体可以包括阿拉斯加犬、金毛犬、萨摩耶犬、德国牧羊犬、秋田犬、柯基犬以及法国斗牛犬等。清洁机器人可以获取与对象类型对应的对象行为特征，对象行为特征可以是根据对应对象类型的多个动态对象行为信息进行大数据分析得到的，不同对象类型对应的对象行为特征可以是不同的。清洁机器人可以根据对象类型对应的对象行为特征，对行为轨迹对应的活动区域进行扩大调整，将调整后的活动区域记作动态对象对应的对象活动区域。根据对象行为特征调整后的对象活动区域能够更加准确的表示动态对象的实际活动和有可能活动的区域范围，有效的提高了确定对象活动区域的准确性。

在本实施例中，当环境图像对应的检测结果还包括动态对象时，根据环境对象确定动态对象对应的对象位置，根据环境图像中的对象位置，确定动态对象对应的行为轨迹，根据行为轨迹确定动态对象所对应的对象活动区域，控制清洁机器人对对象活动区域进行清洁，从而准确、有效的对动态对象对应的对象活动区域进行针对性的清洁，有效的提高了清洁机器人的清洁效率。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种基于场景识别的清洁装置，包括：图像检测模块602、场景识别模块604、类型确定模块606和区域清洁模块608，其中：

图像检测模块602，用于获取待清洁区域对应的环境图像；对环境图像进行目标检测，当检测结果为待清洁区域包括目标区域时，获取待清洁区域对应的环境对象。

场景识别模块604，用于调用场景识别模型，根据环境对象对待清洁区域进行场景识别，得到待清洁区域对应的区域场景。

类型确定模块606，用于根据区域场景和检测结果确定目标区域对应的区域类型。

区域清洁模块608，用于根据区域类型对清洁策略进行调整，根据调整后的清洁策略对目标区域执行对应的清洁操作。

在一个实施例中，上述场景识别模块604还用于根据环境对象生成对象组矩阵；调用场景识别模型，根据场景识别模型进行特征提取，得到对象组矩阵对应的对象组特征；根据对象组特征进行场景识别，得到场景识别模型输出的待清洁区域对应的区域场景。

在一个实施例中，上述类型确定模块606还用于获取与区域场景对应的多个区域类型权重；获取检测结果中目标区域对应的多个检测区域类型，根据区域类型权重对检测区域类型进行加权处理，得到区域类型分数；根据区域类型分数从检测区域类型中确定目标区域类型。

在一个实施例中，上述区域清洁模块608还用于获取预设时间段内用户标识对应的用户日程信息；根据用户标识对应的用户日程信息进行预测，得到用户标识对应的周期行为类型；根据周期行为类型调整清洁机器人对应的时间子策略。

在一个实施例中，上述区域清洁模块608还用于当检测结果还包括目标对象时，获取目标对象对应的轮廓信息；根据检测结果和轮廓信息确定目标对象对应的对象类型；当对象类型属于目标类型时，控制清洁机器人将目标对象移动至与对象类型相对应的目标位置。

在一个实施例中，上述区域清洁模块608还用于当检测结果还包括动态对象时，根据环境对象确定动态对象对应的对象位置；根据对象位置确定动态对象所对应的行为轨迹信息；根据行为轨迹信息生成对象活动区域，控制清洁机器人对对象活动区域执行对应的清洁操作。

关于基于场景识别的清洁装置的具体限定可以参见上文中对于基于场景识别的清洁方法的限定，在此不再赘述。上述基于场景识别的清洁装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于清洁机器人中的处理器中，也可以以软件形式存储于清洁机器人中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是清洁机器人。该清洁机器人包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该清洁机器人的处理器用于提供计算和控制能力。该清洁机器人的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该清洁机器人的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种清洁机器人方法。该清洁机器人的显示屏可以是液晶显示屏或者电子墨水显示屏，该清洁机器人的输入装置可以是显示屏上覆盖的触摸层，也可以是清洁机器人外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，提供了一种清洁机器人，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述基于场景识别的清洁方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述基于场景识别的清洁方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种基于场景识别的清洁方法，其特征在于，所述方法包括：

获取待清洁区域对应的环境图像；

对所述环境图像进行目标检测，当检测结果为所述待清洁区域包括目标区域时，获取待清洁区域对应的环境对象；所述环境对象为所述待清洁区域中与所述待清洁区域对应场景具有关联关系的静态对象；

调用场景识别模型，根据所述环境对象对所述待清洁区域进行场景识别，得到所述待清洁区域对应的区域场景；

根据所述区域场景对应的多个区域类型权重，对所述检测结果中所述目标区域对应的多个检测区域类型进行加权处理，根据加权处理结果确定所述目标区域对应的区域类型；

根据所述区域类型对清洁策略进行调整，根据调整后的清洁策略对所述目标区域执行对应的清洁操作。

2.根据权利要求1所述的方法，其特征在于，所述调用场景识别模型，根据所述环境对象对所述待清洁区域进行场景识别，得到所述待清洁区域对应的区域场景包括：

根据所述环境对象生成对象组矩阵；

调用场景识别模型，根据所述场景识别模型进行特征提取，得到所述对象组矩阵对应的对象组特征；

根据所述对象组特征进行场景识别，得到所述场景识别模型输出的所述待清洁区域对应的区域场景。

3.根据权利要求1所述的方法，其特征在于，所述根据所述区域场景对应的多个区域类型权重，对所述检测结果中所述目标区域对应的多个检测区域类型进行加权处理，根据加权处理结果确定所述目标区域对应的区域类型包括：

获取与所述区域场景对应的多个区域类型权重；

获取检测结果中所述目标区域对应的多个检测区域类型，根据所述区域类型权重对所述检测区域类型进行加权处理，得到区域类型分数；

根据所述区域类型分数从所述检测区域类型中确定目标区域类型。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取预设时间段内用户标识对应的用户日程信息；

根据所述用户标识对应的所述用户日程信息进行预测，得到所述用户标识对应的周期行为类型；

根据所述周期行为类型调整清洁机器人对应的时间子策略。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：

当所述检测结果还包括目标对象时，获取所述目标对象对应的轮廓信息；

根据所述检测结果和所述轮廓信息确定所述目标对象对应的对象类型；

当所述对象类型属于目标类型时，控制清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置。

6.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：

当所述检测结果还包括动态对象时，根据所述环境对象确定所述动态对象对应的对象位置；

根据所述对象位置确定所述动态对象所对应的行为轨迹信息；

根据所述行为轨迹信息生成对象活动区域，控制清洁机器人对所述对象活动区域执行对应的清洁操作。

7.一种基于场景识别的清洁装置，其特征在于，所述装置包括：

图像检测模块，用于获取待清洁区域对应的环境图像；对所述环境图像进行目标检测，当检测结果为所述待清洁区域包括目标区域时，获取待清洁区域对应的环境对象；所述环境对象为所述待清洁区域中与所述待清洁区域对应场景具有关联关系的静态对象；

场景识别模块，用于调用场景识别模型，根据所述环境对象对所述待清洁区域进行场景识别，得到所述待清洁区域对应的区域场景；

类型确定模块，用于根据所述区域场景对应的多个区域类型权重，对所述检测结果中所述目标区域对应的多个检测区域类型进行加权处理，根据加权处理结果确定所述目标区域对应的区域类型；

区域清洁模块，用于根据所述区域类型对清洁策略进行调整，根据调整后的清洁策略对所述目标区域执行对应的清洁操作。

8.根据权利要求7所述的装置，其特征在于，所述场景识别模块还用于根据所述环境对象生成对象组矩阵；调用场景识别模型，根据所述场景识别模型进行特征提取，得到所述对象组矩阵对应的对象组特征；根据所述对象组特征进行场景识别，得到所述场景识别模型输出的所述待清洁区域对应的区域场景。

9.根据权利要求7所述的装置，其特征在于，

所述类型确定模块，还用于获取与所述区域场景对应的多个区域类型权重；获取检测结果中所述目标区域对应的多个检测区域类型，根据所述区域类型权重对所述检测区域类型进行加权处理，得到区域类型分数；根据所述区域类型分数从所述检测区域类型中确定目标区域类型。

10.根据权利要求7所述的装置，其特征在于，

所述区域清洁模块，还用于获取预设时间段内用户标识对应的用户日程信息；根据所述用户标识对应的所述用户日程信息进行预测，得到所述用户标识对应的周期行为类型；根据所述周期行为类型调整清洁机器人对应的时间子策略。

11.根据权利要求7至10任意一项所述的装置，其特征在于，

所述区域清洁模块，还用于当所述检测结果还包括目标对象时，获取所述目标对象对应的轮廓信息；根据所述检测结果和所述轮廓信息确定所述目标对象对应的对象类型；当所述对象类型属于目标类型时，控制清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置。

12.根据权利要求7至10任意一项所述的装置，其特征在于，

所述区域清洁模块，还用于当所述检测结果还包括动态对象时，根据所述环境对象确定所述动态对象对应的对象位置；根据所述对象位置确定所述动态对象所对应的行为轨迹信息；根据所述行为轨迹信息生成对象活动区域，控制清洁机器人对所述对象活动区域执行对应的清洁操作。

13.一种清洁机器人，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images