WO2021008339A1 - 机器人、基于机器人的清洁方法和计算机可读存储介质 - Google Patents
机器人、基于机器人的清洁方法和计算机可读存储介质 Download PDFInfo
- Publication number
- WO2021008339A1 WO2021008339A1 PCT/CN2020/098907 CN2020098907W WO2021008339A1 WO 2021008339 A1 WO2021008339 A1 WO 2021008339A1 CN 2020098907 W CN2020098907 W CN 2020098907W WO 2021008339 A1 WO2021008339 A1 WO 2021008339A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- robot
- pixel
- area
- preset
- target image
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4063—Driving means; Transmission means therefor
Definitions
- This application relates to the field of robotics, and in particular to a robot, a robot-based cleaning method, and a computer-readable storage medium.
- a robot when a robot cleans a room, it cleans according to a preset cleaning route. But in fact, certain areas of the room are relatively clean, and certain areas are relatively dirty.
- the robot cleans according to the preset route, so that the clean area is repeatedly cleaned, and the other areas located on the preset route can be cleaned by the robot after cleaning. The area is cleaned, and the robot cleaning efficiency is low.
- the main purpose of this application is to provide a robot, a cleaning method thereof, and a computer-readable storage medium, aiming to solve the problem of low cleaning efficiency of the robot.
- the present application provides a robot-based cleaning method.
- the robot is provided with an image acquisition module, and the robot acquires a target image through the image acquisition module.
- the robot-based cleaning method includes the following steps:
- the pixels in the second region in the target image correspond to the same pixel types
- the pixels in the first region in the target image correspond to the same pixel types
- the pixels in the second region correspond to the pixel types
- the pixel types corresponding to the pixels in the first region are different.
- the method includes:
- the robot After determining that the pixel type corresponding to each pixel in the target image does not contain a preset pixel type, the robot is controlled to clean according to a preset cleaning route.
- the step of controlling the robot to clean the first area includes:
- the processor 101 may be used to call the cleaning program of the robot stored in the memory 102 and perform the following operations:
- the robot is controlled to clean the first area according to each of the distances.
- the method further includes:
- the training of the model to be trained is stopped to obtain the prediction model.
- the processor 101 may be used to call the cleaning program of the robot stored in the memory 102 and perform the following operations:
- the processor 101 may be used to call the cleaning program of the robot stored in the memory 102 and perform the following operations:
- the processor 101 may be used to call the cleaning program of the robot stored in the memory 102 and perform the following operations:
- the robot acquires the target image collected by the image acquisition module, and predicts the pixel type of each pixel in the target image according to the prediction model to obtain the pixel type corresponding to each pixel.
- the grayscale value of the pixel type of the pixel converts the target image into a binary image, and determines the area of the preset color in the binary image.
- the preset color is the color of the first area, and then the robot is controlled to clean the first area ; Since the robot can determine the first area during the movement, the robot can directly clean the first area without cleaning the second area, and the cleaning efficiency of the robot is higher.
- the robot is provided with an image acquisition module, and the image acquisition module may be a camera or a video camera.
- the robot will start the image acquisition module to acquire the target image.
- the image acquisition module is connected to the rotating mechanism.
- the robot drives the image acquisition module to rotate by controlling the rotating mechanism to collect images in a larger area of the room and reduce the robot’s Movement path.
- the target image is input into the prediction model, so that the prediction model predicts the pixel type of each pixel in the target image.
- the prediction model actually predicts the two-dimensional array corresponding to the target image, and the two-dimensional array contains the pixel type corresponding to each pixel in the target image.
- Pixel types can be distinguished by numerical values. For example, pixel types with a value of 1 and pixel types with a value of 0 are different.
- the prediction model is equipped with a deep learning semantic segmentation network or a masked area convolutional neural network.
- the deep learning semantic segmentation network is Deep LAB3
- the masked area convolutional neural network is Mask Rcnn.
- the prediction model in the robot is obtained by training the image containing the first region.
- the training process of the prediction model includes the following steps:
- the robot establishes a preset model, and configures the network for the preset model and the training parameters to obtain the preset model to be trained.
- the configured network is Deep LAB3 or Mask Rcnn;
- the mask image is the original The label of the image, and set the same pixel type for each pixel in the first area of the mask image.
- the pixel type is represented by a value.
- the pixel type set for each pixel in the non-first area corresponds to each pixel in the first area Different pixel types;
- Step S30 Convert the target image into a binary image according to the grayscale value of the pixel type corresponding to each of the pixels, so as to determine a preset color area in the binary image, wherein the preset color area is the first A region
- the robot After determining each first area, the robot selects a relatively close first area as the target cleaning area, and determines each boundary pixel of the first area as the target cleaning area.
- the robot stores a map of the room and can locate its current location.
- the robot extracts the contour of the first area, obtains each boundary point of the first area, and outputs each boundary point to the binocular ranging algorithm in the robot to obtain the distance between each boundary point and the robot. Control the robot to clean the target area.
- the value of the pixel type of each pixel in the first area can be set to 1, the value of the pixel type corresponding to each pixel in the second area is set to 0, and the grayscale value corresponding to the pixel type value of 0 can be set Is 0, and the grayscale value corresponding to the pixel type value 1 is set to 255. Therefore, the color of the second area in the binary image is black, and the first area in the binary image is white.
- the first area can be classified into levels.
- the pixel values of the pixels in the first area of each level are different. The higher the level, the dirtier the first area.
- the level of the first area can be based on the color depth. Divide, the darker the first area, the higher the level.
- the robot sets a higher gray value corresponding to each pixel in the first area with a higher level, and sets a lower gray value corresponding to each pixel in the first area with a lower level, so that the target image
- the robot can determine the level of each first area while determining the first area.
- Corresponding cleaning strategies can be set for first areas of different levels. For example, the first area with a high level has a longer cleaning time per unit area, or the first area with a high level needs to be cleaned multiple times, that is, the cleaning strategy includes Cleaning time per unit area, cleaning times, etc.
- Step S50 Determine whether the pixel type corresponding to each pixel in the target image contains a preset pixel type, wherein the gray level value corresponding to the preset pixel type is the gray level value corresponding to the pixel in the first region in the binary image. Order value
- Step S70 determining that the pixel type corresponding to each pixel in the target image does not contain a preset pixel type, and controlling the robot to clean according to a preset cleaning route.
- the pixel corresponding to the preset pixel type is the pixel in the first region in the target image.
- the robot obtains the pixel type corresponding to each pixel in the target image, it determines whether there is a preset pixel type in each pixel type. If the preset pixel type is included, it indicates that there is a first area in the room that needs to be cleaned. At this time, step S30 is executed. And step S40 to clean the first area.
- each pixel type does not contain the preset pixel value, it means that the currently collected target image does not contain the first area. At this time, the robot cleans according to the preset cleaning route.
- the robot determines whether each pixel value contains a preset pixel type, thereby judging whether there is a first area in the room, and adopting the corresponding strategy for cleaning according to the judgment result ,
- the robot is highly intelligent.
- FIG. 4 is a detailed flowchart of step S10 in FIG. 2, and step S10 includes:
- Step S11 determining the target area where the ratio of the cleaning times to the preset frequency is greater than the preset ratio
- Step S12 controlling the robot to go to the target area to obtain a target image of the target area collected by the image collecting module.
- the robot after the robot cleans the first area, it records the area where the first area is located.
- the area is the room where the first area is located, and records the number of times the area is cleaned.
- There are preset cleaning times in the robot and each time the robot completes the cleaning of the whole room in turn, the preset cleaning times +1.
- the robot determines the cleaning times of each area and the preset cleaning times, and calculates the ratio of the cleaning times to the preset cleaning times.
- the ratio represents the cleaning frequency of a certain area by the robot. The greater the ratio, the greater the cleaning frequency of the area. If the ratio is greater than the preset ratio, it indicates that the area corresponding to the ratio is easily dirty and needs to be cleaned.
- the robot is controlled to clean, that is, the robot is controlled to preferentially go to the area to identify the first area in the area to perform clean. It should be noted that the larger the ratio is, the first area the robot recognizes.
- the user can set the cleaning time point of the robot. When the current time point reaches the set time point, the robot moves to obtain a target image to clean the first area.
- the robot can also be set to keep moving until the battery is low, the robot will go to the charging pile to charge. After the robot finishes charging, it continues to move to obtain a target image to clean the first area.
- the application also provides a robot, which includes an image acquisition module, a prediction model, a memory, a processor, and a cleaning program of the robot stored in the memory and running on the processor, the image acquisition module, and
- the prediction models are respectively connected to the processors, and when the robots are executed by the processors, each step of the robot-based cleaning method described in the above embodiment is implemented.
- the present application also provides a computer-readable storage medium, the computer-readable storage medium includes a cleaning program of a robot, and when the cleaning program of the robot is executed by a processor, each of the robot-based cleaning methods described in the above embodiment is implemented. step.
Landscapes
- Electric Vacuum Cleaner (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
一种机器人、基于机器人的清洁方法和计算机可读存储介质，机器人设有图像采集模块（104），机器人通过图像采集模块（104）采集目标图像。方法包括以下步骤：在机器人移动过程中，获取图像采集模块（104）采集的目标图像；根据预测模型（105）对目标图像中各个像素进行像素类型的预测，以得到各个像素对应的像素类型；根据各个像素对应的像素类型的灰阶值将目标图像转化为二值图像，以在二值图像中确定预设颜色的区域，其中，预设颜色的区域为第一区域；控制机器人对第一区域进行清洁。
Description
相关申请的交叉引用
本申请要求于2019年7月16日提交中国专利局、申请号为201910648667.5、申请名称为“扫地机器人及其清扫方法和计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请涉及机器人技术领域，尤其涉及一种机器人、基于机器人的清洁方法和计算机可读存储介质。
随着人们生活节奏的加快，人们休息的时间减少，也即人们清洁家务的时间也变少。为了保持家庭的整洁，人们通过机器人对房间进行清洁（例如：对房间进行清扫）。
现有技术中，机器人在对房间进行清洁时，是按照预设的清洁路线进行清洁的。但实际上房间的某一些区域比较干净，某一些区域则比较脏，机器人按照预设路线进行清洁，使得干净的区域重复被清洁，且待机器人清洁完位于预设路线的其他区域才能对较脏的区域进行清洁，机器人扫清效率较低。
本申请的主要目的在于提供一种机器人及其清洁方法和计算机可读存储介质，旨在解决机器人清洁效率较低的问题。
为实现上述目的，本申请提供的一种基于机器人的清洁方法，机器人设有图像采集模块，所述机器人通过所述图像采集模块采集目标图像，所述基于机器人的清洁方法包括以下步骤：
在机器人移动过程中，获取所述图像采集模块采集的目标图像；
根据预测模型对所述目标图像中各个像素进行像素类型的预测，以得到各个所述像素对应的像素类型；
根据各个所述像素对应的像素类型的灰阶值将所述目标图像转化为二值图像，以在所述二值图像确定预设颜色的区域，其中，预设颜色的区域为第一区域；
控制所述机器人对所述第一区域进行清洁。
在一实施例中，所述目标图像中第二区域的像素对应的像素类型相同，所述目标图像中第一区域的像素对应的像素类型相同，且所述第二区域的像素对应的像素类型与所述第一区域的像素对应的像素类型不同。
在一实施例中，所述根据预测模型对所述目标图像中各个像素进行像素类型的预测，以得到各个所述像素对应的像素类型的步骤之后，包括：
判断所述目标图像中各个像素对应的像素类型中是否含有预设像素类型，其中，所述预设像素类型对应的灰阶值为所二值图像中第一区域的像素对应的灰阶值；
在确定所述目标图像中各个像素对应的像素类型中含有预设像素类型，执行所述根据各个所述像素对应的像素类型的灰阶值将所述目标图像转化为二值图像的步骤；
在确定所述目标图像中各个像素对应的像素类型中不含有预设像素类型，控制所述机器人按照预设清洁路线进行清洁。
在一实施例中，所述控制机器人对所述第一区域进行清洁的步骤包括：
确定所述第一区域对应的边界像素以及机器人的当前位置；
确定所述当前位置与各个所述边界像素之间的距离；
根据各个所述距离控制所述机器人对所述第一区域进行清洁。
在一实施例中，所述根据预测模型对所述目标图像中各个像素进行像素类型的预测，以得到各个所述像素对应的像素类型的步骤之前，还包括：
建立预设模型，并对所述预设模型配置网络以及训练参数以得到待训练模型；
向所述待训练预设模型输入多张含有第一区域的图像以对所述待训练预设模型进行训练；
在所述待训练预设模型的收敛值小于预设阈值时，停止对所述待训练模型的训练，以得到所述预测模型。
在一实施例中，所述获取所述图像采集模块采集的目标图像的步骤包括：
确定清洁次数与预设次数比值大于预设比值的目标区域；
控制所述机器人去往所述目标区域，以获取所述图像采集模块采集的所述目标区域的目标图像。
在一实施例中，所述预测模型中设有深度学习语义分割网络或者掩码区域卷积神经网络。
在一实施例中，所述基于机器人的清洁方法，还包括：
在当前时间点达到设定时间点，或者，在机器人充电完毕时，控制机器人移动，以执行所述获取所述图像采集模块采集的目标图像的步骤。
为实现上述目的，本申请还提供一种机器人，所述机器人包括图像采集模块、预测模型、存储器、处理器以及存储在所述存储器并可在所述处理器上运行的机器人的清洁程序，所述图像采集模块以及所述预测模型分别与所述处理器连接，所述机器人被所述处理器执行时实现如上所述的基于机器人的清洁方法的各个步骤。
为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质包括机器人的清洁程序，所述机器人的清洁程序被处理器执行时实现如上所述的基于机器人的清洁方法的各个步骤。
本申请提供的机器人及其清洁方法和计算机可读存储介质，在机器人移动过程中，机器人获取图像采集模块采集的目标图像，并根据预测模型对目标图像中各个像素的像素类型进行预测以得到各个像素对应的像素类型，再根据各个像素的像素类型的灰阶值将目标图像转化为二值图像，并在二值图像中确定预设颜色的区域，预设颜色即为第一区域的颜色，进而控制机器人对第一区域进行清洁；由于机器人在移动过程中可确定第一区域，使得机器人直接对第一区域进行清洁，而无需对第二区域进行清洁，机器人的清洁效率较高。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本申请实施例涉及的机器人的硬件构架示意图；
图2为本申请的基于机器人的清洁方法一实施例的流程示意图；
图3为本申请的基于机器人的清洁方法另一实施例的流程示意图；
图4为图2中步骤S10的细化流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
本申请的实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：在机器人移动过程中，获取所述图像采集模块采集的目标图像；根据预测模型对所述目标图像中各个像素进行像素类型的预测，以得到各个所述像素对应的像素类型；根据各个所述像素对应的像素类型的灰阶值将所述目标图像转化为二值图像，以在所述二值图像确定预设颜色的区域，其中，预设颜色的区域为第一区域；控制所述机器人清洁所述第一区域。在本申请中第一区域可以是较脏的区域，即可以为待清扫的区域，第二区域为干净区域，即可以为不需要清扫的区域。本申请中控制所述机器人对所述第一区域进行清洁，即可以为控制所述机器人对所述第一区域进行清扫。
由于机器人在移动过程中可确定第一区域，使得机器人直接对第一区域进行清洁，而无需对第二区域进行清洁，机器人的清洁效率较高。
作为一种实现方案，机器人可以如图1所示。
本申请实施例方案涉及的是机器人，机器人包括：处理器101，例如CPU，存储器102，通信总线103、图像采集模块104以及预测模型105。其中，通信总线103用于实现这些组件之间的连接通信、图像采集模块104以及预测模型105与处理器101连接，图像采集模块104可为摄像头或者摄像机。
存储器102可以是高速RAM存储器，也可以是稳定的存储器（non-volatilememory），例如磁盘存储器。如图1所示，作为一种计算机存储介质的存储器103中可以包括机器人的清洁程序；而处理器101可以用于调用存储器102中存储的机器人的清洁程序，并执行以下操作：
在机器人移动过程中，获取所述图像采集模块采集的目标图像；
根据预测模型对所述目标图像中各个像素进行像素类型的预测，以得到各个所述像素对应的像素类型；
根据各个所述像素对应的像素类型的灰阶值将所述目标图像转化为二值图像，以在所述二值图像确定预设颜色的区域，其中，预设颜色的区域为第一区域；
控制所述机器人对所述第一区域进行清洁。
在一实施例中，处理器101可以用于调用存储器102中存储的机器人的清洁程序，并执行以下操作：
所述目标图像中第二区域的像素对应的像素类型相同，所述目标图像中第一区域的像素对应的像素类型相同，且所述第二区域的像素对应的像素类型与所述第一区域的像素对应的像素类型不同。
在一实施例中，处理器101可以用于调用存储器102中存储的机器人的清洁程序，并执行以下操作：
判断所述目标图像中各个像素对应的像素类型中是否含有预设像素类型，其中，所述预设像素类型对应的灰阶值为所二值图像中第一区域的像素对应的灰阶值；
在确定所述目标图像中各个像素对应的像素类型中含有预设像素类型，执行所述根据各个所述像素对应的像素类型的灰阶值将所述目标图像转化为二值图像的步骤；
在确定所述目标图像中各个像素对应的像素类型中不含有预设像素类型，控制所述机器人按照预设清洁路线进行清洁。
在一实施例中，处理器101可以用于调用存储器102中存储的机器人的清洁程序，并执行以下操作：
确定所述第一区域对应的边界像素以及所述机器人的当前位置；
确定所述当前位置与各个所述边界像素之间的距离；
根据各个所述距离控制所述机器人对所述第一区域进行清洁。
在一实施例中，处理器101可以用于调用存储器102中存储的机器人的清洁程序，并执行以下操作：
所述根据预测模型对所述目标图像中各个像素进行像素类型的预测，以得到各个所述像素对应的像素类型的步骤之前，还包括：
建立预设模型，并对所述预设模型配置网络以及训练参数以得到待训练模型；
向所述待训练预设模型输入多张含有第一区域的图像以对所述待训练预设模型进行训练；
在所述待训练预设模型的收敛值小于预设阈值时，停止对所述待训练模型的训练，以得到所述预测模型。
在一实施例中，处理器101可以用于调用存储器102中存储的机器人的清洁程序，并执行以下操作：
确定清洁次数与预设次数比值大于预设比值的目标区域；
控制所述机器人去往所述目标区域，以获取所述图像采集模块采集的所述目标区域的目标图像。
在一实施例中，处理器101可以用于调用存储器102中存储的机器人的清洁程序，并执行以下操作：
所述预测模型中设有深度学习语义分割网络或者掩码区域卷积神经网络。
在一实施例中，处理器101可以用于调用存储器102中存储的机器人的清洁程序，并执行以下操作：
在当前时间点达到设定时间点，或者，在机器人充电完毕时，控制机器人移动，以执行所述获取所述图像采集模块采集的目标图像的步骤。
本实施例根据上述方案，在机器人移动过程中，机器人获取图像采集模块采集的目标图像，并根据预测模型对目标图像中各个像素的像素类型进行预测以得到各个像素对应的像素类型，再根据各个像素的像素类型的灰阶值将目标图像转化为二值图像，并在二值图像中确定预设颜色的区域，预设颜色即为第一区域的颜色，进而控制机器人对第一区域进行清洁；由于机器人在移动过程中可确定第一区域，使得机器人直接对第一区域进行清洁，而无需对第二区域进行清洁，机器人的清洁效率较高。
基于上述机器人的硬件构架，提出本申请的基于机器人的清洁方法的实施例。
参照图2，图2为本申请的基于机器人的清洁方法的一实施例，所述基于机器人的清洁方法包括以下步骤：
步骤S10，机器人移动过程中，获取所述图像采集模块采集的目标图像；
在本实施例中，机器人设有图像采集模块，图像采集模块可为摄像头或者摄像机。在机器人移动时，机器人会启动图像采集模块，以采集目标图像，图像采集模块连接转动机构，机器人通过控制转动机构驱动图像采集模块转动，以采集房间内较大范围内的图像，减小机器人的移动路径。
步骤S20，根据预测模型对所述目标图像中各个像素进行像素类型的预测，以得到各个所述像素对应的像素类型；
在图像采集模块采集到目标图像后，将目标图像输入至预测模型中，使得预测模型对目标图像中各个像素的像素类型进行预测。预测模型实则是预测出目标图像对应的二维数组，二维数组中含有目标图像中各个像素对应的像素类型。像素类型可通过数值进行区别，例如，数值为1的像素类型数值为0的像素类型不同。
预测模型中设有深度学习语义分割网络或者掩码区域卷积神经网络，深度学习语义分割网络即为Deep LAB3，而掩码区域卷积神经网络为Mask Rcnn。
需要说明的是，机器人中预测模型是通过含有第一区域图像训练得到的。具体的，预测模型的训练流程包括如下步骤：
1、机器人建立预设模型，并对预设模型配置网络以及训练参数得到待训练预设模型，配置的网络为Deep LAB3或者Mask
Rcnn；
2、获取多张含有第一区域的图像，采用分割标识工具在图像中标记第一区域的轮廓，保存对应的json文件，再通过程序生成标记图像的掩码图像，掩码图像即为原始的图像的标签，且对掩码图像中第一区域的各个像素设置同一种像素类型，像素类型用数值进行表征，非第一区域中各个像素设置的像素类型与第一区域中的各个像素对应的像素类型不同；
3、将原始图像以及掩码图像一同输入待训练预设模型进行训练，在当待训练预设模型的收敛值小于预设阈值时，即可停止训练，得到预测模型，预设阈值可为任意合适的数值，例如，0.1，当然，也可计算待训练预设模型的训练量，在训练量达到预设量时，即可停止训练，预设量可为30K步。
步骤S30，根据各个所述像素对应的像素类型的灰阶值将所述目标图像转化为二值图像，以在所述二值图像确定预设颜色的区域，其中，预设颜色的区域为第一区域；
在预测模型预测出目标图像的各个像素对应的像素类型后，确定各个像素类型对应的数值，每一个数值对应一个灰阶值，从而可根据各个像素的像素类型对应的灰阶值将目标图像转化为二值图像。由于目标图像中第一区域的各个像素的像素类型对应的灰阶值相同，使得第一区域中各个像素的颜色相同，一种灰阶值对应一种颜色，因此，可将第一区域中像素的颜色作为预设颜色。故，机器人在二值图像中查找颜色为预设颜色的区域，该区域即为第一区域。
步骤S40，控制所述机器人清洁所述第一区域。
机器人在确定各个第一区域后，选取较近的第一区域作为目标清洁区域，并确定作为目标清洁区域的第一区域的各个边界像素。机器人中存储有房间的地图，且能够定位自身当前所在的位置。
具体的，机器人提取第一区域的轮廓，得到第一区域的各个边界点，将各个边界点输出机器人中的双目测距算法中，得到每一个边界点与机器人之间的距离，从而根据距离控制机器人对目标区域进行清洁。
在本实施例提供的技术方案中，在机器人移动过程中，机器人获取图像采集模块采集的目标图像，并根据预测模型对目标图像中各个像素的像素类型进行预测以得到各个像素对应的像素类型，再根据各个像素的像素类型的灰阶值将目标图像转化为二值图像，并在二值图像中确定预设颜色的区域，预设颜色即为第一区域的颜色，进而控制机器人对第一区域进行清洁；由于机器人在移动过程中可确定第一区域，使得机器人直接对第一区域进行清洁，而无需对第二区域进行清洁，机器人的清洁效率较高。
在一实施例中，机器人将目标图像中第一区域的各个像素对应的类型设置相同，第二区域的各个像素对应的像素类型设置为相同，第二区域即可洁净区域，且第二区域的像素对应的像素类型与第一区域的像素对应的像素类型不同。不同的像素类型对应的数值设置不同的灰阶值，因此，二值图像包括二种颜色的区域，一种颜色表征第一区域，另外一种颜色表征第二区域。
在本实施例中，可将第一区域中各个像素的像素类型的数值设置为1，第二区域各个像素对应的像素类型的数值设置为0，可将像素类型数值0对应的灰阶值设置为0，而将像素类型数值1对应的灰阶值设置为255，因此，二值图像中第二区域的颜色为黑色，而二值图像中第一区域则为白色。
本实施例通过将第一区域中各个像素的像素类型设置相同，第二区域中各个像素的像素类型设置相同，且第一区域的像素的像素类型与第二区域的像素的像素类型不同，减少了预测模型的工作量，从而使得机器人能够快速的识别出第一区域与第二区域，提高了机器人的清洁效率。
在一实施例中，可对第一区域进行等级划分，每一个等级的第一区域中像素的像素值不同，等级越高的第一区域的越脏，第一区域的等级可以根据颜色的深度进行划分，颜色越深的第一区域，等级越高。对此，机器人将等级较高的第一区域中各个像素对应的灰度值设置的较高，而将等级较低的第一区域中各个像素对应的灰度值设置的较低，使得目标图像在转化为灰度图像时，机器人可在确定第一区域的同时确定各个第一区域的等级。不同等级的第一区域可设置对应的清洁策略，例如，等级高的第一区域设置的单位面积的清洁时间较长，或者等级高的第一区域的需要进行多次清洁，也即清洁策略包括单位面积的清洁时长、清洁次数等。
参照图3，图3为本申请的基于机器人的清洁方法的另一实施例，所述步骤S20之后，还包括：
步骤S50，判断所述目标图像中各个像素对应的像素类型中是否含有预设像素类型，其中，所述预设像素类型对应的灰阶值为所二值图像中第一区域的像素对应的灰阶值；
步骤S60，在确定所述目标图像中各个像素对应的像素类型中含有预设像素类型，执行所述根据各个所述像素对应的像素类型的灰阶值将所述目标图像转化为二值图像，以在所述二值图像确定预设颜色的区域的步骤；
步骤S70，在确定所述目标图像中各个像素对应的像素类型中不含有预设像素类型，控制所述机器人按照预设清洁路线进行清洁。
在本实施例中，预设像素类型对应的像素为目标图像中第一区域的像素。在机器人得到目标图像中各个像素对应的像素类型后，判断各个像素类型中是否有预设像素类型，若含有预设像素类型，则表明室内有第一区域需要进行清洁，此时，执行步骤S30以及步骤S40，以对第一区域进行清洁。
若各个像素类型中不含有预设像素值，则表明当前采集的目标图像中不含有第一区域，此时，机器人按照预设清洁路线进行清洁。
在本实施例中，机器人在确定点图像中各个像素的像素类型后，确定各个像素值中是否含有预设像素类型，从而判断室内是否有第一区域，以根据判断结果采用对应的策略进行清洁，机器人的智能化程度高。
参照图4，图4为图2中步骤S10的细化流程示意图，所述步骤S10包括：
步骤S11，确定清洁次数与于预设次数比值大于预设比值的目标区域；
步骤S12，控制所述机器人去往所述目标区域，以获取所述图像采集模块采集的所述目标区域的目标图像。
在本实施例中，机器人在清洁完第一区域后，会记录第一区域所在的区域，区域为第一区域所在的房间，且对区域进行清洁次数的记录。机器人中设有预设清洁次数，机器人每完成依次全房间的清洁时，预设清洁次数+1。机器人确定各个区域的清洁次数以及预设清洁次数，计算清洁次数与预设清洁次数的比值，该比值表征机器人对某个区域清洁频率，比值越大，该区域的清洁频率越大。若比值大于预设比值，则表明该比值对应的区域容易脏，需要进行清洁，此时，控制机器人进行清洁，也即控制机器人优先去往该区域，以识别该区域中的第一区域以进行清洁。需要说明的是，比值越大的区域，机器人越先对其进行第一区域的识别。
在本实施例提供的技术方案中，扫清机器人确定清洁次数与预设清洁次数之间的比值大于预设比值的区域，该区域即为容易脏的目标区域，从而使得机器人优先对目标区域进行第一区域的识别，提高了机器人的清洁效率。
在一实施例中，用户可设定机器人的清洁时间点。在当前时间点达到设定时间点时，机器人进行移动，从而获取目标图像以对第一区域进行清洁。此外，也可设置机器人一直处于移动，直至电量较少时，机器人去往充电桩充电。在机器人结束充电后，继续移动，从而获取目标图像以对第一区域进行清洁。
本申请还提供一种机器人，所述机器人包括图像采集模块、预测模型、存储器、处理器以及存储在所述存储器并可在所述处理器上运行的机器人的清洁程序，所述图像采集模块以及所述预测模型分别与所述处理器连接，所述机器人被所述处理器执行时实现如上实施例所述的基于机器人的清洁方法的各个步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质包括机器人的清洁程序，所述机器人的清洁程序被处理器执行时实现如上实施例所述的基于机器人的清洁方法的各个步骤。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
- 一种基于机器人的清洁方法，其中，所述机器人设有图像采集模块，所述机器人通过所述图像采集模块采集目标图像，所述基于机器人的清洁方法包括以下步骤：在机器人移动过程中，获取所述图像采集模块采集的目标图像；根据预测模型对所述目标图像中各个像素进行像素类型的预测，以得到各个所述像素对应的像素类型；根据各个所述像素对应的像素类型的灰阶值将所述目标图像转化为二值图像，以在所述二值图像确定预设颜色的区域，其中，预设颜色的区域为第一区域；控制所述机器人对所述第一区域进行清洁。
- 如权利要求1所述的基于机器人的清洁方法，其中，所述目标图像中第二区域的像素对应的像素类型相同，所述目标图像中第一区域的像素对应的像素类型相同，且所述第二区域的像素对应的像素类型与所述第一区域的像素对应的像素类型不同。
- 如权利要求1所述的基于机器人的清洁方法，其中，所述根据预测模型对所述目标图像中各个像素进行像素类型的预测，以得到各个所述像素对应的像素类型的步骤之后，包括：判断所述目标图像中各个像素对应的像素类型中是否含有预设像素类型，其中，所述预设像素类型对应的灰阶值为所述二值图像中第一区域的像素对应的灰阶值；在确定所述目标图像中各个像素对应的像素类型中含有预设像素类型，执行所述根据各个所述像素对应的像素类型的灰阶值将所述目标图像转化为二值图像的步骤；在确定所述目标图像中各个像素对应的像素类型中不含有预设像素类型，控制所述机器人按照预设清洁路线进行清洁。
- 如权利要求1所述的基于机器人的清洁方法，其中，所述控制机器人对所述第一区域进行清洁的步骤包括：确定所述第一区域对应的边界像素以及机器人的当前位置；确定所述当前位置与各个所述边界像素之间的距离；根据各个所述距离控制所述机器人对所述第一区域进行清洁。
- 如权利要求1所述的基于机器人的清洁方法，其中，所述根据预测模型对所述目标图像中各个像素进行像素类型的预测，以得到各个所述像素对应的像素类型的步骤之前，还包括：建立预设模型，并对所述预设模型配置网络以及训练参数以得到待训练模型；向所述待训练预设模型输入多张含有第一区域的图像以对所述待训练预设模型进行训练；在所述待训练预设模型的收敛值小于预设阈值时，停止对所述待训练模型的训练，以得到所述预测模型。
- 如权利要求1所述的基于机器人的清洁方法，其中，所述获取所述图像采集模块采集的目标图像的步骤包括：确定清洁次数与预设次数比值大于预设比值的目标区域；控制所述机器人去往所述目标区域，以获取所述图像采集模块采集的所述目标区域的目标图像。
- 如权利要求1-6任一项所述的基于机器人的清洁方法，其中，所述预测模型中设有深度学习语义分割网络或者掩码区域卷积神经网络。
- 如权利要求1-6任一项所述的基于机器人的清洁方法，其中，所述基于机器人的清洁方法，还包括：在当前时间点达到设定时间点，或者，在机器人充电完毕时，控制机器人移动，以执行所述获取所述图像采集模块采集的目标图像的步骤。
- 一种机器人，其中，所述机器人包括图像采集模块、预测模型、存储器、处理器以及存储在所述存储器并可在所述处理器上运行的机器人的清洁程序，所述图像采集模块以及所述预测模型分别与所述处理器连接，所述机器人被所述处理器执行时实现如权利要求1-8任一项所述的基于机器人的清洁方法的各个步骤。
- 一种计算机可读存储介质，其中，所述计算机可读存储介质包括机器人的清洁程序，所述机器人的清洁程序被处理器执行时实现如权利要求1-8任一项所述的基于机器人的清洁方法的各个步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910648667.5A CN110251004B (zh) | 2019-07-16 | 2019-07-16 | 扫地机器人及其清扫方法和计算机可读存储介质 |
| CN201910648667.5 | 2019-07-16 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021008339A1 true WO2021008339A1 (zh) | 2021-01-21 |
Family
ID=67926848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/098907 WO2021008339A1 (zh) | 2019-07-16 | 2020-06-29 | 机器人、基于机器人的清洁方法和计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110251004B (zh) |
| WO (1) | WO2021008339A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505258A (zh) * | 2021-06-23 | 2021-10-15 | 广东瑞芯智能科技有限公司 | 智能手表表盘界面数据的预存方法、***、装置及介质 |
| CN114941448A (zh) * | 2021-02-07 | 2022-08-26 | 广东博智林机器人有限公司 | 灰浆清理方法、装置、***及存储介质 |
| CN115413959A (zh) * | 2021-05-12 | 2022-12-02 | 美智纵横科技有限责任公司 | 基于清洁机器人的运行方法、装置、电子设备及介质 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110251004B (zh) * | 2019-07-16 | 2022-03-11 | 深圳市杉川机器人有限公司 | 扫地机器人及其清扫方法和计算机可读存储介质 |
| CN111568321A (zh) * | 2020-04-15 | 2020-08-25 | 长沙中联重科环境产业有限公司 | 防疫消毒清洁机器人消毒清洁作业效果检测方法及装置 |
| CN111539399B (zh) * | 2020-07-13 | 2021-06-29 | 追创科技(苏州)有限公司 | 自移动设备的控制方法、装置、存储介质及自移动设备 |
| CN113925393A (zh) * | 2021-10-21 | 2022-01-14 | 微思机器人(深圳)有限公司 | 一种智能清扫的方法、装置、扫地机器人及存储介质 |
| CN114831547B (zh) * | 2022-05-25 | 2023-08-25 | 珠海格力电器股份有限公司 | 扫地装置清扫方法及扫地机器人 |
| CN115444327B (zh) * | 2022-07-29 | 2023-09-29 | 云鲸智能(深圳)有限公司 | 清洁设备清洁图像的处理方法、装置、***及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050192707A1 (en) * | 2004-02-27 | 2005-09-01 | Samsung Electronics Co., Ltd. | Dust detection method and apparatus for cleaning robot |
| CN106821155A (zh) * | 2017-04-01 | 2017-06-13 | 小狗电器互联网科技（北京）股份有限公司 | 一种图像控制吸尘功率扫地机器人及控制方法 |
| CN108416271A (zh) * | 2018-02-06 | 2018-08-17 | 宁夏宁信信息科技有限公司 | 清扫方法及清扫*** |
| CN109171571A (zh) * | 2018-09-18 | 2019-01-11 | 格力电器（武汉）有限公司 | 垃圾的清理方法、装置以及清洁机器人 |
| CN109410318A (zh) * | 2018-09-30 | 2019-03-01 | 先临三维科技股份有限公司 | 三维模型生成方法、装置、设备和存储介质 |
| CN109452914A (zh) * | 2018-11-01 | 2019-03-12 | 北京石头世纪科技有限公司 | 智能清洁设备，清洁模式选择方法，计算机存储介质 |
| CN110251004A (zh) * | 2019-07-16 | 2019-09-20 | 深圳市杉川机器人有限公司 | 扫地机器人及其清扫方法和计算机可读存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100483548B1 (ko) * | 2002-07-26 | 2005-04-15 | 삼성광주전자 주식회사 | 로봇 청소기와 그 시스템 및 제어 방법 |
| CN101941012B (zh) * | 2009-07-03 | 2012-04-25 | 泰怡凯电器(苏州)有限公司 | 清洁机器人及其脏物识别装置和该机器人的清洁方法 |
| CN105380575B (zh) * | 2015-12-11 | 2018-03-23 | 美的集团股份有限公司 | 扫地机器人的控制方法、***、云服务器和扫地机器人 |
| US10168709B2 (en) * | 2016-09-14 | 2019-01-01 | Irobot Corporation | Systems and methods for configurable operation of a robot based on area classification |
| US10383498B2 (en) * | 2016-10-05 | 2019-08-20 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to command a robotic cleaning device to move to a dirty region of an area |
| CN106377209B (zh) * | 2016-11-11 | 2022-07-22 | 北京地平线机器人技术研发有限公司 | 可移动清洁设备及其控制方法 |
| CN108109108A (zh) * | 2016-11-25 | 2018-06-01 | 北京视联动力国际信息技术有限公司 | 一种基于余弦相似性自适应算法的图像拼接方法和装置 |
| CN107392906B (zh) * | 2017-08-10 | 2020-09-25 | 芜湖德海机器人科技有限公司 | 一种基于多次图像采集与机械手的玻璃清洁方法 |
| CN109523527B (zh) * | 2018-11-12 | 2020-11-27 | 北京地平线机器人技术研发有限公司 | 图像中脏污区域的检测方法、装置和电子设备 |
-
2019
- 2019-07-16 CN CN201910648667.5A patent/CN110251004B/zh active Active
-
2020
- 2020-06-29 WO PCT/CN2020/098907 patent/WO2021008339A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050192707A1 (en) * | 2004-02-27 | 2005-09-01 | Samsung Electronics Co., Ltd. | Dust detection method and apparatus for cleaning robot |
| CN106821155A (zh) * | 2017-04-01 | 2017-06-13 | 小狗电器互联网科技（北京）股份有限公司 | 一种图像控制吸尘功率扫地机器人及控制方法 |
| CN108416271A (zh) * | 2018-02-06 | 2018-08-17 | 宁夏宁信信息科技有限公司 | 清扫方法及清扫*** |
| CN109171571A (zh) * | 2018-09-18 | 2019-01-11 | 格力电器（武汉）有限公司 | 垃圾的清理方法、装置以及清洁机器人 |
| CN109410318A (zh) * | 2018-09-30 | 2019-03-01 | 先临三维科技股份有限公司 | 三维模型生成方法、装置、设备和存储介质 |
| CN109452914A (zh) * | 2018-11-01 | 2019-03-12 | 北京石头世纪科技有限公司 | 智能清洁设备，清洁模式选择方法，计算机存储介质 |
| CN110251004A (zh) * | 2019-07-16 | 2019-09-20 | 深圳市杉川机器人有限公司 | 扫地机器人及其清扫方法和计算机可读存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114941448A (zh) * | 2021-02-07 | 2022-08-26 | 广东博智林机器人有限公司 | 灰浆清理方法、装置、***及存储介质 |
| CN114941448B (zh) * | 2021-02-07 | 2023-09-05 | 广东博智林机器人有限公司 | 灰浆清理方法、装置、***及存储介质 |
| CN115413959A (zh) * | 2021-05-12 | 2022-12-02 | 美智纵横科技有限责任公司 | 基于清洁机器人的运行方法、装置、电子设备及介质 |
| CN113505258A (zh) * | 2021-06-23 | 2021-10-15 | 广东瑞芯智能科技有限公司 | 智能手表表盘界面数据的预存方法、***、装置及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110251004B (zh) | 2022-03-11 |
| CN110251004A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021008339A1 (zh) | 机器人、基于机器人的清洁方法和计算机可读存储介质 | |
| CN107139179B (zh) | 一种智能服务机器人及工作方法 | |
| CN111523486B (zh) | 一种基于改进CenterNet的机械臂抓取检测方法 | |
| CN108606728B (zh) | 一种扫地机器人控制方法、设备、扫地机器人及存储介质 | |
| CN103353935B (zh) | 一种用于智能家居***的3d动态手势识别方法 | |
| CN104794214B (zh) | 一种设计大数据驱动云机器人的方法 | |
| CN111568314A (zh) | 基于场景识别的清洁方法、装置、清洁机器人和存储介质 | |
| US11850747B2 (en) | Action imitation method and robot and computer readable medium using the same | |
| CN108416271A (zh) | 清扫方法及清扫*** | |
| CN106547356B (zh) | 智能交互方法和装置 | |
| CN109199240A (zh) | 一种基于手势控制的扫地机器人控制方法及*** | |
| CN112487964B (zh) | 姿态检测识别方法、设备及计算机可读存储介质 | |
| TW201941104A (zh) | 智慧設備的控制方法、裝置、設備和存儲介質 | |
| US20210311469A1 (en) | Intelligent vehicle motion control method and apparatus, device and storage medium | |
| CN110164060B (zh) | 一种用于娃娃机的手势控制方法、存储介质和娃娃机 | |
| CN111027403A (zh) | 手势估计方法、装置、设备及计算机可读存储介质 | |
| CN109784256A (zh) | 人脸识别方法和装置、存储介质及电子装置 | |
| CN116098536B (zh) | 一种机器人控制方法及装置 | |
| CN114935341B (zh) | 一种新型slam导航计算视频识别方法及装置 | |
| CN112655021A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN110826495A (zh) | 基于面部朝向的身体左右肢体一致性跟踪判别方法及*** | |
| CN115716278A (zh) | 基于主动感知与交互操作协同的机器人目标搜索方法及机器人仿真平台 | |
| CN112784958B (zh) | 一种基于持续学习方法的家庭服务型机器人 | |
| US11597079B2 (en) | Robot apparatus, robot system, robot control method, and storage medium | |
| CN108229380B (zh) | 一种目标图像的检测方法、装置及存储介质、机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20841020 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20841020 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20841020 Country of ref document: EP Kind code of ref document: A1 |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 26/09/2022) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20841020 Country of ref document: EP Kind code of ref document: A1 |