CN108968811A - 一种扫地机器人的物体识别方法及*** - Google Patents

一种扫地机器人的物体识别方法及*** Download PDF

Info

Publication number
CN108968811A
CN108968811A CN201810636074.2A CN201810636074A CN108968811A CN 108968811 A CN108968811 A CN 108968811A CN 201810636074 A CN201810636074 A CN 201810636074A CN 108968811 A CN108968811 A CN 108968811A
Authority
CN
China
Prior art keywords
object identification
grid
detection block
training
sweeping robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810636074.2A
Other languages
English (en)
Inventor
牛寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Phicomm Information Technology Co ltd
Original Assignee
Sichuan Phicomm Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Phicomm Information Technology Co ltd filed Critical Sichuan Phicomm Information Technology Co ltd
Priority to CN201810636074.2A priority Critical patent/CN108968811A/zh
Publication of CN108968811A publication Critical patent/CN108968811A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种扫地机器人的物体识别方法，包括：将预先通过深度学***台上；采集所述扫地机器人周边的图像信息；对采集的所述图像进行预处理；将经过预处理的图像输入到所述物体识别模型中，计算输入图像中存在的物体信息，识别出所述图像中物体。此外，本发明还公开了一种扫地机器人的物体识别***。本发明揭示了一种扫地机器人本体的基于深度学习的在线物体识别技术方案，通过该方案可以实时获得周围物体的类别信息和位置信息，以便扫地机器人在此基础上可以实现更加精细的语义地图构建和导航避障功能等。

Description

一种扫地机器人的物体识别方法及***
技术领域
本发明涉及物体识别领域，尤其涉及一种扫地机器人的物体识别方法及***。
背景技术
随着人工智能技术在我国科技产品市场的逐步落地，目前家用扫地机器人正在为越来越多的家庭带来便利。家用扫地机器人通过搭载各种距离探测器(如激光雷达、红外探测器)、里程计、陀螺仪等传感器智能感知周围环境，实现自主行走清扫的功能。对于市面上主流的激光雷达传感器，由于其感知的信息有限，且成本较高，因此难以进一步在普通家庭推广，也难以实现精准的实时识别，在线识别周边环境的物体信息。
发明内容
为了克服上述技术缺陷，本发明提供一种扫地机器人的物体识别方法及***，通过该方法可实时获得周围物体的类别信息和位置信息，在此基础上可以实现更加精细的语义地图构建和导航避障功能等。
本发明一种扫地机器人的物体识别方法，包括：S300将预先通过深度学***台上；S400采集所述扫地机器人周边的图像信息；S500对采集的所述图像进行预处理；S600将经过预处理的图像输入到所述物体识别模型中，计算输入图像中存在的物体信息，识别出所述图像中物体。
优选地，所述物体识别模型的获取包括：S100确定模型结构及训练参数，生成模型结构文件；S200训练基于深度学习的物体识别模型。
优选地，所述步骤S200包括：S210读取所述模型结构文件，初始化模型参数；S220从训练样本集中随机选取批量大小的训练样本，将每个输入的训练样本划分成大小一致的SxS个网格；S230对于每一个网格，计算出B个检测框信息，及每个检测框对应的置信度及其属于C个类别的概率；S240计算损失函数，获取训练误差；S250根据所述训练误差，采用动量梯度下降法，更新模型参数；S260判断所述训练误差是否低于相应的第一预设阈值，若是，进入步骤S270，否则返回步骤S220；S270将更新后的模型参数保存为模型参数文件。
优选地，所述步骤S240中的训练误差包括：坐标误差、大小误差、类别概率误差，计算公式如下：
Loss＝Errcoord+Erriou+Errclass；其中：
其中，Errcoord，Erriou，Errclass分别表示坐标误差、大小误差和类别概率误差；xij，yij，wij，hij，Cij，pi(cj)分别表示训练样本中第i个网格输出的第j个检测框位置的中心点坐标、宽度、高度、置信度及该网格对应的类别概率值；分别表示训练样本中第i个网格中真实检测框位置的中心点坐标、宽度、高度、置信度及该网格对应的类别概率值；λcoord表示坐标误差在损失函数中的贡献度；λnoobj表示对不包含物体的网格的补偿系数；I(obj)ij表示第i个网格中的第j个检测框中是否存在目标，若存在其值1，否则为0。
优选地，所述步骤S600包括：S610将经过预处理的图像输入到所述物体识别模型中，并将输入图像划分成大小一致的SxS个网格；每个网格负责检测中心落在所述网格中的物体；S620对于每一个网格，计算出B个检测框及其置信度、以及每个检测框属于C个类别的概率；S630计算出每个检测框的类别置信度分数；S640判断所述置信度分数是否低于第二预设阈值，若是，则进入步骤S650，否则进入步骤S660；S650将所述置信度分数低于第二预设阈值的检测框的置信度值设置为0；S660对于所述置信度值不为0的检测框，采用非极大值抑制进行优化，筛选出目标检测框，并根据所述目标检测框输出物体所在的位置、大小和类别概率。
优选地，所述步骤S660包括：S661计算分数最高的检测框与其他检测框重叠的程度，将重叠程度超过第三预设阈值的检测框过滤掉，保留剩余的检测框体作为目标检测框；S662对所述目标检测框逐一确定其类别，输出所述目标检测框对应的物体的位置、大小及其所属类别，作为物体识别结果。
优选地，在所述步骤S660之后还包括：S670根据所述步骤S662的物体识别结果，在所述输入图像中绘制出对应的检测框，并标注物体类别。
另一方面，本发明还公开了一种扫地机器人的物体识别***，包括：模型移植模块，用于将预先通过深度学***台上；图像采集模块，用于采集所述扫地机器人周边的图像信息；图像预处理模块，用于对采集的所述图像进行预处理；物体识别模块，用于将经过预处理的图像输入到所述物体识别模型中，计算输入图像中存在的物体信息，识别出所述图像中物体。
优选地，所述扫地机器人的物体识别***，还包括：参数确定模块，用于确定模型结构及训练参数，生成模型结构文件；学习训练模块，用于根据所述参数确定模块生成的模型结构文件，训练基于深度学习的物体识别模型；所述学习训练模块包括：初始化子模块，用于读取所述参数确定模块生成的模型结构文件，初始化模型参数；选取子模块，用于从训练样本集中随机选取批量大小的训练样本，将每个输入的训练样本划分成大小一致的SxS个网格；第一计算子模块，用于对于每一个网格，计算出B个检测框信息，及该检测框对应的置信度，及其属于C个类别的概率；并计算损失函数，获取训练误差；模型更新子模块，用于根据所述训练误差，采用动量梯度下降法，更新模型参数；第一判断子模块，用于判断所述训练误差是否低于相应的第一预设阈值；当判定所述训练误差不低于相应的第一预设阈值时，返回通过选取子模块继续随机选取批量大小的训练样本，继续进行后续的样本训练，直至所述训练误差不低于相应的第一预设阈值为止。存储子模块，用于当判定所述训练误差低于相应的第一预设阈值时，将所述模型更新子模块更新后的模型参数保存为模型参数文件。
优选地，所述物体识别模块包括：图像处理子模块，用于将经过预处理的图像输入到所述物体识别模型中，并将输入图像划分成大小一致的SxS个网格，每个网格负责检测中心落在所述网格中的物体；第二计算子模块，用于对于每一个网格，计算出B个检测框信息、每个检测框对应的置信度及其属于C个类别的概率；并计算出每个检测框的类别置信度分数；第二判断子模块，用于判断所述置信度分数是否低于第二预设阈值；设置子模块，用于当所述第二判断子模块判定所述置信度分数低于第二预设阈值时，将所述置信度分数低于第二预设阈值的检测框的置信度值设置为0；筛选子模块，用于当所述第二判断子模块判定所述置信度分数不低于第二预设阈值时，对于所述置信度值不为0的检测框，采用非极大值抑制进行优化筛选出目标检测框；所述识别输出子模块，用于根据所述筛选子模块筛选出的目标检测框输出物体所在的位置、大小和类别概率。
本发明有益效果如下：
(1)本发明将通过深度学***台上，实现了将基于深度学***台上。
(2)本发明通过深度学习获取的物体识别模型来识别采集到的扫地机器人周边的图像中的物体信息，通过该方法可以实时获取周围物体的类别信息和位置信息，可以方便扫地机器人实现更加精细的地图构建和导航避障功能等。
(3)相对于扫地机器人通过距离探测器、激光雷达传感器等感知周围环境信息，本发明通过采集扫地机器人周边图像，并利用通过深度学习获取的物体识别模型来识别图像中的物体信息，感知获取的周围环境信息更加丰富，且识别的准确率高。
(4)采用本发明实现扫地机器人对周边环境中物体识别，实时性和准确性高，成本低，相比于现有的扫地机器人，更为智能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种扫地机器人的物体识别方法实施例的流程图；
图2为本发明一种扫地机器人的物体识别方法另一实施例的流程图；
图3为本发明一种扫地机器人的物体识别方法另一实施例的流程图；
图4为本发明一种扫地机器人的物体识别***实施例的框图；
图5为本发明一种扫地机器人的物体识别***另一实施例的框图。
附图标记：
10--模型移植模块；20--图像采集模块；30--图像预处理模块；40--物体识别模块；50--参数确定模块；60--学习训练模块；41--图像处理子模块；42--第二计算子模块；43--第二判断子模块；44--设置子模块；45--筛选子模块；46--识别输出子模块；61--初始化子模块；62--选取子模块；63--第一计算子模块；64--模型更新子模块；65--第一判断子模块；66--存储子模块。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明公开了一种扫地机器人的物体识别方法，实施例如图1所示，包括：
S300将预先通过深度学***台上；
S400采集所述扫地机器人周边的图像信息；
S500对采集的所述图像进行预处理；
S600将经过预处理的图像输入到所述物体识别模型中，计算输入图像中存在的物体信息，识别出所述图像中物体。
近年来，基于深度学***台上一直工业界的一个难点。本实施例揭示了一种可运行在扫地机器人本体上的基于深度学习的在线物体识别方法，通过该方法可以实时获得周围物体的类别信息和位置信息，在此基础上可以实现更加精细的语义地图构建和导航避障功能等。
本实施例通过在扫地机器人设备上运行基于深度学***台上。通过视觉传感器在线获取扫地机器人周边的图像，经过一系列的预处理，将处理后的图像输入到模型中，由模型计算出图像中目标物体的位置信息和类别概率信息，实现在线物体识别。
本发明方法的另一实施例，如图2所示，包括：
S100确定模型结构及训练参数，生成模型结构文件；
S210读取所述模型结构文件，初始化模型参数；
S220从训练样本集中随机选取批量大小的训练样本，将每个输入的训练样本划分成大小一致的SxS个网格；
S230对于每一个网格，计算出B个检测框信息，及每个检测框对应的置信度及其属于C个类别的概率；
S240计算损失函数，获取训练误差；
S250根据所述训练误差，采用动量梯度下降法，更新模型参数；
S260判断所述训练误差是否低于相应的第一预设阈值，若是，进入步骤S270，否则返回步骤S220；
S270将更新后的模型参数保存为模型参数文件；
S300将预先通过深度学***台上；
S400采集所述扫地机器人周边的图像信息；
S500对采集的所述图像进行预处理；
S600将经过预处理的图像输入到所述物体识别模型中，计算输入图像中存在的物体信息，识别出所述图像中物体。
本实施例在上述实施例的基础上，在移植物体识别模型到扫地机器人的嵌入式平台之前，需要先训练获取该物体识别模型，包括：
(1)确定模型结构及训练参数，生成模型结构文件；
确定模型结构是指确定深度卷积神经网络模型的结构，主要包括输入样本的尺寸、网络的层数、卷积核的尺寸及数量、池化层的尺寸、输出特征的维度等；
确定训练参数，主要包括确定模型的网络学习速率、训练批量大小等。
确定好网络结构训练参数后，据此生成模型结构文件。
比如，使用ImageNet 1000类数据训练神经网络的前20个卷积层+1个average池化层+1个全连接层。训练图像分辨率resize到224x224。
生成了模型结构文件后，开始训练基于深度学习的物体识别模型。用步骤1)得到的前20个卷积层网络参数来初始化物体识别模型前20个卷积层的网络参数，然后用VOC 20类标注数据进行物体识别模型训练。检测通常需要有细密纹理的视觉信息，所以为提高图像精度，在训练检测模型时，可以将输入图像分辨率从224×224resize到448x448。上述实施例中步骤S210-S270即为训练基于深度学习的物体识别模型的训练过程。具体包括：
S210读取模型结构文件，初始化模型参数；
S220开始训练，从样本训练集中随机选取批量大小的训练样本，将每个输入训练样本划分成大小一致的SxS个网格；每个网格负责检测中心落在该栅格中的物体
S230对于每一个网格，计算出B个检测框、每个检测框对应的置信度及其属于C个类别的概率。比如，通过计算预测2个检测框及每个检测框的置信度，及每个检测框分别属于4个类别的概率。这里B个检测框是提前指定的每个网格预测的检测框数量，可以提前进行设置，比如2个或3个等。C个类别，指想让识别模型学习到的物体的类别数量，也就是训练样本中需要学习的物体的类别数量，比如让识别模型学习5个类别：人、桌子、椅子、墙、狗。
每个检测框及该检测框对应的置信度表示为：(x，y，w，h，confidence)，其中x，y表示检测框的中心点坐标，w，h分别表示检测框的宽度和高度，confidence表示该检测框对应的置信度，其计算方法如下：
confidence＝P(obj)*IOU
其中P(obj)表示该检测框中是否包含物体，若包含物体则P(obj)＝1，否则为0；IOU表示该网格预测的检测框与训练样本中标注的检测框大小的重叠程度；
每个网格预测出其属于C个类别的概率表示为：P(class|obj)。
S240计算损失函数，即通过步骤c计算的输出值与真实值之间的误差。由于识别模型会为每个网格预测B个box(检测框)，但我们希望训练时只有一个box为每个物体负责。责任box是和物体的真实box的IOU最大的box。
损失函数包括3部分：
坐标误差：表示对物体负责的格子中的责任box和真实box标记之间的误差；
大小误差：表示每个预测box的置信度和真实置信度之间的误差。
类别概率误差：表示为责任格子预测的类别概率分布和真实的概率分布之间的误差。
总的误差(包括坐标误差、大小误差、类别概率误差)的计算方法如下：
Loss＝Errcoord+Erriou+Errclass；其中：
其中，Errcoord，Erriou，Errclass分别表示坐标误差、大小误差和类别概率误差；xij，yij表示训练样本中第i个网格输出的第j个检测框位置的中心点坐标；wij，hij，Cij，pi(cj)分别表示训练样本中第i个网格输出的第j个检测框位置的宽度、高度、置信度及该网格对应的类别概率值；分别表示训练样本中第i个网格中真实检测框位置的中心点坐标；分别表示训练样本中第i个网格中真实检测框位置的宽度、高度、置信度及该网格对应的类别概率值；λcoord表示坐标误差在损失函数中的贡献度；λnoobj表示对不包含物体的网格的补偿系数；I(obj)ij表示第i个网格中的第j个检测框中是否存在目标，若存在其值1，否则为0。
S250采用动量梯度下降法，更新模型参数；
梯度下降是机器学***均数，并利用该梯度来更新权重。动量梯度下降法属于现有技术中的一种优化方法，通过该动量梯度下降法不断更新模型的参数，减小与真实值的误差。
S261重复步骤b～e，直至训练误差低于预设的截止阈；比如，设定重复步骤b-e达到预设次数即可训练结束，或者训练调整后的误差达到了最小的预设的一个误差值即可结束训练。
S270最后，训练结束后，将最终训练好的模型参数保存为模型参数文件。
通过上述方式训练好物体识别模型后，再将该模型移植到扫地机器人的嵌入式平台上，即可实现扫地机器人在线识别周边物体，从而便于该扫地机器人后续的地图构建等。
本发明的另一实施例，如图3所示，包括：
S300将预先通过深度学***台上；
S400采集所述扫地机器人周边的图像信息；
S500对采集的所述图像进行预处理；
S610将经过预处理的图像输入到所述物体识别模型中，并将输入图像划分成大小一致的SxS个网格；每个网格负责检测中心落在所述网格中的物体；
S620对于每一个网格，计算出B个检测框及其置信度、以及每个检测框属于C个类别的概率；
S630计算出每个检测框的类别置信度分数；
S640判断所述置信度分数是否低于第二预设阈值，若是，则进入步骤S650，否则，进入步骤S660；
S650将所述置信度分数低于第二预设阈值的检测框的置信度值设置为0；
S660对于所述置信度值不为0的检测框，采用非极大值抑制进行优化，筛选出目标检测框，并根据所述目标检测框输出物体所在的位置、大小和类别概率。
本实施例中重点阐述了利用移植在扫地机器人上物体识别模型来识别图像中的物体的过程。具体的：
(1)将基于深度学***台上。包括：
a.在视觉扫地机器人中的嵌入式平台上搭建模型运行环境；
b.将通过深度学习获取的物体识别模型的模型结构文件和模型参数文件分别保存在flash存储器中；
c.在扫地机器人设备运行时加载上述模型结构文件和模型参数文件。
(2)通过视觉传感器获取具有固定分辨率大小的图像信息。
在采集图像之前，还需要预先设置图像采集的帧率和图像采集模式、分辨率大小等，然后按照预先设置图像采集的帧率实时抽取视频流中的图像信息，并将采集到的图像存储在缓存中。
(3)对所获取的图像进行预处理。
读取缓存中的图像，对目标图像进行预处理，包括：裁剪、降噪、滤波、灰度处理等。
(4)将经过预处理的图像输入到基于深度学习的物体识别模型中。
(5)计算输入图像中存在的物体信息，输出物体所在的位置、大小和类别概率。具体包括：
a.将输入图像划分成大小一致的SxS个网格；
b.对于每一个网格，计算出B个检测框及该检测框对应的置信度及其属于C个类别的概率：(x，y，w，h，confidence，P(class|obj))；
c.计算出类别置信度分数score，计算方法如下：
score＝confidence*P(class|obj)
对于score低于预先设置阈值的检测框，将其confidence值设置为0；
d.对confidence值不为0的检测框，进行非极大值抑制。方法如下：
首先，计算分数最高的检测框与其他检测框重叠的程度，将重叠程度超过某一阈值的检测框过滤掉，保留剩余的检测框体；
然后，对保留的检测框体逐一确定其类别。最终输出检测框体及其所属类别，作为物体识别结果；
e.可选地，根据上述识别结果在输入图像中绘制出对应的检测框，并标注物体类别。如此，通过在输入图像中绘制出对应的检测框，标注出物体类别后，扫地机器人便可根据该标注的输入图像来构建地图，构建三维空间中各个位置存在的物体信息等，从而快速而准确的完成路径规划和避障等功能。
基于相同的技术构思，本发明还公开了一种扫地机器人的物体识别***，该***可采用本发明的方法实现在线物体识别，具体的，本发明的扫地机器人的物体识别***如图4所示，包括：模型移植模块10，用于将预先通过深度学***台上；图像采集模块20，用于采集所述扫地机器人周边的图像信息；图像预处理模块30，用于对采集的所述图像进行预处理；物体识别模块40，用于将经过预处理的图像输入到所述物体识别模型中，计算输入图像中存在的物体信息，识别出所述图像中物体。
本发明***的另一实施例，如图5所示，在上述***实施例的基础上，移植在扫地机器人的嵌入式平台上的物体识别模型先需要经过学习训练获得。学习训练一般通过在服务器上完成，所述扫地机器人的物体识别***还包括：参数确定模块50，用于确定模型结构及训练参数，生成模型结构文件；学习训练模块60，用于根据所述参数确定模块50生成的模型结构文件，训练基于深度学习的物体识别模型；具体的，所述学习训练模块60包括：初始化子模块61，用于读取所述参数确定模块50生成的模型结构文件，初始化模型参数；选取子模块62，用于从训练样本集中随机选取批量大小的训练样本，将每个输入的训练样本划分成大小一致的SxS个网格；第一计算子模块63，用于对于每一个网格，计算出B个检测框信息，及该检测框对应的置信度，及其属于C个类别的概率；并计算损失函数，获取训练误差；模型更新子模块64，用于根据所述训练误差，采用动量梯度下降法，更新模型参数；第一判断子模块65，用于判断所述训练误差是否低于相应的第一预设阈值；当判定所述训练误差不低于相应的第一预设阈值时，返回通过选取子模块62继续随机选取批量大小的训练样本，继续进行后续的样本训练，直至所述训练误差不低于相应的第一预设阈值为止。存储子模块66，用于当判定所述训练误差低于相应的第一预设阈值时，将所述模型更新子模块64更新后的模型参数保存为模型参数文件。
本实施例中，参数确定模块50和学***台上。参数确定模块50确定深度卷积神经网络模型的结构，主要包括输入样本的尺寸、网络的层数、卷积核的尺寸及数量、池化层的尺寸、输出特征的维度等；此外还确定训练参数，主要包括确定模型的网络学习速率、训练批量大小等。确定好网络结构训练参数后，据此生成模型结构文件。开始训练时，先通过初始化子模块61初始化模型参数，然后再通过选取子模块62从样本集里面随机选取训练的样本，然后将训练样本划分成大小一致的SxS个网格，比如将样本图像划分成7x7的网格。然后对每个网格，通过第一计算子模块63预测B个检测框及每个检测框的置信度、以及每个检测框属于C个类别的概率。比如，每个网格，预测2个检测框、及每个检测框的置信度，及每个检测框分别属于4个类别的概率。比如某网格预测2个检测框中第一个检测框属于A物体的概率为30％，属于B物体的概率为60％，属于C物体的概率为3％，属于D物体的概率为7％。这里，每个检测框及该检测框对应的置信度表示为：(x，y，w，h，confidence)，其中x，y表示检测框的中心点坐标，w，h分别表示检测框的宽度和高度，confidence表示该检测框对应的置信度，其计算方法如下：
confidence＝P(obj)*IOU
其中P(obj)表示该检测框中是否包含物体，若包含物体则P(obj)＝1，否则为0；IOU表示该网格预测的检测框与训练样本中标注的检测框大小的重叠程度；
每个网格预测出其属于C个类别的概率表示为：P(class|obj)。
计算预测完后，再来计算损失函数，看看预测的值与真实值之间的误差是多少，损失函数包括3部分：坐标误差、大小误差、及类别概率误差。总的误差的计算方法如下：
Loss＝Errcoord+Erriou+Errclass；其中：
其中，Errcoord，Erriou，Errclass分别表示坐标误差、大小误差和类别概率误差；xij，yij表示训练样本中第i个网格输出的第j个检测框位置的中心点坐标；wij，hij，Cij，pi(cj)分别表示训练样本中第i个网格输出的第j个检测框位置的宽度、高度、置信度及该网格对应的类别概率值；分别表示训练样本中第i个网格中真实检测框位置的中心点坐标；分别表示训练样本中第i个网格中真实检测框位置的宽度、高度、置信度及该网格对应的类别概率值；λcoord表示坐标误差在损失函数中的贡献度；λnoobj表示对不包含物体的网格的补偿系数；I(obj)ij表示第i个网格中的第j个检测框中是否存在目标，若存在其值1，否则为0。获取到训练误差后，再通过模型更新子模块64采用动量梯度下降法，更新模型参数；也就是说通过调整模型参数来减小训练误差，当然，训练误差的减小不可能一次就调整成功，因此，需要很多次的样本学***台上，从而实现在线识别。
较佳的，所述物体识别模块40包括：图像处理子模块41，用于将经过预处理的图像输入到所述物体识别模型中，并将输入图像划分成大小一致的SxS个网格，每个网格负责检测中心落在所述网格中的物体；第二计算子模块42，用于对于每一个网格，计算出B个检测框信息、每个检测框对应的置信度及其属于C个类别的概率；并计算出每个检测框的类别置信度分数；第二判断子模块43，用于判断所述置信度分数是否低于第二预设阈值；设置子模块44，用于当所述第二判断子模块43判定所述置信度分数低于第二预设阈值时，将所述置信度分数低于第二预设阈值的检测框的置信度值设置为0；筛选子模块45，用于当所述第二判断子模块43判定所述置信度分数不低于第二预设阈值时，对于所述置信度值不为0的检测框，采用非极大值抑制进行优化筛选出目标检测框；所述识别输出子模块46，用于根据所述筛选子模块45筛选出的目标检测框输出物体所在的位置、大小和类别概率。
本实施例中，在上述任一实施例的基础上，重点阐述了扫地机器人通过物体识别模型实现物体识别的过程。具体的，在通过图像采集模块20获取到具有固定分辨率大小的图像信息后，再通过预处理模块对该图像进行预处理，预处理包括：裁剪、降噪、滤波、灰度处理等。然后将经过预处理的图像输入到前面通过深度学习及训练获取到的物体识别模型中，通过物体识别模块40计算输入图像中存在的物体信息，输出物体所在的位置、大小和类别概率等信息。具体的通过物体识别模型对输入图像进行识别输出的过程包括：
(1)图像处理子模块41将输入图像划分成大小一致的SxS个网格；
(2)第二计算子模块42对于每一个网格，计算出B个检测框及该检测框对应的置信度及其属于C个类别的概率：(x，y，w，h，confidence，P(class|obj))；
(3)第二计算子模块42计算出类别置信度分数score，计算方法如下：
score＝confidence*P(class|obj)
设置子模块44对于第二判断子模块43判断出score低于第二预设阈值的检测框，将其confidence值设置为0；
(4)筛选子模块45对confidence值不为0的检测框，进行非极大值抑制。方法如下：a.计算分数最高的检测框与其他检测框重叠的程度，将重叠程度超过某一阈值的检测框过滤掉，保留剩余的检测框体；b.对保留的检测框体逐一确定其类别。最终输出检测框体及其所属类别，作为物体识别结果；
(5)可选地，该物体识别模块40还包括标注模块，该标注模块根据上述识别结果在输入图像中绘制出对应的检测框，并标注物体类别。
本实施例通过在视觉扫地机器人设备上运行基于深度学***台上。通过视觉传感器在线获取视频流中的图像，经过一系列的预处理，将处理后的图像输入到模型中，由模型计算出图像中目标物体的位置信息和类别概率信息，并进行标注，实现在线物体识别。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种扫地机器人的物体识别方法，其特征在于，包括：
S300将预先通过深度学***台上；
S400采集所述扫地机器人周边的图像信息；
S500对采集的所述图像进行预处理；
S600将经过预处理的图像输入到所述物体识别模型中，计算输入图像中存在的物体信息，识别出所述图像中物体。
2.根据权利要求1所述的一种扫地机器人的物体识别方法，其特征在于，在所述步骤S300之前还包括：
S100确定模型结构及训练参数，生成模型结构文件；
S200训练基于深度学习的物体识别模型。
3.根据权利要求2所述的一种扫地机器人的物体识别方法，其特征在于，所述步骤S200包括：
S210读取所述模型结构文件，初始化模型参数；
S220从训练样本集中随机选取批量大小的训练样本，将每个输入的训练样本划分成大小一致的SxS个网格；
S230对于每一个网格，计算出B个检测框信息，及每个检测框对应的置信度及其属于C个类别的概率；
S240计算损失函数，获取训练误差；
S250根据所述训练误差，采用动量梯度下降法，更新模型参数；
S260判断所述训练误差是否低于相应的第一预设阈值，若是，进入步骤S270，否则返回步骤S220；
S270将更新后的模型参数保存为模型参数文件。
4.根据权利要求3所述的一种扫地机器人的物体识别方法，其特征在于，所述步骤S240中的训练误差包括：坐标误差、大小误差、类别概率误差，计算公式如下：
Loss＝Errcoord+Erriou+Errclass；其中：
其中，Errcoord，Erriou，Errclass分别表示坐标误差、大小误差和类别概率误差；xij，yij表示训练样本中第i个网格输出的第j个检测框位置的中心点坐标；wij，hij，Cij，pi(cj)分别表示训练样本中第i个网格输出的第j个检测框位置的宽度、高度、置信度及该网格对应的类别概率值；分别表示训练样本中第i个网格中真实检测框位置的中心点坐标；分别表示训练样本中第i个网格中真实检测框位置的宽度、高度、置信度及该网格对应的类别概率值；λcoord表示坐标误差在损失函数中的贡献度；λnoobj表示对不包含物体的网格的补偿系数；I(obj)ij表示第i个网格中的第j个检测框中是否存在目标，若存在其值1，否则为0。
5.根据权利要求1-4任一项所述的一种扫地机器人的物体识别方法，其特征在于，所述步骤S600包括：
S610将经过预处理的图像输入到所述物体识别模型中，并将输入图像划分成大小一致的SxS个网格；每个网格负责检测中心落在所述网格中的物体；
S620对于每一个网格，计算出B个检测框及其置信度、以及每个检测框属于C个类别的概率；
S630计算出每个检测框的类别置信度分数；
S640判断所述置信度分数是否低于第二预设阈值，若是，则进入步骤S650，否则进入步骤S660；
S650将所述置信度分数低于第二预设阈值的检测框的置信度值设置为0；
S660对于所述置信度值不为0的检测框，采用非极大值抑制进行优化，筛选出目标检测框，并根据所述目标检测框输出物体所在的位置、大小和类别概率。
6.根据权利要求5所述的一种扫地机器人的物体识别方法，其特征在于，所述步骤S660包括：
S661计算分数最高的检测框与其他检测框重叠的程度，将重叠程度超过第三预设阈值的检测框过滤掉，保留剩余的检测框体作为目标检测框；
S662对所述目标检测框逐一确定其类别，输出所述目标检测框对应的物体的位置、大小及其所属类别，作为物体识别结果。
7.根据权利要求6所述的一种扫地机器人的物体识别方法，其特征在于，在所述步骤S660之后还包括：
S670根据所述步骤S662的物体识别结果，在所述输入图像中绘制出对应的检测框，并标注物体类别。
8.一种扫地机器人的物体识别***，其特征在于，包括：
模型移植模块，用于将预先通过深度学***台上；
图像采集模块，用于采集所述扫地机器人周边的图像信息；
图像预处理模块，用于对采集的所述图像进行预处理；
物体识别模块，用于将经过预处理的图像输入到所述物体识别模型中，计算输入图像中存在的物体信息，识别出所述图像中物体。
9.根据权利要求8所述的一种扫地机器人的物体识别***，其特征在于，还包括：
参数确定模块，用于确定模型结构及训练参数，生成模型结构文件；
学习训练模块，用于根据所述参数确定模块生成的模型结构文件，训练基于深度学习的物体识别模型；
所述学习训练模块包括：
初始化子模块，用于读取所述参数确定模块生成的模型结构文件，初始化模型参数；
选取子模块，用于从训练样本集中随机选取批量大小的训练样本，将每个输入的训练样本划分成大小一致的SxS个网格；
第一计算子模块，用于对于每一个网格，计算出B个检测框信息，及该检测框对应的置信度，及其属于C个类别的概率；并计算损失函数，获取训练误差；
模型更新子模块，用于根据所述训练误差，采用动量梯度下降法，更新模型参数；
第一判断子模块，用于判断所述训练误差是否低于相应的第一预设阈值；当判定所述训练误差不低于相应的第一预设阈值时，返回通过选取子模块继续随机选取批量大小的训练样本，继续进行后续的样本训练，直至所述训练误差不低于相应的第一预设阈值为止；
存储子模块，用于当判定所述训练误差低于相应的第一预设阈值时，将所述模型更新子模块更新后的模型参数保存为模型参数文件。
10.根据权利要求8或9所述的一种扫地机器人的物体识别***，其特征在于，所述物体识别模块包括：
图像处理子模块，用于将经过预处理的图像输入到所述物体识别模型中，并将输入图像划分成大小一致的SxS个网格，每个网格负责检测中心落在所述网格中的物体；
第二计算子模块，用于对于每一个网格，计算出B个检测框信息、每个检测框对应的置信度及其属于C个类别的概率；并计算出每个检测框的类别置信度分数；
第二判断子模块，用于判断所述置信度分数是否低于第二预设阈值；
设置子模块，用于当所述第二判断子模块判定所述置信度分数低于第二预设阈值时，将所述置信度分数低于第二预设阈值的检测框的置信度值设置为0；
筛选子模块，用于当所述第二判断子模块判定所述置信度分数不低于第二预设阈值时，对于所述置信度值不为0的检测框，采用非极大值抑制进行优化筛选出目标检测框；
识别输出子模块，用于根据所述筛选子模块筛选出的目标检测框输出物体所在的位置、大小和类别概率。
CN201810636074.2A 2018-06-20 2018-06-20 一种扫地机器人的物体识别方法及*** Pending CN108968811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810636074.2A CN108968811A (zh) 2018-06-20 2018-06-20 一种扫地机器人的物体识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810636074.2A CN108968811A (zh) 2018-06-20 2018-06-20 一种扫地机器人的物体识别方法及***

Publications (1)

Publication Number Publication Date
CN108968811A true CN108968811A (zh) 2018-12-11

Family

ID=64541494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810636074.2A Pending CN108968811A (zh) 2018-06-20 2018-06-20 一种扫地机器人的物体识别方法及***

Country Status (1)

Country Link
CN (1) CN108968811A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109549569A (zh) * 2018-12-28 2019-04-02 珠海凯浩电子有限公司 一种根据地磁强弱方向清扫的扫地机器人
CN110370273A (zh) * 2019-06-27 2019-10-25 华为技术有限公司 一种机器人避障方法、装置和***
CN110811460A (zh) * 2019-10-30 2020-02-21 佛山市百斯特电器科技有限公司 一种清洗模式的确定方法及***
CN110852258A (zh) * 2019-11-08 2020-02-28 北京字节跳动网络技术有限公司 物体检测方法、装置、设备及存储介质
CN111374607A (zh) * 2018-12-29 2020-07-07 尚科宁家(中国)科技有限公司 一种基于扫地机器人的目标识别方法及装置、设备、介质
CN111528737A (zh) * 2020-05-08 2020-08-14 小狗电器互联网科技（北京）股份有限公司 一种扫地机控制方法及装置
CN111611994A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 图像提取方法、装置、电子设备和存储介质
CN111643011A (zh) * 2020-05-26 2020-09-11 深圳市杉川机器人有限公司 清洁机器人控制方法、装置、清洁机器人和存储介质
CN111880488A (zh) * 2020-06-29 2020-11-03 海尔优家智能科技（北京）有限公司 用于获取家电设备位置的方法及装置、设备
CN112633408A (zh) * 2020-12-31 2021-04-09 上海九高节能技术股份有限公司 一种基于神经网络内模控制的嵌入式图像识别***及方法
WO2021098536A1 (zh) * 2019-11-18 2021-05-27 深圳市杉川机器人有限公司 基于场景识别的清扫方法、***、扫地设备及存储介质
CN113554179A (zh) * 2020-04-23 2021-10-26 丰田自动车株式会社 信息处理***
CN113838274A (zh) * 2021-09-19 2021-12-24 安徽淘云科技股份有限公司 智能书桌及学习状态的监督方法
CN114745999A (zh) * 2019-12-16 2022-07-12 日立环球生活方案株式会社 自主行走型吸尘器
WO2022193132A1 (zh) * 2021-03-16 2022-09-22 华为技术有限公司 图像检测方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803071A (zh) * 2016-12-29 2017-06-06 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN107742093A (zh) * 2017-09-01 2018-02-27 国网山东省电力公司电力科学研究院 一种红外图像电力设备部件实时检测方法、服务器及***
WO2018038551A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN107808122A (zh) * 2017-09-30 2018-03-16 中国科学院长春光学精密机械与物理研究所 目标跟踪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018038551A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN106803071A (zh) * 2016-12-29 2017-06-06 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN107742093A (zh) * 2017-09-01 2018-02-27 国网山东省电力公司电力科学研究院 一种红外图像电力设备部件实时检测方法、服务器及***
CN107808122A (zh) * 2017-09-30 2018-03-16 中国科学院长春光学精密机械与物理研究所 目标跟踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AI之路: "YOLO(You Only Look once)算法详解", 《HTTPS://BLOG.CSDN.NET/U014380165/ARTICLE/DETAILS/72616238》 *
JOSEPH REDMON ET AL: "You Only Look Once:Unified,Real-Time Object Detection", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109549569A (zh) * 2018-12-28 2019-04-02 珠海凯浩电子有限公司 一种根据地磁强弱方向清扫的扫地机器人
CN111374607A (zh) * 2018-12-29 2020-07-07 尚科宁家(中国)科技有限公司 一种基于扫地机器人的目标识别方法及装置、设备、介质
CN111611994B (zh) * 2019-02-26 2024-04-05 北京嘀嘀无限科技发展有限公司 图像提取方法、装置、电子设备和存储介质
CN111611994A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 图像提取方法、装置、电子设备和存储介质
CN110370273B (zh) * 2019-06-27 2021-04-09 华为技术有限公司 一种机器人避障方法、装置和***
CN110370273A (zh) * 2019-06-27 2019-10-25 华为技术有限公司 一种机器人避障方法、装置和***
CN110811460A (zh) * 2019-10-30 2020-02-21 佛山市百斯特电器科技有限公司 一种清洗模式的确定方法及***
CN110852258A (zh) * 2019-11-08 2020-02-28 北京字节跳动网络技术有限公司 物体检测方法、装置、设备及存储介质
WO2021098536A1 (zh) * 2019-11-18 2021-05-27 深圳市杉川机器人有限公司 基于场景识别的清扫方法、***、扫地设备及存储介质
CN114745999A (zh) * 2019-12-16 2022-07-12 日立环球生活方案株式会社 自主行走型吸尘器
CN113554179A (zh) * 2020-04-23 2021-10-26 丰田自动车株式会社 信息处理***
CN113554179B (zh) * 2020-04-23 2024-02-09 丰田自动车株式会社 信息处理***
CN111528737A (zh) * 2020-05-08 2020-08-14 小狗电器互联网科技（北京）股份有限公司 一种扫地机控制方法及装置
CN111643011A (zh) * 2020-05-26 2020-09-11 深圳市杉川机器人有限公司 清洁机器人控制方法、装置、清洁机器人和存储介质
CN111880488A (zh) * 2020-06-29 2020-11-03 海尔优家智能科技（北京）有限公司 用于获取家电设备位置的方法及装置、设备
CN112633408A (zh) * 2020-12-31 2021-04-09 上海九高节能技术股份有限公司 一种基于神经网络内模控制的嵌入式图像识别***及方法
WO2022193132A1 (zh) * 2021-03-16 2022-09-22 华为技术有限公司 图像检测方法、装置和电子设备
CN113838274A (zh) * 2021-09-19 2021-12-24 安徽淘云科技股份有限公司 智能书桌及学习状态的监督方法
CN113838274B (zh) * 2021-09-19 2023-11-24 安徽淘云科技股份有限公司 智能书桌及学习状态的监督方法

Similar Documents

Publication Publication Date Title
CN108968811A (zh) 一种扫地机器人的物体识别方法及***
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN110619369B (zh) 基于特征金字塔与全局平均池化的细粒度图像分类方法
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN102076531B (zh) 车辆畅通路径检测
CN106228125B (zh) 基于集成学习级联分类器的车道线检测方法
CN110264468A (zh) 点云数据标注、分割模型确定、目标检测方法及相关设备
CN109685152A (zh) 一种基于dc-spp-yolo的图像目标检测方法
CN110889399B (zh) 基于深度学习的高分辨率遥感影像弱小目标检测方法
CN105892471A (zh) 汽车自动驾驶方法和装置
CN108830285A (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN100547603C (zh) 一种地面建筑物识别定位方法
CN110135502A (zh) 一种基于强化学习策略的图像细粒度识别方法
CN110264444A (zh) 基于弱分割的损伤检测方法及装置
CN111709468B (zh) 一种定向人工智能的训练方法、装置及存储介质
JP6994950B2 (ja) 画像認識システムおよびニューラルネットワークの学習方法
CN110879961A (zh) 利用车道模型的车道检测方法和装置
CN111860146A (zh) 海洋锋区域的获取方法、装置、计算机设备和存储介质
CN115187803B (zh) 一种用于名优茶嫩芽采摘过程的定位方法
CN110070106A (zh) 烟雾检测方法、装置及电子设备
CN110119768A (zh) 用于车辆定位的视觉信息融合***及方法
CN115909096A (zh) 无人机巡航管道隐患分析方法、装置及***
CN115147798A (zh) 可行驶区域预测方法、模型、装置及车辆
CN112017213B (zh) 一种目标对象的位置更新方法及***
CN114170487A (zh) 一种基于视觉的水面油污检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181211