CN112056993A - 一种清洁方法、装置、电子设备及计算机可读存储介质 - Google Patents

一种清洁方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112056993A
CN112056993A CN202010931054.5A CN202010931054A CN112056993A CN 112056993 A CN112056993 A CN 112056993A CN 202010931054 A CN202010931054 A CN 202010931054A CN 112056993 A CN112056993 A CN 112056993A
Authority
CN
China
Prior art keywords
target area
data
cleaning
coordinate system
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010931054.5A
Other languages
English (en)
Other versions
CN112056993B (zh
Inventor
沈孝通
金伟
秦宝星
程昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gaussian Automation Technology Development Co Ltd
Original Assignee
Shanghai Gaussian Automation Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gaussian Automation Technology Development Co Ltd filed Critical Shanghai Gaussian Automation Technology Development Co Ltd
Priority to CN202010931054.5A priority Critical patent/CN112056993B/zh
Publication of CN112056993A publication Critical patent/CN112056993A/zh
Application granted granted Critical
Publication of CN112056993B publication Critical patent/CN112056993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/32—Carpet-sweepers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种清洁方法、装置、电子设备及计算机可读存储介质。该方法包括：通过视觉传感器采集环境数据；若检测到环境数据中包括目标区域的特征，则根据目标区域的特征从环境数据中提取目标区域的多边形轮廓，其中，目标区域的特征通过预设的检测模型检测；将多边形轮廓投影至坐标系中，以在坐标系中划分目标区域和非目标区域；根据电子设备当前所处区域，采用相应的清洁模式对当前所处区域进行清洁。上述方案利用预先训练的检测模型根据环境数据提取目标区域的多边形轮廓，并投影至坐标系中，精准区分目标区域和非目标区域，并对不同区域采用不同的清洁模式，提高了检测目标区域的准确性以及清洁的灵活性。

Description

一种清洁方法、装置、电子设备及计算机可读存储介质
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种清洁方法、装置、电子设备及计算机可读存储介质。
背景技术
可移动的清洁设备能够自主导航并规划路径以执行清洁任务。清洁是指电子设备根据采集到的障碍物信息，在移动过程中感知环境中阻碍其通行的静态或动态物体，然后有效地清理这些物体，最后到达目标位置，完成清洁任务。在此过程当中，可能面临多样的清洁区域，如木质地板区域、水泥地面区域、大理石地面区域以及地毯区域等，对于不同的区域，清洁策略也不同，例如对于地毯区域，不适于用水清洗，需要尘推清理，将地毯内的灰尘和干垃圾吸走，以保持地毯区域的清洁。
目前的电子设备在一些复杂场景中执行清洁任务时，工作模式单一固定，无法区分不同的区域有针对性地进行清洁，导致电子设备的使用具有较大的局限性，例如在大型商场、酒店、不同区域分布不规则等场景下，无法精确检测需要清洁的区域，不能满足实际需求。
发明内容
本发明实施例提供一种清洁方法、装置、电子设备及存储介质，通过利用预先训练的检测模型根据环境数据提取目标区域的多边形轮廓，并投影至坐标系中，精准地区分目标区域和非目标区域，并对不同区域采用不同的清洁模式，提高了检测目标区域的准确性以及清洁的灵活性。
第一方面，本发明实施例提供了一种清洁方法，包括：
通过视觉传感器采集环境数据；
若检测到所述环境数据中包括目标区域的特征，则根据所述目标区域的特征从所述环境数据中提取所述目标区域的多边形轮廓，其中，所述目标区域的特征通过预设的检测模型检测；
将所述多边形轮廓投影至坐标系中，以在所述坐标系中划分目标区域和非目标区域；
根据电子设备当前所处区域，采用相应的清洁模式对当前所处区域进行清洁，其中，当前所处区域为目标区域或非目标区域。
可选的，在通过视觉传感器采集环境数据之前，还包括：
获取样本数据，所述样本数据包括视频帧和视频帧中的目标区域的标签；
基于所述样本数据训练检测模型，所述检测模型用于检测所述环境数据中是否存在目标区域的特征。
通过基于样本数据预先训练检测模型，使检测模型充分学习到目标区域的特征，能够有效准确地在环境中识别目标区域，能够提高识别目标区域的准确性。
可选的，所述检测模型包括编码网络和解码网络；
所述方法还包括：
通过所述编码网络对所述环境数据进行多级下采样，得到第一分辨率的特征数据；
通过所述解码网络对所述第一分辨率的特征数据进行多级上采样，得到第二分辨率的特征数据，所述第二分辨率高于所述第一分辨率；
根据所述第一分辨率的特征数据和所述第二分辨率的特征数据检测所述环境数据中是否存在目标区域的特征。
通过利用编码网络和解码网络的结构构建检测模型，先快速提取出特征数据，然后再恢复分辨率，得到高质量的特征数据，能够降低计算量，提高检测效率。
可选的，所述通过所述解码网络对所述第一分辨率的特征数据进行多级上采样，包括：
对于每级上采样，采用卷积操作将该级上采样的输入特征数据与相应级的下采样的输出特征数据融合；
对融合后的特征数据进行上采样。
通过将各级上采样的输入特征数据与相应级的下采样的输出特征数据融合，也即将第一分辨率的特征数据与第二分辨率的特征数据融合，能够得到完善准确的特征数据，从而改善特征处理的效果，进一步提高检测的准确性。
可选的，所述样本数据包括第一样本数据和第二样本数据；其中，所述第一样本数据通过所述视觉传感器采集得到；
所述第二样本数据通过对所述第一样本数据采用以下至少一种方式处理得到：平移、翻转、旋转。
通过对第一样本数据进行扩展得到更多的第二样本数据，提供更丰富的样本数据，能够训练检测模型学习更丰富更具体的目标区域的特征，进一步提高检测的准确性。
可选的，所述检测模型包括以下之一：图像级联网络；转换分割网络；双边分割网络；全卷积语义分割网络。
通过可选择的预设类型的语义分割网络构建检测模型，能够提高检测模型的灵活性，可适用于不同的应用场景，满足不同的实际需求。
可选的，所述将所述多边形轮廓投影至坐标系中，包括：
根据所述环境数据与所述坐标系之间的单应性关系，将所述多边形轮廓投影至所述坐标系中，并标记所述坐标系中的目标区域的网格分数。
通过利用单应性关系，能够将目标区域的多边形轮廓精准地投影至坐标系中，明确划分不同的区域，提高检测区域的准确性。
可选的，还包括：
对激光传感器和视觉传感器进行标定，以获取所述环境数据与所述坐标系之间的单应性关系；
其中，所述激光传感器用于采集点云数据，所述坐标系基于所述点云数据建立。
通过对激光传感器和视觉传感器进行标定，统一两者的坐标系，能够充分结合激光传感器采集的点云数据以及视觉传感器采集的环境数据，降低空间位置感知的误差，进一步保证检测目标区域的精确性。
第二方面，本发明实施例还提供了一种清洁装置，包括：
采集模块，用于通过视觉传感器采集环境数据；
提取模块，用于若检测到所述环境数据中包括目标区域的特征，则根据所述目标区域的特征，从所述环境数据中提取所述目标区域的多边形轮廓，其中，所述目标区域的特征通过预设的检测模型检测；
投影模块，用于将所述多边形轮廓投影至坐标系中，以在所述坐标系中划分目标区域和非目标区域；
清洁模块，用于根据电子设备当前所处区域，采用相应的清洁模式对当前所处区域进行清洁，其中，当前所处区域为目标区域或非目标区域。
可选的，还包括：
样本获取模块，用于在通过视觉传感器采集环境数据之前，获取样本数据，所述样本数据包括视频帧和视频帧中的目标区域的标签；
模型训练模块，用于基于所述样本数据训练检测模型，所述检测模型用于检测所述环境数据中是否存在目标区域的特征。
可选的，检测模型包括编码网络和解码网络；
所述装置还包括：
下采样模块，用于通过所述编码网络对所述环境数据进行多级下采样，得到第一分辨率的特征数据；
上采样模块，用于通过所述解码网络对所述第一分辨率的特征数据进行多级上采样，得到第二分辨率的特征数据，所述第二分辨率高于所述第一分辨率；
检测模块，用于根据所述第一分辨率的特征数据和所述第二分辨率的特征数据检测所述环境数据中是否存在目标区域的特征。
可选的，上采样模块，具体用于：
对于每级上采样，采用卷积操作将该级上采样的输入特征数据与相应级的下采样的输出特征数据融合；
对融合后的特征数据进行上采样。
可选的，所述样本数据包括第一样本数据和第二样本数据；其中，
所述第一样本数据通过所述视觉传感器采集得到；
所述第二样本数据通过对所述第一样本数据采用以下至少一种方式处理得到：平移、翻转、旋转。
可选的，所述检测模型包括以下之一：
图像级联网络；转换分割网络；双边分割网络；全卷积语义分割网络。
可选的，投影模块，具体用于：
根据所述环境数据与所述坐标系之间的单应性关系，将所述多边形轮廓投影至所述坐标系中，并标记所述坐标系中的目标区域的网格分数。
可选的，还包括：
标定模块，用于对激光传感器和视觉传感器进行标定，以获取所述环境数据与所述坐标系之间的单应性关系；
其中，所述激光传感器用于采集点云数据，所述坐标系基于所述点云数据建立。
第三方面，本发明实施例还提供了一种电子设备，包括：
视觉传感器，用于采集环境数据；
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述处理器实现如第一方面所述的清洁方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的清洁方法。
本发明实施例提供一种清洁方法、装置、电子设备及计算机可读存储介质，通过视觉传感器采集环境数据；若检测到环境数据中包括目标区域的特征，则根据目标区域的特征从环境数据中提取目标区域的多边形轮廓，其中，目标区域的特征通过预设的检测模型检测；将多边形轮廓投影至坐标系中，以在坐标系中划分目标区域和非目标区域；根据电子设备当前所处区域，采用相应的清洁模式对当前所处区域进行清洁。上述方案利用预先训练的检测模型根据环境数据提取目标区域的多边形轮廓，并投影至坐标系中，精准地区分目标区域和非目标区域，并对不同区域采用不同的清洁模式，提高了检测目标区域的准确性以及清洁的灵活性。
附图说明
图1为本发明实施例提供的一种清洁方法的流程图；
图2为本发明实施例提供的一种清洁方法的应用场景的示意图；
图3为本发明实施例提供的另一种清洁方法的流程图；
图4为本发明实施例提供的视频帧中的目标区域的标签的示意图；
图5为本发明实施例提供的一种语义分割网络的示意图；
图6为本发明实施例提供的一种检测目标区域的特征的示意图；
图7为本发明实施例提供的一种清洁方法的实现流程图；
图8为本发明实施例提供的一种清洁装置的结构图；
图9为本发明实施例提供的一种电子设备的结构图；
图10为本发明实施例提供的一种计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
图1为本发明实施例提供的一种清洁方法的流程图，本实施例可适用于电子设备智能识别不同的区域并进行清洁的情况，该方法可以由清洁装置来执行，该装置可以采用硬件和/或软件的方式实现，并可集成在电子设备中，其中，电子设备是可移动的智能设备，例如清洁机器人，可应用在住宅或酒店、商场、餐厅、机场和车站等公共场所。参考图1，该方法可以包括如下步骤：
S110、通过视觉传感器采集环境数据。
具体的，电子设备中设置有视觉传感器，用于采集环境数据。视觉传感器可以为广角摄像头、全景摄像头、夜视摄像头等。视觉传感器设置在电子设备的固定位置，从而对于采集到的环境数据中的任意一个空间位置处的数据，都可以对应于在电子设备自身坐标系下的唯一位置。
环境数据由电子设备通过视觉传感器对周围环境拍摄视频采集得到，拍摄到的环境数据包括多个连续的画面，每一个静态的画面为一个视频帧，电子设备利用各个视频帧检测并标记出需要清洁的区域。
S120、若检测到所述环境数据中包括目标区域的特征，则根据所述目标区域的特征从所述环境数据中提取所述目标区域的多边形轮廓，其中，所述目标区域的特征通过预设的检测模型检测。
具体的，目标区域是指预设的检测模型所关注的区域，在训练检测模型的过程中，利用机器学习的方式已经学习到目标区域的特征。在电子设备移动过程中，一旦检测到环境数据中包括目标区域的特征，就触发后续的操作，包括提取目标区域的多边形轮廓(Polygon)并进行投影以识别目标区域和非目标区域，以及采用不同的清洁模式进行针对性的清洁。
示例性的，目标区域可以是需要采用特定的清洁模式进行清洁的、预设的检测模型感兴趣的区域。例如，在木质地板区域、水泥地面区域以及地毯区域共存的环境中，对地毯区域进行清洁时，电子设备不能用水清洗，而需要尘推清洁，保持地毯区域的干燥。这种情况下，目标区域是指地毯区域，而非目标区域包括木质地板区域和水泥地面区域。地毯区域的色彩、纹理、光线明暗等与其他区域具有明显的不同，据此，预设的检测模型在训练过程中已经学习到地毯区域的特征，可以在环境中准确识别地毯区域的特征。
将检测到环境数据输入到预设的训练好的检测模型中，在通过检测模型检测到环境数据中包括目标区域的特征的情况下，提取目标区域的多边形轮廓。提取多边形轮廓可以理解为视觉检测任务中的一种语义分割任务，即，为环境数据中的每个像素赋予语义标签，将出现在图像当中的感兴趣区域(如地毯区域)检测出来，并利用标记(Mask)的方式将最终的结果呈现，便于电子设备准确感知目标区域。目标区域的轮廓可以是不规则形状，也可以是闭合区域或非闭合区域。示例性的，利用卷积神经网络(Convolutional NeuralNetworks，CNN)针对目标区域和非目标区域进行语义分割，具有较高的检测精度和计算效率。
图2为本发明实施例提供的一种清洁方法的应用场景的示意图。如图2所示，在地面上的部分区域铺设有地毯，地毯区域即为目标区域。在电子设备移动至在此环境中时，可以检测到出现了地毯，即环境数据中包括目标区域的特征，这种情况下，利用检测网络从如图2所示的环境数据中提取地毯的多边形轮廓，以明确铺设地毯的范围。
在一个实施例中，电子设备检测到环境数据的任意一个视频帧中包括目标区域的特征，即提取目标区域的多边形轮廓，以在电子设备移动到目标区域周围时可以及时识别并采用相应的清洁模式。
在一个实施例中，电子设备检测到环境数据中连续的设定数量的视频帧中包括目标区域的特征，则提取目标区域的多边形轮廓，以避免由于移动过程中电子设备自身的抖动导致的误检测，减少不必要的计算量。例如，检测到连续的5帧中都包括目标区域的特征，则提取目标区域的多边形轮廓。设定数量的大小决定了检测目标区域的特征的灵敏度，也即触发提取目标区域的多边形轮廓的灵敏度。
S130、将所述多边形轮廓投影至坐标系中，以在所述坐标系中划分目标区域和非目标区域。
具体的，根据环境数据中各空间位置与在坐标系下的位置之间的关系，可以将目标区域的多边形轮廓投影至坐标系中，从而在坐标系中划分出目标区域和非目标区域，形成清洁任务的实时的地图。对于地图中的目标区域可以添加标记，以控制电子设备对于感知到的目标区域采用特定的清洁模式。
在一个实施例中，坐标系是指基于视觉传感器形成的坐标系，例如，将视觉传感器能够采集到的范围内的中心点或其他任意参考点作为坐标系的原点。
在一个实施例中，在电子设备中的另一固定位置上还设置有用于采集点云数据的激光传感器，例如激光雷达，激光传感器和视觉传感器经过标定后，可以根据两者的相对关系纠正采集的环境数据的误差。这种情况下，坐标系是指基于激光传感器的坐标系，根据激光传感器和视觉传感器的空间位置相对关系，例如，结合视觉传感器能够拍摄到的范围内的中心点(或其他任意参考点)以及激光传感器能够探测到的范围内的中心点(或其他任意参考点)的差异，确定坐标系的原点。
S140、根据电子设备当前所处区域，采用相应的清洁模式对当前所处区域进行清洁，其中，当前所处区域为目标区域或非目标区域。
具体的，在根据当前的视频帧已经划分好目标区域和非目标区域的情况下，如果电子设备当前所处区域为目标区域，则采用第一清洁模式进行清洁；如果电子设备当前所处区域为非目标区域，则采用第二清洁模式进行清洁。
需要说明的是，在电子设备移动过程中，不断采集到新的视频帧，根据最新的视频帧更新坐标系中的目标区域和非目标区域，并根据电子设备当前所处区域可以切换不同的清洁模式。
本实施例的清洁方法，通过实时检测目标区域、根据目标区域的多边形轮廓在坐标系中划分不同的区域，提高电子设备的感知能力和检测精度，实现在复杂环境下的自动化智能清洁，提高清洁效率。此外，还可以通过设置检测目标区域的特征的灵敏度、结合激光传感器采集点云数据等，在保证检测精度的同时，提高清洁的灵活性和可靠性。
图3为本发明实施例提供的另一种清洁方法的流程图，本实施例是在上述实施例的基础上进行优化，对基于样本数据训练检测模型、通过检测模型检测目标区域的特征、以及将目标区域的多边形轮廓投影至坐标系中的过程进行具体描述。
参考图3，该方法可以包括如下步骤：
S201、获取样本数据，所述样本数据包括视频帧和视频帧中的目标区域的标签。
具体的，样本数据可以通过视觉传感器采集得到，例如，针对不同的环境采集至少5000个视频帧，并且利用标注工具为每个视频帧中的目标区域添加标签，在训练检测模型的过程中，检测模型即可有针对性地学习到不同环境下的目标区域的特征。在一个实施例中，样本数据也可以是电子设备本地存储的，或者通过网络从数据库、云端下载得到的。
图4为本发明实施例提供的视频帧中的目标区域的标签的示意图。如图4所示，将图2所示的环境数据作为样本数据中的一个视频帧，对于该视频帧，为目标区域(图4中黑色区域)添加标签，以指示该区域为目标区域，在训练检测模型的过程中，检测模型关注带有此标签的区域与其他区域之间的差别，从而学习到如何区分目标区域和非目标区域的特征。
在一实施例中，S201包括：
S2011：通过视觉传感器采集第一样本数据；
S2012：对所述第一样本数据采用以下至少一种方式处理得到：平移、翻转、旋转。
具体的，样本数据包括第一样本数据和第二样本数据；其中，第一样本数据通过视觉传感器采集得到，并利用标注工具为目标区域添加了标签；第二样本数据是通过对第一样本数据进行扩展得到，例如，可以对第一样本数据进行以下至少一种处理：平移、翻转、旋转。从而基于视觉传感器采集到的有限的样本数据，能够提供更多的具有相似性样本数据，得到关于目标区域的丰富多样的特征，为检测模型的训练提供更可靠的依据，提高检测模型的精度和目标区域检测的准确性。
S202、基于所述样本数据训练检测模型，所述检测模型用于检测环境数据中是否存在目标区域的特征。
在一个实施例中，所述检测模型包括以下之一：图像级联网络(Image CascadeNetwor，ICNet)；转换分割网络(SwiftNet)；双边分割网络(Bilateral SegmentationNetwork，BiSeNet)；全卷积语义分割网络(Fully Convolutional Harmonic DenseNet forSegmentation，FC-HarDNet)。
具体的，ICNet的原理是将输入数据(在训练过程中是指样本数据，在清洁过程中是指环境数据)变换为不同的分辨率，然后用不同计算复杂度的子网络踢球不同分辨率的数据的特征，然后将结果合并。ICNet可以由三个子网络组成，计算复杂度高的子网络处理低分辨率输入，计算复杂度低的子网络处理高分辨率输入，从而在高分辨率图像处理的准确性和低复杂网络的处理效率之间获得平衡。
SwiftNet是采用编码-解码(Encoder-Decoder)的网络架构，在编码过程中对输入数据进行下采样，以降低分辨率；在解码过程中使用双线性插值上采样，然后与下采样过程中得到的各级特征融合，并输入到卷积层中，实现特征提取。
BiSeNet是利用一条小步长的空间路径来保存空间信息并生成高分辨率的特征，同时，使用具有快速下采样策略的上下文路径来获得足够的接受场。通过对两条路径得到的特征进行融合，提高处理效率和分割性能。
FC-HarDNet是将若干个HarDNet Block模块连接起来构成的网络，对高分辨率特征图进行增强的特征提取，利用深度可分离卷积代替传统的卷积，具有较高的运行速度和检测性能。
表1为不同类型的检测模型的参数对比。如表1所示，FC-HarDNet的精度比较高而且推理速度快。考虑电子设备的轻便性，计算能力有限，可以选用FC-HarDNet构建检测网络。
表1不同类型的检测模型的参数对比
Figure BDA0002670254340000141
通过可选择的预设类型的语义分割网络构建检测模型，能够提高检测模型的灵活性，可适用于不同的应用场景，满足不同的实际需求。
图5为本发明实施例提供的一种语义分割网络的示意图。如图5所示，示例性的，采用FC-HarDNet构建检测模型，每一个HarDNet Block都是经过Conv-BN-ReLU的输出，即在两个卷积层之间加一层非线性,避免两层退化成一层，其中，卷积层(Conv)是3x3卷积，k表示通道数，m表示下一层扩张的通道倍数，将若干个HarDNet Block模块连接起来，构成FC-HarDNet。
S203、通过视觉传感器采集环境数据。
S204、通过编码网络对所述环境数据进行多级下采样，得到第一分辨率的特征数据。
具体的，利用Encoder-Decoder结构检测目标区域的特征。Encoder部分通过下采样降低输入数据的分辨率，从而生成一个低分辨率的特征映射，得到第一分辨率的特征数据，能够提高计算效率且有效区分不同区域的特征。
S205、通过解码网络对所述第一分辨率的特征数据进行多级上采样，得到第二分辨率的特征数据，第二分辨率高于第一分辨率。
具体的，Decoder部分对第一分辨率的特征数据进行上采样，将其恢复成全分辨率的分割后的特征图像，得到第二分辨率的特征数据。第一分辨率的特征数据和第二分辨率的特征数据可以有效融合，以提高检测精度。
在一实施例中，S205，具体包括：
S2051：对于每级上采样，采用卷积操作将该级上采样的输入特征数据与相应级的下采样的输出特征数据融合；
S2052：对融合后的特征数据进行上采样。
图6为本发明实施例提供的一种检测目标区域的特征的示意图。如图6所示，输入数据经过双线性插值(Bilinear Upsampling)、非全连接层(Concat with Shortcut)、1×1的卷积层、HarDNet Block后可以输出目标区域的特征。在训练过程中，当损失函数达到最小值时，训练完成，得到预设的检测网络，可应用于对环境数据的检测。其中，在解码过程中，对每级上采样，都需要将该级上采样的输入特征数据与相应级的下采样的输出特征数据融合，得到该级上采样的输出。例如，对于步长(Strides)为32的上采样，其输入特征数据是在Strides为64的下采样的输出特征数据的基础上，与Strides为32的下采样的输出特征数据融合的得到的，其输出与Strides为16的下采样的输出特征数据融合后，输入至Strides为16的下采样层。
S206、根据所述第一分辨率的特征数据和所述第二分辨率的特征数据检测所述环境数据中是否存在目标区域的特征。
具体的，通过采用编码-解码网络结构，能够兼顾计算效率和特征提取的准确性。通过将第一分辨率和第二分辨率的特征数据融合，能够得到完善准确的特征数据，保证特征处理的效果，进一步提高检测的准确性。
S207、环境数据中包括目标区域的特征？若是，则执行S208；否则，返回S201。
S208、根据目标区域的特征从环境数据中提取目标区域的多边形轮廓。
如图4所示，黑色区域表示目标区域，目标区域的多边形轮廓即为黑色区域的边界。
S209、根据环境数据与坐标系之间的单应性关系，将多边形轮廓投影至坐标系中，并标记坐标系中的目标区域的网格分数。
具体的，采集到的环境数据中的任意一个空间位置处的数据，都可以对应于坐标系下的唯一位置，即满足单应性关系，这种单应性关系可以表示为单应性矩阵(Homography)。根据单应性矩阵，可以将目标区域的多边形轮廓投影至坐标系中，从而在坐标系中划分出目标区域和非目标区域，形成清洁任务的实时地图。
进一步的，对于地图中的目标区域可以添加标记，以便于电子设备感知目标区域和非目标区域。将坐标系的整体范围划分成多个网格，网格分数用于表示该网格对应的位置属于目标区域的概率。当电子设备当前所处位置(当前坐标)的网格分数大于设定阈值时，即可判定电子设备当前移动至目标区域，否则，判定电子设备当前移动至非目标区域，进而采用相应的清洁模式进行清洁。
在一个实施例中，在采集环境数据之前，还包括：对激光传感器和视觉传感器进行标定，以获取环境数据与坐标系之间的单应性关系。
具体的，激光传感器用于采集点云数据，激光传感器和视觉传感器经过标定后，可以根据两者的相对关系纠正采集的环境数据的误差。这种情况下，坐标系是指基于激光传感器的坐标系，例如，结合视觉传感器能够拍摄到的范围内的中心点(或其他任意参考点)以及激光传感器能够探测到的范围内的中心点(或其他任意参考点)的差异确定坐标系的原点。通过对激光传感器和视觉传感器进行标定，统一两者的坐标系，能够充分结合激光传感器采集的点云数据以及视觉传感器采集的环境数据，降低空间位置感知的误差，进一步保证检测目标区域的精确性。
S210、电子设备当前所处区域为目标区域？若是，执行S211；否则，执行S212。
S211、采用第一清洁模式对当前所处区域进行清洁。
S212、采用第二清洁模式对当前所处区域进行清洁。
图7为本发明实施例提供的一种清洁方法的实现流程图。如图7所示，在执行清洁任务的过程中，将电子设备的视觉传感器采集到的环境数据输入至预设的地毯检测网络当中，实时检测电子设备当前所处的环境中是否包含地毯区域。如果检测到地毯区域，则从环境数据中提取地毯区域的Polygon，并投影至坐标系中。其中，投影过程是基于对激光传感器和摄像头的标定结果，根据环境数据与坐标系之间的Homography实现的，基于Homography将地毯区域的多边形轮廓(的像素)投影至激光传感器的坐标系中，确定地毯区域的轮廓在地图中的坐标位置。
此外，还可以在坐标系的地图中标记地毯区域，记录网格分数，网格分数是根据投影结果实时更新的。如果检测到电子设备当前处于地毯区域，则采用第一清洗策略；如果检测到电子设备当前处于非地毯区域，则采用第二清洗策略。
本发明实施例提供一种清洁方法，通过基于样本数据预先训练检测模型，使检测模型充分学习到目标区域的特征，能够有效准确地在环境中识别目标区域，能够提高识别目标区域的准确性；通过利用编码网络和解码网络的结构构建检测模型，先快速提取出特征数据，然后再恢复分辨率，得到高质量的特征数据，能够降低计算量，提高检测效率；通过将各级上采样的输入特征数据与相应级的下采样的输出特征数据融合，也即将第一分辨率的特征数据与第二分辨率的特征数据融合，能够得到完善准确的特征数据，从而改善特征处理的效果，进一步提高检测的准确性。
图8为本发明实施例提供的一种清洁装置的结构图，该装置可以执行上述实施例的清洁方法，参考图8，该装置可以包括：
采集模块，用于通过视觉传感器采集环境数据；
提取模块，用于若检测到所述环境数据中包括目标区域的特征，则根据所述目标区域的特征，从所述环境数据中提取所述目标区域的多边形轮廓，其中，所述目标区域的特征通过预设的检测模型检测；
投影模块，用于将所述多边形轮廓投影至坐标系中，以在所述坐标系中划分目标区域和非目标区域；
清洁模块，用于根据电子设备当前所处区域，采用相应的清洁模式对当前所处区域进行清洁，其中，当前所处区域为目标区域或非目标区域。
本发明实施例提供一种清洁装置，通过视觉传感器采集环境数据；若检测到环境数据中包括目标区域的特征，则根据目标区域的特征从环境数据中提取目标区域的多边形轮廓，其中，目标区域的特征通过预设的检测模型检测；将多边形轮廓投影至坐标系中，以在坐标系中划分目标区域和非目标区域；根据电子设备当前所处区域，采用相应的清洁模式对当前所处区域进行清洁。上该装置利用预先训练的检测模型根据环境数据提取目标区域的多边形轮廓，并投影至坐标系中，精准区分目标区域和非目标区域，并对不同区域采用不同的清洁模式，提高了检测目标区域的准确性以及清洁的灵活性。
在一实施例中，该装置还包括：
样本获取模块，用于在通过视觉传感器采集环境数据之前，获取样本数据，所述样本数据包括视频帧和视频帧中的目标区域的标签；
模型训练模块，用于基于所述样本数据训练检测模型，所述检测模型用于检测所述环境数据中是否存在目标区域的特征。
在一实施例中，检测模型包括编码网络和解码网络；
该装置还包括：
下采样模块，用于通过所述编码网络对所述环境数据进行多级下采样，得到第一分辨率的特征数据；
上采样模块，用于通过所述解码网络对所述第一分辨率的特征数据进行多级上采样，得到第二分辨率的特征数据，所述第二分辨率高于所述第一分辨率；
检测模块，用于根据所述第一分辨率的特征数据和所述第二分辨率的特征数据检测所述环境数据中是否存在目标区域的特征。
在一实施例中，上采样模块，具体用于：
对于每级上采样，采用卷积操作将该级上采样的输入特征数据与相应级的下采样的输出特征数据融合；
对融合后的特征数据进行上采样。
在一实施例中，所述样本数据包括第一样本数据和第二样本数据；其中，
所述第一样本数据通过所述视觉传感器采集得到；
所述第二样本数据通过对所述第一样本数据采用以下至少一种方式处理得到：平移、翻转、旋转。
在一实施例中，所述检测模型包括以下之一：
图像级联网络；转换分割网络；双边分割网络；全卷积语义分割网络。
在一实施例中，投影模块，具体用于：
根据所述环境数据与所述坐标系之间的单应性关系，将所述多边形轮廓投影至所述坐标系中，并标记所述坐标系中的目标区域的网格分数。
在一实施例中，该装置还包括：
标定模块，用于对激光传感器和视觉传感器进行标定，以获取所述环境数据与所述坐标系之间的单应性关系；
其中，所述激光传感器用于采集点云数据，所述坐标系基于所述点云数据建立。
本发明实施例提供的清洁装置可执行上述实施例中的清洁方法，具备执行方法相应的功能模块和有益效果。
图9为本发明实施例提供的一种电子设备的结构图，该电子设备可以是但不限于可移动的机器人或智能设备。参考图9，该电子设备包括处理器41、存储器42、视觉传感器43、输入装置44和输出装置45，电子设备中处理器41的数量可以是一个或多个，图9以一个处理器41为例。电子设备中处理器41、存储器42、视觉传感器43、输入装置44和输出装置45可以通过总线或其他方式连接，图9以通过总线为例。
视觉传感器43用于采集环境数据。视觉传感器43的类型可以根据需要选择，例如可以为广角摄像头、全景摄像头、夜视摄像头等。
存储器42作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的清洁方法对应的程序指令/模块。处理器41通过运行存储在存储器42中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述实施例的清洁方法。
存储器42主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置44可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置45可包括显示屏等显示设备、扬声器以及蜂鸣器等音频设备。
在一个实施例中，电子设备还包括激光传感器46，用于采集点云数据，通过结合激光传感器46采集的点云数据以及视觉传感器43采集的环境数据，对激光传感器46和视觉传感器43进行标定，可在一定程度上消除空间位置感知的误差，进一步保证检测目标区域的精确性。
本发明实施例提供的电子设备与上述实施例提供的清洁方法属于同一构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例具备执行清洁方法相同的有益效果。
图10为本发明实施例提供的一种计算机可读存储介质与处理器的交互示意图。计算机可读存储介质51上存储有计算机程序510，计算机程序510被处理器52执行时用于执行一种清洁方法，该方法可以包括：通过视觉传感器采集环境数据；若检测到所述环境数据中包括目标区域的特征，则根据所述目标区域的特征从所述环境数据中提取所述目标区域的多边形轮廓，其中，所述目标区域的特征通过预设的检测模型检测；将所述多边形轮廓投影至坐标系中，以在所述坐标系中划分目标区域和非目标区域；根据电子设备当前所处区域，采用相应的清洁模式对当前所处区域进行清洁，其中，当前所处区域为目标区域或非目标区域。
可选的，计算机程序510被处理器52执行时还可以用于执行本发明任意实施例所提供的清洁方法。
本发明实施例的计算机可读存储介质51，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质51例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质51的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质51可以是任何包含或存储程序的有形介质，计算机程序510可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述计算机程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种清洁方法，其特征在于，包括：
通过视觉传感器采集环境数据；
若检测到所述环境数据中包括目标区域的特征，则根据所述目标区域的特征从所述环境数据中提取所述目标区域的多边形轮廓，其中，所述目标区域的特征通过预设的检测模型检测；
将所述多边形轮廓投影至坐标系中，以在所述坐标系中划分目标区域和非目标区域；
根据电子设备当前所处区域，采用相应的清洁模式对当前所处区域进行清洁，其中，当前所处区域为目标区域或非目标区域。
2.根据权利要求1所述的方法，其特征在于，在通过视觉传感器采集环境数据之前，还包括：
获取样本数据，所述样本数据包括视频帧和视频帧中的目标区域的标签；
基于所述样本数据训练检测模型，所述检测模型用于检测所述环境数据中是否存在目标区域的特征。
3.根据权利要求2所述的方法，其特征在于，所述检测模型包括编码网络和解码网络；
所述方法还包括：
通过所述编码网络对所述环境数据进行多级下采样，得到第一分辨率的特征数据；
通过所述解码网络对所述第一分辨率的特征数据进行多级上采样，得到第二分辨率的特征数据，所述第二分辨率高于所述第一分辨率；
根据所述第一分辨率的特征数据和所述第二分辨率的特征数据检测所述环境数据中是否存在目标区域的特征。
4.根据权利要求3所述的方法，其特征在于，所述通过所述解码网络对所述第一分辨率的特征数据进行多级上采样，包括：
对于每级上采样，采用卷积操作将该级上采样的输入特征数据与相应级的下采样的输出特征数据融合；
对融合后的特征数据进行上采样。
5.根据权利要求2所述的方法，其特征在于，所述样本数据包括第一样本数据和第二样本数据；其中，
所述第一样本数据通过所述视觉传感器采集得到；
所述第二样本数据通过对所述第一样本数据采用以下至少一种方式处理得到：平移、翻转、旋转。
6.根据权利要求2所述的方法，其特征在于，所述检测模型包括以下之一：
图像级联网络；转换分割网络；双边分割网络；全卷积语义分割网络。
7.根据权利要求1所述的方法，其特征在于，所述将所述多边形轮廓投影至坐标系中，包括：
根据所述环境数据与所述坐标系之间的单应性关系，将所述多边形轮廓投影至所述坐标系中，并标记所述坐标系中的目标区域的网格分数。
8.根据权利要求7所述的方法，其特征在于，还包括：
对激光传感器和视觉传感器进行标定，以获取所述环境数据与所述坐标系之间的单应性关系；
其中，所述激光传感器用于采集点云数据，所述坐标系基于所述点云数据建立。
9.一种清洁装置，其特征在于，包括：
采集模块，用于通过视觉传感器采集环境数据；
提取模块，用于若检测到所述环境数据中包括目标区域的特征，则根据所述目标区域的特征，从所述环境数据中提取所述目标区域的多边形轮廓，其中，所述目标区域的特征通过预设的检测模型检测；
投影模块，用于将所述多边形轮廓投影至坐标系中，以在所述坐标系中划分目标区域和非目标区域；
清洁模块，用于根据电子设备当前所处区域，采用相应的清洁模式对当前所处区域进行清洁，其中，当前所处区域为目标区域或非目标区域。
10.一种电子设备，其特征在于，包括：
视觉传感器，用于采集环境数据；
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述处理器实现如权利要求1-8中任一项所述的清洁方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得一个或多个所述处理器执行权利要求1-8中任一项所述的清洁方法。
CN202010931054.5A 2020-09-07 2020-09-07 一种清洁方法、装置、电子设备及计算机可读存储介质 Active CN112056993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010931054.5A CN112056993B (zh) 2020-09-07 2020-09-07 一种清洁方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010931054.5A CN112056993B (zh) 2020-09-07 2020-09-07 一种清洁方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112056993A true CN112056993A (zh) 2020-12-11
CN112056993B CN112056993B (zh) 2022-05-17

Family

ID=73664024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010931054.5A Active CN112056993B (zh) 2020-09-07 2020-09-07 一种清洁方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112056993B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699940A (zh) * 2020-12-30 2021-04-23 腾讯科技（深圳）有限公司 一种车辆清洁关联资源推荐方法、装置及存储介质
CN112800828A (zh) * 2020-12-18 2021-05-14 零八一电子集团有限公司 地面栅格占有概率目标轨迹方法
CN113344265A (zh) * 2021-05-28 2021-09-03 深圳市无限动力发展有限公司 轨迹闭合判断方法、装置、计算机设备和存储介质
CN113567550A (zh) * 2021-07-22 2021-10-29 上海高仙自动化科技发展有限公司 地面材质检测方法、装置、电子设备、芯片和存储介质
CN113610764A (zh) * 2021-07-12 2021-11-05 深圳市银星智能科技股份有限公司 地毯识别方法、装置、智能设备及存储介质
CN114500710A (zh) * 2022-01-13 2022-05-13 厦门聚视智创科技有限公司 一种手机后盖清洁控制***
CN115002430A (zh) * 2022-05-17 2022-09-02 深圳市当智科技有限公司 投影方法、投影仪及计算机可读存储介质
CN117556785A (zh) * 2024-01-11 2024-02-13 集海科技(深圳)有限公司 智能服务机器人的芯片算法、芯片、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108872991A (zh) * 2018-05-04 2018-11-23 上海西井信息科技有限公司 目标物检测与识别方法、装置、电子设备、存储介质
CN111035327A (zh) * 2019-12-31 2020-04-21 深圳飞科机器人有限公司 清洁机器人、地毯检测方法及计算机可读存储介质
CN111311629A (zh) * 2020-02-21 2020-06-19 京东方科技集团股份有限公司 图像处理方法、图像处理装置及设备
CN111543902A (zh) * 2020-06-08 2020-08-18 深圳市杉川机器人有限公司 地面清洁方法、装置、智能清洁设备和存储介质
CN111568314A (zh) * 2020-05-26 2020-08-25 深圳市杉川机器人有限公司 基于场景识别的清洁方法、装置、清洁机器人和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108872991A (zh) * 2018-05-04 2018-11-23 上海西井信息科技有限公司 目标物检测与识别方法、装置、电子设备、存储介质
CN111035327A (zh) * 2019-12-31 2020-04-21 深圳飞科机器人有限公司 清洁机器人、地毯检测方法及计算机可读存储介质
CN111311629A (zh) * 2020-02-21 2020-06-19 京东方科技集团股份有限公司 图像处理方法、图像处理装置及设备
CN111568314A (zh) * 2020-05-26 2020-08-25 深圳市杉川机器人有限公司 基于场景识别的清洁方法、装置、清洁机器人和存储介质
CN111543902A (zh) * 2020-06-08 2020-08-18 深圳市杉川机器人有限公司 地面清洁方法、装置、智能清洁设备和存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800828A (zh) * 2020-12-18 2021-05-14 零八一电子集团有限公司 地面栅格占有概率目标轨迹方法
CN112699940A (zh) * 2020-12-30 2021-04-23 腾讯科技（深圳）有限公司 一种车辆清洁关联资源推荐方法、装置及存储介质
CN113344265A (zh) * 2021-05-28 2021-09-03 深圳市无限动力发展有限公司 轨迹闭合判断方法、装置、计算机设备和存储介质
CN113344265B (zh) * 2021-05-28 2023-04-04 深圳市无限动力发展有限公司 轨迹闭合判断方法、装置、计算机设备和存储介质
CN113610764A (zh) * 2021-07-12 2021-11-05 深圳市银星智能科技股份有限公司 地毯识别方法、装置、智能设备及存储介质
CN113567550A (zh) * 2021-07-22 2021-10-29 上海高仙自动化科技发展有限公司 地面材质检测方法、装置、电子设备、芯片和存储介质
CN113567550B (zh) * 2021-07-22 2024-05-17 上海高仙自动化科技发展有限公司 地面材质检测方法、装置、电子设备、芯片和存储介质
CN114500710A (zh) * 2022-01-13 2022-05-13 厦门聚视智创科技有限公司 一种手机后盖清洁控制***
CN115002430A (zh) * 2022-05-17 2022-09-02 深圳市当智科技有限公司 投影方法、投影仪及计算机可读存储介质
CN117556785A (zh) * 2024-01-11 2024-02-13 集海科技(深圳)有限公司 智能服务机器人的芯片算法、芯片、设备及存储介质
CN117556785B (zh) * 2024-01-11 2024-04-30 集海科技(深圳)有限公司 智能服务机器人的芯片算法、芯片、设备及存储介质

Also Published As

Publication number Publication date
CN112056993B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN112056993B (zh) 一种清洁方法、装置、电子设备及计算机可读存储介质
CN111190981B (zh) 一种三维语义地图的构建方法、装置、电子设备及存储介质
CN107808111B (zh) 用于行人检测和姿态估计的方法和装置
CN111191486B (zh) 一种溺水行为识别方法、监控相机及监控***
CN107341442B (zh) 运动控制方法、装置、计算机设备和服务机器人
CN111080659A (zh) 一种基于视觉信息的环境语义感知方法
CN113506317A (zh) 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法
CN111797751A (zh) 行人轨迹预测方法、装置、设备及介质
CN110472599B (zh) 对象数量确定方法、装置、存储介质与电子设备
CN108491763B (zh) 三维场景识别网络的无监督训练方法、装置及存储介质
KR20210025942A (ko) 종단간 컨볼루셔널 뉴럴 네트워크를 이용한 스테레오 매칭 방법
CN113807361B (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN103093198A (zh) 一种人群密度监测方法及装置
CN114639042A (zh) 基于改进CenterNet骨干网络的视频目标检测算法
CN113781519A (zh) 目标跟踪方法和目标跟踪装置
CN111539990A (zh) 运动物***置检测方法、装置、设备及介质
CN111531546B (zh) 一种机器人位姿估计方法、装置、设备及存储介质
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN116958927A (zh) 一种基于bev图识别矮小柱状体的方法及装置
CN112348854A (zh) 一种基于深度学习视觉惯性里程检测方法
CN112070035A (zh) 基于视频流的目标跟踪方法、装置及存储介质
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
CN111160255B (zh) 一种基于三维卷积网络的捕鱼行为识别方法及***
CN115100559A (zh) 一种基于格点光流的动作预测方法与***
JPH08114416A (ja) 画像データに基づく三次元物体認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant