CN117908526A - 移动体的控制方法和装置、存储介质及电子装置 - Google Patents
移动体的控制方法和装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN117908526A CN117908526A CN202211235527.3A CN202211235527A CN117908526A CN 117908526 A CN117908526 A CN 117908526A CN 202211235527 A CN202211235527 A CN 202211235527A CN 117908526 A CN117908526 A CN 117908526A
- Authority
- CN
- China
- Prior art keywords
- target object
- region
- detection result
- image
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 318
- 230000011218 segmentation Effects 0.000 claims description 56
- 238000003709 image segmentation Methods 0.000 claims description 33
- 238000001914 filtration Methods 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000004140 cleaning Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 241001417527 Pempheridae Species 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种移动体的控制方法和装置、存储介质及电子装置，上述方法包括：对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，第一检测结果用于指示目标对象的对象区域；将第一检测结果与移动体上的感知传感器所检测到的区域点云数据进行融合，得到目标对象的第二检测结果，其中，第二检测结果用于指示更新后的目标对象的对象区域；在根据第二检测结果确定存在目标对象的情况下，根据第二检测结果所指示的对象区域控制移动体对目标对象执行预设操作。采用上述技术方案，可以提高移动体控制的灵活性。
Description
【技术领域】
本申请涉及智能家居领域，具体而言，涉及一种移动体的控制方法和装置、存储介质及电子装置。
【背景技术】
目前，移动体在一定区域内进行移动时，对于地面上的形状、色彩、图案等不规则的障碍物，例如，地毯，需要执行相应的避障或延边动作，以防止由于移动体频繁碾压障碍物边缘造成地毯污染，同时降低移动体移动到障碍物上的风险，提高移动体控制的灵活性。
然而，上述对障碍物边缘进行躲避的场景中，由于部分障碍物的高度与地面相比差别较小，且障碍物的形状、图案等并不是固定的，甚至部分障碍物边缘的颜色可能与地面颜色相近，导致对障碍物区域识别的准确性较低，进而降低了移动体控制的灵活性。
由此可知，相关技术中的移动体的控制方法，存在由于障碍物区域识别的准确性低导致的移动体控制的灵活性差的问题。
【发明内容】
本申请的目的在于提供一种移动体的控制方法和装置、存储介质及电子装置，以至少解决相关技术中的移动体的控制方法存在由于障碍物区域识别的准确性低导致的移动体控制的灵活性差的问题。
本申请的目的是通过以下技术方案实现：
根据本申请实施例的一个方面，提供了一种移动体的控制方法，包括：对所述移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，所述第一检测结果用于指示所述目标对象的对象区域；将所述第一检测结果与所述移动体上的感知传感器所检测到的区域点云数据进行融合，得到所述目标对象的第二检测结果，其中，所述第二检测结果用于指示更新后的所述目标对象的对象区域；在根据所述第二检测结果确定存在所述目标对象的情况下，根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行预设操作。
在一个示例性实施例中，在所述对所述移动体上的图像采集部件采集的区域采集图像进行对象检测之前，所述方法还包括：通过所述移动体上的超声波传感器进行对象检测，得到所述目标对象的第三检测结果，其中，所述第三检测结果用于指示是否检测到所述目标对象；在所述第三检测结果用于指示检测到所述目标对象的情况下，触发对所述区域采集图像进行对象检测。
在一个示例性实施例中，所述通过所述移动体上的超声波传感器进行对象检测，得到所述目标对象的第三检测结果，包括：通过所述超声波传感器向所述移动体的下侧发射超声波信号，得到所述超声波信号的回波信号；在所述回波信号的信号参数大于或者等于预设参数阈值的情况下，确定未检测到所述目标对象；在所述回波信号的信号参数小于所述预设参数阈值的情况下，确定检测到所述目标对象。
在一个示例性实施例中，所述在所述回波信号的信号参数大于或者等于预设参数阈值的情况下，确定未检测到所述目标对象，包括：在所述回波信号的能量值大于或者等于预设能量阈值的情况下，确定未检测到所述目标对象；所述在所述回波信号的信号参数小于所述预设参数阈值的情况下，确定检测到所述目标对象，包括：在所述回波信号的能量值小于所述预设能量阈值的情况下，确定检测到所述目标对象。
在一个示例性实施例中，所述对所述移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，包括：对所述区域采集图像进行感兴趣区域检测，得到所述目标对象的边界框；通过对所述区域采集图像中位于所述目标对象的边界框中的采集图像进行图像分割，得到所述目标对象的对象区域。
在一个示例性实施例中，所述对所述移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，包括：对所述区域采集图像进行图像分割，得到所述区域采集图像中的一组候选对象中的每个候选对象的对象区域；将所述目标对象的对象特征与所述每个候选对象的对象特征进行匹配，得到所述一组候选对象中与所述目标对象匹配的匹配对象；将所述匹配对象的对象区域，确定为所述目标对象的对象区域。
在一个示例性实施例中，所述对所述区域采集图像进行图像分割，得到所述区域采集图像中的一组候选对象中的每个候选对象的对象区域，包括：对所述区域采集图像进行语义分割，得到所述每个候选对象的对象区域；或者，对所述区域采集图像进行实例分割，得到所述每个候选对象的对象区域。
在一个示例性实施例中，在所述对所述区域采集图像进行图像分割，得到所述区域采集图像中的一组候选对象中的每个候选对象的对象区域之后，所述方法还包括：对所述一组候选对象的对象区域中区域面积小于或者等于预设面积阈值的对象区域执行过滤操作，得到过滤后的所述一组候选对象的对象区域。
在一个示例性实施例中，所述方法还包括：通过所述移动体上的线激光传感器持续进行线激光扫描，得到所述区域点云数据。
在一个示例性实施例中，所述对所述移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，包括：对所述区域采集图像进行对象检测，得到所述目标对象的一组对象区域；对所述一组对象区域中区域面积小于或者等于预设面积阈值的对象区域执行过滤操作，得到所述目标对象的对象区域。
在一个示例性实施例中，所述将所述第一检测结果与所述移动体上的感知传感器所检测到的区域点云数据进行融合，得到所述目标对象的第二检测结果，包括：基于所述第一检测结果所指示的对象区域对所述区域点云数据进行对象识别，得到所述目标对象的参考识别结果；在所述参考识别结果指示在所述第一检测结果所指示的对象区域中识别到所述目标对象的情况下，将所述第一检测结果所指示的对象区域确定为所述目标对象的对象区域；在所述参考识别结果指示在所述第一检测结果所指示的对象区域中未识别到所述目标对象的情况下，滤除所述第一检测结果所指示的对象区域。
在一个示例性实施例中，所述根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行预设操作，包括：通过所述移动体上的测距传感器对所述目标对象执行测距操作，得到所述目标对象与所述移动体之间的相对位置；根据所述目标对象与所述移动体之间的相对位置以及所述移动体在世界坐标系中的位置坐标，确定目标对象区域信息，其中，所述目标对象区域信息为所述对象区域在所述世界坐标系中的区域坐标；根据所述目标对象区域信息对所述移动体执行路径规划操作，得到所述移动体的移动路径；根据所述移动路径，控制所述移动体对所述目标对象执行预设操作。
在一个示例性实施例中，所述根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行预设操作，包括：根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行避障操作；或者，根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行延边操作。
根据本申请实施例的另一个方面，还提供了一种移动体的控制装置，包括：第一检测单元，用于对所述移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，所述第一检测结果用于指示所述目标对象的对象区域；融合单元，用于将所述第一检测结果与所述移动体上的感知传感器所检测到的区域点云数据进行融合，得到所述目标对象的第二检测结果，其中，所述第二检测结果用于指示更新后的所述目标对象的对象区域；控制单元，用于在根据所述第二检测结果确定存在所述目标对象的情况下，根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行预设操作。
在一个示例性实施例中，所述装置还包括：第二检测单元，用于在所述对所述移动体上的图像采集部件采集的区域采集图像进行对象检测之前，通过所述移动体上的超声波传感器进行对象检测，得到所述目标对象的第三检测结果，其中，所述第三检测结果用于指示是否检测到所述目标对象；触发单元，用于在所述第三检测结果用于指示检测到所述目标对象的情况下，触发对所述区域采集图像进行对象检测。
在一个示例性实施例中，所述第二检测单元包括：发射模块，用于通过所述超声波传感器向所述移动体的下侧发射超声波信号，得到所述超声波信号的回波信号；第一确定模块，用于在所述回波信号的信号参数大于或者等于预设参数阈值的情况下，确定未检测到所述目标对象；第二确定模块，用于在所述回波信号的信号参数小于所述预设参数阈值的情况下，确定检测到所述目标对象。
在一个示例性实施例中，所述第一确定模块包括：第一确定子模块，用于在所述回波信号的能量值大于或者等于预设能量阈值的情况下，确定未检测到所述目标对象；所述第二确定模块包括：第二确定子模块，用于在所述回波信号的能量值小于所述预设能量阈值的情况下，确定检测到所述目标对象。
在一个示例性实施例中，第一检测模块，用于对所述区域采集图像进行感兴趣区域检测，得到所述目标对象的边界框；第一分割模块，用于通过对所述区域采集图像中位于所述目标对象的边界框中的采集图像进行图像分割，得到所述目标对象的对象区域。
在一个示例性实施例中，所述第一检测单元包括：第二分割模块，用于对所述区域采集图像进行图像分割，得到所述区域采集图像中的一组候选对象中的每个候选对象的对象区域；匹配模块，用于将所述目标对象的对象特征与所述每个候选对象的对象特征进行匹配，得到所述一组候选对象中与所述目标对象匹配的匹配对象；第三确定模块，用于将所述匹配对象的对象区域，确定为所述目标对象的对象区域。
在一个示例性实施例中，所述第二分割模块包括：第一分割子模块，用于对所述区域采集图像进行语义分割，得到所述每个候选对象的对象区域；或者，第二分割子模块，用于对所述区域采集图像进行实例分割，得到所述每个候选对象的对象区域。
在一个示例性实施例中，所述装置还包括：执行单元，用于在所述对所述区域采集图像进行图像分割，得到所述区域采集图像中的一组候选对象中的每个候选对象的对象区域之后，对所述一组候选对象的对象区域中区域面积小于或者等于预设面积阈值的对象区域执行过滤操作，得到过滤后的所述一组候选对象的对象区域。
在一个示例性实施例中，所述装置还包括：扫描单元，用于通过所述移动体上的线激光传感器持续进行线激光扫描，得到所述区域点云数据。
在一个示例性实施例中，所述第一检测单元包括：第二检测模块，用于对所述区域采集图像进行对象检测，得到所述目标对象的一组对象区域；第一执行模块，用于对所述一组对象区域中区域面积小于或者等于预设面积阈值的对象区域执行过滤操作，得到所述目标对象的对象区域。
在一个示例性实施例中，所述融合单元包括：识别模块，用于基于所述第一检测结果所指示的对象区域对所述区域点云数据进行对象识别，得到所述目标对象的参考识别结果；第四确定模块，用于在所述参考识别结果指示在所述第一检测结果所指示的对象区域中识别到所述目标对象的情况下，将所述第一检测结果所指示的对象区域确定为所述目标对象的对象区域；滤除模块，用于在所述参考识别结果指示在所述第一检测结果所指示的对象区域中未识别到所述目标对象的情况下，滤除所述第一检测结果所指示的对象区域。
在一个示例性实施例中，所述控制单元包括：第二执行模块，用于通过所述移动体上的测距传感器对所述目标对象执行测距操作，得到所述目标对象与所述移动体之间的相对位置；第五确定模块，用于根据所述目标对象与所述移动体之间的相对位置以及所述移动体在世界坐标系中的位置坐标，确定目标对象区域信息，其中，所述目标对象区域信息为所述对象区域在所述世界坐标系中的区域坐标；第三执行模块，用于根据所述目标对象区域信息对所述移动体执行路径规划操作，得到所述移动体的移动路径；控制模块，用于根据所述移动路径，控制所述移动体对所述目标对象执行预设操作。
在一个示例性实施例中，所述控制单元包括：第四执行模块，用于根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行避障操作；或者，第五执行模块，用于根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行延边操作。
根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述移动体的控制方法。
根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的移动体的控制方法。
在本申请实施例中，采用图像检测结果与区域点云数据结合确定对象区域的方式，对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，第一检测结果用于指示目标对象的对象区域；将第一检测结果与移动体上的感知传感器所检测到的区域点云数据进行融合，得到目标对象的第二检测结果，其中，第二检测结果用于指示更新后的目标对象的对象区域；在根据第二检测结果确定存在目标对象的情况下，根据第二检测结果所指示的对象区域控制移动体对目标对象执行预设操作。通过对区域采集图像进行对象检测，将检测结果与区域点云数据融合以对检测结果进行校正，确定出对象区域，并根据对象位置规划移动体的移动路径，可以实现提高障碍物区域识别的准确性的目的，达到提高移动体控制的灵活性的技术效果，进而解决了相关技术中的移动体的控制方法存在由于障碍物区域识别的准确性低导致的移动体控制的灵活性差的问题。
【附图说明】
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种可选的移动体的控制方法的硬件环境的示意图；
图2是根据本申请实施例的一种可选的移动体的控制方法的流程示意图；
图3是根据本申请实施例的另一种可选的移动体的控制方法的流程示意图；
图4是根据本申请实施例的一种可选的移动体的控制装置的结构框图；
图5是根据本申请实施例的一种可选的电子装置的结构框图。
【具体实施方式】
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
根据本申请实施例的一个方面，提供了一种移动体的控制方法。可选地，在本实施例中，上述移动体的控制方法可以应用于如图1所示的由移动体102、基站104和云平台106所构成的硬件环境中。如图1所示，移动体102可以通过网络与基站104和/或云平台106(例如，语音云平台)进行连接，以实现移动体102与基站104和/或云平台106之间的交互。
上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙，红外。移动体102与基站104和/或云平台106进行通信所使用的网络与基站104与云平台106进行通信所使用的网络可以是相同的，也可以是不同的。移动体102可以包括但不限于：清洁机器人，例如，扫地机器人、洗地机器人、集洗、扫为一体的机器人、自清洁机器人等，配送机器人，例如，送餐机器人、物件配送机器人等。
本申请实施例的移动体的控制方法可以由移动体102、云平台106单独来执行，也可以由移动体102和云平台106中共同执行。其中，移动体102执行本申请实施例的移动体的控制方法也可以是由安装在其上的客户端来执行。
以由移动体102执行本实施例中的移动体的控制方法为例，图2是根据本申请实施例的一种可选的移动体的控制方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：
步骤S202，对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，第一检测结果用于指示目标对象的对象区域。
本实施例中的移动体的控制方法可以应用到在移动体(即，上述移动体102)在目标区域内移动时，在目标区域的区域环境中检测到目标对象的场景中。上述目标区域可以是室内区域，例如，用户家庭房间、办公室、工厂车间等。目标对象可以是地毯等形状、图案、色彩多样、且与地面高度相近的对象。从功能上区分，上述移动体可以是前述清洁机器人、配送机器人等，从形态上区分，上述移动体可以是仿生机器人，例如，四足机器人，爬行机器人等。本实施例中对此不作限定。
以目标对象为地毯为例，在目标区域内存在地毯的情况下，为了避免移动体频繁碾压地毯而导致地毯污染的情况发生，需要根据地毯的位置区域及时控制移动体在移动过程中避开地毯区域。特别地，在移动体为清洁机器人的情况下，移动体在移动过程中，需要执行对应的清洁工作，在检测到目标区域内存在地毯的情况下，不仅需要控制移动体避开地毯，还要对地毯以外的所有地面区域执行清洁工作。因此，在检测到地毯的情况下，需要控制移动体对地毯进行延边(或称沿边)移动。
然而，在躲避地毯边的场景中，由于地毯的形状、图案、色彩等是不固定的，尤其是地毯的形状大多是不规则的，甚至存在地毯的颜色与地面的颜色接近或相同的情况，难以准确识别地毯区域。在实际场景中，常常出现对地毯区域的识别不完整或识别错误的情况，导致对移动体的移动控制并没有完全地避开地毯区域或准确地进行地毯延边移动，易出现频繁碾压地毯而造成地毯的污染。
为了至少部分解决上述问题，在本实施例中，移动体上可以安装有用于进行图像采集的图像采集部件，可以使用图像采集部件对所在区域内的环境进行检测，从而获取到区域采集图像。图像采集部件可以是单目相机、双目相机等，其采集方向可以与重力方向呈现一定夹角，以保证能够采集到移动体前方、侧前方等可能影响到移动体移动的方向上的图像，即，图像采集部件的采集方向为向前的方向。除了地毯以外，本实施例中提供的检测方法同样适用于有固定特征的其他物体。
在本实施例中，可以对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果。这里，第一检测结果可以用于指示目标对象的对象区域，其可以是由AI(Artificial Intelligence，人工智能)检测识别模块得到的检测结果，即，AI检测结果。
上述对象检测的方法可以是对区域采集图像中的各个对象进行的图像分割、并基于分割结果进行对象检测的方法。图像分割方法可以是结合检测结果的传统分割，先在图像中确定出边界框，将边界框内的图像中不同分属不同物体的像素区域分开；也可以是基于深度学习的语义分割，在传统分割的基础上，分类出每一块区域的语义(即，这块区域是什么物体)，为图像中的每个像素分配一个类别；还可以是实例分割，利用目标检测和语义分割的结果，通过目标检测提供的目标最高置信度类别的索引，把一个类别里具体的一个个对象(具体的一个个例子)分割出来。本实施例对此不做限定。
步骤S204，将第一检测结果与移动体上的感知传感器所检测到的区域点云数据进行融合，得到目标对象的第二检测结果，其中，第二检测结果用于指示更新后的目标对象的对象区域。
上述第一检测结果是对区域采集图像进行对象检测得到的，由于可能存在颜色、形状等图像特征上与目标对象接近的非目标对象，导致第一检测结果所指示的目标对象的对象区域中存在错误的情况，即，将非目标对象的对象区域识别为目标对象的对象区域。
为了提高目标对象的对象区域确定的准确性，在本实施例中，可以将第一检测结果与区域点云数据进行融合，通过区域点云数据对第一检测结果进行校正，得到校正后的检测结果，即，第二检测结果，第二检测结果可以用于指示更新后的目标对象的对象区域。
上述区域点云数据可以是由移动体上安装的感知传感器采集到的。这里，感知传感器可以是激光传感器，例如，点激光传感器、线激光传感器等。通过感知传感器，可以对移动体所在区域进行采集，得到区域点云数据。感知传感器可以设置在移动体的前侧或者其他能够采集到移动体前侧区域的点云数据的位置。
上述融合过程可以是一个匹配、校验加融合的过程。可选地，在第一识别结果中指示的目标对象的对象区域，在区域点云数据中同一位置不存在目标对象的点云数据的情况下，可以认为第一识别结果中该对象区域不属于目标对象，第一识别结果为误检。
步骤S206，在根据第二检测结果确定存在目标对象的情况下，根据第二检测结果所指示的对象区域控制移动体对目标对象执行预设操作。
在本实施例中，基于第二检测结果可以确定是否检测到目标对象。如果根据第二检测结果确定存在目标对象，可以根据第二检测结果所指示的目标对象的对象区域控制移动体对目标对象执行预设操作。如果根据第二检测结果确定不存在目标对象，则可以按照原本的移动路径控制移动体继续移动。
上述预设操作可以根据移动体执行的任务需求确定的，可以包括但不限于避障操作、延边操作等。例如，在移动体执行的工作任务为配送任务的情况下，预设操作可以是避障操作，即，避开目标对象的操作。在移动体的工作任务为清洁任务的情况下，预设操作可以是延边操作，即，沿着目标对象的边缘进行清洁的操作。
通过上述步骤S202至步骤S206，对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，第一检测结果用于指示目标对象的对象区域；将第一检测结果与移动体上的感知传感器所检测到的区域点云数据进行融合，得到目标对象的第二检测结果，其中，第二检测结果用于指示更新后的目标对象的对象区域；在根据第二检测结果确定存在目标对象的情况下，根据第二检测结果所指示的对象区域控制移动体对目标对象执行预设操作，可以解决相关技术中的移动体的控制方法存在由于障碍物区域识别的准确性低导致的移动体控制的灵活性差的问题，提高了移动体控制的灵活性。
在一个示例性实施例中，在对移动体上的图像采集部件采集的区域采集图像进行对象检测之前，上述方法还包括：
S11，通过移动体上的超声波传感器进行对象检测，得到目标对象的第三检测结果，其中，第三检测结果用于指示是否检测到目标对象；
S12，在第三检测结果用于指示检测到目标对象的情况下，触发对区域采集图像进行对象检测。
在本实施例中，对区域采集图像的对象检测，可以是在通过超声波传感器检测到目标对象的情况下触发的，这里，检测到的目标对象可以是实际的目标对象，也可以非目标对象。超声波传感器可以安装在移动体上，超声波传感器可以设置在移动体的底部或者其他位置。通过超声波传感器对目标区域进行对象检测，得到第三检测结果，该检测结果可以用于指示是否检测到目标对象。这里，超声波传感器可以是将超声波信号转换成其它能量信号(通常是电信号)的传感器。
在第三检测结果用于指示检测到目标对象的情况下，可以触发对区域采集图像进行对象检测。例如，以AI检测识别模块进行对象检测为例，在清扫过程中，基于超声波检测，实现地毯边缘的检测，并触发AI检测识别模块，进行感兴趣目标对象(即，地毯)的检测识别。
通过本实施例，在超声波传感器检测到目标对象时，触发对区域采集图像的对象检测，可以避免不存在目标对象时进行对象检测造成的资源浪费，保证对象检测的及时性，从而提高移动体控制的灵活性。
在一个示例性实施例中，通过移动体上的超声波传感器进行对象检测，得到目标对象的第三检测结果，包括：
S21，通过超声波传感器向移动体的下侧发射超声波信号，得到超声波信号的回波信号；
S22，在回波信号的信号参数大于或者等于预设参数阈值的情况下，确定未检测到目标对象；
S23，在回波信号的信号参数小于预设参数阈值的情况下，确定检测到目标对象。
由于目标对象的材料与地面及其他障碍物不同，超声波在目标对象和地面产生的回波有较大的区别，可以预先设定参数阈值，即，预设参数阈值，用于根据超声波回波信号确定是否检测到目标对象。例如，以地毯为目标对象为例，超声波在地毯上产生的回波的信号参数可以小于在地面产生的回波的信号参数。
在本实施例中，通过超声波传感器向移动体的下侧发射超声波信号，可以得到超声波信号的回波信号。在回波信号的信号参数大于或者等于预设参数阈值的情况下，可以确定未检测到目标对象。在回波信号的信号参数小于预设参数阈值的情况下，可以确定检测到目标对象。这里，信号参数可以是信号的能量等参数。
通过本实施例，通过回波信号的信号参数相比预设参数阈值的大小确定是否检测到目标对象，可以提高目标对象检测的准确性，进而提高移动体控制的灵活性。
在一个示例性实施例中，回波信号的信号参数可以包含信号能量，预设参数阈值可以是预设能量值。对应地，在回波信号的信号参数大于或者等于预设参数阈值的情况下，确定未检测到目标对象，包括：在回波信号的能量值大于或者等于预设能量阈值的情况下，确定未检测到目标对象，而在回波信号的信号参数小于预设参数阈值的情况下，确定检测到目标对象，包括：在回波信号的能量值小于预设能量阈值的情况下，确定检测到目标对象。
通过本实施例，通过比较回波信号的能量值和预设能量值确定是否检测到目标对象，可以提高目标对象检测的便捷性。
在一个示例性实施例中，对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，包括：
S41，对区域采集图像进行感兴趣区域检测，得到目标对象的边界框；
S42，通过对区域采集图像中位于目标对象的边界框中的采集图像进行图像分割，得到目标对象的对象区域。
对区域采集图像进行的对象检测可以是通过分割算法完成的，分割算法可以是Grabcut(图像分割算法中的一种)算法，Grabcut算法易于部署，计算复杂度低，适用于性能较低的计算设备。通过进行区域分割，可以框选出感兴趣对象所在的区域，得到感兴趣区域(Region of Interest，ROI)，感兴趣区域可以通过边界框所框选出的，基于边界框，可以剔除边界框以外的图像信息，得到感兴趣对象所在的区域。
在本实施例中，可以对区域采集图像进行感兴趣区域检测，得到目标对象的边界框。这里，感兴趣区域检测可以是对感兴趣目标对象的区域检测。边界框可以是区域采集图像上、对目标对象的图像区域做出的识别框，其形状可以是矩形的，可以用于进一步限定或缩小图像的处理区域。
在得到目标对象的边界框之后，可以通过对区域采集图像中位于目标对象的边界框中的采集图像进行图像分割，得到目标对象的对象区域。在对边界框中的采集图像进行图像分割的过程中，可以默认采集图像中边界框中部的图像作为主体参考，保留和主题差异较小的部分，即前景，剔除和主体差异较大的部分，即背景。
可选地，分割完成后，提取出的边界框中的前景对象(即，目标对象)的位置mask(掩膜)信息为目标对象的对象区域。这里，掩膜可以是由0和1组成的二进制图像，可以用于覆盖或遮挡待处理图像。当在某一功能中应用掩模时，1值区域被处理，被屏蔽的0值区域不被包括在计算中。可以通过指定的数据值、数据范围、有限或无限值、感兴趣区和注释文件中的一项或多项的任意组合来定义图像掩模。
通过本实施例，在进行感兴趣区域检测，得到边界框之后，对边界框内的图像区域进行图像分割，从而得到目标对象的对象区域，可以以较小的计算量确定出准确的对象区域。
在一个示例性实施例中，对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，包括：
S51，对区域采集图像进行图像分割，得到区域采集图像中的一组候选对象中的每个候选对象的对象区域；
S52，将目标对象的对象特征与每个候选对象的对象特征进行匹配，得到一组候选对象中与目标对象匹配的匹配对象；
S53，将匹配对象的对象区域，确定为目标对象的对象区域。
在对移动体上的图像采集部件采集的区域采集图像进行对象检测时，可以对区域采集图像进行图像分割，得到区域采集图像中的一组候选对象中的每个候选对象的对象区域。这里，候选对象可以是区域采集图像中的对象。一组候选对象可以包括区域采集图像中的一个或多个对象。上述图像分割的操作可以是通过基于深度学习的图像分割算法完成的。上述基于深度学习的图像分割算法，由于其具有端到端的特性，可以直接给出单帧图像中目标对象的掩膜信息，计算速度较快，适用于性能较高的计算设备。
基于深度学习的图像分割算法可以是语义分割算法，可以包括但不限于BiSeNet(Bilateral Segmentation Network双边分割网络)算法、DFANet(Deep FeatureAggregation Network，深度特征聚合)算法等在内的语义分割算法、以及在这些语义分割算法的基础上优化的语义分割算法，也可以是实例分割算法，包括但不限于SOLO v1-v2(Segmenting Objects by Locations code v1-v2，按位置分割对象第一版本和第二版本)、YOLACT(You Only Look At Coefficien Ts，实时实例分割算法)、Sparseinst(SparseInstance Activation，稀疏实例激活)等在内的实例分割算法、以及在这些实例分割算法的基础上优化的实例分割算法。
区域采集图像中可以同时存在包括目标对象在内的多个对象，可以根据目标对象的对象特征，从一组候选对象中选出目标对象。这里，对象特征可以是面积、高度、轮廓等特征。例如，以目标对象为地毯为例，在室内环境中，相比于地面上的其他物体的面积，地毯的面积一般较大，可以基于对象面积选取目标对象。
在本实施例中，可以将目标对象的对象特征与每个候选对象的对象特征进行匹配，得到一组候选对象中与目标对象匹配的匹配对象，并将匹配对象的对象区域，确定为目标对象的对象区域。
通过本实施例，通过对区域采集图像进行图像分割，得到一组候选对象，并在一组候选对象中根据对象特征确定目标对象的对象区域，可以提高对象区域确定的速度和准确性。
在一个示例性实施例中，对区域采集图像进行图像分割，得到区域采集图像中的一组候选对象中的每个候选对象的对象区域，包括：
S61，对区域采集图像进行语义分割，得到每个候选对象的对象区域；或者，
S62，对区域采集图像进行实例分割，得到每个候选对象的对象区域。
对区域采集图像进行图像分割可以选择语义分割的方法，也可以选择实例分割的方法。采用两种分割方法中的任一方法，均可以在区域采集图像中得到每个候选对象的对象区域。
可选地，可以对区域采集图像进行语义分割，得到区域采集图像中不同类别对象的对象区域，尽管语义分割将属于同一类像素的多个对象分为了一类，但本实施例仅需要确定出目标对象的对象区域，不需要确定区域采集图像中实际有多少个对象，故语义分割对确定目标对象的对象区域的准确性没有较大影响。
可选地，可以对区域采集图像进行实例分割，得到区域采集图像中每个对象的对象区域。实例分割的方式与类型与前述实施例中类似，在此不做赘述。
通过本实施例，通过对区域采集图像进行语义分割或者实例分割确定目标对象的对象区域，可以提高对象区域确定的速度和准确性。
在一个示例性实施例中，在对区域采集图像进行图像分割，得到区域采集图像中的一组候选对象中的每个候选对象的对象区域之后，上述方法还包括：
S71，对一组候选对象的对象区域中区域面积小于或者等于预设面积阈值的对象区域执行过滤操作，得到过滤后的一组候选对象的对象区域。
对于进行图像分割得到的一组候选对象的对象区域，可以针对每个候选对象的对象区域，分别执行目标对象的对象特征与候选对象的对象特征的匹配操作。考虑到地毯的面积通常较大，对于一组候选对象的对象区域中，区域面积较小的对象区域，其包含目标对象的概率极低，针对这些面积较小的对象区域执行上述匹配操作，不仅会影响对象检测的速度，同时会造成计算资源的浪费。
在本实施例中，在执行上述匹配操作之前，可以对一组候选对象的对象区域中区域面积小于或者等于预设面积阈值的对象区域执行过滤操作，即，过滤掉区域面积小于或者等于预设面积阈值的对象区域，保留区域面积大于预设面积阈值的对象区域，从而得到过滤后的一组候选对象的对象区域。在得到过滤后的一组候选对象的对象区域之后，再对过滤后的每个候选对象的对象区域执行上述匹配操作，可以在保证对象检测的准确性的同时，提高对象检测速度以及计算资源利用的合理性。
通过本实施例，根据面积大小对对象区域执行过滤操作，可以在保证对象检测的准确性的同时，提高对象检测速度以及计算资源利用的合理性。
在一个示例性实施例中，上述方法还包括：
S81，通过移动体上的线激光传感器持续进行线激光扫描，得到区域点云数据。
在本实施例中，前述感知传感器可以是线激光传感器，在移动体的运行过程中，移动体上的线激光传感器可以持续进行线激光扫描。通过对持续的线激光扫描所得到的点云数据进行融合，可以得到上述区域点云数据。
上述线激光传感器可以使用激光三角测量原理,对不同被测物体表面进行二维轮廓扫描，其激光束可以被一组特定透镜放大以形成一条静态激光线，投射到被测物表面上。
通过本实施例，通过线激光传感器获取区域点云数据，可以提高点云数据的获取效率。
在一个示例性实施例中，对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，包括：
S91，对区域采集图像进行对象检测，得到目标对象的一组对象区域；
S92，对一组对象区域中区域面积小于或者等于预设面积阈值的对象区域执行过滤操作，得到目标对象的对象区域。
在本实施例中，可以对区域采集图像进行对象检测，得到目标对象的一组对象区域，即，可能检测到目标对象的一个对象区域，也可能检测到目标对象的多个对象区域，其中，检测到的对象区域可能是一个实际的目标对象所在的区域，也可能是一个非目标对象所在的区域(即，该区域内实际上并没有目标对象)。
为了提高目标对象检测的准确性，在得到目标对象的一组对象区域之后，可以对每个对象区域进行验证。验证的方式可以是：基于区域面积判断是否是一个实际的目标对象所在的区域。可以预先设置一个区域面积阈值，即，预设面积阈值，基于一组对象区域中的每个对象区域的区域面积是否小于或者等于预设面积阈值进行对象区域过滤，即，过滤掉区域面积小于或者等于预设面积阈值的对象区域，得到目标对象的对象区域。
可选地，对于前述在确定边界框后进行语义分割得到目标对象的对象区域的方法，可以是在确定边界框后，对边界框内的图像进行阈值过滤，根据边界框内的图像中独立对象的面积大小，过滤面积较小的识别结果，再进行图像分割，确定出目标对象的对象区域。
可选地，对于前述直接对区域采集图像进行语义分割或实例分割得到目标对象的对象区域的方法，可以是在完成分割操作后，根据分割后产生的各个连通域的面积大小，过滤面积较小的连通域，以去除较小面积的识别结果，得到目标对象的对象区域。这里，连通域可以是图像中具有相同像素值并且位置相邻的像素组成的区域。
通过本实施例，根据面积大小对对象区域执行过滤操作，可以提高目标对象的对象区域确定的准确性。
在一个示例性实施例中，将第一检测结果与移动体上的感知传感器所检测到的区域点云数据进行融合，得到目标对象的第二检测结果，包括：
S101，基于第一检测结果所指示的对象区域对区域点云数据进行对象识别，得到目标对象的参考识别结果；
S102，在参考识别结果指示在第一检测结果所指示的对象区域中识别到目标对象的情况下，将第一检测结果所指示的对象区域确定为目标对象的对象区域；
S103，在参考识别结果指示在第一检测结果所指示的对象区域中未识别到目标对象的情况下，滤除第一检测结果所指示的对象区域。
通过进行第一检测结果和区域点云数据的融合，可以实现对第一检测结果误检的过滤。在本实施例中，基于第一检测结果所指示的对象区域可以对区域点云数据进行对象识别，得到目标对象的参考识别结果。例如，可以对第一检测结果所指示的对象区域内的点云数据进行对象识别，对于除了第一检测结果所指示的对象区域以外的其他区域内的点云数据可以直接忽略，从而得到上述参考识别结果。
在参考识别结果指示在第一检测结果所指示的对象区域中识别到目标对象的情况下，可以将第一检测结果所指示的对象区域确定为目标对象的对象区域。在参考识别结果指示在第一检测结果所指示的对象区域中未识别到目标对象的情况下，可以确定第一检测结果所指示的对象区域为误检，实际位置中并不存在目标对象，可以滤除第一检测结果所指示的对象区域。
例如，以目标对象为地毯为例，第一检测结果为AI检测结果，在产生AI检测结果后，将AI检测结果与线激光点云进行融合，利用线激光过滤AI误检(即不是地毯的区域被误识别为地毯)，若某一帧AI检测结果识别到了地毯，但是线激光在该位置的识别结果为非地毯，则滤除该地毯。
通过本实施例，通过检测结果所指示的对象区域进行点云数据的对象识别，并基于识别结果进行对象区域的校验，可以提高目标对象的对象区域确定的准确性。
在一个示例性实施例中，根据第二检测结果所指示的对象区域控制移动体对目标对象执行预设操作，包括：
S111，通过移动体上的测距传感器对目标对象执行测距操作，得到目标对象与移动体之间的相对位置；
S112，根据目标对象与移动体之间的相对位置以及移动体在世界坐标系中的位置坐标，确定目标对象区域信息，其中，目标对象区域信息为对象区域在世界坐标系中的区域坐标；
S113，根据目标对象区域信息对移动体执行路径规划操作，得到移动体的移动路径；
S114，根据移动路径，控制移动体对目标对象执行预设操作。
在得到第二检测结果之后，可以根据第二检测结果指示的对象区域确定目标对象的真实位置，并根据目标对象的真实位置，进行移动体的路径规划。这里的真实位置可以是目标对象在世界坐标系下所在的位置区域，世界坐标系可以是固定坐标系，其可以与以移动体启动时所在的位置为坐标原点的坐标系。世界坐标系可以与移动体内置的区域地图的地图坐标系重合。
在本实施例中，可以通过移动体上的测距传感器对目标对象执行测距操作，得到目标对象与移动体之间的相对位置。这里，测距传感器可以是移动体上用于测量距离的传感器，例如，LSD(Laser Distance Sensor，激光测距传感器)传感器。测距传感器可以设置在移动体的左前侧、右前侧或者其他可以对移动体一侧的障碍物进行检测的位置。
根据得到的目标对象与移动体之间的相对位置以及移动体在世界坐标系中的位置坐标，可以确定目标对象区域信息。这里，目标对象区域信息可以是对象区域在世界坐标系中的区域坐标。根据目标对象区域信息可以对移动体执行路径规划操作，得到移动体的移动路径，规划的移动路径可以是与预设操作匹配的移动路径，例如，可以是绕开目标对象的移动路径，可以是对沿着目标对象的边缘移动的路径，按照规划的移动路径，可以控制移动体对目标对象执行预设操作。
通过本实施例，基于移动体与目标对象的相对位置、以及移动体在世界坐标系下的位置确定目标对象所在的位置区域，以对移动体进行路径规划，可以提高移动体控制的准确性。
在一个示例性实施例中，根据第二检测结果所指示的对象区域控制移动体对目标对象执行预设操作，包括：
S121，根据第二检测结果所指示的对象区域控制移动体对目标对象执行避障操作；或者，
S122，根据第二检测结果所指示的对象区域控制移动体对目标对象执行延边操作。
控制移动体对目标对象执行的预设操作可以有多种，可以包括但不限于以下之一：避障操作，延边操作。与前述实施例中类似的，预设操作的选择可以是根据移动体在移动过程中需要完成的任务决定的。已经进行过说明的，在此不做赘述。
可选地，在移动体主要执行配送任务或者不执行任何任务，仅是需要经过目标对象到达目的地的情况下，可以根据第二检测结果所指示的对象区域，为移动体进行路径规划，以控制移动体对目标对象执行避障操作，避开目标对象所在的对象区域。
可选地，在移动体主要执行清洁任务的情况下，为了对目标对象的对象区域进行清洁，可以根据第二检测结果所指示的对象区域，为移动体进行路径规划，以控制移动体对目标对象执行延边操作，沿着目标对象的边缘进行移动并执行清洁操作。
通过本实施例，根据确定的目标对象的对象区域，控制移动体执行避障操作或者延边操作，可以提高移动体控制的灵活性。
下面结合可选示例对本申请实施例中的移动体的控制方法进行解释说明。在本可选示例中，移动体为扫地机，目标对象为地毯。
本可选示例提供了一种结合AI的地毯延边方案，基于语义视觉分析的方法，结合线激光和超声波等多种信号并配合相应的规划逻辑，实现顺畅地地毯延边躲避。如图3所示，本可选示例中的移动体的控制方法的流程可以包括以下步骤：
步骤1，在清扫过程中，使用超声波检测，在检测到地毯边缘的情况下，触发AI检测识别模块。这里，通过超声波检测到地毯边缘是指：在超声波信号的回波信号的能量值小于预设能量阈值时，判定检测到地毯边缘，检测到的地毯边缘可能是实际的地毯边缘，也可能是误检测的地毯边缘(在此情况下，不存在地毯边缘)。
步骤2，AI检测识别模块进行地毯的AI检测，输出AI地毯检测结果，这里，AI检测是在超声波识别到地毯边缘之后，针对图像采集部件所采集到的图像执行的，输出的AI地毯检测结果可以用于指示在图像采集部件的当前视野中的地毯区域。
AI检测识别模块进行AI检测的方式有两种，分别为：方案一，进行AI目标检测，对识别结果进行阈值过滤(过滤面积较小识别结果)，并进行语义分割(例如，grabcut/graphcut)，得到AI地毯检测结果；方案二，使用基于深度学习的AI分割(语义分割或实例分割)，进行误差过滤(去除较小面积的识别结果)后，得到AI地毯检测结果。
步骤3，将线激光点云与AI地毯检测结果进行数据融合，得到数据融合后的检测结果，数据融合后的检测结果可以是根据线激光点云对AI地毯检测结果所指示的地毯区域内是否存在地毯进行校验后所得到的结果。
步骤4，在数据融合的检测结果指示存在地毯的情况下，根据测距模块(单目测距)的信息，确定地毯在世界坐标系中的区域位置。
步骤5，通过路径规划模块根据识别到的地毯区域信息完成相应的避障或延边动作。
通过本可选示例，将语义分割算法确定的检测结果与线激光点云信息进行匹配校验和融合，可以避免误检，提高地毯检测识别的准确性；此外，在确定地毯区域后触发对地毯区域位置的测量，根据得到的地毯区域信息规划相应的避障或延边动作，可以提高扫地机控制的灵活性。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述移动体的控制方法的移动体的控制装置。图4是根据本申请实施例的一种可选的移动体的控制装置的结构框图，如图4所示，该装置可以包括：
第一检测单元402，用于对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，第一检测结果用于指示目标对象的对象区域；
融合单元404，与第一检测单元402相连，用于将第一检测结果与移动体上的感知传感器所检测到的区域点云数据进行融合，得到目标对象的第二检测结果，其中，第二检测结果用于指示更新后的目标对象的对象区域；
控制单元406，与融合单元404相连，用于在根据第二检测结果确定存在目标对象的情况下，根据第二检测结果所指示的对象区域控制移动体对目标对象执行预设操作。
需要说明的是，该实施例中的第一检测单元402可以用于执行上述步骤S202，该实施例中的融合单元404可以用于执行上述步骤S204，该实施例中的控制单元406可以用于执行上述步骤S206。
通过上述模块，对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，第一检测结果用于指示目标对象的对象区域；将第一检测结果与移动体上的感知传感器所检测到的区域点云数据进行融合，得到目标对象的第二检测结果，其中，第二检测结果用于指示更新后的目标对象的对象区域；在根据第二检测结果确定存在目标对象的情况下，根据第二检测结果所指示的对象区域控制移动体对目标对象执行预设操作，可以解决相关技术中的移动体的控制方法存在由于障碍物区域识别的准确性低导致的移动体控制的灵活性差的问题，提高了移动体控制的灵活性。
在一个示例性实施例中，上述装置还包括：
第二检测单元，用于在对移动体上的图像采集部件采集的区域采集图像进行对象检测之前，通过移动体上的超声波传感器进行对象检测，得到目标对象的第三检测结果，其中，第三检测结果用于指示是否检测到目标对象；
触发单元，用于在第三检测结果用于指示检测到目标对象的情况下，触发对区域采集图像进行对象检测。
在一个示例性实施例中，第二检测单元包括：
发射模块，用于通过超声波传感器向移动体的下侧发射超声波信号，得到超声波信号的回波信号；
第一确定模块，用于在回波信号的信号参数大于或者等于预设参数阈值的情况下，确定未检测到目标对象；
第二确定模块，用于在回波信号的信号参数小于预设参数阈值的情况下，确定检测到目标对象。
在一个示例性实施例中，第一确定模块包括：第一确定子模块，用于在回波信号的能量值大于或者等于预设能量阈值的情况下，确定未检测到目标对象；
第二确定模块包括：第二确定子模块，用于在回波信号的能量值小于预设能量阈值的情况下，确定检测到目标对象。
在一个示例性实施例中，第一检测单元包括：
第一检测模块，用于对区域采集图像进行感兴趣区域检测，得到目标对象的边界框；
第一分割模块，用于通过对区域采集图像中位于目标对象的边界框中的采集图像进行图像分割，得到目标对象的对象区域。
在一个示例性实施例中，第一检测单元包括：
第二分割模块，用于对区域采集图像进行图像分割，得到区域采集图像中的一组候选对象中的每个候选对象的对象区域；
匹配模块，用于将目标对象的对象特征与每个候选对象的对象特征进行匹配，得到一组候选对象中与目标对象匹配的匹配对象；
第三确定模块，用于将匹配对象的对象区域，确定为目标对象的对象区域。
在一个示例性实施例中，第二分割模块包括：
第一分割子模块，用于对区域采集图像进行语义分割，得到每个候选对象的对象区域；或者，
第二分割子模块，用于对区域采集图像进行实例分割，得到每个候选对象的对象区域。
在一个示例性实施例中，上述装置还包括：
执行单元，用于在对区域采集图像进行图像分割，得到区域采集图像中的一组候选对象中的每个候选对象的对象区域之后，对一组候选对象的对象区域中区域面积小于或者等于预设面积阈值的对象区域执行过滤操作，得到过滤后的一组候选对象的对象区域。
在一个示例性实施例中，上述装置还包括：
扫描单元，用于通过移动体上的线激光传感器持续进行线激光扫描，得到区域点云数据。
在一个示例性实施例中，第一检测单元包括：
第二检测模块，用于对区域采集图像进行对象检测，得到目标对象的一组对象区域；
第一执行模块，用于对一组对象区域中区域面积小于或者等于预设面积阈值的对象区域执行过滤操作，得到目标对象的对象区域。
在一个示例性实施例中，融合单元包括：
识别模块，用于基于第一检测结果所指示的对象区域对区域点云数据进行对象识别，得到目标对象的参考识别结果；
第四确定模块，用于在参考识别结果指示在第一检测结果所指示的对象区域中识别到目标对象的情况下，将第一检测结果所指示的对象区域确定为目标对象的对象区域；
滤除模块，用于在参考识别结果指示在第一检测结果所指示的对象区域中未识别到目标对象的情况下，滤除第一检测结果所指示的对象区域。
在一个示例性实施例中，控制单元包括：
第二执行模块，用于通过移动体上的测距传感器对目标对象执行测距操作，得到目标对象与移动体之间的相对位置；
第五确定模块，用于根据目标对象与移动体之间的相对位置以及移动体在世界坐标系中的位置坐标，确定目标对象区域信息，其中，目标对象区域信息为对象区域在世界坐标系中的区域坐标；
第三执行模块，用于根据目标对象区域信息对移动体执行路径规划操作，得到移动体的移动路径；
控制模块，用于根据移动路径，控制移动体对目标对象执行预设操作。
在一个示例性实施例中，控制单元包括：
第四执行模块，用于根据第二检测结果所指示的对象区域控制移动体对目标对象执行避障操作；或者，
第五执行模块，用于根据第二检测结果所指示的对象区域控制移动体对目标对象执行延边操作。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行本申请实施例中上述任一项移动体的控制方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
S1，对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，第一检测结果用于指示目标对象的对象区域；
S2，将第一检测结果与移动体上的感知传感器所检测到的区域点云数据进行融合，得到目标对象的第二检测结果，其中，第二检测结果用于指示更新后的目标对象的对象区域；
S3，在根据第二检测结果确定存在目标对象的情况下，根据第二检测结果所指示的对象区域控制移动体对目标对象执行预设操作。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
根据本申请实施例的又一个方面，还提供了一种用于实施上述移动体的控制方法的电子装置，该电子装置可以是服务器、终端、或者其组合。
图5是根据本申请实施例的一种可选的电子装置的结构框图，如图5所示，包括处理器502、通信接口504、存储器506和通信总线508，其中，处理器502、通信接口504和存储器506通过通信总线508完成相互间的通信，其中，
存储器506，用于存储计算机程序；
处理器502，用于执行存储器506上所存放的计算机程序时，实现如下步骤：
S1，对移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，第一检测结果用于指示目标对象的对象区域；
S2，将第一检测结果与移动体上的感知传感器所检测到的区域点云数据进行融合，得到目标对象的第二检测结果，其中，第二检测结果用于指示更新后的目标对象的对象区域；
S3，在根据第二检测结果确定存在目标对象的情况下，根据第二检测结果所指示的对象区域控制移动体对目标对象执行预设操作。
可选地，在本实施例中，通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子装置与其他设备之间的通信。
上述的存储器可以包括RAM，也可以包括非易失性存储器(non-volatilememory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例，上述存储器506中可以但不限于包括上述移动体的控制装置中的第一检测单元402、融合单元404和控制单元406。此外，还可以包括但不限于上述移动体的控制装置中的其他模块单元，本示例中不再赘述。
上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图5所示的结构仅为示意，实施上述移动体的控制方法的设备可以是终端设备，该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图5其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图5中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图5所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (16)
1.一种移动体的控制方法，其特征在于，包括：
对所述移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，所述第一检测结果用于指示所述目标对象的对象区域；
将所述第一检测结果与所述移动体上的感知传感器所检测到的区域点云数据进行融合，得到所述目标对象的第二检测结果，其中，所述第二检测结果用于指示更新后的所述目标对象的对象区域；
在根据所述第二检测结果确定存在所述目标对象的情况下，根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行预设操作。
2.根据权利要求1所述的方法，其特征在于，在所述对所述移动体上的图像采集部件采集的区域采集图像进行对象检测之前，所述方法还包括：
通过所述移动体上的超声波传感器进行对象检测，得到所述目标对象的第三检测结果，其中，所述第三检测结果用于指示是否检测到所述目标对象；
在所述第三检测结果用于指示检测到所述目标对象的情况下，触发对所述区域采集图像进行对象检测。
3.根据权利要求2所述的方法，其特征在于，所述通过所述移动体上的超声波传感器进行对象检测，得到所述目标对象的第三检测结果，包括：
通过所述超声波传感器向所述移动体的下侧发射超声波信号，得到所述超声波信号的回波信号；
在所述回波信号的信号参数大于或者等于预设参数阈值的情况下，确定未检测到所述目标对象；
在所述回波信号的信号参数小于所述预设参数阈值的情况下，确定检测到所述目标对象。
4.根据权利要求3所述的方法，其特征在于，
所述在所述回波信号的信号参数大于或者等于预设参数阈值的情况下，确定未检测到所述目标对象，包括：在所述回波信号的能量值大于或者等于预设能量阈值的情况下，确定未检测到所述目标对象；
所述在所述回波信号的信号参数小于所述预设参数阈值的情况下，确定检测到所述目标对象，包括：在所述回波信号的能量值小于所述预设能量阈值的情况下，确定检测到所述目标对象。
5.根据权利要求1所述的方法，其特征在于，所述对所述移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，包括：
对所述区域采集图像进行感兴趣区域检测，得到所述目标对象的边界框；
通过对所述区域采集图像中位于所述目标对象的边界框中的采集图像进行图像分割，得到所述目标对象的对象区域。
6.根据权利要求1所述的方法，其特征在于，所述对所述移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，包括：
对所述区域采集图像进行图像分割，得到所述区域采集图像中的一组候选对象中的每个候选对象的对象区域；
将所述目标对象的对象特征与所述每个候选对象的对象特征进行匹配，得到所述一组候选对象中与所述目标对象匹配的匹配对象；
将所述匹配对象的对象区域，确定为所述目标对象的对象区域。
7.根据权利要求6所述的方法，其特征在于，所述对所述区域采集图像进行图像分割，得到所述区域采集图像中的一组候选对象中的每个候选对象的对象区域，包括：
对所述区域采集图像进行语义分割，得到所述每个候选对象的对象区域；或者，
对所述区域采集图像进行实例分割，得到所述每个候选对象的对象区域。
8.根据权利要求6所述的方法，其特征在于，在所述对所述区域采集图像进行图像分割，得到所述区域采集图像中的一组候选对象中的每个候选对象的对象区域之后，所述方法还包括：
对所述一组候选对象的对象区域中区域面积小于或者等于预设面积阈值的对象区域执行过滤操作，得到过滤后的所述一组候选对象的对象区域。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述移动体上的线激光传感器持续进行线激光扫描，得到所述区域点云数据。
10.根据权利要求1所述的方法，其特征在于，所述对所述移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，包括：
对所述区域采集图像进行对象检测，得到所述目标对象的一组对象区域；
对所述一组对象区域中区域面积小于或者等于预设面积阈值的对象区域执行过滤操作，得到所述目标对象的对象区域。
11.根据权利要求1所述的方法，其特征在于，所述将所述第一检测结果与所述移动体上的感知传感器所检测到的区域点云数据进行融合，得到所述目标对象的第二检测结果，包括：
基于所述第一检测结果所指示的对象区域对所述区域点云数据进行对象识别，得到所述目标对象的参考识别结果；
在所述参考识别结果指示在所述第一检测结果所指示的对象区域中识别到所述目标对象的情况下，将所述第一检测结果所指示的对象区域确定为所述目标对象的对象区域；
在所述参考识别结果指示在所述第一检测结果所指示的对象区域中未识别到所述目标对象的情况下，滤除所述第一检测结果所指示的对象区域。
12.根据权利要求1至11中任一项所述的方法，其特征在于，所述根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行预设操作，包括：
通过所述移动体上的测距传感器对所述目标对象执行测距操作，得到所述目标对象与所述移动体之间的相对位置；
根据所述目标对象与所述移动体之间的相对位置以及所述移动体在世界坐标系中的位置坐标，确定目标对象区域信息，其中，所述目标对象区域信息为所述对象区域在所述世界坐标系中的区域坐标；
根据所述目标对象区域信息对所述移动体执行路径规划操作，得到所述移动体的移动路径；
根据所述移动路径，控制所述移动体对所述目标对象执行预设操作。
13.根据权利要求1至11中任一项所述的方法，其特征在于，所述根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行预设操作，包括：
根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行避障操作；或者，
根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行延边操作。
14.一种移动体的控制装置，其特征在于，包括：
第一检测单元，用于对所述移动体上的图像采集部件采集的区域采集图像进行对象检测，得到目标对象的第一检测结果，其中，所述第一检测结果用于指示所述目标对象的对象区域；
融合单元，用于将所述第一检测结果与所述移动体上的感知传感器所检测到的区域点云数据进行融合，得到所述目标对象的第二检测结果，其中，所述第二检测结果用于指示更新后的所述目标对象的对象区域；
控制单元，用于在根据所述第二检测结果确定存在所述目标对象的情况下，根据所述第二检测结果所指示的对象区域控制所述移动体对所述目标对象执行预设操作。
15.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至13中任一项所述的方法。
16.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至13中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211235527.3A CN117908526A (zh) | 2022-10-10 | 2022-10-10 | 移动体的控制方法和装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211235527.3A CN117908526A (zh) | 2022-10-10 | 2022-10-10 | 移动体的控制方法和装置、存储介质及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117908526A true CN117908526A (zh) | 2024-04-19 |
Family
ID=90688270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211235527.3A Pending CN117908526A (zh) | 2022-10-10 | 2022-10-10 | 移动体的控制方法和装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117908526A (zh) |
-
2022
- 2022-10-10 CN CN202211235527.3A patent/CN117908526A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10366310B2 (en) | Enhanced camera object detection for automated vehicles | |
| JP6710426B2 (ja) | 障害物検出方法及び装置 | |
| CN110989631B (zh) | 自移动机器人控制方法、装置、自移动机器人和存储介质 | |
| CN110114692B (zh) | 一种地面环境的检测方法和装置 | |
| WO2019179442A1 (zh) | 智能设备的交互目标确定方法和装置 | |
| CN111753609B (zh) | 一种目标识别的方法、装置及摄像机 | |
| CN110865393A (zh) | 基于激光雷达的定位方法及***、存储介质和处理器 | |
| CN110442120B (zh) | 控制机器人在不同场景下移动的方法、机器人及终端设备 | |
| CN112180931B (zh) | 扫地机的清扫路径规划方法、装置及可读存储介质 | |
| EP3719697A1 (en) | Method and device for determining whether a hand cooperates with a manual steering element of a vehicle | |
| WO2020127151A1 (en) | Method for improved object detection | |
| Ray et al. | Dynamic blindspots measurement for construction equipment operators | |
| KR20200027087A (ko) | 로봇 및 그의 제어 방법 | |
| Amin et al. | Quality of obstacle distance measurement using ultrasonic sensor and precision of two computer vision-based obstacle detection approaches | |
| CN113191297A (zh) | 一种路面识别方法、装置及电子设备 | |
| CN117908526A (zh) | 移动体的控制方法和装置、存储介质及电子装置 | |
| KR20210074488A (ko) | 비정형 환경 자율주행을 위한 추종선 생성 방법 및 시스템 | |
| CN110689556A (zh) | 跟踪方法、装置及智能设备 | |
| CN113446971B (zh) | 空间识别方法，电子装置和非暂态计算机可读存储介质 | |
| Hegde et al. | A recursive planar feature extraction method for 3D range data segmentation | |
| CN112927278A (zh) | 控制方法、装置、机器人及计算机可读存储介质 | |
| AU2020317303B2 (en) | Information processing device, data generation method, and program | |
| Meger et al. | Mobile 3D object detection in clutter | |
| Hu et al. | Automatic detection and evaluation of 3D pavement defects using 2D and 3D information at the high speed | |
| CN113420698B (zh) | 一种基于机器人的环境识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |