CN117137374B - 基于计算机视觉的扫地机器人回充方法 - Google Patents
基于计算机视觉的扫地机器人回充方法 Download PDFInfo
- Publication number
- CN117137374B CN117137374B CN202311408445.9A CN202311408445A CN117137374B CN 117137374 B CN117137374 B CN 117137374B CN 202311408445 A CN202311408445 A CN 202311408445A CN 117137374 B CN117137374 B CN 117137374B
- Authority
- CN
- China
- Prior art keywords
- scene image
- matching
- recharging
- distribution curve
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000010408 sweeping Methods 0.000 title claims abstract description 72
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000010586 diagram Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000005251 gamma ray Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4002—Installations of electric equipment
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4002—Installations of electric equipment
- A47L11/4005—Arrangements of batteries or cells; Electric power supply arrangements
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/02—Docking stations; Docking operations
- A47L2201/022—Recharging of batteries
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像数据处理技术领域,具体涉及基于计算机视觉的扫地机器人回充方法,包括:通过获取扫地机器人在打扫过程和回充过程中对应场景图像中的特征点分布曲线,根据特征点在不同截止频率下的高斯图像中的梯度值和几何特征得到特征点的权重参数,利用权重参数对特征点分布曲线进行调整,得到新特征点分布曲线,利用新特征点分布曲线之间的相似性获取扫地机器人的方向旋转角度。本发明避免了特征点强弱不一对特征点分布曲线造成的影响,大大提高了扫地机器人回充过程中前进方向的准确性。
Description
技术领域
本发明涉及图像数据处理技术领域,具体涉及基于计算机视觉的扫地机器人回充方法。
背景技术
扫地机器人所使用的是容量有限的移动电源,需要进行反复的充电,最常用的技术手段是结合红外、雷达、蓝牙以及图像等数据对扫地机器人进行引导与充电座对接充电,但是因为红外、雷达以及蓝牙的发射编码信号的距离短,存在遮挡或清扫环境较大时,扫地机器人检测引导信号的时间就会增加,在回充途中耗电较大,可能发生途中电量耗尽而搁浅的情况。
现有技术中利用扫地机器人清扫过程中所获取的环境图像与回充途中所获取的图像进行特征点检测并进行一一匹配来引导扫地机器人的前进方向,但是匹配过程中由于扫地机器人的视角变化或相机抖动导致图像匹配结果不准确,导致扫地机器人回充过程中出现前进方向偏移的情况。
发明内容
本发明提供基于计算机视觉的扫地机器人回充方法,以解决现有的问题。
本发明的基于计算机视觉的扫地机器人回充方法采用如下技术方案:
本发明一个实施例提供了基于计算机视觉的扫地机器人回充方法,该方法包括以下步骤:
获取扫地机器人在进行打扫工作时采集的且按照时间顺序排列的场景图像,记为时序场景图像;将扫地机器人在回充时当前时刻下采集的场景图像记为回充场景图像;将时序场景图像和回充场景图像统称为场景图像;
预设多个不同大小的截止频率对场景图像进行滤波获得若干个高斯场景图像;获取任意场景图像中的若干个特征点,将回充场景图像与任意时序场景图像进行匹配,根据匹配点数量的大小获得回充场景图像对应的匹配场景图像,所述匹配点为构成匹配关系的特征点;
获取任意匹配点在若干个高斯场景图像中的Hu矩和梯度值,根据梯度值、梯度值的分布情况以及Hu矩的分布情况获得匹配点的权重参数;根据场景图像中每一列包含特征点和匹配点的数量分别获得特征点分布曲线和匹配点分布曲线;将特征点分布曲线和匹配点分布曲线之间的差异以及权重参数进行融合,获得特征点分布曲线的偏移调整参数;利用偏移调整参数对特征点分布曲线进行调节获得场景图像的新特征点分布曲线,获取回充场景图像与匹配场景图像的新特征点分布曲线之间的相似性;
根据相似性大小获得扫地机器人在回充过程中的前进方向。
进一步的,所述预设多个不同大小的截止频率对场景图像进行滤波获得若干个高斯场景图像,包括的具体方法为:
预设初始截止频率以步长A迭代增加到B,获得若干个截止频率,利用所有截止频率分别对任意一个场景图像进行高斯高通滤波,获得场景图像对应的若干个高斯场景图像,一个高斯场景图像对应一个截止频率,其中A和B均为预设的超参数。
进一步的,所述将回充场景图像与任意时序场景图像进行匹配,根据匹配点数量的大小获得回充场景图像对应的匹配场景图像,包括的具体方法为:
首先,利用SIFT算法获取任意场景图像中的若干个特征点,并利用SIFT算法将回充场景图像与任意时序场景图像进行匹配,将构成匹配关系的特征点记为匹配点,一个匹配点对应一个场景图像,一个场景图像对应若干个高斯场景图像;
然后,将回充场景图像与时序场景图像之间未构成匹配关系的特征点的数量记为数值W1,将数值W1与匹配点的数量相加获得数值W2,将匹配点的数量与数值W2的比值记为回充场景图像与时序场景图像之间的匹配程度;
最后,获取回充场景图像与所有时序场景图像的匹配程度最大时对应的时序场景图像,记为回充场景图像对应的匹配场景图像。
进一步的,所述获取任意匹配点在若干个高斯场景图像中的Hu矩和梯度值,包括的具体方法为:
获取任意匹配点在对应场景图像中的坐标,记为匹配点的位置信息;在相同位置信息下的若干个高斯场景图像中,获取以匹配点为中心的预设局部范围内的Hu矩,并通过Sobel算子获取匹配点在若干个高斯场景图像中的梯度值,一个匹配点对应若干个Hu矩和梯度,一个匹配点在一个高斯场景图像中对应一个Hu矩和一个梯度值,一个Hu矩包含7个不变矩。
进一步的,所述根据梯度值、梯度值的分布情况以及Hu矩的分布情况获得匹配点的权重参数,包括的具体方法为:
获取任意匹配点的权重参数,具体计算方法为:
;
其中,γ表示匹配点的权重参数;Di表示第i个高斯场景图像的截止频率;Ti表示匹配点在相同位置信息下的第i个高斯场景图像中的梯度值;σT表示匹配点在相同位置信息下的所有高斯场景图像中对应梯度值的标准差;σHa表示匹配点在相同位置信息下的所有高斯场景图像中对应Hu矩的第a个不变矩的标准差;I表示高斯场景图像的数量;exp( )表示以自然常数为底数的指数函数。
进一步的,所述根据场景图像中每一列包含特征点和匹配点的数量分别获得特征点分布曲线和匹配点分布曲线,包括的具体方法为:
获取场景图像的列数,将任意一列的列数与场景图像的列数的比值记为第一数值,将第一数值与360°的乘积结果记为对应列的列角度;分别获取回充场景图像与对应的匹配场景图像内任意一列所包含的特征点的数量,获得所有列对应的特征点的数量,构建二维直角坐标系,以列角度为横坐标,以特征点的数量作为纵坐标,将回充场景图像与对应的匹配场景图像内所有列对应的特征点的数量分别置于二维直角坐标系中,获得回充场景图像与匹配场景图像对应的散点图,利用最小二乘法对散点图中的散点进行曲线拟合,将获得的曲线记为特征点分布曲线,回充场景图像与匹配场景图像分别对应一个特征点分布曲线;
根据每一列所包含匹配点的数量获取回充场景图像与匹配场景图像分别对应的匹配点分布曲线,所述匹配点分布曲线的获取方法与特征点分布曲线的获取方法相同。
进一步的,所述将特征点分布曲线和匹配点分布曲线之间的差异以及权重参数进行融合,获得特征点分布曲线的偏移调整参数,包括的具体方法为:
获取特征点分布曲线的偏移调整参数,具体计算方法为:
;
其中,εθ表示特征点分布曲线中第θ个列角度下的偏移调整参数;f1θ表示特征点分布曲线中第θ个列角度下的数值;f2θ表示匹配点分布曲线中第θ个列角度下的数值;γθb表示回充场景图像或匹配场景图像中第θ个列角度所对应列内的第b个匹配点的权重参数;B表示回充场景图像或匹配场景图像中第θ个列角度所对应列内所包含匹配点的数量;e表示自然常数。
进一步的,所述利用偏移调整参数对特征点分布曲线进行调节获得场景图像的新特征点分布曲线,包括的具体方法为:
新特征点分布曲线的具体获取方法为:
其中,Fθ表示新特征点分布曲线中第θ个列角度下的数值;εθ表示特征点分布曲线中第θ个列角度下的偏移调整参数;f1θ表示特征点分布曲线中第θ个列角度下的数值;Sigmoid( )表示Sigmoid归一化函数。
进一步的,所述获取回充场景图像与匹配场景图像的新特征点分布曲线之间的相似性,包括的具体方法为:
通过新特征点分布曲线的获取方法,获得回充场景图像与匹配场景图像分别对应的新特征点分布曲线,将回充场景图像或匹配场景图像的新特征点分布曲线的首尾进行连接,形成一条环形的曲线记为环形分布曲线,获得回充场景图像与匹配场景图像分别对应的环形分布曲线,初始化回充场景图像与匹配场景图像的环形分布曲线的位置,使列角度为0°的位置相同,预设旋转角度步长为Δθ,将回充场景图像的环形分布曲线进行顺时针旋转,当旋转角度大于等于360°时停止旋转,回充场景图像的环形分布曲线每旋转一次,获取回充场景图像的环形分布曲线与匹配场景图像的环形分布曲线之间的相似性,所述相似性为exp(-d),其中d表示回充场景图像的环形分布曲线与匹配场景图像的环形分布曲线之间的欧氏距离;exp( )表示以自然常数为底数的指数函数。
进一步的,所述根据相似性大小获得扫地机器人在回充过程中的前进方向,包括的具体方法为:
首先,获取相似性最大时回充场景图像的环形分布曲线已经旋转过的角度值,将/>-180°作为扫地机器人在当前时刻下的前进方向;
然后,扫地机器人根据回充过程中的前进方向进行前进,前进过程中不断利用对应时刻下的回充场景图像与时序场景图像进行匹配,获取对应时刻下的前进方向,在对应前进方向下前进直至回到充电仓中进行充电。
本发明的技术方案的有益效果是:通过获取扫地机器人在打扫过程和回充过程中对应场景图像中的特征点分布曲线,以描述场景图像特征,根据特征点在不同截止频率下的高斯图像中的梯度值和几何特征得到特征点的权重参数,以反映特征点对图像匹配结果准确性的影响程度,利用权重参数对特征点分布曲线进行调整,使特征点分布曲线的波峰更偏向于权重参数大的特征点所在位置,得到新特征点分布曲线,避免了特征点强弱不一对特征点分布曲线造成的影响,利用新特征点分布曲线之间的相似性获取扫地机器人的方向旋转角度,大大提高了扫地机器人回充过程中前进方向的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于计算机视觉的扫地机器人回充方法的步骤流程图;
图2为回充场景图像与时序场景图像匹配示意图;
图3为环形分布曲线示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于计算机视觉的扫地机器人回充方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于计算机视觉的扫地机器人回充方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于计算机视觉的扫地机器人回充方法的步骤流程图,该方法包括以下步骤:
步骤S001:通过扫地机器人搭载的相机实时采集场景图像。
需要说明的是,扫地机器人处于低电量时,其红外、蓝牙等引导信号微弱或不稳定,因此需要结合所处场景的图像结合计算机视觉技术实现扫地机器人快速回充。
具体的,为了实现本实施例提出的基于计算机视觉的扫地机器人回充方法,首先需要采集场景图像,具体过程为:
获取扫地机器人在进行打扫工作时采集的按照时间序列排序的场景图像记为时序场景图像;将扫地机器人在回充时当前时刻下采集的场景图像记为回充场景图像;将时序场景图像和回充场景图像统称为场景图像。
需要说明的是,本实施例中扫地机器人在采集场景图像时,环境图像的采集频率为每30秒一次,可根据实际情况进行调整,本实施例不进行具体限定。
至此,通过上述方法得到场景图像。
步骤S002:根据特征点的匹配情况获取回充场景图像和时序场景图像之间的匹配程度,根据匹配程度的大小获得回充场景图像对应的匹配场景图像。
需要说明的是,由于图像中的边缘信息为高频信息,且图像匹配过程中通常利用的特征点也属于高频信息,而由于扫地机器人的相机视角变化和相机抖动会导致边缘信息出现一定程度上的模糊,因此在匹配过程中获取的特征点也会发生变化,导致特征点匹配不准确,因此需要对特征点进行加权,提高利用特征点进行图像匹配的匹配结果准确性。
具体的,步骤(1),首先,预设初始截止频率以步长A迭代增加到B,获得若干个截止频率,利用所有截止频率分别对任意一个场景图像进行高斯高通滤波,获得场景图像对应的若干个高斯场景图像,一个高斯场景图像对应一个截止频率,其中A和B均为预设的超参数。
需要说明的是,根据经验预设初始截止频率为10,步长A为10,B为50,可根据实际情况进行调整,本实施例不进行具体限定。
然后,如图2所示为回充场景图像与时序场景图像匹配示意图,利用SIFT算法获取任意场景图像中的若干个特征点,并利用SIFT算法将回充场景图像与任意时序场景图像进行匹配,将构成匹配关系的特征点记为匹配点,一个匹配点对应一个场景图像,一个场景图像对应若干个高斯场景图像。
最后,根据构成匹配关系的特征点的数量获得回充场景图像与任意时序场景图像之间的匹配程度,具体计算方法为:
;
其中,P表示回充场景图像与时序场景图像之间的匹配程度;SP表示回充场景图像与时序场景图像之间对应匹配点的数量;SQ表示回充场景图像与时序场景图像之间未构成匹配关系的特征点的数量。
需要说明的是,由于时序场景图像是扫地机器人在打扫过程中采集的图像,而为了保证扫地机器人可以返程,因此需要利用扫地机器人在回充过程中采集的回充场景图像与时序场景图像进行匹配,利用相互匹配的时序场景图像和回充场景图像对扫地机器人的前进方向进行调整,而在匹配过程中需要获取匹配程度最大的时序场景图像和回充场景图像进行后续的前进方向调整。
步骤(2),获取回充场景图像与所有时序场景图像的匹配程度最大时对应的时序场景图像,记为回充场景图像的匹配场景图像。
至此,通过上述方法得到任意场景图像对应的若干个高斯场景图像以及回充场景图像的匹配场景图像。
步骤S003:根据匹配点的梯度和几何特征获得权重参数,根据特征点和匹配点的数量获得对应的分布曲线,利用权重参数对曲线进行调节获得新特征点分布曲线,并获取曲线之间的相似性。
需要说明的是,在利用回充场景图像与对应的匹配场景图像对扫地机器人回充的前进方向进行引导时,由于扫地机器人采集的场景图像没有具体的方向信息,因此在本实施例中,将扫地机器人在采集图像时前进方向所对应的角度定义为0°,以顺时针为正方向,并将场景图像置于二维直角坐标系中,根据回充场景图像与对应的匹配场景图像中匹配点的稳定特征获取匹配点的分布曲线,根据匹配点分布曲线对扫地机器人当前时刻下的前进方向进行调整。
具体的,步骤(1),首先,获取任意匹配点在对应场景图像中的坐标,记为匹配点的位置信息;在相同位置信息下的若干个高斯场景图像中,获取以匹配点为中心的预设局部范围内的Hu矩,并通过Sobel算子获取匹配点在若干个高斯场景图像中的梯度值,一个匹配点对应若干个Hu矩和梯度,一个匹配点在一个高斯场景图像中对应一个Hu矩和一个梯度值,一个Hu矩包含7个不变矩。
需要说明的是,根据经验预设局部范围大小为5×5,可根据实际情况对局部范围大小进行调整,本实施例不进行具体限定。
需要说明的是,Hu矩的获取方法为现有方法,Sobel算子也为现有算法,因此本实施例对Hu矩和Sobel算子不进行过多赘述。
然后,根据匹配点的Hu矩和梯度值获取任意匹配点的权重参数,具体计算方法为:
;
其中,γ表示匹配点的权重参数;Di表示第i个高斯场景图像的截止频率;Ti表示匹配点在相同位置信息下的第i个高斯场景图像中的梯度值;σT表示匹配点在相同位置信息下的所有高斯场景图像中对应梯度值的标准差;σHa表示匹配点在相同位置信息下的所有高斯场景图像中对应Hu矩的第a个不变矩的标准差;I表示高斯场景图像的数量;exp( )表示以自然常数为底数的指数函数。
需要说明的是,由于相机抖动会导致图像的边缘信息减弱,导致对应的高频信息发生变化,使得在高斯场景图像中部分高频信息的轮廓发生变化,而匹配点的Hu矩反映了匹配点所在局部区域的几何特征,因此匹配点的Hu矩的标准差越小,则在所有高斯场景图像中的Hu矩大小越相近,表示该匹配点在局部区域内的几何特征越稳定,受到相机抖动的影响越小,则匹配点的权重参数就越大。
另外,由于SIFT算法基于梯度获取特征点,因此当匹配点的梯度值越大,且匹配点在所有高斯场景图像中的数值越接近时,表示匹配点的梯度越稳定,对匹配结果准确性的影响程度就越大,因此匹配点的权重参数就越大。
步骤(2),首先,获取场景图像的列数,将任意一列的列数与场景图像的列数的比值记为第一数值,将第一数值与360°的乘积结果记为对应列的列角度;分别获取回充场景图像与对应的匹配场景图像内任意一列所包含的特征点的数量,获得所有列对应的特征点的数量,构建二维直角坐标系,以列角度为横坐标,以特征点的数量作为纵坐标,将回充场景图像与对应的匹配场景图像内所有列对应的特征点的数量分别置于二维直角坐标系中,获得回充场景图像与匹配场景图像对应的散点图,利用最小二乘法对散点图中的散点进行曲线拟合,将获得的曲线记为特征点分布曲线,回充场景图像与匹配场景图像分别对应一个特征点分布曲线。
需要说明的是,最小二乘法为现有的拟合算法,因此本实施例不进行过多赘述;另外,本实施例选用五项式函数作为最小二乘法的拟合函数,可根据实际情况选用其他函数作为拟合函数,本实施例不进行具体限定。
然后,根据每一列所包含匹配点的数量获取回充场景图像与匹配场景图像分别对应的匹配点分布曲线,所述匹配点分布曲线的获取方法与特征点分布曲线的获取方法相同。
最后,根据特征点分布曲线和匹配点分布曲线之间的差异以及权重参数获得特征点分布曲线的偏移调整参数,具体计算方法为:
;
其中,εθ表示特征点分布曲线中第θ个列角度下的偏移调整参数;f1θ表示特征点分布曲线中第θ个列角度下的数值;f2θ表示匹配点分布曲线中第θ个列角度下的数值;γθb表示回充场景图像或匹配场景图像中第θ个列角度所对应列内的第b个匹配点的权重参数;B表示回充场景图像或匹配场景图像中第θ个列角度所对应列内所包含匹配点的数量;e表示自然常数。
需要说明的是,特征点分布曲线和匹配点分布曲线之间任意列角度下的数值差异|f1θ-f2θ|越小,表示对应列角度下的特征点数量和匹配点数量相近,受到相机抖动的影响越小,对应匹配点对特征点分布曲线的影响就越大;另外,任意列角度下所有匹配点的权重参数越大,表示对应列角度下的匹配点越可靠,对特征点分布曲线的影响越大。
需要说明的是,特征点分布曲线中任意列角度下的数值即为在场景图像中对应列所包含特征点的数量,匹配点分布曲线中任意列角度下的数值即为在场景图像中对应列所包含匹配点的数量。
需要说明的是,由于在结合传统SIFT算法得到的特征点对扫地机器人的前进方向进行调整时,通常直接根据特征点的数量进行调整,但是由于特征点的强弱不一,即受相机抖动影响在不同截止频率下的高斯场景图像中,特征点的梯度和局部区域内的几何特征会发生不同程度的变化,因此直接根据特征点的数量对扫地机器人的前进方向进行调整不够准确,而结合存在匹配关系的匹配点,并根据匹配点在不同截止频率下的高斯场景图像中的变化特征,对匹配点赋予权重参数,利用权重参数并结合匹配点分布曲线对特征点分布曲线进行调整,获得更能够避免场景图像中特征点的强弱不一对匹配结果准确性造成的影响,以便于后续利用新特征点分布曲线对扫地机器人的前进方向进行调整。
步骤(3),首先,利用偏移调整参数对特征点分布曲线进行调节,获得调节后的特征点分布曲线记为新特征点分布曲线,具体调节方法为:
;
其中,Fθ表示新特征点分布曲线中第θ个列角度下的数值;εθ表示特征点分布曲线中第θ个列角度下的偏移调整参数;f1θ表示特征点分布曲线中第θ个列角度下的数值;Sigmoid( )表示Sigmoid归一化函数。
需要说明的是,本实施例的Sigmoid归一化函数的归一化区间为[1,2],可根据实际情况进行调整,本实施例不进行具体限定。
需要说明的是,由于特征点分布曲线直接通过特征点的数量得到,没有具体考虑到特征点在图像匹配过程中对匹配结果的影响程度,因此特征点分布曲线对场景图像的图像特征描述效果不理想,直接利用特征点分布曲线进行图像匹配的匹配结果不准确,因此本实施例通过偏移调整参数对特征点分布曲线中任意列角度下的数值进行调节,使特征点分布曲线中的波峰向强特征点所在位置偏移,获得新特征点分布曲线,所述强特征点即为在图像匹配过程中对匹配结果的影响程度高的特征点,强特征点的特征为梯度高,在多个高斯场景图像中的梯度分布集中且几何特征稳定。
然后,通过新特征点分布曲线的获取方法,获得回充场景图像与匹配场景图像分别对应的新特征点分布曲线,将回充场景图像或匹配场景图像的新特征点分布曲线的首尾进行连接,形成一条环形的曲线记为环形分布曲线,获得回充场景图像与匹配场景图像分别对应的环形分布曲线,如图3所示,初始化回充场景图像与匹配场景图像的环形分布曲线的位置,使列角度为0°的位置相同,预设旋转角度步长为Δθ,将回充场景图像的环形分布曲线进行顺时针旋转,当旋转角度大于等于360°时停止旋转,回充场景图像的环形分布曲线每旋转一次,获取回充场景图像的环形分布曲线与匹配场景图像的环形分布曲线之间的相似性,所述相似性为exp(-d),其中d表示回充场景图像的环形分布曲线与匹配场景图像的环形分布曲线之间的欧氏距离;exp( )表示以自然常数为底数的指数函数。
需要说明的是,根据经验预设旋转角度步长Δθ为2°,可根据实际情况进行调节,本实施例不进行具体限定。
需要说明的是,环形分布曲线之间的相似性反映了在对应角度下,回充场景图像与匹配场景图像之间的相似程度,相似性越大,表示回充场景图像与匹配场景图像之间的相似程度也就越大,则相似性最大时对应的旋转角度就对应了扫地机器人在打扫过程中的前进方向,则可根据了扫地机器人在打扫过程中的前进方向获得回充过程中的前进方向。
至此,通过上述方法得到回充场景图像的环形分布曲线与匹配场景图像的环形分布曲线之间的相似性。
步骤S004:根据相似性大小获得扫地机器人在回充过程中的前进方向,完成回充。
具体的,首先,获取相似性最大时回充场景图像的环形分布曲线已经旋转过的角度值,将/>-180°作为扫地机器人在当前时刻下的前进方向。
然后,扫地机器人根据回充过程中的前进方向进行前进,前进过程中不断利用对应时刻下的回充场景图像与时序场景图像进行匹配,获取对应时刻下的前进方向,在对应前进方向下前进直至回到充电仓中进行充电。
需要说明的是,由于相似性最大时回充场景图像的环形分布曲线已经旋转过的角度值对应的是扫地机器人在打扫过程中对应的前进方向,而回充过程中的前进方向与打扫时的前进方向相反,因此需要将角度值/>减去180°作为扫地机器人在回充过程中的前进方向。
至此,本实施例完成。
需要说明的是,本实施例中所用的exp(-x)模型仅用于表示负相关关系和约束模型输出的结果处于(0,1)区间内,具体实施时,可替换成具有同样目的的其他模型,本实施例只是以exp(-x)模型为例进行叙述,不对其做具体限定,其中x是指该模型的输入。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.基于计算机视觉的扫地机器人回充方法,其特征在于,该方法包括以下步骤:
获取扫地机器人在进行打扫工作时采集的且按照时间顺序排列的场景图像,记为时序场景图像;将扫地机器人在回充时当前时刻下采集的场景图像记为回充场景图像;将时序场景图像和回充场景图像统称为场景图像;
预设多个不同大小的截止频率对场景图像进行滤波获得若干个高斯场景图像;获取任意场景图像中的若干个特征点,将回充场景图像与任意时序场景图像进行匹配,根据匹配点数量的大小获得回充场景图像对应的匹配场景图像,所述匹配点为构成匹配关系的特征点;
获取任意匹配点在若干个高斯场景图像中的Hu矩和梯度值,根据梯度值、梯度值的分布情况以及Hu矩的分布情况获得匹配点的权重参数;根据场景图像中每一列包含特征点和匹配点的数量分别获得特征点分布曲线和匹配点分布曲线;将特征点分布曲线和匹配点分布曲线之间的差异以及权重参数进行融合,获得特征点分布曲线的偏移调整参数;利用偏移调整参数对特征点分布曲线进行调节获得场景图像的新特征点分布曲线,获取回充场景图像与匹配场景图像的新特征点分布曲线之间的相似性;
根据相似性大小获得扫地机器人在回充过程中的前进方向;
所述根据梯度值、梯度值的分布情况以及Hu矩的分布情况获得匹配点的权重参数,包括的具体方法为:
获取任意匹配点的权重参数,具体计算方法为:
;
其中,γ表示匹配点的权重参数;Di表示第i个高斯场景图像的截止频率;Ti表示匹配点在相同位置信息下的第i个高斯场景图像中的梯度值;σT表示匹配点在相同位置信息下的所有高斯场景图像中对应梯度值的标准差;σHa表示匹配点在相同位置信息下的所有高斯场景图像中对应Hu矩的第a个不变矩的标准差;I表示高斯场景图像的数量;exp( )表示以自然常数为底数的指数函数;
所述将特征点分布曲线和匹配点分布曲线之间的差异以及权重参数进行融合,获得特征点分布曲线的偏移调整参数,包括的具体方法为:
获取特征点分布曲线的偏移调整参数,具体计算方法为:
;
其中,εθ表示特征点分布曲线中第θ个列角度下的偏移调整参数;f1θ表示特征点分布曲线中第θ个列角度下的数值;f2θ表示匹配点分布曲线中第θ个列角度下的数值;γθb表示回充场景图像或匹配场景图像中第θ个列角度所对应列内的第b个匹配点的权重参数;B表示回充场景图像或匹配场景图像中第θ个列角度所对应列内所包含匹配点的数量;e表示自然常数;
所述利用偏移调整参数对特征点分布曲线进行调节获得场景图像的新特征点分布曲线,包括的具体方法为:
新特征点分布曲线的具体获取方法为:
;
其中,Fθ表示新特征点分布曲线中第θ个列角度下的数值;εθ表示特征点分布曲线中第θ个列角度下的偏移调整参数;f1θ表示特征点分布曲线中第θ个列角度下的数值;Sigmoid( )表示Sigmoid归一化函数。
2.根据权利要求1所述基于计算机视觉的扫地机器人回充方法,其特征在于,所述预设多个不同大小的截止频率对场景图像进行滤波获得若干个高斯场景图像,包括的具体方法为:
预设初始截止频率以步长A迭代增加到B,获得若干个截止频率,利用所有截止频率分别对任意一个场景图像进行高斯高通滤波,获得场景图像对应的若干个高斯场景图像,一个高斯场景图像对应一个截止频率,其中A和B均为预设的超参数。
3.根据权利要求1所述基于计算机视觉的扫地机器人回充方法,其特征在于,所述将回充场景图像与任意时序场景图像进行匹配,根据匹配点数量的大小获得回充场景图像对应的匹配场景图像,包括的具体方法为:
首先,利用SIFT算法获取任意场景图像中的若干个特征点,并利用SIFT算法将回充场景图像与任意时序场景图像进行匹配,将构成匹配关系的特征点记为匹配点,一个匹配点对应一个场景图像,一个场景图像对应若干个高斯场景图像;
然后,将回充场景图像与时序场景图像之间未构成匹配关系的特征点的数量记为数值W1,将数值W1与匹配点的数量相加获得数值W2,将匹配点的数量与数值W2的比值记为回充场景图像与时序场景图像之间的匹配程度;
最后,获取回充场景图像与所有时序场景图像的匹配程度最大时对应的时序场景图像,记为回充场景图像对应的匹配场景图像。
4.根据权利要求1所述基于计算机视觉的扫地机器人回充方法,其特征在于,所述获取任意匹配点在若干个高斯场景图像中的Hu矩和梯度值,包括的具体方法为:
获取任意匹配点在对应场景图像中的坐标,记为匹配点的位置信息;在相同位置信息下的若干个高斯场景图像中,获取以匹配点为中心的预设局部范围内的Hu矩,并通过Sobel算子获取匹配点在若干个高斯场景图像中的梯度值,一个匹配点对应若干个Hu矩和梯度,一个匹配点在一个高斯场景图像中对应一个Hu矩和一个梯度值,一个Hu矩包含7个不变矩。
5.根据权利要求1所述基于计算机视觉的扫地机器人回充方法,其特征在于,所述根据场景图像中每一列包含特征点和匹配点的数量分别获得特征点分布曲线和匹配点分布曲线,包括的具体方法为:
获取场景图像的列数,将任意一列的列数与场景图像的列数的比值记为第一数值,将第一数值与360°的乘积结果记为对应列的列角度;分别获取回充场景图像与对应的匹配场景图像内任意一列所包含的特征点的数量,获得所有列对应的特征点的数量,构建二维直角坐标系,以列角度为横坐标,以特征点的数量作为纵坐标,将回充场景图像与对应的匹配场景图像内所有列对应的特征点的数量分别置于二维直角坐标系中,获得回充场景图像与匹配场景图像对应的散点图,利用最小二乘法对散点图中的散点进行曲线拟合,将获得的曲线记为特征点分布曲线,回充场景图像与匹配场景图像分别对应一个特征点分布曲线;
根据每一列所包含匹配点的数量获取回充场景图像与匹配场景图像分别对应的匹配点分布曲线,所述匹配点分布曲线的获取方法与特征点分布曲线的获取方法相同。
6.根据权利要求1所述基于计算机视觉的扫地机器人回充方法,其特征在于,所述获取回充场景图像与匹配场景图像的新特征点分布曲线之间的相似性,包括的具体方法为:
通过新特征点分布曲线的获取方法,获得回充场景图像与匹配场景图像分别对应的新特征点分布曲线,将回充场景图像或匹配场景图像的新特征点分布曲线的首尾进行连接,形成一条环形的曲线记为环形分布曲线,获得回充场景图像与匹配场景图像分别对应的环形分布曲线,初始化回充场景图像与匹配场景图像的环形分布曲线的位置,使列角度为0°的位置相同,预设旋转角度步长为Δθ,将回充场景图像的环形分布曲线进行顺时针旋转,当旋转角度大于等于360°时停止旋转,回充场景图像的环形分布曲线每旋转一次,获取回充场景图像的环形分布曲线与匹配场景图像的环形分布曲线之间的相似性,所述相似性为exp(-d),其中d表示回充场景图像的环形分布曲线与匹配场景图像的环形分布曲线之间的欧氏距离;exp( )表示以自然常数为底数的指数函数。
7.根据权利要求1所述基于计算机视觉的扫地机器人回充方法,其特征在于,所述根据相似性大小获得扫地机器人在回充过程中的前进方向,包括的具体方法为:
首先,获取相似性最大时回充场景图像的环形分布曲线已经旋转过的角度值,将/>-180°作为扫地机器人在当前时刻下的前进方向;
然后,扫地机器人根据回充过程中的前进方向进行前进,前进过程中不断利用对应时刻下的回充场景图像与时序场景图像进行匹配,获取对应时刻下的前进方向,在对应前进方向下前进直至回到充电仓中进行充电。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311408445.9A CN117137374B (zh) | 2023-10-27 | 2023-10-27 | 基于计算机视觉的扫地机器人回充方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311408445.9A CN117137374B (zh) | 2023-10-27 | 2023-10-27 | 基于计算机视觉的扫地机器人回充方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117137374A CN117137374A (zh) | 2023-12-01 |
CN117137374B true CN117137374B (zh) | 2024-01-26 |
Family
ID=88906408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311408445.9A Active CN117137374B (zh) | 2023-10-27 | 2023-10-27 | 基于计算机视觉的扫地机器人回充方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117137374B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945233A (zh) * | 2017-12-04 | 2018-04-20 | 深圳市沃特沃德股份有限公司 | 视觉扫地机器人及其回充方法 |
CN110096961A (zh) * | 2019-04-04 | 2019-08-06 | 北京工业大学 | 一种超像素级别的室内场景语义标注方法 |
WO2022078467A1 (zh) * | 2020-10-14 | 2022-04-21 | 深圳市杉川机器人有限公司 | 机器人自动回充方法、装置、机器人和存储介质 |
CN114879690A (zh) * | 2022-05-30 | 2022-08-09 | 美智纵横科技有限责任公司 | 场景参数调整方法、装置、电子设备及存储介质 |
CN115210670A (zh) * | 2020-12-31 | 2022-10-18 | 深圳市优必选科技股份有限公司 | 移动机器人控制方法、计算机实现的存储介质和移动机器人 |
-
2023
- 2023-10-27 CN CN202311408445.9A patent/CN117137374B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945233A (zh) * | 2017-12-04 | 2018-04-20 | 深圳市沃特沃德股份有限公司 | 视觉扫地机器人及其回充方法 |
CN110096961A (zh) * | 2019-04-04 | 2019-08-06 | 北京工业大学 | 一种超像素级别的室内场景语义标注方法 |
WO2022078467A1 (zh) * | 2020-10-14 | 2022-04-21 | 深圳市杉川机器人有限公司 | 机器人自动回充方法、装置、机器人和存储介质 |
CN115210670A (zh) * | 2020-12-31 | 2022-10-18 | 深圳市优必选科技股份有限公司 | 移动机器人控制方法、计算机实现的存储介质和移动机器人 |
CN114879690A (zh) * | 2022-05-30 | 2022-08-09 | 美智纵横科技有限责任公司 | 场景参数调整方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117137374A (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110135341B (zh) | 杂草识别方法、装置及终端设备 | |
CN109308693B (zh) | 由一台ptz相机构建的目标检测和位姿测量单双目视觉*** | |
CN107886528B (zh) | 基于点云的配电线路作业场景三维重建方法 | |
CN107813310A (zh) | 一种基于双目视觉多手势机器人控制方法 | |
CN112836734A (zh) | 一种异源数据融合方法及装置、存储介质 | |
WO2019096902A1 (en) | System and method for real-time large image homography processing | |
CN110065068B (zh) | 一种基于逆向工程的机器人装配作业演示编程方法及装置 | |
CN110969660B (zh) | 一种基于三维立体视觉和点云深度学习的机器人上料*** | |
CN110113560B (zh) | 视频智能联动的方法及服务器 | |
CN115171097B (zh) | 基于三维点云的加工控制方法、***及相关设备 | |
CN113421291B (zh) | 利用点云配准技术和三维重建技术的工件位置找正方法 | |
CN112818990B (zh) | 目标检测框的生成方法、图像数据自动标注方法及*** | |
Wang et al. | An overview of 3d object detection | |
CN111292376B (zh) | 一种仿生视网膜的视觉目标跟踪方法 | |
CN111738071B (zh) | 一种基于单目摄像机的运动变化的逆透视变换方法 | |
CN210386980U (zh) | 一种基于机器视觉的冷床智能控制*** | |
CN117137374B (zh) | 基于计算机视觉的扫地机器人回充方法 | |
CN111684462B (zh) | 一种图像匹配方法及视觉*** | |
CN110348351B (zh) | 一种图像语义分割的方法、终端和可读存储介质 | |
CN116766194A (zh) | 基于双目视觉的盘类工件定位与抓取***和方法 | |
CN104992448A (zh) | 机器人防损伤采摘葡萄的自动定位方法 | |
CN104268551A (zh) | 基于视觉特征点的转向角度控制方法 | |
Xu et al. | Real time detection algorithm of parking slot based on deep learning and fisheye image | |
CN106780558B (zh) | 基于计算机视觉的点生成无人机目标初始跟踪框的方法 | |
CN116243329A (zh) | 基于激光雷达和相机融合的高精度多目标无接触测距方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |