CN105455743B - 机器人吸尘器及机器人吸尘器的控制方法 - Google Patents
机器人吸尘器及机器人吸尘器的控制方法 Download PDFInfo
- Publication number
- CN105455743B CN105455743B CN201510626586.7A CN201510626586A CN105455743B CN 105455743 B CN105455743 B CN 105455743B CN 201510626586 A CN201510626586 A CN 201510626586A CN 105455743 B CN105455743 B CN 105455743B
- Authority
- CN
- China
- Prior art keywords
- room
- image
- robot cleaner
- label
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 claims abstract description 88
- 238000010926 purge Methods 0.000 claims abstract description 28
- 230000000052 comparative effect Effects 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims description 63
- 238000001514 detection method Methods 0.000 claims description 25
- 239000000428 dust Substances 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 14
- 230000000875 corresponding Effects 0.000 claims description 7
- 229910002056 binary alloy Inorganic materials 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 34
- 238000004140 cleaning Methods 0.000 description 4
- 230000003287 optical Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000002093 peripheral Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- KJFMBFZCATUALV-UHFFFAOYSA-N Phenolphthalein Chemical compound C1=CC(O)=CC=C1C1(C=2C=CC(O)=CC=2)C2=CC=CC=C2C(=O)O1 KJFMBFZCATUALV-UHFFFAOYSA-N 0.000 description 1
- 229940116821 SSD Drugs 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000001172 regenerating Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Abstract
本发明提供机器人吸尘器及机器人吸尘器的控制方法,该控制方法包括:在清扫区域行进中获取周边的图像的a步骤;基于所述a步骤中获取的图像,并根据每个房间所确定的规则,求出每个房间的特征分布的b步骤;在当前位置获取周边的图像的c步骤;对所述c步骤中求出的图像,适用所述b步骤中适用的所述每个房间的规则,求出由特征分布构成的比较组的d步骤;将所述d步骤中求出的比较组和所述b步骤中求出的每个房间的特征分布进行比较,来确定机器人吸尘器当前所在房间的e步骤。本发明的机器人吸尘器基于全区域位置识别能够准确地掌握自身的位置。
Description
技术领域
本发明涉及吸尘器,尤其涉及机器人吸尘器及机器人吸尘器的控制方法。
背景技术
机器人被开发应用在产业上,其承担了工厂自动化的一部分。最近,应用机器人的领域不断地扩大,已开发出了医疗用机器人、宇宙航空机器人等,也制造出了一般家庭中能够使用的家庭用机器人。在这些机器人中,能够通过自身的能力行进的机器人称为移动机器人。
在家庭中使用的移动机器人的代表机器人是机器人吸尘器,其是向需要清扫的区域行进并且吸入灰尘或异物的家用电器的一种。机器人吸尘器具备能够充电的电池并能够自行行进,当电池的余量不足时或结束清扫之后,自行寻找并移动到充电架而进行充电。
现有机器人吸尘器通过红外线传感器检测从充电架发射的红外线(IR:InfraRed)而寻找充电架。另外,机器人吸尘器基于在行进中检测到的周边信息自行生成清扫区域地图的各种方法已被公众所知,这样生成的地图包括充电架的位置信息。
但是,在需要充电的情况下,需要使机器人吸尘器准确地回归到充电架上,其前提是机器人吸尘器自身应当掌握自己在地图上的准确位置。如果外部原因而强制地改变行进中的机器人吸尘器的位置(例如,用户将行进中的机器人吸尘器挪到其他房间的情况),则机器人吸尘器不能在当前生成中的地图或者已生成的地图上掌握自己位于哪个位置,其结果导致不能向充电架回归。在该情况下,机器人吸尘器从当前位置重新搜索从充电架发送的红外线信号,在这种不知道自己位置的状态下进行的充电架的搜索有可能偶然检测到信号,但大部分情况下为了搜索信号而徘徊,最终发生电池完全用尽的情况。这种问题在机器人吸尘器从移动到的位置重新生成其周边地图的情况下也发生。这是因为在清扫区域内的整个地图上不能掌握自身位置的情况下,能否向充电架回归取决于是否能够从变动的位置搜索到从充电架发送的信号,即依旧进行反复搜索信号。因此,需要一种机器人吸尘器自己能够掌握整个地图上的当前位置的全区域位置识别(Global Localization)方法。
另外,以上说明的向充电架回归失败的问题仅仅是未搭载全区域位置识别功能的机器人吸尘器所发生的众多问题中的一种,除此之外,也有可能发生多种问题。例如,最近,利用通过无线网络与机器人吸尘器进行通信的终端(例如,遥控器、智能手机等)来设置清扫范围的技术越来越活跃,但是在该情况下,通过所述终端的清扫范围的设置也应当基于全区域位置识别来准确地实现。
发明内容
本发明所要解决的技术问题是:
第一,提供基于全区域位置识别来行进的机器人吸尘器及其控制方法。
第二,提供能够准确地执行向充电架的回归动作的机器人吸尘器及机器人吸尘器的控制方法。
第三,提供即使在行进中被用户转移到任意其他位置,也能够迅速地识别自身位置的机器人吸尘器及机器人吸尘器的控制方法。
第四,提供即使在地图上失去自身位置的情况下,也基于从当前位置求出的图像能够迅速地重新识别当前位置的机器人吸尘器及机器人吸尘器的控制方法。
本发明的机器人吸尘器的控制方法,包括:a步骤,在清扫区域行进中获取周边的图像;b步骤,基于所述a步骤中获取的图像,并根据每个房间所确定的规则,求出每个房间的特征分布;c步骤,在当前位置获取周边的图像;d步骤,对所述c步骤中求出的图像,适用所述b步骤所适用的所述每个房间所确定的规则,求出由特征分布构成的比较组;e步骤,将所述d步骤中求出的比较组和所述b步骤中求出的每个房间的特征分布进行比较,来确定机器人吸尘器当前所在的房间。
另一方面,本发明的机器人吸尘器的控制方法,包括:在清扫区域内移动的同时获取周边的图像;根据每个房间所确定的规则,i)在从每个房间获取的图像检测出特征,ii)求出检测出的特征的标签,iii)对每个标签赋予点数,iv)按照每个房间求出每个标签的点数分布并存储;按照每个房间存储每个标签的点数分布之后获取周边的图像,并根据在所述i)、ii)、iii)及iv)中适用的每个房间所确定的规则,对获取的图像的特征生成标签,对生成的标签赋予点数,求出由基于每个房所确定的规则的每个标签的点数分布构成的比较组,并且基于所述比较组和所述iv)步骤中按照每个房间求出的每个标签的点数分布,来确定机器人吸尘器当前所在的房间。
本发明的种机器人吸尘器,包括:图像获取部,获取周边的图像;特征分布学习模块,基于通过所述图像获取部获取的图像,并根据每个房间所确定的规则,求出每个房间的特征分布;位置识别模块,将所述每个房间所适用的规则适用于机器人吸尘器在当前位置通过所述图像获取部获取的图像,求出由特征分布构成的比较组,将所述比较组和通过所述特征分布学习模块求出的每个房间的特征分布进行比较,来确定机器人吸尘器当前所在的房间。
附图说明
图1是示出本发明一实施例的机器人吸尘器和对机器人吸尘器充电的充电架的立体图。
图2是示出图1中示出的机器人吸尘器的上面部的图。
图3是示出图1中示出的机器人吸尘器的主视图。
图4是示出图1中示出的机器人吸尘器的仰视图。
图5是示出构成机器人吸尘器的主要部件之间的控制关系的框图。
图6是在清扫区域内的任意房间所拍摄的图像。
图7是示出基于特征分布学习模块学习地图的过程的示意图。
图8是示出为了检测特征而利用尺度不变特征转换(SIFT:Scale InvariantFeature Transform)算法来提取特征向量的图。
图9是示出在清扫区域内具有N个房间的情况下,按照房间对获取图像进行分类的图。
图10是将对从按照房间进行分类的图像中检测到的特征赋予的标签显示在获取图像上的图。
图11是示出基于从N个所有房间获取的图像分别求出的对应图像的柱状图求出各房间的特征分布的过程的图。
图12是示出通过位置识别模块识别出机器人吸尘器位置的过程的示意图。
图13是示出对机器人吸尘器的当前位置所获取的图像适用各房间所确定的规则(特征分布的学习过程中适用的规则)来生成标签,并对标签赋予点数而生成N个比较柱状图的图。
图14是示出将N个房间的柱状图(房间1的柱状图至房间N的柱状图)和N个比较柱状图(比较柱状图1至比较柱状图N)进行匹配的图。
图15是示出将从当前位置所获取的图像求出的比较柱状图K和特征分布的学习过程中从房间K内所获取的图像求出的柱状图进行比较的图。
具体实施方式
以下参考附图详细说明本发明的实施方式,其中相同的附图标记表示相同的结构部件。
参照附图及详细后述的实施例说明本发明的优点和特征以及为了达到这些的方法。但是,本发明不被以下所公开的实施例限定,可以以彼此不同的多种形式实施,需要说明的是,本实施例用于使本发明的公开完整,而且使本领域技术人员便于理解本发明的保护范围,本发明基于权利要求书的保护范围而被定义。
图1是示出本发明一实施例的机器人吸尘器100和对机器人吸尘器充电的充电架200的立体图。图2是示出图1中示出的机器人吸尘器的上面部的图。图3是示出图1中示出的机器人吸尘器的主视图。图4是示出图1中示出的机器人吸尘器的仰视图。图5是示出构成机器人吸尘器的主要部件之间的控制关系的框图。
参照图1至图4,机器人吸尘器100可包括主体110和获取主体110的周边图像的图像获取部120。以下,在对主体110各部分的定义中,将朝向清扫区域内的天花板的部分定义为上面部(参照图2),朝向清扫区域内的地面的部分定义为底面部(参照图4),在所述上面部和所述底面部之间构成主体110周围的部分中朝向行进方向的部分定义为前面部(参照图3)。
所述机器人吸尘器100设置有用于使主体110移动的至少一个驱动轮136,驱动轮136通过驱动马达139来进行驱动。驱动轮136可分别设置在主体110的左侧和右侧,以下分别称之为左轮136L和右轮136R。
左轮136L和右轮136R可通过一个驱动马达来进行驱动,但是,根据需要,可设置有用于驱动左轮136L的左轮驱动马达和用于驱动右轮136R的右轮驱动马达。通过使左轮136L和右轮136R的旋转速度不同,可使主体110的行进方向转变为向左或向右。
主体110的底面部可形成有用于吸入空气的吸入口110h,主体110内可设置有以使空气通过吸入口110h被吸入的方式提供吸力的吸入装置(未图示)和用于储存通过吸入口110h与空气一同被吸入的灰尘的集尘桶(未图示)。
主体110可包括形成收容构成机器人吸尘器100的各种部件的空间的壳体111。壳体111可形成有用于***和拆装所述集尘桶的开口部,打开和关闭所述开口部的集尘桶盖112设置为相对壳体111能够旋转。
所述机器人吸尘器100可设置有经由吸入口110h露出的带有刷子的辊状的主刷134和位于主体110的底面部的前方侧并且带有构成为以放射状延伸的多个翼状的刷子的副刷135。通过这些刷134、135的旋转,除去清扫区域内的地面上的灰尘,这样从地面分离的灰尘经由吸入口110h被吸入到集尘桶并储存。
电池138不仅向所述驱动马达供给电力,而且向机器人吸尘器100的整个动作供给电力。电池138因放电而需要充电时,机器人吸尘器100为了充电而向充电架200回归,在这样的回归行进中,机器人吸尘器100可以自己检测充电架200的位置。
充电架200可包括发送规定的回归信号的信号发送部(未图示)。所述回归信号可以是超声波信号或红外线信号,但是不限于此。
机器人吸尘器100可包括接收所述回归信号的信号检测部(未图示)。充电架200通过信号发送部发送红外线信号,所述信号检测部可包括检测所述红外线信号的红外线传感器。机器人吸尘器100根据从充电架200发送的红外线信号向充电架200所在位置移动,并与充电架200对接(docking)。通过这样的对接,实现机器人吸尘器100的充电端子133和充电架200的充电端子210之间的充电。
图像获取部120用于拍摄清扫区域,其可包括数字照相机。所述数字照相机可包括:至少一个光学镜头、包括基于经过所述光学镜头的光而成像的多个光电二极管(photodiode,例如像素(pixel))的图像传感器(例如,CMOS图像传感器)、基于从所述光电二极管输出的信号而构成图像的数字信号处理器(DSP:Digital Signal Processor)。所述数字信号处理器不仅能够生成静态图像,而且还能够生成由静态图像构成的帧构成的动态图像。
优选为,图像获取部120设置在主体110的上面部,获取清扫区域内的天花板的图像,但是,图像获取部120的位置和摄像范围并不限于此。作为一例,图像获取部120可以获取主体110前方的图像。
另外,机器人吸尘器100还可包括检测清扫区域内的地面是否存在台阶的台阶检测传感器132和获取地面图像的下部照相机传感器139。
参照图5,机器人吸尘器100可包括控制部140和存储部150。控制部140通过控制构成机器人吸尘器100的各种结构(例如,图像获取部120、操作部137、驱动马达139等),来控制机器人吸尘器100的整个动作,尤其可包括行进控制模块141、特征检测模块142、特征分布学习模块143及位置识别模块144。
存储部150用于存储控制机器人吸尘器100所需的各种信息,可包括挥发性存储介质或非挥发性存储介质。所述存储媒体用于存储微处理器(micro processor)能够读取的数据,可包括硬盘驱动器(HDD:Hard Disk Drive)、固态硬盘(SSD:Solid State Disk)、贵磁盘驱动器(SDD:Silicon Disk Drive)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等。
另外,存储部150可存储有清扫区域的地图。所述地图可以是通过与机器人吸尘器100进行有线通信或无线通信而能够交换信息的外部终端来输入的,也可以是通过机器人吸尘器100自己学***板电脑等。
所述地图可显示清扫区域内的房间的位置。此外,机器人吸尘器100的当前位置可显示在所述地图上,所述地图上的机器人吸尘器100的当前位置可在行进过程中更新。
行进控制模块141用于控制机器人吸尘器100的行进,根据行进设置来控制驱动马达139的驱动。此外,行进控制模块141基于驱动马达139的动作可以掌握机器人吸尘器100的移动路径。作为一例,行进控制模块141可基于驱动轮136的转速来掌握机器人吸尘器100的当前或者过去的移动速度、行进的距离等,并且基于各驱动轮136L、36R的旋转方向来掌握当前或者过去的方向转换过程。基于如上方式掌握的机器人吸尘器100的行进信息,在地图上能够更新机器人吸尘器100的位置。
在机器人吸尘器100行进中,图像获取部120获取机器人吸尘器100周围的图像。以下,将通过图像获取部120获取的图像称为“获取图像”。优选为,图像获取部120在地图上的每个房间获取至少一个获取图像。图6是在清扫区域内的任意一个房间拍摄到的图像,通过图像能够确认位于天花板上的照明11、墙角12等各种特征(feature)。
特征检测模块142从每个获取图像检测出特征(feature)。在计算机视觉(Computer Vision)技术领域中,从图像中检测特征的多种方法(Feature Detection)已被公众所知。所述特征包括边缘(edge)、角落(corner)、斑点(blob)、脊(ridge)等,并且用于检测这些特征的多种特征检测器(feature detector)已被公众所知。例如,Canny、Sobel、Harris和Stephens的Plessey、SUSAN、Shi-Tomasi、Level curve curvature、FAST、Laplacian of Gaussian、Difference of Gaussians、Determinant of Hessian、MSER、PCBR、Grey-level blobs检测器等。
图8是示出为了检测特征而利用SIFT算法来提取特征向量的图。SIFT算法,是指从图像中选择能够容易识别的角落点等特征点(key point)之后,求出属于各特征点周边的规定区域的像素的亮度梯度(gradient)的分布特性(亮度变化的方向及变化的急剧程度)柱状图,之后从所述柱状图的二进制(bin)值求出128维的向量的图像识别算法。
SIFT能够对拍摄对象的大小(scale)、旋转、亮度变化检测出不变的特征,因此,即便变更机器人吸尘器100的姿态而对相同区域进行拍摄,也能够检测出不变(即,旋转不变(Rotation-invariant))的特征。当然,算法不限于SIFT,也可以适用其他算法(例如,方向梯度直方图(HOG:Histogram of Oriented Gradient)、Haar feature、Fems、局部二值模式(LBP:Local Binary Pattern)、MCT(Modified Census Transform)算法)。
特征分布学习模块143基于由特征检测模块142检测出的特征来生成对应于特征的标签,并对标签赋予点数,基于各图像的标签的点数分布(以下,称之为图像的标签-点数分布)和如上方式求得的图像的标签-点数分布来求出各房间的标签的点数分布(以下,称之为房间的标签-点数分布)。更加详细的内容将在后面叙述,不过,图像的标签-点数分布和房间的标签-点数分布在机器人吸尘器100不能从地图上掌握自己位置的情况下(例如,在基于地图行进中,机器人吸尘器100的位置突然被变更的情况),通过与在该位置获取的图像进行比较来确定当前的位置时被应用。以下,直到求出房间的标签-点数分布位置的一系列的过程称为特征分布学习过程,基于房间的标签-点数分布和图像的标签-点数分布来识别当前的机器人吸尘器100的位置的过程称为位置识别过程。通过特征分布学习过程和位置识别过程,将清扫区域的整个范围作为对象,能够确定机器人吸尘器100的当前位置。(全区域位置识别:Global Localization)
图7是示出通过特征分布学习模块学习地图的过程的示意图。参照图7,如上所述,特征检测模块142对清扫区域内的多个位置获取的图像实施特征检测(featuredetection)。这样获取的图像作为按照房间分类的数据库存储在存储部150中。在清扫区域内具有N个房间的情况下,从每一个房间优选获取至少一个图像,从这样获取的图像检测出各特征。这时,从每个房间获取的图像可以由在房间内一边使机器人吸尘器100的姿态变化一边拍摄的图像(例如,机器人吸尘器100在原地旋转的同时获取的图像)或者一边变更位置一边拍摄到的图像构成。机器人吸尘器100在房间内可以以任意的姿态或者变更位置来获取图像,将其称为特征检测动作。特征检测动作可以在清扫区域内的所有房间内实施,以下将实施特征检测动作的同时检测清扫区域的整个范围的过程称为特征检测操作。特征检测操作可根据通过操作部137被输入的规定指令来实施,另外,也可以在机器人吸尘器100为了充电而向充电架200回归时实施。尤其是,在后者的情况下,特征检测操作已经实施,在清扫区域整个范围内已获取到图像,即使在存储于存储部150之后实施重新向充电架的回归,也不需要再实施特征检测操作。
针对从获取图像检测出的特征生成标签721,并赋予点数722。这时,标签的生成和点数的赋予按照各房间所确定的规则进行,优选为所述规则按照房间的不同而不同。
作为一例,图9示出清扫区域内设有N个房间时将获取图像按照房间进行分类的情况。在各图像中图示的八个方向的箭头是使用SIFT算法在获取图像中显示出特征的描述符(descriptor)。特征分布学习模块143根据各房间所确定的规则对描述符进行分类,并对类似的特征生成同一的标签。这时,标签根据各房间所确定的规则来下定义。
图10是从按照房间分类的图像检测出的特征赋予的标签被显示在获取图像上的图。在实施例中,根据各房间所确定的规则,将特征分类为五个标签,但是标签的个数不限于此。
在从房间1获取的图像中,对检测出的特征生成了符合房间1的规则的P11、P12、P13、P14、P15的标签。并且,在从房间N获取的图像中,对检测出的特征生成了符合房间N的规则的PN1、PN2、PN3、PN4、PN5。按照这种方式,对N个所有房间,根据各房间所确定的规则生成标签。通过特征分布学习模块143来实施标签的生成。
此外,特征分布学习模块143根据房间所确定的规则对标签赋予点数。作为一例,如图10所示,对基于从房间1获取的获取图像生成的标签P11,P12,P13,P14,P15一一对应地赋予1.5,2.1,1.0,2.3,1.5的点数,而对基于从其他房间(例如房间N)的获取图像生成的标签PN1,PN2,PN3,PN4,PN5,按照与房间1不同的基准赋予点数。在实施例中,对PN1,PN2,PN3,PN4,PN5一一对应地赋予了0.8,1.1,1.2,2.5,1.3的点数。
现在已经对各获取图像生成了标签,并对生成的标签赋予了点数,因此能够求出每个图像的特征分布。以下,所述每个图像的特征分布通过每个标签在获取图像中的出现频率乘以点数而得到的值作为条(bar)的长度的柱状图来表示。
特征分布学习模块143可以根据每个图像的特征分布(例如,图像的标签-点数分布)求出每个房间的特征分布(例如,房间的标签-点数分布)。图11是示出根据从N个所有房间获取的图像分别求得的每个图像的柱状图1110求出每个房间的特征分布的过程的图。以下,每个房间的特征分布由柱状图1120表示,将其称为每个房间的柱状图。
每个房间的柱状图1120是在按照每个房间求出的每个图像的柱状图中按照标签对点数进行平均而得到的。即,如图11所示,在通过从房间1获取的M个图像求出的每个图像的柱状图(房间1、图像1的柱状图~房间1、图像M的柱状图)中,按照每个标签(P11至P15),对点数进行平均而求出对房间1的柱状图(房间1的柱状图)。特征分布学习模块143对所有房间都实施上述过程,由此能够求出N个房间的柱状图,这样求出的每个房间的柱状图存储在存储部150。
每个房间的特征分布(每个房间的柱状图)用来反应对应房间的特征分布,因此,可以成为识别该房间的指标,并且每个图像的特征分布可以成为更加具体地识别重新获取房间内的图像的位置的指标。尤其在按照地图正常控制机器人吸尘器100的行进中,通过行进控制模块141能够持续监测地图上的机器人吸尘器100的位置,因此,当通过图像获取部120获取图像时,能够掌握机器人吸尘器100位于房间内的哪个位置。因此,这样一同考虑基于地图识别到的机器人吸尘器100的位置信息时,每个图像的特征分布可以成为在特定的房间内识别出获取到图像的位置的指标。
现在已经求出了识别房间的指标(每个房间的特征分布)和识别房间内的位置的指标(每个图像的特征分布),因此,下面说明利用上述指标的位置识别过程。
图12是示出通过位置识别模块识别出机器人吸尘器位置的过程的示意图。参照图12,位置识别过程包括:机器人吸尘器100在当前位置获取周边的图像(例如天花板)的步骤;从这样获取的图像检测出特征的步骤;对检测出的特征适用每个房间所确定的规则(特征分布学习过程中每个房间所适用的规则)而求出N个特征分布的步骤。
这时,从获取图像检测特征的过程、生成标签的过程及赋予标签点数的过程可根据特征分布学习过程中所适用的每个房间所确定的规则来实施。所述每个房间所确定的规则的数量可以是与房间个数(N个)对应的数量,适用这些规则而从获取图像求出的N个特征分布(以下以柱状图为例)可形成用于识别机器人吸尘器100当前所处房间的比较组。位置识别模块144通过将构成所述比较组的特征分布(以下,称为比较组的特征分布)和在特征分布学习过程中求出的每个房间的特征分布进行比较,来能够确定在当前位置获取的图像是从哪个房间内求出的。
每个房间的特征分布是对从对应的房间获取的多个图像按照标签平均点数而得到的,因此,可能与比较组的特征分布中的某一个不能准确地一致。因此,位置识别模块144求出与比较组的特征分布中的某一个最接近地匹配的每个房间的特征分布,由此能够确定在当前位置获取的图像从哪个房间求出的。
以下,参照图13至图15更加详细说明位置识别过程。图13示出了将每个房间所确定的规则(特征分布学习过程中所适用的规则)适用在机器人吸尘器的当前位置所获取的图像而生成标签,并对标签赋予点数生成N个比较柱状图的过程。N个比较柱状图是从同一图像求得的,但是,由于每个比较柱状图是通过适用每个房间所确定的规则而求得的,因此,标签的生成基准和点数的赋予基准不同,优选为,求出N个彼此不同的比较柱状图。现在,位置识别模块144将这些N个比较柱状图与在每个特征分布学习过程中求出的N个房间的柱状图进行比较。
图14是示出了将N个房间的柱状图(房间1的柱状图至房间N的柱状图)和N个比较柱状图(比较柱状图1至比较柱状图N)匹配的图。如图所示,将每个房间的柱状图和比较柱状图彼此进行比较的结果为,将第K个房间的规则适用于在当前位置获取的图像而求得的比较柱状图K与特征分布学习过程中求出的第K个房间的柱状图(房间K的柱状图)最相近。因此,在该情况下,位置识别模块144确定机器人吸尘器100位于当前K房间内。
如上所述,通过基于机器人吸尘器100在当前自身位置获取的图像来确定自身位置的方式,在地图上的机器人吸尘器100的位置不连续地变更的情况下,例如在不能通过行进控制模块141掌握行进过程而移动,导致仅凭从行进控制模块141获取的行进信息不能在地图上掌握自身的位置的情况下,也能掌握当前位置。
作为另一例,机器人吸尘器100根据已存储在存储部150的地图自行行进而对客厅进行清扫的过程中,用户将其路径变更为任意路径而使其向客厅以外的房间移动,并且在移动后的房间内继续行进的情况下,如果是根据由行进控制模块141获取的行进记录仅依赖于地图来掌握自身位置的现有方式,则控制部140只能掌握机器人吸尘器100仍然在客厅。但是,根据本发明,基于在新的房间获取的图像来实施位置识别过程的情况下,可以掌握机器人吸尘器100当前位于哪个房间。因此,在地图上重新掌握机器人吸尘器100在哪个房间,并基于地图能够控制行进的全区域位置识别的控制是可行的。
图15是示出了将从当前位置获取的图像求出的比较柱状图K和从在特征分布学习过程中在房间K内获取的图像获取的柱状图进行比较的图。
房间K是通过位置识别模块144掌握的机器人吸尘器100所处的当前位置的房间,在特征分布学习过程中,从房间K内获取的M个图像求出的M个柱状图由房间K图像1的柱状图至房间K图像M的柱状图来表示。比较柱状图K与房间K图像L最相近,位置识别模块144能够确定机器人吸尘器100位于当前房间K内并且位于M个图像中求出图像L的位置。其中,求出图像L的地点可根据在特征分布学习过程中由行进控制模块141求得的行进记录能够在地图上确定。
根据本发明的机器人吸尘器和机器人吸尘器的控制方法具有以下效果:
第一,基于全区域位置识别,能够准确地掌握自身的位置。
第二,能够准确地执行向充电架回归的动作。
第三,即使在行进中被用户移动到任意的其他位置,也能够在移动后的位置重新识别自己的位置,从而能够防止现有技术中不能掌握自己的位置而徘徊的现象发生。
第四,即使在地图上失去了自身位置的情况下,也能基于从当前位置求得的图像来迅速地重新识别当前的位置。
第五,将机器人吸尘器在当前自身位置获取的图像不是与在特征分布学习过程中求得的所有图像的特征进行比较,而是与将从每个房间所求得的图像求出的特征分布集合的每个房间的特征分布进行比较,由此识别当前吸尘器所处房间,因此,能够减小特征匹配所需的数据量和消耗的时间。
本申请主张申请号为10-2014-0131526、申请日为2014年9月30日的韩国专利申请的优先权,将该韩国专利申请的全部内容引入本申请中作为参考。
Claims (18)
1.一种机器人吸尘器的控制方法,其特征在于,包括:
a步骤,在清扫区域内的多个房间分别获取对各所述房间的多个图像;
b步骤,作为基于所述a步骤中获取的图像并根据每个房间所确定的规则来求出用于表示各每个房间特征分布的每个房间柱状图的步骤,对规定的房间的所述每个房间柱状图的二进制表示从所述a步骤中获取的与所述规定的房间对应的多个图像中求出的特征,所述每个房间柱状图的二进制被赋予点数;
c步骤,在当前位置获取周边的图像;
d步骤,作为求出用于表示对所述c步骤中获取的图像的每个图像特征分布的每个图像柱状图的步骤,所述每个图像柱状图分别通过将所述每个房间所确定的规则适用于所述c步骤中获取的各图像的特征而求出,用于表示特征的二进制被赋予点数;以及
e步骤,将所述b步骤中求出的每个房间柱状图和所述d步骤中求出的每个图像柱状图进行比较,来确定机器人吸尘器当前所在的房间。
2.根据权利要求1所述的机器人吸尘器的控制方法,其特征在于,
所述b步骤包括:
b-1步骤,求出所述a步骤中获取的图像的特征分布;
b-2步骤,基于所述b-1步骤中求出的所述图像的特征分布,按照获取到所述图像的每个房间求出所述每个房间柱状图。
3.根据权利要求2所述的机器人吸尘器的控制方法,其特征在于,
所述b-1步骤包括:
从所述a步骤中获取的图像检测出特征的步骤,
生成对所述每个房间柱状图的二进制的标签的步骤,
对所述标签赋予所述点数,并求出每个图像的每个标签点数分布的步骤;
所述b-2步骤基于每个图像的每个标签点数分布,对每个房间求出每个标签点数分布。
4.根据权利要求3所述的机器人吸尘器的控制方法,其特征在于,
根据所述每个房间所确定的规则,实施所述b-1步骤中对所述标签赋予所述点数。
5.根据权利要求3所述的机器人吸尘器的控制方法,其特征在于,
所述b-2步骤中按照每个房间求出的每个标签点数分布是按照每个房间将所述每个图像的每个标签点数分布平均而得到的。
6.根据权利要求2所述的机器人吸尘器的控制方法,其特征在于,
还包括:
在所述d步骤中求出的所述每个图像柱状图中,将适用了所述e步骤中被确定为当前所述机器人吸尘器存在的房间的规则的每个图像柱状图和所述b步骤中求出的所述每个房间柱状图进行比较,来确定所述机器人吸尘器在房间内位于哪个区域的步骤。
7.根据权利要求1所述的机器人吸尘器的控制方法,其特征在于,
还包括:
基于已存储的清扫区域的地图来掌握所述机器人吸尘器的位置的步骤;
所述c步骤至所述e步骤在不能从所述地图掌握所述机器人吸尘器的位置时实施。
8.根据权利要求7所述的机器人吸尘器的控制方法,其特征在于,
所述地图是从与所述机器人吸尘器进行无线通信的外部终端输入的。
9.根据权利要求1所述的机器人吸尘器的控制方法,其特征在于,
所述周边的图像是拍摄所述清扫区域内的天花板的图像。
10.根据权利要求1所述的机器人吸尘器的控制方法,其特征在于,
所述每个房间所确定的规则彼此不同。
11.一种机器人吸尘器,其特征在于,包括:
图像获取部,获取周边的图像,
特征分布学习模块,基于通过所述图像获取部获取的图像并根据每个房间所确定的规则来求出用于表示各每个房间特征分布的每个房间柱状图,对规定的房间的所述每个房间柱状图的二进制表示从与所述规定的房间对应的多个图像中求出的特征,所述每个房间柱状图的二进制被赋予点数,以及
位置识别模块,求出用于表示对在机器人吸尘器的当前位置通过所述图像获取部获取的图像的每个图像特征分布的每个图像柱状图,所述每个图像柱状图分别通过将所述每个房间所确定的规则适用于在所述当前位置通过所述图像获取部获取的图像的特征求出,用于表示特征的二进制被赋予点数;
所述位置识别模块将所述每个房间柱状图和所述每个图像柱状图进行比较,来确定所述机器人吸尘器当前所在的房间。
12.根据权利要求11所述的机器人吸尘器,其特征在于,
所述特征分布学习模块求出通过所述图像获取部获取的图像的特征分布,并且基于所述图像的特征分布,按照获取到所述图像的每个房间求出所述每个房间柱状图。
13.根据权利要求11所述的机器人吸尘器,其特征在于,
还包括:
特征检测模块,从通过所述图像获取部获取的图像检测出特征;
所述特征分布学习模块生成与所述二进制对应的标签,并且对所述标签赋予所述点数,求出每个图像的每个标签点数分布,基于所述每个图像的每个标签点数分布,来求出每个房间的每个标签点数分布。
14.根据权利要求13所述的机器人吸尘器,其特征在于,
根据所述每个房间所确定的规则实施对所述标签赋予点数。
15.根据权利要求13所述的机器人吸尘器,其特征在于,
按照每个房间求出的每个标签点数分布是按照每个房间将所述图像的每个标签点数分布平均而得到的。
16.根据权利要求12所述的机器人吸尘器,其特征在于,
所述位置识别模块是在所述每个图像柱状图中,将适用了被所述位置识别模块确定为当前所述机器人吸尘器存在的房间的规则的每个图像柱状图和从确定为当前所述机器人吸尘器存在的房间求出的图像的每个房间柱状图进行比较,来确定所述机器人吸尘器在房间内位于哪个区域。
17.根据权利要求11所述的机器人吸尘器,其特征在于,
所述图像获取部能够拍摄清扫区域的天花板。
18.一种机器人吸尘器的控制方法,其特征在于,
在清扫区域内移动的同时获取周边的图像;
根据每个房间所确定的规则,i)在从每个房间获取的图像检测出特征,ii)求出检测出的特征的标签,iii)对每个标签赋予点数,iv)按照每个房间求出每个标签点数分布并存储;
按照每个房间储存每个标签点数分布之后获取周边的图像,并根据在所述i)、ii)、iii)及iv)中适用的每个房间所确定的规则,对获取的图像的特征生成标签,对生成的标签赋予点数,求出由基于每个房间所确定的规则的每个标签点数分布构成的比较组,并且基于所述比较组和所述iv)步骤中按照每个房间求出的每个标签点数分布,来确定机器人吸尘器当前所在的房间。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140131526A KR101629649B1 (ko) | 2014-09-30 | 2014-09-30 | 로봇 청소기 및 로봇 청소기의 제어방법 |
KR10-2014-0131526 | 2014-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105455743A CN105455743A (zh) | 2016-04-06 |
CN105455743B true CN105455743B (zh) | 2018-08-31 |
Family
ID=
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103054522A (zh) * | 2012-12-31 | 2013-04-24 | 河海大学 | 基于视觉测量的清洁机器人***及其测控方法 |
CN103479303A (zh) * | 2012-06-08 | 2014-01-01 | Lg电子株式会社 | 机器人清洁器、其控制方法以及机器人清洁*** |
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103479303A (zh) * | 2012-06-08 | 2014-01-01 | Lg电子株式会社 | 机器人清洁器、其控制方法以及机器人清洁*** |
CN103054522A (zh) * | 2012-12-31 | 2013-04-24 | 河海大学 | 基于视觉测量的清洁机器人***及其测控方法 |
Non-Patent Citations (1)
Title |
---|
Towards 3D Point cloud based object maps for household environments;Radu Bogdan Rusu等;《Robotics and Autonomous Systems》;20081231;第56卷;第927页-第941页 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101629649B1 (ko) | 로봇 청소기 및 로봇 청소기의 제어방법 | |
KR102314539B1 (ko) | 인공지능 이동 로봇의 제어 방법 | |
US11400600B2 (en) | Mobile robot and method of controlling the same | |
JP7055127B2 (ja) | 移動ロボット及びその制御方法 | |
KR102235271B1 (ko) | 이동 로봇 및 그 제어방법 | |
EP3450117B1 (en) | Mobile robot and control method therefor | |
KR102032285B1 (ko) | 이동 로봇 및 그 제어방법 | |
KR20160048750A (ko) | 로봇 청소기 및 로봇 청소기의 제어방법 | |
KR20190031431A (ko) | 물품의 위치 파악, 식별 및 카운트하는 방법 및 시스템 | |
KR20180087798A (ko) | 이동 로봇 및 그 제어방법 | |
US11348276B2 (en) | Mobile robot control method | |
KR20180125010A (ko) | 이동 로봇 및 이동 로봇의 제어방법 | |
KR102024094B1 (ko) | 인공지능을 이용한 이동 로봇 및 그 제어방법 | |
Verma et al. | Object identification for inventory management using convolutional neural network | |
Lakshmi et al. | Neuromorphic vision: From sensors to event‐based algorithms | |
Ullah et al. | Rotation invariant person tracker using top view | |
KR102669126B1 (ko) | 이동 로봇 및 그 제어방법 | |
Zhou et al. | Online multiple targets detection and tracking from mobile robot in cluttered indoor environments with depth camera | |
Manderson et al. | Texture-aware SLAM using stereo imagery and inertial information | |
CN105455743B (zh) | 机器人吸尘器及机器人吸尘器的控制方法 | |
Roa-Garzón et al. | Vision-based solutions for robotic manipulation and navigation applied to object picking and distribution | |
Hadi et al. | Fusion of thermal and depth images for occlusion handling for human detection from mobile robot | |
KR20180048088A (ko) | 로봇 청소기 및 그 제어방법 | |
Ikeda et al. | A method to recognize 3D shapes of moving targets based on integration of inclined 2D range scans | |
Wang et al. | Mobile robot ego motion estimation using ransac-based ceiling vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |