CN105606092A - 一种室内机器人定位方法及*** - Google Patents

一种室内机器人定位方法及*** Download PDF

Info

Publication number
CN105606092A
CN105606092A CN201610079746.5A CN201610079746A CN105606092A CN 105606092 A CN105606092 A CN 105606092A CN 201610079746 A CN201610079746 A CN 201610079746A CN 105606092 A CN105606092 A CN 105606092A
Authority
CN
China
Prior art keywords
robot
light stream
image
sigma
indoor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610079746.5A
Other languages
English (en)
Other versions
CN105606092B (zh
Inventor
曹天扬
蔡浩原
方东明
黄辉
刘昶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Electronics of CAS
Original Assignee
Institute of Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Electronics of CAS filed Critical Institute of Electronics of CAS
Priority to CN201610079746.5A priority Critical patent/CN105606092B/zh
Publication of CN105606092A publication Critical patent/CN105606092A/zh
Application granted granted Critical
Publication of CN105606092B publication Critical patent/CN105606092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种室内机器人定位方法及***,方法首先从机器人的视角实时拍摄室内的静止参照物,得到参照物图像,然后获取从前一帧参照物图像到当前帧参照物图像的光流,并对光流进行高斯滤波,得到机器人与所述参照物的相对速度,最后对运动速度进行时间维度积分,得到机器人在室内的位置。本发明仅用摄像头等拍摄装置即可求得机器人的运动速度和转动角速度,进而得到机器人位置,可以辅助机器人实现精简的导航。另外,通过高斯滤波与光流法结合,可有效滤除光流中的噪声,提高解算出的机器人行驶速度和转动角速度的精度。

Description

一种室内机器人定位方法及***
技术领域
本发明属于智能机器人领域,尤其涉及一种室内机器人定位方法及***。
背景技术
作为民用化最成功的机器人技术之一,扫地机器人正在走进越来越多的家庭,智能清扫正在让人们的家居生活变得越来越温馨。追求更高水平的智慧是机器人发展的一条主线。通过各种新功能的传感器,防碰撞、防跌落等一些扫地机器人的常见使用问题已得到成功解决,同时应用加装在充电桩上的信标实现了机器人低电量时的回充导航、极大地方便了人们的使用。
目前扫地机器人最新的发展趋势是通过自动规划清扫路线实现100%无死角的屋内环境清洁,这将大大优于目前常用的随机碰撞式寻路模式。自动规划清扫路线的技术核心是机器人要能够自主导航,实时获知自己在屋子中的位置和运动轨迹。
目前国内外的科研机构都在积极开展光学视觉***与扫地机器人结合的相关研究。其中Neato公司的路径规划式导航***通过激光定位实现,通过机器人上的激光扫描器件扫描整个房间的结构,然后通过所有数据生成数字地图,规划出最有效的清洁路线。在清洁时也会确保不留下死角,清扫完毕后还会自动返回底座充电。但激光扫描技术成本好高,故障率也偏高,当遇到玻璃等高透光物体时还会出现导航失效。而LG公司的路径规划式机器人导航***则是采用视觉导航方案,其通过机体顶部安装的1至2个摄像头,扫描天花板生成数字地图、测定位机体所处位置,自动构建清扫路径。通常图像特征匹配可以测定机器人的行驶速度,但扫地机器人导航是以房间为参考进行路径规划的,视频获取的机器人运动速度需要换算到以房间为参考的地面坐标系中进行积分才能解算出它的行驶轨迹。通常的方案是将视频导航信息与惯导测向结合,通过陀螺或电子磁罗盘测出机器人运动的航向角,但这种方式大大增加了***的复杂性,同时还给导航***引入了新的干扰、加重了导航误差。
发明内容
(一)要解决的技术问题
本发明的目的在于,提供一种室内机器人定位方法及***,能以较少的硬件设备对机器人进行实时定位,并且定位精度高。
(二)技术方案
本发明提供一种室内机器人定位方法,用于确定室内处于运动状态的机器人的位置,方法包括:
S1,从机器人的视角实时拍摄室内的参照物,得到参照物图像,其中,该参照物在室内处于静止状态;
S2,获取从前一帧参照物图像到当前帧参照物图像的光流,并对光流进行高斯滤波,得到机器人与所述参照物的相对速度,即机器人在室内的运动速度,其中,所述机器人的运动速度包括线速度和角速度;
S3,对所述运动速度进行时间维度积分,得到所述机器人在室内的位置。
本发明还提供一种室内机器人定位***,用于确定室内处于运动状态的机器人的位置,***包括:
拍摄装置,其置于机器人上,用于实时拍摄室内的参照物,得到参照物图像,其中,该参照物在室内处于静止状态;
图像分析装置,用于获取从前一帧参照物图像到当前帧参照物图像的光流,并对光流进行高斯滤波,得到机器人与所述参照物的相对速度,即机器人在室内的运动速度,其中,所述机器人的运动速度包括线速度和角速度;
计算装置,用于对所述运动速度进行时间维度积分,得到所述机器人在室内的位置。
(三)有益效果
本发明仅用摄像头等拍摄装置即可求得机器人的运动速度的转动角速度,进而得到机器人位置,可以辅助机器人实现精简的导航。另外,本发明通过高斯滤波与光流法结合,可有效滤除光流中的噪声,提高解算出的机器人行驶速度和转动角速度的精度。
附图说明
图1是本发明提供的室内机器人定位方法的流程图。
图2是本发明实施例中整幅天花板图像的光流处理效果图。
图3是本发明实施例中转弯时整幅天花板图像。
图4是本发明实施例中前半幅天花板图像光流计算和滤波效果图。
图5是本发明实施例中后半幅天花板图像光流计算和滤波效果图。
图6是本发明实施例中机器人在室内的运动轨迹图。
具体实施方式
本发明提供一种室内机器人定位方法及***,方法实现从机器人的视角实时拍摄室内的静止参照物,得到参照物图像,然后获取从前一帧参照物图像到当前帧参照物图像的光流,并对光流进行高斯滤波得到机器人与所述参照物的相对速度,最后对运动速度进行时间维度积分,得到机器人在室内的位置。本发明仅用摄像头等拍摄装置即可求得机器人的运动速度和转动角速度,进而得到机器人位置,可以辅助机器人实现精简的导航。另外,通过高斯滤波与光流法结合,可有效滤除光流中的噪声,提高解算出的机器人行驶速度和转动角速度的精度。
图1是本发明提供的室内机器人定位方法的流程图,如图1所示,室内机器人定位方法包括:
S1,从机器人的视角实时拍摄室内的参照物,得到参照物图像,其中,该参照物在室内处于静止状态;室内机器人可以是扫地机器人等智能机器人,参照物可以是室内的天花板等静止参照物,需要说明的是,由于机器人的视角是不变的,随着运动,其拍摄的参照物也会发生变化,本发明只需要在前后帧图像中具有相同的参照物即可,并不局限于某一具体参照物。
S2,获取从前一帧参照物图像到当前帧参照物图像的光流,并对光流进行高斯滤波,得到机器人与所述参照物的相对速度,即机器人在室内的运动速度,其中,所述机器人的运动速度包括线速度和角速度;
S3,对所述运动速度进行时间维度积分,得到所述机器人在室内的位置。
根据本发明的一种实施方式,步骤S2包括:获取前后两帧参照物图像,计算像素点灰度值随时间的变化量It和随空间的变化量Ix、Iy
I x = ∂ I ∂ x ,
I y = ∂ I ∂ y ,
I t = ∂ I ∂ t ,
其中,I为像素点灰度值,x,y为像素点在参照物图像中的位置,t为时间;
根据像素点的光流场方程:
I x · d x d t + I y · d y d t + I t = 0 ,
联立多个像素点的光流场方程求解出参照物相对机器人的光流
I x 1 I y 1 I x 2 I y 2 . . . . . . I x n I y n · d x d t d y d t = - I t 1 - I t 2 . . . - I t n ,
其中,为x方向光流,为y方向光流,对参照物图像中的所有点都求取光流,得到的光流图代表了机器人相对于参照物的实时运动速度,光流图包括x方向光流图像和y方向光流图像;
对所述的两个方向的光流图像分别进行高斯滤波,得到机器人的线速度u、v,u为x方向速度,v为y方向速度,其中,高斯滤波函数的表达式为:
B ( x , y ) = Σ x = x 0 - σ x 0 + σ Σ y = x 0 - σ y 0 + σ g ( x , y ) · A ( x , y ) ,
g ( x , y ) = e - ( x - x 0 ) 2 + ( y - y 0 ) 2 2 σ 2 ,
其中,B(x,y)是滤波后的光流图像,A(x,y)是待滤波的光流图像,由,(x0,y0)是滤波器的中心,g(x,y)是(x,y)点的滤波权重,σ为滤波参数;
滤波后的光流图像B(x,y)分为前后两半幅图像,根据机器人转动时,前半幅图像和后半幅图像的光流差异,得到参照物相对于机器人的旋转速度,即机器人的角速度ω:
ω=α12
其中,α1、α2分别为前半幅光流图像和后半幅光流图像的光流角度,其表达式为:
α k = a r c t g ( Σ ( i , j ) ∈ B k Σ B k , u ( x , y ) Σ ( i , j ) ∈ B k Σ B k , v ( x , y ) ) ,
其中,k=1,2,Bk,u(x,y)为前半幅光流图像的滤波结果,Bk,v(x,y)为后半幅光流图像的滤波结,Bk为分别是前后两半幅图像的光流高斯滤波结果。
根据本发明的一种实施方式,步骤S2还包括:对机器人的线速度u、v进行坐标系转换,得到室内地面坐标系下的线速度un、vn,其表达式为:
u n v n = cos ( β t ) sin ( β t ) - sin ( β t ) cos ( β t ) u v ,
其中,βt表示机器人的航向角,其表达式为:
β t = β 0 + Σ n = 1 t ω n · Δ t ,
β0为0时刻航向角的初始值,ωn为n时刻机器人的角速度,Δt为两帧图像间的时间间隔。
根据本发明的一种实施方式,步骤S3包括:
对机器人在室内地面坐标系下的线速度un、vn在时间维度积分,得到机器人在室内地面坐标系下的实时位置坐标。
根据本发明的一种实施方式,方法还包括:S4,将机器人各时刻的位置坐标进行描点并连线,得到机器人在室内的运动轨迹。
根据本发明的一种实施方式,室内机器人定位***包括:
拍摄装置,其置于机器人上,用于实时拍摄室内的参照物,得到参照物图像,其中,该参照物在室内处于静止状态;
图像分析装置,用于获取从前一帧参照物图像到当前帧参照物图像的光流,并对光流进行高斯滤波,再对滤波后的光流进行分析,得到机器人与所述参照物的相对速度,即机器人在室内的运动速度,其中,所述机器人的运动速度包括线速度和角速度;
计算装置,用于对运动速度进行时间维度积分,得到机器人在室内的位置。
根据本发明的一种实施方式,图像分析装置执行:获取前后两帧参照物图像,计算像素点灰度值随时间的变化量It和随空间的变化量Ix、Iy
I x = ∂ I ∂ x ,
I y = ∂ I ∂ y ,
I t = ∂ I ∂ t ,
其中,I为像素点灰度值,x,y为像素点在参照物图像中的位置,t为时间;
根据像素点的光流场方程:
I x · d x d t + I y · d y d t + I t = 0 ,
联立多个像素点的光流场方程求解出参照物相对机器人的光流
I x 1 I y 1 I x 2 I y 2 . . . . . . I x n I y n · d x d t d y d t = - I t 1 - I t 2 . . . - I t n ,
其中,为x方向光流,为y方向光流,对视频图像中的所有点都求取光流,得到的光流图像代表了机器人相对于参照物的实时运动速度,光流图包括x方向光流图像和y方向光流图像;
对所述的两个方向的光流图像分别进行高斯滤波,得到机器人的线速度u、v,u为x方向速度,v为y方向速度,其中,高斯滤波函数的表达式为:
B ( x , y ) = Σ x = x 0 - σ x 0 + σ Σ y = x 0 - σ y 0 + σ g ( x , y ) · A ( x , y ) ,
g ( x , y ) = e - ( x - x 0 ) 2 + ( y - y 0 ) 2 2 σ 2 ,
其中,B(x,y)是滤波后的光流图像,A(x,y)是待滤波的光流图像,由,(x0,y0)是滤波器的中心,g(x,y)是(x,y)点的滤波权重,σ为滤波参数;
滤波后的光流图像B(x,y)分为前后两半幅图像,根据机器人转动时,前半幅图像和后半幅图像的光流差异,得到参照物相对于机器人的旋转速度,即机器人的角速度ω:
ω=α12
其中,α1、α2分别为前半幅光流图像和后半幅光流图像的光流角度,其表达式为:
α k = a r c t g ( Σ ( i , j ) ∈ B k Σ B k , u ( x , y ) Σ ( i , j ) ∈ B k Σ B k , v ( x , y ) ) ,
其中,k=1,2,Bk,u(x,y)为前半幅光流图像的滤波结果,Bk,v(x,y)为后半幅光流图像的滤波结,Bk为分别是前后两半幅图像的光流高斯滤波结果。
根据本发明的一种实施方式,图像分析装置还执行:
对机器人的线速度u、v进行坐标系转换,得到室内地面坐标系下的线速度un、vn,其表达式为:
u n v n = cos ( β t ) sin ( β t ) - sin ( β t ) cos ( β t ) u v ,
其中,βt表示机器人的航向角,其表达式为:
β t = β 0 + Σ n = 1 t ω n · Δ t ,
β0为0时刻航向角的初始值,ωn为n时刻机器人的角速度,Δt为两帧图像间的时间间隔。
根据本发明的一种实施方式,计算装置执行:对机器人在室内地面坐标系下的线速度un、vn在时间维度积分,得到机器人在室内地面坐标系下的实时位置坐标。
根据本发明的一种实施方式,***还包括:轨迹绘制装置,机器人将各时刻的位置坐标进行描点并连线,得到机器人在室内的运动轨迹。
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明实施例提供一种室内扫地机器人的定位方法,包括:
S1,利用安装在扫地机器人上的视频装置,实时拍摄室内的天花板,得到天花板图像,扫地机器人的行走属于地面上的平面运动,视频装置的镜头安装于机器人上表面,平行于天花板。考虑到一般家庭内的格局是天花板与地板平行,借助这种处处等高的特点,通过计算摄像头中天花板图像的运动趋势与旋转量即可直接获得扫地机器人的各种运动信息。
S2,对参照物图像进行分析,得到机器人与参照物的相对速度,即机器人在室内的运动速度,其中,机器人的运动速度包括线速度和角速度。
采用光流法计算视频画面中天花板的“运动”参数,求取的参数包括运动的线速度和转动的角速度。
机器人运动过程中,尽管天花板是静止的,但相对于所载摄像机,天花板呈现出一种相对“运动”趋势,速度通过摄像机画面中天花板中各个像素点的光流值计算。
令视频图像中的任意一点(x,y)在t时刻灰度值为I(x,y,t)。扫地机器人行驶时,该点的亮度在空间和时间维度上都会发生变化,即:
I x = ∂ I ∂ x ,
I y = ∂ I ∂ y ,
I t = ∂ I ∂ t ,
天花板的“运动”方向可以根据这些亮度分量的变化获知。天花板在x和y坐标轴方向的运动与亮度变化的关系可以通过光流场方程表示:
I x · d x d t + I y · d y d t + I t = 0 ,
因为天花板的“运动”会造成图像的亮度呈区域性变化,将多点 I x 1 I y 1 I x 2 I y 2 . . . . . . I x n I y n 的光流场方程联立可以求出天花板的光流,即天花板与机器人的相对运动速度:
I x 1 I y 1 I x 2 I y 2 . . . . . . I x n I y n · d x d t d y d t = - I t 1 - I t 2 . . . - I t n ,
其中,为x方向光流,为y方向光流,对天花板图像中的所有点都求取光流,得到的光流图代表了机器人相对于天花板的实时运动速度,光流图包括x方向光流图像和y方向光流图像。
由于每点所处的亮度变化不尽一致,图像中各个点光流的计算结果相当杂乱,本专利引入高斯滤波器对结果进行梳理,提取出真正反映机器人移动的光流低频信息。二维高斯平滑滤波器的函数为:
B ( x , y ) = Σ x = x 0 - σ x 0 + σ Σ y = x 0 - σ y 0 + σ g ( x , y ) · A ( x , y ) ,
g ( x , y ) = e - ( x - x 0 ) 2 + ( y - y 0 ) 2 2 σ 2
其中,A(x,y)是待滤波的光流图像,(x0,y0)是滤波器的中心,g(x,y)是(x,y)点的滤波权重,σ为滤波参数。通过不断移动中心点(x0,y0)可以实现对图像的逐点滤波。σ决定了高斯滤波器的滤波能力,σ越大、高斯滤波器的去噪效果越好。整幅图像的光流处理效果如图2所示,经高斯滤波后扫地机器人的运动方向可以准确提取。
考虑到旋转时,将镜头轴线与机器人转动中心重合,当机器人车体前半部分转动时,后半部分将沿相反方向运动,转动的越快、视频前后两部(以天花板行驶方向为参考)分光流的角度差值越大。本实施例充分利用这一现象计算角速度。经高斯滤波处理后的光流角度计算公式如下:
α k = a r c t g ( Σ ( i , j ) ∈ B k Σ B k , u ( x , y ) Σ ( i , j ) ∈ B k Σ B k , v ( x , y ) ) ,
其中,k=1,2,Bk,u(x,y)为前半幅图像的滤波结果,Bk,v(x,y)为后半幅图像的滤波结,Bk为分别是每帧视频前后两半幅图像的光流高斯滤波结果。αk是光流法算出的图像转动角度。本实施例中,视频装置位于机器人的中心(也是机器人的转动中心),机器人不转动时前后两半幅图像计算出的光流方向相同;转动时,后半部分的图像光流与前半部分趋势反向(以顺时针转动为例,前半车体是从右向左运动、后半车体是从左向右运动),转动角速度越大,前后两部分光流方向的差异越大,二者取差值即可求得机器人转动的角速度:
ω=α12
转弯时光流法的处理效果如图3、图4、图5所示。图3是整幅图像,图4和图5分别是前半幅和后半幅图像的光流计算和滤波效果,可以看出经光流和高斯滤波处理后,扫地机器人的转动方向可以精确计算得到。
上述求得的天花板与机器人的相对移动速度是以机器人为参考坐标系,考虑到机器人的定位结果最终要反映到以室内地面为基准的坐标系中,因此采用欧拉角公式通过航向角β实现机器人坐标系与地面坐标系之间的换算,其公式为:
u n v n = cos ( β ) sin ( β ) - sin ( β ) cos ( β ) u v ,
un、vn表示地面坐标系中的扫地机器人速度,u、v表示机器人系中的扫地机器人行走速度。航向角βt的更新公式由角速度累加获得:
β t = β 0 + Σ n = 1 t ω n · Δ t ,
其中,航向角β0初值本实施例中取为0度,ωn为n时刻机器人的角速度,Δt为两帧图像间的时间间隔。
S3,对运动速度进行时间维度积分,得到机器人在室内的位置。
因为平面运动中横滚角和俯仰角都为零,将机器人在地面平面中的速度un、vn在时间维度积分后,即可获得扫地机器人的实时位置坐标。
S4,将机器人各时刻的位置坐标进行描点并连线,得到机器人在室内的运动轨迹,其轨迹如图6所示。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种室内机器人定位方法,用于确定室内处于运动状态的机器人的位置,其特征在于,方法包括:
S1,从机器人的视角实时拍摄室内的参照物,得到参照物图像,其中,该参照物在室内处于静止状态;
S2,获取从前一帧参照物图像到当前帧参照物图像的光流,并对光流进行高斯滤波,得到机器人与所述参照物的相对速度,即机器人在室内的运动速度,其中,所述机器人的运动速度包括线速度和角速度;
S3,对所述运动速度进行时间维度积分,得到所述机器人在室内的位置。
2.根据权利要求1所述的室内机器人定位方法,其特征在于,所述步骤S2包括:
获取前后两帧参照物图像,计算像素点灰度值随时间的变化量It和随空间的变化量Ix、Iy
I x = ∂ I ∂ x ,
I y = ∂ I ∂ y ,
I t = ∂ I ∂ t ,
其中,I为像素点灰度值,x,y为像素点在参照物图像中的位置,t为时间;
根据像素点的光流场方程:
I x · d x d t + I y · d y d t + I t = 0 ,
联立多个像素点的光流场方程求解出参照物相对机器人的光流
I x 1 I y 1 I x 2 I y 2 . . . . . . I x n I y n · d x d t d y d t = - I t 1 - I t 2 . . . - I t n ,
其中,为x方向光流,为y方向光流,对图像中的所有点都求取光流,得到光流图像,光流图包括x方向光流图像和y方向光流图像;
对所述的两个方向的光流分别进行高斯滤波,得到机器人的线速度u、v,u为x方向速度,v为y方向速度,其中,高斯滤波函数的表达式为:
B ( x , y ) = Σ x = x 0 - σ x 0 + σ Σ y = x 0 - σ y 0 + σ g ( x , y ) · A ( x , y ) ,
g ( x , y ) = e - ( x - x 0 ) 2 + ( y - y 0 ) 2 2 σ 2 ,
其中,B(x,y)是滤波后的光流图像,A(x,y)是待滤波的光流图像,由,(x0,y0)是滤波器的中心,g(x,y)是(x,y)点的滤波权重,σ为滤波参数;
滤波后的光流图像B(x,y)分为前后两半幅图像,根据机器人转动时,前半幅图像和后半幅图像的光流差异,得到参照物相对于机器人的旋转速度,即机器人的角速度ω:
ω=α12
其中,α1、α2分别为前半幅光流图像和后半幅光流图像的光流角度,其表达式为:
α k = a r c t g ( Σ ( i , j ) ∈ B k Σ B k , u ( x , y ) Σ ( i , j ) ∈ B k Σ B k , v ( x , y ) ) ,
其中,k=1,2,Bk,u(x,y)为前半幅光流图像的滤波结果,Bk,v(x,y)为后半幅光流图像的滤波结,Bk为分别是前后两半幅图像的光流高斯滤波结果。
3.根据权利要求2所述的室内机器人定位方法,其特征在于,所述步骤S2还包括:
对所述机器人的线速度u、v进行坐标系转换,得到室内地面坐标系下的线速度un、vn,其表达式为:
u n v n = cos ( β t ) sin ( β t ) - sin ( β t ) cos ( β t ) u v ,
其中,βt表示机器人的航向角,其表达式为:
β t = β 0 + Σ n = 1 t ω n · Δ t ,
β0为0时刻航向角的初始值,ωn为n时刻机器人的角速度,Δt为两帧图像间的时间间隔。
4.根据权利要求3所述的室内机器人定位方法,其特征在于,所述步骤S3包括:
对机器人在室内地面坐标系下的线速度un、vn在时间维度积分,得到机器人在室内地面坐标系下的实时位置坐标。
5.根据权利要求4所述的室内机器人定位方法,其特征在于,还包括:
S4,将机器人各时刻的位置坐标进行描点并连线,得到机器人在室内的运动轨迹。
6.一种室内机器人定位***,用于确定室内处于运动状态的机器人的位置,其特征在于,***包括:
拍摄装置,其置于机器人上,用于实时拍摄室内的参照物,得到参照物图像,其中,该参照物在室内处于静止状态;
图像分析装置,用于获取从前一帧参照物图像到当前帧参照物图像的光流,并对光流进行高斯滤波,得到机器人与所述参照物的相对速度,即机器人在室内的运动速度,其中,所述机器人的运动速度包括线速度和角速度;
计算装置,用于对所述运动速度进行时间维度积分,得到所述机器人在室内的位置。
7.根据权利要求6所述的室内机器人定位***,其特征在于,所述图像分析装置执行:
获取前后两帧参照物图像,计算像素点灰度值随时间的变化量It和随空间的变化量Ix、Iy
I x = ∂ I ∂ x ,
I y = ∂ I ∂ y ,
I t = ∂ I ∂ t ,
其中,I为像素点灰度值,x,y为像素点在参照物图像中的位置,t为时间;
根据像素点的光流场方程:
I x · d x d t + I y · d y d t + I t = 0 ,
联立多个像素点的光流场方程求解出参照物相对机器人的光流
I x 1 I y 1 I x 2 I y 2 . . . . . . I x n I y n · d x d t d y d t = - I t 1 - I t 2 . . . - I t n ,
其中,为x方向光流,为y方向光流,对图像中的所有点都求取光流,得到光流图像,光流图包括x方向光流图像和y方向光流图像;
对所述的两个方向的光流图分别进行高斯滤波,得到机器人的线速度u、v,u为x方向速度,v为y方向速度,其中,高斯滤波函数的表达式为:
B ( x , y ) = Σ x = x 0 - σ x 0 + σ Σ y = x 0 - σ y 0 + σ g ( x , y ) · A ( x , y ) ,
g ( x , y ) = e - ( x - x 0 ) 2 + ( y - y 0 ) 2 2 σ 2 ,
其中,B(x,y)是滤波后的光流图像,A(x,y)是待滤波的光流图像,由,(x0,y0)是滤波器的中心,g(x,y)是(x,y)点的滤波权重,σ为滤波参数;
滤波后的光流图像B(x,y)分为前后两半幅图像,根据机器人转动时,前半幅图像和后半幅图像的光流差异,得到参照物相对于机器人的旋转速度,即机器人的角速度ω:
ω=α12
其中,α1、α2分别为前半幅光流图像和后半幅光流图像的光流角度,其表达式为:
α k = a r c t g ( Σ ( i , j ) ∈ B k Σ B k , u ( x , y ) Σ ( i , j ) ∈ B k Σ B k , v ( x , y ) ) ,
其中,k=1,2,Bk,u(x,y)为前半幅光流图像的滤波结果,Bk,v(x,y)为后半幅光流图像的滤波结果,Bk为分别是前后两半幅图像的光流高斯滤波结果,得到机器人的线速度u、v,u为x方向速度,v为y方向速度。
8.根据权利要求7所述的室内机器人定位***,其特征在于,所述图像分析装置还执行:
对所述机器人的线速度u、v进行坐标系转换,得到室内地面坐标系下的线速度un、vn,其表达式为:
u n v n = cos ( β t ) sin ( β t ) - sin ( β t ) cos ( β t ) u v ,
其中,βt表示机器人的航向角,其表达式为:
β t = β 0 + Σ n = 1 t ω n · Δ t ,
β0为0时刻航向角的初始值,ωn为n时刻机器人的角速度,Δt为两帧图像间的时间间隔。
9.根据权利要求8所述的室内机器人定位***,其特征在于,所述计算装置执行:
对机器人在室内地面坐标系下的线速度un、vn在时间维度积分,得到机器人在室内地面坐标系下的实时位置坐标。
10.根据权利要求9所述的室内机器人定位***,其特征在于,还包括:
轨迹绘制装置,机器人将各时刻的位置坐标进行描点并连线,得到机器人在室内的运动轨迹。
CN201610079746.5A 2016-02-04 2016-02-04 一种室内机器人定位方法及*** Active CN105606092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610079746.5A CN105606092B (zh) 2016-02-04 2016-02-04 一种室内机器人定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610079746.5A CN105606092B (zh) 2016-02-04 2016-02-04 一种室内机器人定位方法及***

Publications (2)

Publication Number Publication Date
CN105606092A true CN105606092A (zh) 2016-05-25
CN105606092B CN105606092B (zh) 2019-02-15

Family

ID=55986224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610079746.5A Active CN105606092B (zh) 2016-02-04 2016-02-04 一种室内机器人定位方法及***

Country Status (1)

Country Link
CN (1) CN105606092B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106482711A (zh) * 2016-10-18 2017-03-08 哈尔滨工业大学 一种基于灰度特征提取和稠密光流法的室内定位方法
CN108445889A (zh) * 2018-05-15 2018-08-24 深圳市沃特沃德股份有限公司 一种基于智能音响辅助扫地机清扫的方法及其***
CN108961342A (zh) * 2018-05-02 2018-12-07 珠海市微半导体有限公司 一种光流传感器的校准方法及***
CN109857102A (zh) * 2019-01-21 2019-06-07 大连理工大学 一种基于相对位置的轮式机器人编队与跟踪控制方法
CN110324781A (zh) * 2019-07-16 2019-10-11 拉扎斯网络科技(上海)有限公司 室内定位方法、装置、电子设备及计算机可读存储介质
EP3690587A4 (en) * 2017-09-27 2021-03-24 Guangdong Bona Robot Corporation Limited MOBILE ROBOT AND MOBILE ROBOT CARD CREATION PROCESS
CN112634362A (zh) * 2020-12-09 2021-04-09 电子科技大学 一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330353B1 (en) * 1997-12-18 2001-12-11 Siemens Corporate Research, Inc. Method of localization refinement of pattern images using optical flow constraints
US20060165276A1 (en) * 2005-01-25 2006-07-27 Samsung Electronics Co., Ltd Apparatus and method for estimating location of mobile body and generating map of mobile body environment using upper image of mobile body environment, and computer readable recording medium storing computer program controlling the apparatus
JP2012074777A (ja) * 2010-09-27 2012-04-12 Kyocera Corp 運転支援装置及び運転支援表示の表示方法
CN103196443A (zh) * 2013-04-09 2013-07-10 王宁羽 基于光流和附加信息的飞行体姿态测量方法与***
CN103516946A (zh) * 2012-06-19 2014-01-15 三星电子株式会社 基于事件的图像处理设备和方法
CN103822631A (zh) * 2014-02-28 2014-05-28 哈尔滨伟方智能科技开发有限责任公司 一种面向旋翼的卫星和光流场视觉结合的定位方法与装置
CN103925920A (zh) * 2014-04-10 2014-07-16 西北工业大学 一种基于图像透视的微型无人机室内自主导航方法
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN104808590A (zh) * 2015-02-14 2015-07-29 浙江大学 一种基于关键帧策略的移动机器人视觉伺服控制方法
CN104880187A (zh) * 2015-06-09 2015-09-02 北京航空航天大学 一种基于双摄像机的飞行器光流检测装置的运动估计方法
US20150293138A1 (en) * 2012-11-07 2015-10-15 Ecole Polytechnique Federale De Lausanne (Epfl) Method to determine a direction and amplitude of a current velocity estimate of a moving device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330353B1 (en) * 1997-12-18 2001-12-11 Siemens Corporate Research, Inc. Method of localization refinement of pattern images using optical flow constraints
US20060165276A1 (en) * 2005-01-25 2006-07-27 Samsung Electronics Co., Ltd Apparatus and method for estimating location of mobile body and generating map of mobile body environment using upper image of mobile body environment, and computer readable recording medium storing computer program controlling the apparatus
JP2012074777A (ja) * 2010-09-27 2012-04-12 Kyocera Corp 運転支援装置及び運転支援表示の表示方法
CN103516946A (zh) * 2012-06-19 2014-01-15 三星电子株式会社 基于事件的图像处理设备和方法
US20150293138A1 (en) * 2012-11-07 2015-10-15 Ecole Polytechnique Federale De Lausanne (Epfl) Method to determine a direction and amplitude of a current velocity estimate of a moving device
CN103196443A (zh) * 2013-04-09 2013-07-10 王宁羽 基于光流和附加信息的飞行体姿态测量方法与***
CN103822631A (zh) * 2014-02-28 2014-05-28 哈尔滨伟方智能科技开发有限责任公司 一种面向旋翼的卫星和光流场视觉结合的定位方法与装置
CN103925920A (zh) * 2014-04-10 2014-07-16 西北工业大学 一种基于图像透视的微型无人机室内自主导航方法
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN104808590A (zh) * 2015-02-14 2015-07-29 浙江大学 一种基于关键帧策略的移动机器人视觉伺服控制方法
CN104880187A (zh) * 2015-06-09 2015-09-02 北京航空航天大学 一种基于双摄像机的飞行器光流检测装置的运动估计方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106482711B (zh) * 2016-10-18 2018-10-09 哈尔滨工业大学 一种基于灰度特征提取和稠密光流法的室内定位方法
CN106482711A (zh) * 2016-10-18 2017-03-08 哈尔滨工业大学 一种基于灰度特征提取和稠密光流法的室内定位方法
US11485013B2 (en) 2017-09-27 2022-11-01 Guangzhou Coayu Robot Co., Ltd. Map creation method of mobile robot and mobile robot
EP3690587A4 (en) * 2017-09-27 2021-03-24 Guangdong Bona Robot Corporation Limited MOBILE ROBOT AND MOBILE ROBOT CARD CREATION PROCESS
CN108961342A (zh) * 2018-05-02 2018-12-07 珠海市微半导体有限公司 一种光流传感器的校准方法及***
CN108961342B (zh) * 2018-05-02 2020-12-15 珠海市一微半导体有限公司 一种光流传感器的校准方法及***
CN108445889A (zh) * 2018-05-15 2018-08-24 深圳市沃特沃德股份有限公司 一种基于智能音响辅助扫地机清扫的方法及其***
CN109857102B (zh) * 2019-01-21 2021-06-15 大连理工大学 一种基于相对位置的轮式机器人编队与跟踪控制方法
CN109857102A (zh) * 2019-01-21 2019-06-07 大连理工大学 一种基于相对位置的轮式机器人编队与跟踪控制方法
CN110324781B (zh) * 2019-07-16 2020-08-21 拉扎斯网络科技(上海)有限公司 室内定位方法、装置、电子设备及计算机可读存储介质
CN110324781A (zh) * 2019-07-16 2019-10-11 拉扎斯网络科技(上海)有限公司 室内定位方法、装置、电子设备及计算机可读存储介质
US12010588B2 (en) 2019-07-16 2024-06-11 Rajax Network Technology (Shanghai) Co., Ltd. Indoor positioning methods, apparatuses, electronic device and computer readable storage medium
CN112634362A (zh) * 2020-12-09 2021-04-09 电子科技大学 一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法

Also Published As

Publication number Publication date
CN105606092B (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN105606092A (zh) 一种室内机器人定位方法及***
CN106338245B (zh) 一种工件非接触移动测量方法
Ishiguro et al. Omni-directional stereo
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
CN105931275A (zh) 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN108733039A (zh) 一种机器人室内导航定位的方法与装置
CN105953796A (zh) 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN106840148A (zh) 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
CN106910217A (zh) 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
CN107689063A (zh) 一种基于天花板图像的机器人室内定位方法
Kuramachi et al. G-ICP SLAM: An odometry-free 3D mapping system with robust 6DoF pose estimation
CN110308729A (zh) 基于视觉与imu或里程计的agv组合导航定位方法
CN110163963B (zh) 一种基于slam的建图装置和建图方法
CN107831776A (zh) 基于九轴惯性传感器的无人机自主返航方法
CN109506652A (zh) 一种基于地毯偏移的光流数据融合方法及清洁机器人
Holz et al. Continuous 3D sensing for navigation and SLAM in cluttered and dynamic environments
CN108107897A (zh) 实时传感器控制方法及装置
Gaspar et al. Visual path following with a catadioptric panoramic camera
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
CN115574816A (zh) 仿生视觉多源信息智能感知无人平台
CN106408600B (zh) 一种用于太阳高分辨率图像中图像配准的方法
Ishiguro et al. A strategy for acquiring an environmental model with panoramic sensing by a mobile robot
CN112446915A (zh) 一种基于图像组的建图方法及装置
CN107093187A (zh) 一种无人机飞行速度的测量方法及装置
Hu et al. A small and lightweight autonomous laser mapping system without GPS

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant