CN102129679B - 一种局部定位***及方法 - Google Patents
一种局部定位***及方法 Download PDFInfo
- Publication number
- CN102129679B CN102129679B CN 201010568717 CN201010568717A CN102129679B CN 102129679 B CN102129679 B CN 102129679B CN 201010568717 CN201010568717 CN 201010568717 CN 201010568717 A CN201010568717 A CN 201010568717A CN 102129679 B CN102129679 B CN 102129679B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- blue
- red
- sign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种局部定位***及方法,该***的结构为:四个用于与周围环境区别的有色标识分别通过支柱固定在作业区***的四个点上,四个点分别对应一个矩形的4个角点;全方位视觉传感器摄像装置通过支柱固定在作业区中央,全方位视觉传感器摄像装置与计算机通信连接;在作业车上设置有色标识;计算机上设有基于全方位视觉传感器摄像装置获取的图像识别出作业车标识所在位置坐标的图像处理及计算单元。该方法包括图像获取步骤、图像处理及计算步骤、基于4个有色标识和作业车方位角的定位计算步骤。该发明可代替或补偿GPS在一些特殊场合进行定位,精度高、运行速度快、使用范围广、实用性强、价格便官。
Description
技术领域
本发明涉及计算机视觉自动导航应用领域,尤其涉及机器人或自动车辆等作业机械的一种局部定位***及方法。
技术背景
近年来,机械自动化、智能化和机器人研究是世界上研究的热点,机械自动化作业及其机器人的发展是未来工业技术发展方向;定位是实现机械自动移动和实现机器人自动作业的基础性难题,是完成其他任务的前提;世界各国采用不同的方法进行了大量研究,比如雷达定位、激光测距定位、DR传感器、机器视觉等,但这些技术都存在一定的约束和技术不足,未能实用化。世界上除GPS外,没有商业化的定位***;GPS自动导航是使用最多的方法,其中实时动态差分法(real-time kinematic,RTK)GPS的精度达到了厘米级;由于价格较高且GPS的精度取决于作业位置,GPS在应用中也存在一定的限制。比如在农田或室内自动化作业时,由于树林、山脉、屋顶等障碍物阻碍微波传送,使精度明显下降;且GPS根本不能保证在温室大棚和其他室内环境使用。
全方位视觉传感器是一种新型的视觉传感器,它具有单个视点、每张图像能提供周围360度范围内的信息,并且图像不会随传感器的旋转改变性质,有利于减少车轮滑移和震动的部分负面影响;而且价格便宜,被广泛应用在机器人领域。在机器人定位方向也得到了应用,一般是在作业环境中人工设置特征标识或利用自然标识,通过图像匹配来实现拓扑定位,但该定位***计算过程复杂、运行时间长,实用性较差。而全方位视觉传感器除图像信息丰富外,还具有另一特点:在获取全方位图像时,空间物体相对于传感器的方位角是固定不变的;发明专利:一种自动导航定位装置及方法(申请号:200910044412.4,公开号101660912)利用全方位视觉传感器成像原理和特点发明了一种专利,该发明在人工标识布置的作业区内,将全方位视觉传感器、作业车辆装配在一起,求出全方位视觉传感器投影中心位置,即求出了作业车的定位位置。该发明成功地运用了计算机图像处理技术、传感器技术和新型视觉传感器的特点发明了一种自动导航定位装置;定位***除应用于自动导航之外,还可以用于位置跟踪、导弹发射、农业中用于产量图绘制、精细,但该发明局限于运用于自动导航定位,将全方位视觉传感器、作业车辆装配在一起,容易出现使用视觉传感器普遍存在的缺陷,图像易受车辆振动影响造成模糊,影响定位精度,这样就要求传感器的防震性能特别好,效果也不一定很好。本发明在这种技术背景下发明了一种局部定位***及方法。
发明内容
本发明的目的是针对作业的车辆、机器人,尤其是作业环境比较固定,田间、温室、厂房等,以及GPS技术不能使用的区域,利用全方位视觉传感器和计算机视觉图像处理技术完善开发的一种局部定位***及方法,该发明可代替GPS在一些特殊场合进行定位,精度高、运行速度快、使用范围广、实用性强、价格便宜。
本发明的技术解决方案如下:
一种局部定位***,四个用于与周围环境区别的有色标识分别通过支柱固定在作业区***的四个点上,四个点分别对应一个矩形的4个角点;全方位视觉传感器摄像装置通过支柱固定在作业区中央,全方位视觉传感器摄像装置与计算机通信连接;在作业车上设置有色标识;计算机上设有基于全方位视觉传感器摄像装置获取的图像识别出作业车标识所在位置坐标的图像处理及计算单元。
有色标识的颜色一般采用红色或蓝色,或红色与蓝色分块组合颜色。
所述全方位视觉传感器摄像装置包括曲型镜面、中心针、USB摄像机、USB线接口、调焦螺纹、镜头、下盖、透明外罩和上盖;曲型镜面与上盖粘合在一起;上盖以螺纹方式旋紧在透明外罩上;下盖的下方连接USB摄像机镜头;透明外罩套装在曲型镜面上;中心针通过螺纹与上盖连接,中心针穿过并紧密粘合在曲型镜面的中心;USB摄像机的镜头获取的信号经USB接口输出,并通过USB线输出到计算机。
一种局部定位方法,采用前述的局部定位***,具体定位方法为:
步骤1:图像获取步骤;
全方位视觉传感器摄像装置实时拍摄四个有色标识的全方位图像,并将该全方位图像传送到计算机中;
步骤2:图像处理及计算步骤;
定义图像坐标,图像左上角为原点(0,0),单位为像素;基于提取特征颜色量的阈值和最大距离值S获取有色标识位置坐标并存储,当有色标识特征点提取少于或多于4个,则返回步骤2的开始,再次调节提取特征颜色量的阈值和最大距离值S,重新进行前述的图像分析直到得到4个有色标识在图像中的准确位置点;
步骤3:基于4个有色标识和作业车方位角的定位计算步骤;
步骤A:实时图像获取步骤;
在已获得4个有色标识在图像中的准确位置点的基础上,全方位视觉传感器摄像装置实时拍摄作业车标识在作业区的图像即含有作业车标识的图像,并将该含有作业车标识的图像传送到计算机中;
步骤B:在计算机中,采用步骤2相同的方法获取作业车标识在该含有作业车标识的图像中的位置点并储存;
步骤C:计算步骤;
根据求出并储存的4个有色标识在图像中的4个位置点和作业车标识在图像中的位置点,计算出四个有色标识中的每相邻两个有色标识和作业车图像标识在含有作业车标识的图像中的方位角θ1~θ4,四个有色标识形成的矩形长为a、宽为b;每相邻两个红色标识和对应的方位角形成一条弧线,总共形成4条弧线,每2条弧相交得到1个交点,共得到4个交点I1~I4,交点I1~I4的坐标分别为(xI1,yI1),(xI2,yI2),(xI3,yI3),(xI4,yI4),如下:
则作业车标识的位置坐标(x1,y1)计算公式如下:
从而完成作业车在一个位置的相对于标识坐标的局部定位。
步骤2所述的获取有色标识位置坐标的过程为:根据标识颜色分别对红色标识、蓝色标识和红色与蓝色分块组合标识三种情况分别处理如下:
A:红色标识处理;
利用r=R-(B+G)/2-|B-G|对图像像素的红色亮度进行计算,并程序循环计算出图像像素的红色强度中最大值为rmax,储存在内存中;式中,R、G、B分别为红色、绿色和蓝色的亮度;r为提取的红色像素亮度;
根据t1=[rmax-N1],在计算机中,设定提取红色标识特征颜色量的阈值t1;逐行对图像进行扫描,从图像提取出满足红色像素亮度r大于t1的所有的像素定义为红色特征像素;其中,rmax:图像中像素的红色强度最大值;t1:提取红色标识特征颜色量的阈值;N1为测试常数,10<N1<50;
设置最大距离值S,计算所有已提取出的红色像素间欧几里得距离,扫描全部的红色特征像素点,形成一个或多个红色特征像素点区域,红色特征像素点区域的形成方法如下:当某两个红色特征像素间欧几里得距离小于最大距离值S,表示该两个红色特征像素在同一个红色特征像素点区域;
单个特征区像素的计算;提取特征区像素点的横坐标和纵坐标,第i个像素的图像坐标定义为:Rix和Riy;并统计出该特征像素点区域的像素总量为n1;
利用下式计算该特征像素点区域所有像素的坐标平均值,即求出特征像素点区域的重心,重心的横坐标和纵坐标分别定义为Xr和Yr;坐标(Xr,Yr)对应红色标识在图像中的位置点;
B、蓝色标识处理;
利用b=B-(R+G)/2-|R-G|对图像像素的蓝色亮度进行计算,并程序循环计算出图像像素的蓝色强度中最大值为bmax,储存在内存中;
根据t2=[bmax-N2],设定提取蓝色标识特征颜色量的阈值t2;逐行对图像进行扫描,从图像提取出蓝色像素亮度b大于t2的所有的像素定义为蓝色特征像素;其中,b为蓝色像素亮度;bmax:图像中像素的蓝色强度最大值;t2:提取蓝色标识特征颜色量的阈值;N2为测试常数,10<N2<50;
设置最大距离值S,计算所有已提取出的蓝色像素间欧几里得距离,扫描全部的蓝色特征像素点,形成一个或多个蓝色特征像素点区域,蓝色特征像素点区域的形成方法如下:当某两个蓝色特征像素间欧几里得距离小于最大距离值S,表示该两个蓝色特征像素在同一个蓝色特征像素点区域;
单个特征区像素的计算;提取特征区像素点的横坐标和纵坐标,第i个像素的图像坐标定义为:Bix和Biy;并统计出该特征像素点区域的像素总量为n2;
利用下式计算该特征像素点区域所有像素的坐标平均值,即求出特征像素点区域的重心,重心的横坐标和纵坐标分别定义为Xb和Yb;坐标(Xb,Yb)对应蓝色标识在图像中的位置点;
式中:Bix、Biy:提取的第i个蓝色标识特征像素的图像坐标;
C:红色与蓝色分块组合标识处理;
利用[r′,b′]=[R-(B+G)/2-|B-G|,B-(R+G)/2-|R-G|]对图像像素的红色和蓝色亮度进行计算,并程序循环计算出图像像素的红色和蓝色强度中最大值为r′max、b′max,储存在内存中;
根据[t3,t4]=[r′max c-N3,b′max c-N4],设定提取红色标识特征颜色量的阈值t3和提取蓝色标识特征颜色量的阈值t4;逐行对图像进行扫描,当图像中红色和蓝色像素的亮度分别大于t3和t4的像素提取出来分别定义为红色特征像素点和蓝色特征像素点;
其中,r′:红色像素亮度;r′max:图像中像素的红色强度最大值;t3:提取红色标识特征颜色量的阈值;N3为测试常数,10<N3<50;b′:提取蓝色像素亮度;b′max:图像中像素的蓝色强度最大值;t4:提取蓝色标识特征颜色量的阈值;N4为测试常数,10<N4<50;
设置最大距离值S,计算所有已提取出的红色像素间欧几里得距离,扫描全部的红色特征像素点,形成一个或多个红色特征像素点区域,红色特征像素点区域的形成方法如下:当某两个红色特征像素间欧几里得距离小于最大距离值S,表示该两个红色特征像素在同一个红色特征像素点区域;
设置最大距离值S,计算所有已提取出的蓝色像素间欧几里得距离,扫描全部的蓝色特征像素点,形成一个或多个蓝色特征像素点区域,蓝色特征像素点区域的形成方法如下:当某两个蓝色特征像素间欧几里得距离小于最大距离值S,表示该两个蓝色特征像素在同一个蓝色特征像素点区域;
单个特征区像素的计算;提取特征区像素点的横坐标和纵坐标,第i个红色像素的图像坐标定义为:R′ix和R′iy;并统计该特征像素点区域的像素总量为n3;第i个蓝色像素的图像坐标定义为B′ix和B′iy;并统计该特征像素点区域的像素总量为n4;
利用下式分别计算红色特征像素点和蓝色特征像素点区域的像素点的重心;然后计算红色特征像素点区域像素点重心和蓝色特征像素点区域像素点重心的距离;根据红色特征像素点区域像素点重心和蓝色特征像素点区域像素点重心的距离约束值(距离约束值借助经验值通过实验验证得出)判断是否为标识,当计算红色特征像素点区域像素点重心和蓝色特征像素点区域像素点重心的距离在距离约束值范围之内,即判断为一个组合标识;否则判断不是标识;
式中:Xre、Yre:图像处理计算的红色标识图像坐标;R′ix、R′iy:提取第i个红色标识特征像素的图像坐标;n3:红色特征像素点区域的像素总量;Xbe、Ybe:图像处理计算的蓝色标识图像坐标;B′ix、B′iy:提取第i个蓝色标识特征像素的的图像坐标;n4:蓝色特征像素点区域的像素总量。
实践中,最大距离值S设定为有色标识在图像中的光斑的直径。具体操作步骤为:先拍摄一张含有有色标识的图像,在该图像中手动测量获取该有色标识的成像的最大直径(如有色标识的成像光斑的外接圆直径)。
一种局部定位***,包括固定于作业区上方的全方位视觉传感器摄像装置、分别设置于作业区四个角落,且呈矩形分布的四个有色标识、与全方位视觉传感摄像装置的信号输出端连接的计算机。
所述全方位视觉传感器摄像装置包括全方位视觉装置和摄像装置,所述全方位视觉装置包括上盖、下盖、透明外罩、中心针、曲型镜面;其中上盖、下盖分别安装于透明外罩两端;上盖上面放置计算机,底部安装有中心针,该中心针穿过并紧贴曲型镜面中心位置;透明外罩支撑粘合在上盖上的曲型镜面;所述摄像装置包括USB摄像机和用于与计算机通讯的USB线,通过具有调焦功能的调焦螺纹的USB摄像机上的USB摄像机镜头与下盖连接;通过螺栓连接支柱和摄像机固定全方位视觉传感器摄像装置在作业区上方。
所述下盖的中间位置为空心结构,且设有4mm螺口用以连接USB摄像机镜头。
本发明还提供了一种与上述局部定位***相应的定位方法,包括标识在图像中的位置计算、基于标识和作业车方位角的定位计算,其特征是
所述标识在图像中的位置计算包括设置标识、图像数据输入、图像处理计算、结果寄存;所述设置标识,包括制作人工标识、安装;所述制作人工标识采用染红色玻璃透明材料,内部安装上电源照明设备并设置电源开关;所述安装,通过螺纹连接到支柱上;并在作业区域的最大***角落上设置呈矩形放置的4个有色标识,测量出该矩形的长度和宽度,工作时打开电源增强颜色亮度;
所述图像数据输入包括:通过全方位视觉传感器实时拍摄包括有色标识在内的作业区图像并输入计算机;
所述图像处理及计算包括:首先,根据天气、光线等外界条件实验验证并设置有色标识提取特征颜色量的阈值和标识成像像素间距离最大值;逐行对上述采集到的图像进行扫描,抽取颜色特征象素点,依次完成整幅图像的扫描,根据标识间距离约束值形成特征像素点区域,计算该颜色点区域所有特征象素点的重心作为一个有色标识在该图像的位置;搜索出4个有色标识在图像中的位置;
如果有色标识特征点提取少于或多于4个,则返回上一步操作,再次设置提取特征颜色量的阈值和标识成像像素间距离最大值,进行图像分析,得到4个标识在图像中的准确位置,并存储在计算机程序中,以便下一步求出作业车与标识的方位角计算。
所述基于标识和作业车方位角的定位计算,包括作业车标识设置、图像数据输入、图像处理计算、结果输出;
所述作业车标识设置,包括制作标识、安装;所述制作标识采用染红色玻璃透明材料,内部安装上电源照明设备并设置电源开关;所述安装,通过支柱安装在作业车外表中央位置上;打开电源增强颜色亮度;
所述图像数据输入包括:通过全方位视觉传感器实时拍摄包括作业车标识在作业区的全方位图像并输入计算机;
所述图像处理及计算包括:首先,根据上一步“标识在图像中的位置计算”中已设置有色标识提取特征颜色量的阈值;逐行对上述采集到的实时图像进行扫描,抽取颜色特征象素点,依次完成整幅图像的扫描,抽取特征像素点区域,计算该颜色点区域所有特征象素点的重心作为作业车标识在该图像的位置;
然后,调取在“标识在图像中的准确位置”中所求的4个有色标识在图像中的准确位置及作业车标识求出的图像位置,通过图像处理得出每相邻两个有色标识和作业车标识在全方位图像中的方位角度,再结合相邻有色标识的坐标和所述矩形的长宽,得出作业车标识器的位置坐标,即实现了作业机械在标识作业区的几何定位;
结果输出,依据上述步骤得到的作业车在标识空间中的局部定位位置,并输出坐标值。
本发明的工作原理是:所述一种局部定位***包括通过支柱固定在作业区上方的全方位视觉传感器摄像装置、分别设置于作业区四个角落,且呈矩形分布的四个有色标识、与全方位视觉传感摄像装置的信号输出端连接的计算机;所述全方位视觉传感器摄像装置包括全方位视觉装置和摄像装置,所述全方位视觉装置包括上盖、下盖、透明外罩、中心针、曲型镜面;其中上盖、下盖分别安装于透明外罩两端;上盖上面放置计算机,底部安装有中心针,该中心针穿过并紧贴曲型镜面中心位置;透明外罩支撑粘合在上盖上的曲型镜面;所述摄像装置包括USB摄像机和用于与计算机通讯的USB线,通过具有调焦功能的调焦螺纹的USB摄像机上的USB摄像机镜头与下盖连接;通过螺栓连接支柱和摄像机固定全方位视觉传感器摄像装置在作业区上方。
相应的,该局部定位***采取的定位方法,包括标识在图像中的位置计算、基于标识和作业车方位角的定位计算两大步骤。所述标识在图像中的位置计算包括设置标识、图像数据输入、图像处理计算、结果寄存四个步骤;所述设置标识,包括制作人工标识、安装;所述制作人工标识采用染红色玻璃透明材料,内部安装上电源照明设备并设置电源开关来保证在光线较差和晚间环境中使用;通过螺纹固定到支柱上,并在作业区域的最大***角落上设置有呈矩形放置的4个有色标识,测量出该矩形的长度和宽度,工作时打开电源增强颜色亮度;通过全方位视觉传感器实时拍摄包括有色标识在内的作业区图像并输入计算机;所述图像处理及计算主要包括:首先,根据天气、光线等外界条件的变化,通过实验验证来设置有色标识提取特征颜色量的阈值和标识间距离阈值;逐行对上述采集到的图像进行扫描,抽取颜色特征象素点,依次完成整幅图像的扫描,根据标识间距离阈值形成特征像素点区域,计算该颜色点区域所有特征象素点的重心作为一个有色标识在该图像的位置;搜索出4个有色标识在图像中的位置;如果有色标识特征点提取少于或多于4个,则返回上一步操作,再次设置提取特征颜色量的阈值和标识成像像素间距离最大值,进行图像分析,得到4个标识在图像中的准确位置,并存储在计算机程序中,以便下一步求出作业车与标识的方位角计算。
另一重要步骤所述基于标识和作业车方位角的定位计算,包括作业车标识设置、图像数据输入、图像处理计算、结果输出四个步骤;所述作业车标识设置,包括制作标识、安装;所述制作标识采用染红色玻璃透明材料,内部安装上电源照明设备并设置电源开关;通过支柱安装在作业车外表中央位置上;打开电源增强颜色亮度;通过全方位视觉传感器实时拍摄包括作业车标识在作业区的全方位图像并输入计算机;所述图像处理及计算包括:首先,根据上一步“标识在图像中的位置计算”中已设置有色标识提取特征颜色量的阈值;逐行对上述采集到的实时图像进行扫描,抽取颜色特征象素点,依次完成整幅图像的扫描,抽取特征像素点区域,计算该颜色点区域所有特征象素点的重心作为作业车标识在该图像的位置;然后,调取在“标识在图像中的准确位置”中所求的4个有色标识在图像中的准确位置及作业车标识求出的图像位置,通过图像处理得出每相邻两个有色标识和作业车标识在全方位图像中的方位角度,再结合相邻有色标识的坐标和所述矩形的长宽,得出作业车标识器的位置坐标,即实现了作业机械在标识作业区的几何定位;
结果输出,依据上述步骤得到的作业车在标识空间中的局部定位位置,并输出坐标值。有益效果:
本发明具有以下技术效果:
本发明计算有色标识在图像中的位置以及基于标识和作业车方位角的定位计算来完成定位功能,计算储存标识在图像中的位置后,根据实时提供的作业车全方位视觉图像,利用图像处理算出有色标识与作业车标识方位角实现作业车在标识空间的绝对坐标实现定位;该定位方法主要用于室内、多遮障物的地区,即GPS不方便使用的作业区,是GPS的定位的补充。该方法与其它雷达定位、激光测距定位、DR传感器、普通机器视觉等定位方法相比,方法更为简单,精度高,运行速度快,实用性强,成本不高,便于推广运用。
附图说明
图1是本发明所述局部定位***组成示意图;
图2是本发明所述局部定位***作业车工作示意图;
图3是本发明全方位视觉传感器摄像装置示意图;
图4是本发明所述标识在图像中的位置计算流程图;
图5是本发明所述基于标识和作业车方位角的定位计算流程图;
图6本发明实例计算原理图。
在上述图中,
1-标识L1 2-支柱I 3-支柱II 4-标识L2 5-支柱III 6-支柱IV 7-标识L3 8-支柱V 9-标识L4 10-USB线 11-计算机 12-计算机放置夹 13-全方位视觉传感器摄像装置 14-作业车标识及支柱VI 15-作业车 16-曲型镜面 17-中心针18-USB摄像机 19-USB接口 20-调焦螺纹 21-镜头 22-下盖 23-透明外罩24-上盖 33-图像标识L1 34-图像作业车标识 35-图像标识L4 36-图像标识L337-图像标识L2
具体实施方式
以下将结合附图和具体实施例对本发明做进一步详细说明:
实施例1:
如图1,本实施例包括四个红色标识,如图中标识L1、标识L2、标识L3和标识L4,其分别通过支柱I、支柱III、支柱IV、支柱V固定设置在作业区的***成矩形的四个角落上,作业区可以是不同形状;全方位视觉传感器摄像装置通过支柱II固定在作业区中央,图像通过USB线连接计算机的USB接口上,计算机通过计算机放置夹12固定在全方位视觉传感器摄像装置13上。
如图2,所述作业车15可以分为自动、半自动作业机械及机器人;在作业车15的外表中心位置上,通过支柱VI固定作业车标识14。
如图3,所述全方位视觉传感器摄像装置13包括曲型镜面16、中心针17、USB摄像机18、USB线接口19、调焦螺纹20、镜头21、下盖22、透明外罩23和上盖24;曲型镜面16与所述上盖24粘合在一起;所述上盖24以螺纹方式旋紧在所述透明外罩23上;所述下盖22是中间空心并伸出4mm螺口连接所述USB摄像机镜头21;所述透明外罩23套接于曲型镜面16外部,以支撑曲型镜面16,并起防止灰尘的作用;所述中心针17通过螺纹与上盖24连接,穿过并紧密粘合在曲型镜面16的中心,能有效防止光线发生镜面间相互反射;USB摄像机18的镜头21螺纹连接在下盖21上,USB摄像机的镜头21上设有调焦螺纹20,所述USB摄像机的镜头21获取的信号经USB接口19输出,并通过USB线10输出到计算机11。
如图4,本实施例所述标识在图像中的位置计算方法,包括设置人工标识,打开标识电源、图像数据输入、图像处理计算、结果寄存。具体描述如下:
设置标识:作业车15工作前,采用染红色玻璃透,明材制作内部安装有电源照明设备的人工标识,在作业区域的最大***角落上放置的4个红色标识:标识L1、标识L2、标识L3、标识L4并组成矩形,并打开电源开关,增强颜色亮度。
图像数据输入:通过全方位视觉传感器摄像装置13实时拍摄标识L1、标识L2、标识L3、标识L4的全方位360度图像,并通过实时USB接口输入到计算机11内的储存器中。
图像处理及计算:调取计算机11中储存的全方位图像,定义图像坐标,图像左上角为原点(0,0),单位为像素;图像处理中,能根据标识颜色分别对红色标识、蓝色标识和红色与蓝色分块组合标识处理。
根据标识颜色分别对红色标识、蓝色标识和红色与蓝色分块组合标识三种情况分别处理如下:
A:红色标识处理;
利用r=R-(B+G)/2-|B-G|对图像像素的红色亮度进行计算,并程序循环计算出图像像素的红色强度中最大值为rmax,储存在内存中;式中,R、G、B分别为红色、绿色和蓝色的亮度;r为提取的红色像素亮度;
根据t1=[rmax-N1],在计算机中,设定提取红色标识特征颜色量的阈值t1;逐行对图像进行扫描,从图像提取出满足红色像素亮度r大于t1的所有的像素定义为红色特征像素;其中,rmax:图像中像素的红色强度最大值;t1:提取红色标识特征颜色量的阈值;N1为测试常数,10<N1<50;
设置最大距离值S,计算所有已提取出的红色像素间欧几里得距离,扫描全部的红色特征像素点,形成一个或多个红色特征像素点区域,红色特征像素点区域的形成方法如下:当某两个红色特征像素间欧几里得距离小于最大距离值S,表示该两个红色特征像素在同一个红色特征像素点区域;实践中,最大距离值S可以设定为有色标识在图像中的光斑的直径或半径。
单个特征区像素的计算;提取特征区像素点的横坐标和纵坐标,第i个像素的图像坐标定义为:Rix和Riy;并统计出该特征像素点区域的像素总量为n1;
利用下式计算该特征像素点区域所有像素的坐标平均值,即求出特征像素点区域的重心,重心的横坐标和纵坐标分别定义为Xr和Yr;坐标(Xr,Yr)对应红色标识在图像中的位置点;
B、蓝色标识处理;
利用b=B-(R+G)/2-|R-G|对图像像素的蓝色亮度进行计算,并程序循环计算出图像像素的蓝色强度中最大值为bmax,储存在内存中;
根据t2=[bmax-N2],设定提取蓝色标识特征颜色量的阈值t2;逐行对图像进行扫描,从图像提取出蓝色像素亮度b大于t2的所有的像素定义为蓝色特征像素;其中,b为蓝色像素亮度;bmax:图像中像素的蓝色强度最大值;t2:提取蓝色标识特征颜色量的阈值;N2为测试常数,10<N2<50;
设置最大距离值S,计算所有已提取出的蓝色像素间欧几里得距离,扫描全部的蓝色特征像素点,形成一个或多个蓝色特征像素点区域,蓝色特征像素点区域的形成方法如下:当某两个蓝色特征像素间欧几里得距离小于最大距离值S,表示该两个蓝色特征像素在同一个蓝色特征像素点区域;实践中,最大距离值S可以设定为有色标识在图像中的光斑的直径。
单个特征区像素的计算;提取特征区像素点的横坐标和纵坐标,第i个像素的图像坐标定义为:Bix和Biy;并统计出该特征像素点区域的像素总量为n2;
利用下式计算该特征像素点区域所有像素的坐标平均值,即求出特征像素点区域的重心,重心的横坐标和纵坐标分别定义为Xb和Yb;坐标(Xb,Yb)对应蓝色标识在图像中的位置点;
式中:Bix、Biy:提取的第i个蓝色标识特征像素的图像坐标;
C:红色与蓝色分块组合标识处理;
利用[r′,b′]=[R-(B+G)/2-|B-G|,B-(R+G)/2-|R-G|]对图像像素的红色和蓝色亮度进行计算,并程序循环计算出图像像素的红色和蓝色强度中最大值为r′max、b′max,储存在内存中;
根据[t3,t4]=[r′max c-N3,b′max c-N4],设定提取红色标识特征颜色量的阈值t3和提取蓝色标识特征颜色量的阈值t4;逐行对图像进行扫描,当图像中红色和蓝色像素的亮度分别大于t3和t4的像素提取出来分别定义为红色特征像素点和蓝色特征像素点;
其中,r′:红色像素亮度;r′max:图像中像素的红色强度最大值;t3:提取红色标识特征颜色量的阈值;N3为测试常数,10<N3<50;b′:提取蓝色像素亮度;b′max:图像中像素的蓝色强度最大值;t4:提取蓝色标识特征颜色量的阈值;N4为测试常数,10<N4<50;
设置最大距离值S,计算所有已提取出的红色像素间欧几里得距离,扫描全部的红色特征像素点,形成一个或多个红色特征像素点区域,红色特征像素点区域的形成方法如下:当某两个红色特征像素间欧几里得距离小于最大距离值S,表示该两个红色特征像素在同一个红色特征像素点区域;
设置最大距离值S,计算所有已提取出的蓝色像素间欧几里得距离,扫描全部的蓝色特征像素点,形成一个或多个蓝色特征像素点区域,蓝色特征像素点区域的形成方法如下:当某两个蓝色特征像素间欧几里得距离小于最大距离值S,表示该两个蓝色特征像素在同一个蓝色特征像素点区域;
单个特征区像素的计算;提取特征区像素点的横坐标和纵坐标,第i个红色像素的图像坐标定义为:R′ix和R′iy;并统计该特征像素点区域的像素总量为n3;第i个蓝色像素的图像坐标定义为B′ix和B′iy;并统计该特征像素点区域的像素总量为n4;
利用下式分别计算红色特征像素点和蓝色特征像素点区域的像素点的重心;然后计算红色特征像素点区域像素点重心和蓝色特征像素点区域像素点重心的距离;根据红色特征像素点区域像素点重心和蓝色特征像素点区域像素点重心的距离约束值(距离约束值借助经验值通过实验验证得出)判断是否为标识,当计算红色特征像素点区域像素点重心和蓝色特征像素点区域像素点重心的距离在距离约束值范围之内,即判断为一个组合标识;否则判断不是标识;
式中:Xre、Yre:图像处理计算的红色标识图像坐标;R′ix、R′iy:提取第i个红色标识特征像素的图像坐标;n3:红色特征像素点区域的像素总量;Xbe、Ybe:图像处理计算的蓝色标识图像坐标;B′ix、B′iy:提取第i个蓝色标识特征像素的的图像坐标;n4:蓝色特征像素点区域的像素总量。
如果有色标识特征点提取少于或多于4个,则返回上一步操作,再次设置提取特征颜色量的阈值和标识间距离阈值,进行图像分析,得到4个标识在图像中的准确位置,并存储在计算机程序中,并关闭人工标识电源。
如图5,本实施例所述基于标识和作业车方位角的定位计算方法,包括作业车标识设置、图像数据输入、图像处理计算、结果输出。具体描述如下:
作业车标识设置:采用染红色玻璃透明材制作内部安装有电源照明设备的人工标识,将该人工标识固定在作业车15外表中央位置,打开电源开关增强颜色亮度。
图像数据输入:通过全方位视觉传感器摄像装置13实时拍摄作业车标识14在作业区作业图像,并将图像通过实时USB接口输入到计算机11内的储存器中。
图像处理及计算:调取储存在计算机11储存器中的图像,采用图4中设置相同的红色标识提取特征颜色量的阈值t对图像进行扫描,抽取并形成颜色特征象素点区域,计算该颜色点区域所有特征象素点的重心作为作业车标识在该图像的位置。
调取图4计算储存结果,结合图6,图像标识点L1、图像标识点L2、图像标识点L3、图像标识点L4和作业车图像标识点34,通过图像处理得出每相邻两个图像标识点和作业车图像标识点在全方位图像中的方位角度θ1~θ4。红色标识形成的矩形长38为a、宽39为b;由两个红色图像标识点L1、L2和上述对角θ1形成一条弧S1,采用同样的方法依次形成弧S2~S4,每2条弧相交得到1个交点,依次得到交点I1~I4,交点通过几何分析,可得一个作业车标识候选点(I1)的位置坐标式(12):
同理求出其他三个候选交点(I2~I4)的坐标,,求出交点(I1~I4)的重心坐标P(x1,y1),如式(13):
P(x1,y1)结果即实现了对作业机械15在该作业区一个位置的几何定位。
结果输出32,完成一个位置的相对于标识坐标的局部定位。
Claims (4)
1.一种局部定位***,其特征在于,四个用于与周围环境区别的有色标识分别通过支柱固定在作业区***的四个点上,四个点分别对应一个矩形的4个角点;全方位视觉传感器摄像装置通过支柱固定在作业区中央,全方位视觉传感器摄像装置与计算机通信连接;在作业车上设置有色标识;计算机上设有基于全方位视觉传感器摄像装置获取的图像识别出作业车标识所在位置坐标的图像处理及计算单元。
2.根据权利要求1所述的局部定位***,其特征在于,所述全方位视觉传感器摄像装置包括曲型镜面、中心针、USB摄像机、USB线接口、调焦螺纹、镜头、下盖、透明外罩和上盖;曲型镜面与上盖粘合在一起;上盖以螺纹方式旋紧在透明外罩上;下盖的下方连接USB摄像机镜头;透明外罩套装在曲型镜面上;中心针通过螺纹与上盖连接,中心针穿过并紧密粘合在曲型镜面的中心;USB摄像机的镜头获取的信号经USB接口输出,并通过USB线输出到计算机。
3.一种局部定位方法,其特征在于,采用权利要求1或2所述的局部定位***,具体定位方法为:
步骤1:图像获取步骤;
全方位视觉传感器摄像装置实时拍摄四个有色标识的全方位图像,并将该全方位图像传送到计算机中;
步骤2:图像处理及计算步骤;
定义图像坐标,图像左上角为原点(0,0),单位为像素;基于提取特征颜色量的阈值和最大距离值S获取有色标识位置坐标并存储,当有色标识特征点提取少于或多于4个,则返回步骤2的开始,再次调节提取特征颜色量的阈值和最大距离值S,重新进行前述的图像处理及计算直到得到4个有色标识在图像中的准确位置点;
步骤3:基于4个有色标识和作业车方位角的定位计算步骤;
步骤A:实时图像获取步骤;
在已获得4个有色标识在图像中的准确位置点的基础上,全方位视觉传 感器摄像装置实时拍摄作业车标识在作业区的图像,即含有作业车标识的图像,并将该含有作业车标识的图像传送到计算机中;
步骤B:在计算机中,采用步骤2相同的方法获取作业车标识在该含有作业车标识的图像中的位置点并储存;
步骤C:计算步骤;
根据求出并储存的4个有色标识在图像中的4个位置点和作业车标识在图像中的位置点,计算出四个有色标识中的每相邻两个有色标识和作业车标识在含有作业车标识的图像中的方位角θ1~θ4,四个有色标识形成的矩形长为a、宽为b;每相邻两个有色标识和对应的方位角形成一条弧线,总共形成4条弧线,每2条弧相交得到1个交点,共得到4个交点I1~I4,交点I1~I4的坐标分别为(xI1,yI1),(xI2,yI2),(xI3,yI3),(xI4,yI4),如下:
则作业车标识的位置坐标(x1,y1)计算公式如下:
从而完成作业车在一个位置的相对于标识坐标的局部定位。
4.根据权利要求3所述的局部定位方法,其特征在于,步骤2所述的获取有色标识位置坐标的过程为:根据标识颜色分别对红色标识、蓝色标识和红色与蓝色分块组合标识三种情况分别处理如下:
A、红色标识处理;
利用r=R-(B+G)/2-|B-G|对图像像素的红色亮度进行计算,并程序循环计算出图像像素的红色强度中最大值为rmax,储存在内存中;式中,R、G、B分别为红色、绿色和蓝色的亮度;r为提取的红色像素亮度;
根据t1=[rmax-N1],在计算机中,设定提取红色标识特征颜色量的阈值t1;逐行对图像进行扫描,从图像提取出满足红色像素亮度r大于t1的所有的像素定义为红色特征像素;其中,rmax:图像中像素的红色强度最大值;t1:提取红色标识特征颜色量的阈值;N1为测试常数,10<N1<50;
设置最大距离值S,计算所有已提取出的红色像素间欧几里得距离,扫描全部的红色特征像素,形成一个或多个红色特征像素区域,红色特征像素区域的形成方法如下:当某两个红色特征像素间欧几里得距离小于最大距离值S,表示该两个红色特征像素在同一个红色特征像素区域;
单个红色特征像素区域中像素的计算;提取红色特征像素区域中像素点的横坐标和纵坐标,第i个像素的图像坐标定义为:Rix和Riy;并统计出该红色特征像素区域的像素总量为n1;
利用下式计算该红色特征像素区域所有像素的坐标平均值,即求出红色特征像素区域的重心,重心的横坐标和纵坐标分别定义为Xr和Yr;坐标(Xr,Yr)对应红色标识在图像中的位置点;
B、蓝色标识处理;
利用bl=B-(R+G)/2-|R-G|对图像像素的蓝色亮度进行计算,并程序循环计算出图像像素的蓝色强度中最大值为bmax,储存在内存中;
根据t2=[bmax-N2],设定提取蓝色标识特征颜色量的阈值t2;逐行对图像进行扫描,从图像提取出蓝色像素亮度bl大于t2的所有的像素定义为蓝色特征像素;其中,bl为蓝色像素亮度;bmax:图像中像素的蓝色强度最大值;t2:提取蓝色标识特征颜色量的阈值;N2为测试常数,10<N2<50;
设置最大距离值S,计算所有已提取出的蓝色像素间欧几里得距离,扫描全部的蓝色特征像素,形成一个或多个蓝色特征像素区域,蓝色特征像素区域的形成方法如下:当某两个蓝色特征像素间欧几里得距离小于最大距离值S,表示该两个蓝色特征像素在同一个蓝色特征像素区域;
单个蓝色特征像素区域中像素的计算;提取蓝色特征像素区域中像素点的横坐标和纵坐标,第i个像素的图像坐标定义为:Bix和Biy;并统计出该蓝色特征像素区域的像素总量为n2;
利用下式计算该蓝色特征像素区域所有像素的坐标平均值,即求出蓝色特征像素区域的重心,重心的横坐标和纵坐标分别定义为Xb和Yb;坐标(Xb,Yb)对应蓝色标识在图像中的位置点;
式中:Bix、Biy:提取的第i个蓝色特征像素的图像坐标;
C、红色与蓝色分块组合标识处理;
利用[r′,b′]=[R-(B+G)/2-|B-G|,B-(R+G)/2-|R-G|]对图像像素的红色和蓝色亮度进行计算,并程序循环计算出图像像素的红色和蓝色强度中最大值为r′max c、b′max c,储存在内存中;
根据[t3,t4]=[r′maxc-N3,b′maxc-N4],设定提取红色标识特征颜色量的阈值t3和提取蓝色标识特征颜色量的阈值t4;逐行对图像进行扫描,当图像中红色和蓝色像素的亮度分别大于t3和t4的像素提取出来分别定义为红色特征像素点和蓝色特征像素点;
其中,r′:红色像素亮度;r′max:图像中像素的红色强度最大值;t3:提取红色标识特征颜色量的阈值;N3为测试常数,10<N3<50;b′:提取的蓝色像素亮度;b′max:图像中像素的蓝色强度最大值;t4:提取蓝色标识特征颜色量的阈值;N4为测试常数,10<N4<50;
设置最大距离值S,计算所有已提取出的红色像素间欧几里得距离,扫描全部的红色特征像素点,形成一个或多个红色特征像素区域,红色特征像素区域的形成方法如下:当某两个红色特征像素间欧几里得距离小于最大距离值S,表示该两个红色特征像素在同一个红色特征像素区域;
设置最大距离值S,计算所有已提取出的蓝色像素间欧几里得距离,扫描全部的蓝色特征像素点,形成一个或多个蓝色特征像素区域,蓝色特征像素区域的形成方法如下:当某两个蓝色特征像素间欧几里得距离小于最大距离值S,表示该两个蓝色特征像素在同一个蓝色特征像素区域;
单个特征区像素的计算;提取红色特征像素区域和蓝色特征像素区域像素点的横坐标和纵坐标,第i个红色特征像素的图像坐标定义为:R′ix和R′iy;并统计该红色特征像素区域的像素总量为n3;第i个蓝色特征像素的图像坐标定义为B′ix和B′iy;并统计该蓝色特征像素区域的像素总量为n4;
利用下式分别计算红色特征像素区域的像素点和蓝色特征像素区域的像素点的重心;然后计算红色特征像素区域像素点重心和蓝色特征像素区域像素点重心的距离;根据红色特征像素区域像素点重心和蓝色特征像素区域像素点重心的距离约束值判断是否为组合标识,当计算红色特征像素区域像素点重心和蓝色特征像素区域像素点重心的距离在距离约束值范围之内,即判断为一个组合标识;否则判断不是组合标识;
式中:Xre、Yre:图像处理计算的红色标识图像坐标;R′ix、R′iy:提取第i个红色特征像素的图像坐标;n3:红色特征像素区域的像素总量;Xbe、Ybe:图像处理计算的蓝色标识图像坐标;B′ix、B′iy:提取第i个蓝色特征像素的的图像坐标;n4:蓝色特征像素区域的像素总量;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010568717 CN102129679B (zh) | 2010-12-02 | 2010-12-02 | 一种局部定位***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010568717 CN102129679B (zh) | 2010-12-02 | 2010-12-02 | 一种局部定位***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102129679A CN102129679A (zh) | 2011-07-20 |
CN102129679B true CN102129679B (zh) | 2013-06-19 |
Family
ID=44267754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010568717 Active CN102129679B (zh) | 2010-12-02 | 2010-12-02 | 一种局部定位***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102129679B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103606149B (zh) * | 2013-11-14 | 2017-04-19 | 深圳先进技术研究院 | 一种双目摄像机的标定方法、装置及双目摄像机 |
CN105690423A (zh) * | 2014-11-11 | 2016-06-22 | 沈阳新松机器人自动化股份有限公司 | 机器人零位标定装置及方法 |
CN107305378A (zh) * | 2016-04-20 | 2017-10-31 | 上海慧流云计算科技有限公司 | 一种图像处理追踪物体的机器人及追踪物体的方法 |
CN110134117B (zh) * | 2018-02-08 | 2022-07-29 | 杭州萤石软件有限公司 | 一种移动机器人重定位方法、移动机器人及电子设备 |
CN109886278A (zh) * | 2019-01-17 | 2019-06-14 | 柳州康云互联科技有限公司 | 一种基于ARMarker的图像特征采集方法 |
US11613253B2 (en) * | 2019-05-29 | 2023-03-28 | Baidu Usa Llc | Method of monitoring localization functions in an autonomous driving vehicle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101206116A (zh) * | 2007-12-07 | 2008-06-25 | 北京机械工业学院 | 目标点全局自动定位方法 |
CN101639345A (zh) * | 2009-08-03 | 2010-02-03 | 塔米智能科技(北京)有限公司 | 一种室内定位方法 |
CN101846513A (zh) * | 2010-06-17 | 2010-09-29 | 中国人民解放军信息工程大学 | 标志图像识别及中心坐标提取方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201995070U (zh) * | 2010-12-02 | 2011-09-28 | 湖南农业大学 | 一种局部定位*** |
-
2010
- 2010-12-02 CN CN 201010568717 patent/CN102129679B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101206116A (zh) * | 2007-12-07 | 2008-06-25 | 北京机械工业学院 | 目标点全局自动定位方法 |
CN101639345A (zh) * | 2009-08-03 | 2010-02-03 | 塔米智能科技(北京)有限公司 | 一种室内定位方法 |
CN101846513A (zh) * | 2010-06-17 | 2010-09-29 | 中国人民解放军信息工程大学 | 标志图像识别及中心坐标提取方法 |
Non-Patent Citations (4)
Title |
---|
Ming Li et al..Landmark Direction Angle Estimation Based on Omnidirectional Image.《Proceedings of the 2010 IEEE International Conference on Information and Automation》.2010,全文. * |
李明.Study on Localization System for Agricultural Vehicle Navigation Using Omnidirectional Vision.《http://hdl.handle.net/2261/37452,1161420 博士論文(生物・ |
李明.Study on Localization System for Agricultural Vehicle Navigation Using Omnidirectional Vision.《http://hdl.handle.net/2261/37452,1161420 博士論文(生物・環境工学専攻)》.2010,第41-44,第47页,50-60页. * |
環境工学専攻)》.2010,第41-44,第47页,50-60页. |
Also Published As
Publication number | Publication date |
---|---|
CN102129679A (zh) | 2011-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102129679B (zh) | 一种局部定位***及方法 | |
CN102183250B (zh) | 一种农业机械的田间道路自动导航定位装置及方法 | |
CN104865578B (zh) | 一种室内停车场高精细地图生成装置及方法 | |
Chen et al. | Real-time identification system of asphalt pavement texture based on the close-range photogrammetry | |
CN100419813C (zh) | 基于全方位视觉传感器的道路监控装置 | |
CN101660912B (zh) | 一种自动导航定位装置及方法 | |
CN100437660C (zh) | 基于全方位视觉传感器的违章车辆监控装置 | |
CN106683089B (zh) | 一种带约束配准的杆塔变形检测方法 | |
US20170322043A1 (en) | Vision augmented navigation | |
CN104932001B (zh) | 一种实时3d核辐射环境重建监测*** | |
CN104217439B (zh) | 一种室内视觉定位***及方法 | |
CN113744270A (zh) | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 | |
CN110008893B (zh) | 一种基于车载图像传感器的车辆行驶跑偏自动检测方法 | |
CN104280036A (zh) | 一种交通信息的检测与定位方法、装置及电子设备 | |
CN201995070U (zh) | 一种局部定位*** | |
CN102168973B (zh) | 全方位视觉传感器自动导航z轴定位方法及其定位*** | |
CN115984766A (zh) | 一种煤矿井下快速单目视觉三维目标检测方法 | |
CN103076014A (zh) | 一种作业机械自动导航三标识定位装置及方法 | |
CN103759724A (zh) | 一种基于灯饰特征的室内导航方法及*** | |
CN104570147A (zh) | 一种基于单目相机和主动结构光的障碍探测方法 | |
Zhang et al. | Dual radar: A multi-modal dataset with dual 4d radar for autononous driving | |
CN103093214B (zh) | 一种基于车载红外相机的行人检测方法 | |
CN114476065B (zh) | 一种测绘工程测量用无人机遥感装置 | |
CN203132555U (zh) | 一种作业机械自动导航三标识定位装置 | |
CN202008363U (zh) | 基于全方位视觉传感器进行自动导航的z轴定位*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |