CN104835173B - 一种基于机器视觉的定位方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的AGV定位方法。本发明首先通过设计定位数字标签将环境数字化，车载视觉***获取包含标签的图像。然后运用一定的算法对图像进行处理并识别出标签的位置、内容与偏转角度，最终通过标定相机的距离关系表与相关坐标变换将其转化为小车在环境中的位置与姿态信息，实现小车在环境中的定位。不同于其他基于机器视觉的AGV定位方法，本方法识别过程运算量小，定位精度与速度都可以满足AGV导航要求。

Description

一种基于机器视觉的定位方法

技术领域

本发明涉及一种机器视觉领域，特别是一种定位方法。

背景技术

机器视觉是利用视觉传感器获取图片并利用图像处理***进行各种测量和判断。它是计算机学科的一个重要分支，综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。视觉导航是对视觉传感器获取的图像进行相应处理从而得到载***姿参数的一种技术。目前移动机器人的视觉导航技术主要应用在移动机器人的竞速竞赛、工业AGV、智能车辆的自主导航和国防科技技术研究这四个方面。

目前仓库货物的运输主要依靠人力，存在工作效率低、人力资源浪费严重等问题，因此迫切需要工业自动导引运输车(Autonomous Guide Vehicle，简称AGV)取代这一方面的工作，提高生产效率和资源利用率。机器视觉的飞速发展为工业AGV的自动导航提供了更多解决问题的思路。用于工业AGV自动导航的机器视觉导航***通常可以分为：图像采集部分、图像处理部分和运动控制部分。

一个完整的机器视觉导航***的主要过程如下：

1、相机按照指令实时采集图像，根据需要自动调节曝光参数；

2、将采集到的数据转化为图像格式，并存放在处理器或计算机内存中；

3、处理器对图像进行分析、识别、获取载***姿信息和相关逻辑控制值；

4、识别结果控制载体移动、停止、纠正运动误差等。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于机器视觉的定位方法，将本发明应用于AGV中，用于解决传统的人工运输工作效率低下、人力资源浪费、成本高的技术问题。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于机器视觉的定位方法，包括如下步骤：

步骤一、在待定位的物体上设置相机，并且对相机进行标定，获得图像中各像素点相对位置与实际相对位置之间的标定关系表；

步骤二、设计定位标签，并将定位标签置于待定位物体所在环境中，定位标签内容包含自身所在位置的位置信息和方向信息；

步骤三、利用相机对所在环境进行拍摄，获得包含定位标签的图像，分析图像获得图像中定位标签所在位置、方向以及定位标签的内容；

步骤四、求解图像中心与图像中定位标签的相对位置关系，结合定位标签的内容，获得图像中心在实际环境中的位姿。

进一步的，在本发明中，相机的标定过程包含以下步骤：

步骤一、拍摄标准标定图像；

步骤二、基于标准标定图像中的方格均匀选取标志点，记录各个标志点在标准标定图像中的像素位置与其实际位置；

步骤三、根据标志点的像素位置与实际位置，建立标定关系表。

进一步的，在本发明中，定位标签轮廓为正方形，其上的颜色种类有2种，且定位标签由外框和外框内部多个色块组成，每个色块有1种颜色，外框为1种颜色，通过不同色块的组合方式反映标签内容。

进一步的，在本发明中，分析图像时，将图像进行二值化处理，根据颜色信息提取图像中可能为定位标签的像素，进行连通域检测，结合连通域大小、宽高比、位置以及周围背景筛选出定位标签，获得其在图像中的位置；通过霍夫变换对定位标签进行直线检测，获得图像中定位标签的方向；接着读取定位标签的内容。

有益效果：

本发明通过设计定位标签将环境数字化，相机获取包含定位标签的图像，运用一定的算法对图像进行处理并识别出定位标签的位置、方向以及内容，根据图像中心点处于定位标签之间的位置、角度关系，结合相机的标定关系表、相关坐标变换获得待测物在环境中的位置与姿态信息，实现AGV在环境中的定位，对小车运输的自动化实现有很重要的意义。

本发明利用机器视觉代替人工的方法，利用相机工作稳定、成本低的特点，通过一定的处理程序，运用先进的图像处理算法，可以大大提高定位精度与速度，降低仓库货物运输对人的依赖程度，提高劳动生产率。

附图说明

图1为本发明的流程图；

图2为定位标签示意图；

图3为定位标签区域划分示意图；

图4为定位标签内容示意图；

图5为距目标3m时拍摄的标定图像；

图6为距目标3m标定图像的标记点；

图7为图像处理模块流程图；

图8为定位标签所在区域图像；

图9为定位标签角度计算示意图；

图10为旋转后定位标签的四种方向。

具体实施方式

下面结合附图对本发明作更进一步的说明。

1设计定位标签

本方法设计的定位标签如图2所示，含16位二进制信息，分为3部分：10位数据位、4位方向标志位、2位校验位。其中数据位表示定位标签在环境中的位置，方向标志位表示定位标签在环境中的方向。

1.1定位标签大小形状

本发明设计的定位标签包括红白两种颜色，大小为18cm*18cm的正方形，分为两个区域：边框区和数据区。如图3所示，外部斜线区域为边框区，中间无斜线区域为数据区。边框区是宽度为2.25cm的红色方框，数据区是按4*4分布的16个3.375cm*3.375cm的红白方块，二值处理后，红方块表示0、白方块表示1。

1.2定位标签内容

定位标签内容如图4所示，将16个方块依次编号，由于色块颜色不同，故数据区组成包含16位的二进制信息A₀A₁A₂A₃A₄A₅A₆A₇A₈A₉A₁₀A₁₁A₁₂A₁₃A₁₄A₁₅，分为3部分：10位数据位A₂A₄A₅A₆A₇A₉A₁₀A₁₁A₁₃A₁₄、4位方向标志位A₀A₃A₁₂A₁₅以及2位校验位A₁A₈。10位数据位有1024种不同组合，即可表示1024个不同标签。4位方向标志位分别处于四个顶点，并且选择其中一个顶点，所有的定位标签中该顶点的颜色与其他3个顶点的颜色不同，这样可以用于后期唯一确定定位标签的朝向，本实施例选取A₁₅为白色，A₀A₃A₁₂均为红色。2位校验位用于校验10位数据位是否正确，本领域内的技术人员可根据需要自行选择具体校验方式。

1.3环境数字化

在AGV上固定广角相机，该相机在距离目标3m时的视野范围可达到4m×3m，因此在AGV行驶区域的上方按照3m×3m的距离粘贴定位标签，每个定位标签中数据位与其自身在环境中的坐标即位置信息一一对应，且定位标签朝向保持一致，即方向标志位的位置统一且摆放方向一致，完成工作环境的数字化。在定位标签的正下方对准定位标签拍照，此时AGV的行驶方向为正方向，同时拍照获得的照片中定位标签方向位相对定位标签中心的角度关系。

2标定相机

为了保证AGV在运动过程中能够获取清晰的图像，故相机采用全帧曝光方式的工业用相机，这样可编程设置曝光时间。为保证获取图像范围尽可能大，采用的镜头为广角镜头，视场角约为90°。广角镜头导致图像畸变较大，通过图像中两点位置关系不能直接得到两点的实际位置关系，因此本发明第一步是标定相机，建立像素距离与实际距离的关系表，将图像中各点的位置关系转化为实际位置关系。

2.1拍摄图片

为方便测量图像中点与点的实际距离，拍摄目标选为网格状的墙面。由于相机距离目标的远近不同，拍摄的范围也会不同，因此本发明在相机距离目标2.5米和3.4米之间等距拍摄10张图片，对10个不同的距离分别进行标定，这样使得后期实际使用过程中可以根据每次拍摄距离选择相应的距离所对应的标定关系表。图5所示为相机距离目标3m时拍摄得到的标定图像，图中水平和竖直方向的中心线用来观察拍摄的图像是否对齐。

2.2标记图片

测量拍摄对象的每个方格的宽度和高度，按照一定密度选择一些标记点，如图6中三角形所示。

2.3建立关系表

以图像中心为基准，记录图6中每个标记点的像素位置，根据各个标记点所处方块的位置可得到它们距离图像中心的实际位置，将像素位置与实际位置一一对应，记录在标定关系表中。

在实际应用时，假定检测到图像中定位标签的中心点像素坐标为(x_label,y_label)，在标定关系表中搜索距离它最近的四个像素点：左上角点(x_tl,y_tl)、右上角点(x_tr,y_tr)、左下角点(x_bl,y_bl)和右下角点(x_br,y_br)，根据标定关系表获得它们相对图像中心的实际位置分别为(X_tl,Y_tl)、(X_tr,Y_tr)、(X_bl,Y_bl)、(X_br,Y_br)。根据定位标签的中心点在图像中相对上述距离最近的四个像素点的像素位置，利用几何比例关系得到其相对图像中心的实际位置为(X_label,Y_label)。

3定位标签识别与处理

本发明获取含有定位标签的图像，运用数字图像分析处理技术，由图像中定位标签的位置以及方向计算得到图像中心位置(AGV位置)相对于定位标签的实际方位，通过识别出定位标签内容可以确定具体是哪一个定位标签，即可以知道该定位标签对应的实际坐标位置，两者相结合可以计算出AGV在实际环境中的位置与方向。图像处理模块流程图如图7所示。

3.1预处理

首先通过广角相机对准行驶区域的上方拍摄获取含定位标签的图片，通过提取图片中的红色像素信息可以有效地将图像二值化。

对二值化后的图像进行先腐蚀后膨胀的处理，可以有效过滤背景噪声，提高标签边缘的平滑程度。

3.2定位标签信息识别

理论基础：图像识别。图像识别第一步是提取有效的图像特征，在这里，我们主要通过颜色信息与霍夫变换进行直线检测，将检测出的图像与定位标签图像进行对比分析，得到识别结果。

3.2.1定位标签位置识别

对已经进行背景噪声过滤的二值图片进行连通域检测，可以得到图像中各个连通域的位置、宽度与高度。连通域是否为定位标签主要有以下标准：

1、连通域的大小。定位标签大小固定，相机固定之后，定位标签在图像中的大小应该在一定范围之内；

2、连通域的宽高比。定位标签自身的宽高比为1:1，由于本发明采用广角镜头，在图像边缘区域的畸变较大，所以将宽高比设定为0.3-1.7之间；

3、定位标签位置。由于采用广角镜头，图像边缘畸变较大，如果连通域出现在图像边缘位置，则不将其作为定位标签进行识别，否则影响定位标签内容识别率；

4、定位标签周围背景。定位标签周围是非红色墙面，因此定位标签周围在二值图像中应为黑色背景。依据这一特点，对满足前述3个条件的连通域进行背景检测。在距离连通域上下左右各约4个像素的位置确定出一个方框将连通域包围进去。判断方框所包含的像素中连通域以外的背景部分黑色像素所占比例是否超过98％，若超过则识别为定位标签，否则不识别为定位标签。

进一步，通过连通域的宽度、高度和顶点位置，利用几何比例关系可以确定该定位标签中心在图像中的位置(x_label,y_label)。

3.2.2定位标签方向识别

由上面定位标签位置的识别过程可以得到图像中可能为定位标签的连通域，以及连通域的宽度W_L、高度H_L和定位标签的中心点坐标(x_label,y_label)。以定位标签中心点(x_label,y_label)为中心，选定一个宽度为2*W_L、高度为2*H_L的区域，如图8(a)所示。在这个区域内对二值图像进行进一步处理，识别图像中定位标签的方向，具体如下操作。

在定位标签所在的区域进行霍夫变换进行直线检测，得到的直线应相互平行或垂直，过滤上述不符合要求的直线，可以获得定位标签的边缘直线。

通过观察定位标签的方向标志位，对比原先在环境数字化时拍摄的照片，若方向标志位相对定位标签的中心发生角度变化，则能判断出AGV目前在环境中的方向与规定的正方向不一致。

具体AGV角度发生了多大的变化，可通过观察定位标签的偏转角度反推AGV的偏转角度。

如图9所示，为了统一计算，将图4中方向标志位右侧的定位标签边缘直线作为参照线L，观察图片中参照线L与图片的竖直方向存在夹角90°-α，绕定位标签的中心逆时针旋转α使得定位标签的边缘与图片的边缘平行或垂直，但由于定位标签含有方向信息，4位方向标志位A₀A₃A₁₂A₁₅中仅有A₁₅是白色，其余三个方块为红色，因此旋转后可能会出现如图10所示的四种情况，要使定位标签方向完全正确即和方向标志位的实际摆放位置一致，定位标签还需要再旋转角度θ，对应图10中(a)(b)(c)(d)4种情况，θ的值分别为0°、90°、180°、270°。即在图9中标签旋转角度α+θ后可以确保定位标签的方向正确。反推得到AGV相对正方向发生了α+θ的偏转，且偏转方向为逆时针。

3.2.3标签内容识别

根据计算得到的夹角α，旋转定位标签所在的区域图像，并放大为原图的9倍，以提高识别准确率，如图8(b)所示。在旋转并放大后的区域图像中，按红色进行二值化处理，进行多次膨胀腐蚀操作，填满定位标签中空白方块，如图8(c)所示。在图8(c)中检测连通域，得到放大后的定位标签在区域图像中的位置、定位标签宽度W_NL和定位标签高度H_NL。

由图8(c)中定位标签的位置在图8(b)中检测定位标签的内容。本发明所使用的定位标签边框宽度为2.25cm，数据区方块的宽度为3.375cm，所以定位标签每一行或每一列的构成比例为2:3:3:3:3:2。根据上面计算得到放大后标签的宽度W_NL和高度H_NL，按这一比例识别16个数据方块的内容，下面以第7个(第2行第3列)数据方块为例说明识别方法：

1、确定每个方块宽度高度，根据上面的比例可计算得到每个数据方块的宽度为(3/16)*W_NL，高度为(3/16)*H_NL。

2、确定第7个方块在标签中的位置，第7个方块的中心点距离标签左侧边缘应为(2/16+6/16+(3/16)/2)*W_NL，即(19/32)*W_NL，距离标签上侧边缘应为(2/16+3/16+(3/16)/2)*H_NL，即(13/32)*H_NL。

3、由于相机的解析能力有限，红白相邻区域的颜色判断可能存在一定误差，另外由于图像可能会产生畸变，定位标签不一定是标准的正方形，因此在识别每个方块时只识别方块中心区域，中心区域的宽度和高度分别为方块宽度和高度的1/5至3/5。

4、在上面计算得到的中心区域中检测每个像素点是否为红色，若非红色像素点的数量超过像素点总数的一定比例，则将第7个数据方块识别为“1”，否则为“0”。

4计算相对位置关系

图9中三角形表示图像的中心，根据图像中心坐标与标签中心坐标(x_label,y_label)，计算两者连线与竖直方向的夹角β。

逆时针旋转参照线L共α+θ角度后，使得定位标签旋转到方向位正确，然后再继续逆时针旋转β角度后，使得参照线L重合于图像中心M与标签中心的连线，即得到图像中心M相对定位标签的中心的角度为α+β+θ。

根据图像中心坐标与定位标签中心坐标(x_label,y_label)计算两点的像素距离，利用标定相机的标定关系表，将其转化为实际距离m，结合上文计算得到的图像中心相对定位标签的角度α+β+θ，将其位置关系转化为直角坐标关系，得到AGV相对定位标签的实际位置，从定位标签内容在标定关系表中查找定位标签中心相对图像中心的实际坐标位置(X_label,Y_label)，由公式(1)可得到AGV在工作环境的实际位置(X_AGV,Y_AGV)。

综上得到，AGV的位置(X_AGV,Y_AGV)与偏转角度α+θ。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于机器视觉的定位方法，其特征在于：包括如下步骤：

步骤一、在待定位的物体上设置相机，并且对相机进行标定，获得图像中各像素点的像素位置与实际位置之间的标定关系表；

步骤二、设计定位标签，并将定位标签置于待定位物体所在环境中，定位标签内容包含自身所在位置的位置信息和方向信息；

步骤三、利用相机对所在环境进行拍摄，获得包含定位标签的图像，分析图像获得图像中定位标签所在位置、方向以及定位标签的内容；

步骤四、求解图像中心与图像中定位标签的相对位置关系，结合定位标签的内容，获得图像中心在实际环境中的位置；

在步骤四中，图像中心角度的变化，通过观察定位标签的偏转角度反推图像中心的偏转角度，即得到图像中心相对定位标签中心的角度γ，根据图像中心坐标与定位标签中心坐标(x_label,y_label)计算两点的像素距离，利用标定相机的标定关系表，将其转化为实际距离m，结合角度γ，将其位置关系转化为直角坐标关系，得到AGV相对定位标签的实际位置，从定位标签内容在标定关系表中查找定位标签中心相对图像中心的实际坐标位置(X_label,Y_label)，图像中心实际位置(X_AGV,Y_AGV)由以下公式求得：

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>X</mi> <mrow> <mi>A</mi> <mi>G</mi> <mi>V</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>X</mi> <mrow> <mi>l</mi> <mi>a</mi> <mi>b</mi> <mi>e</mi> <mi>l</mi> </mrow> </msub> <mo>+</mo> <mi>m</mi> <mo>&amp;times;</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;gamma;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>Y</mi> <mrow> <mi>A</mi> <mi>G</mi> <mi>V</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>Y</mi> <mrow> <mi>l</mi> <mi>a</mi> <mi>b</mi> <mi>e</mi> <mi>l</mi> </mrow> </msub> <mo>+</mo> <mi>m</mi> <mo>&amp;times;</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;gamma;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>

在步骤一中，在待定位的物体上设置相机，并且对相机进行标定，获得图像中各像素点的像素位置与实际位置之间的标定关系表，具体包括：以图像中心为基准，记录图像中各个标记点的像素位置以及各个标记点距离图像中心的实际位置，将像素位置与实际位置一一对应，即得到以图像中心为基准进行标定的标定关系表。

2.根据权利要求1所述的基于机器视觉的定位方法，其特征在于：相机的标定过程包含以下步骤：

步骤一、拍摄标准标定图像；

步骤二、基于标准标定图像中的方格均匀选取标志点，记录各个标志点在标准标定图像中的像素位置与其实际位置；

步骤三、根据标志点的像素位置与实际位置，建立标定关系表。

3.根据权利要求1所述的基于机器视觉的定位方法，其特征在于：定位标签轮廓为正方形，其上的颜色种类有2种，且定位标签由外框和外框内部多个色块组成，每个色块有1种颜色，外框为1种颜色，通过不同色块的组合方式反映标签内容。

4.根据权利要求3所述的基于机器视觉的定位方法，其特征在于：分析图像时，将图像进行二值化处理，根据颜色信息提取图像中可能为定位标签的像素，进行连通域检测，结合连通域大小、宽高比、位置以及周围背景筛选出定位标签获得其在图像中的位置；通过霍夫变换对定位标签进行直线检测，获得图像中定位标签的方向；接着读取定位标签的内容。