CN106125738A - 一种基于agv的货架识别装置及方法 - Google Patents

Abstract

本发明公开了一种基于AGV的货架识别的装置和方法，该装置和方法中通过安装在AGV上的激光器和照相机获取AGV前方的预设空间中的成像点图像，通过成像点图像的坐标以及成像点图像上的点和预设空间中的点之间的对应关系，确定AGV前进的第一方向相对于由所述预设空间内的货架中心线和所述AGV中心线确定的第一平面之间的夹角，根据计算得到的夹角，调整AGV的方向，以使AGV将货物运送至正确的位置。该AGV的货架识别的装置在AGV上安装照相机和激光器，结构简单。通过对成像点图像的处理，能够准确定位预设空间中的货架位置，实现了对货架的位置的精准定位。

Description

一种基于AGV的货架识别装置及方法

技术领域

本发明属于机械加工及三维建模技术领域，具体涉及一种基于AGV的货架识别装置及方法。

背景技术

无人搬运车(Automated Guided Vehicle，简称AGV)，指装备有电磁或光学等自动导引装置，能够沿规定的导引路径行驶，具有安全保护以及各种移载功能的运输车，工业应用中不需驾驶员的搬运车，以可充电之蓄电池为其动力来源。一般可透过电脑来控制其行进路线以及行为，或利用电磁轨道来设立其行进路线，电磁轨道黏贴於地板上，无人搬运车则依循电磁轨道所带来的讯息进行移动与动作。

AGV以轮式移动为特征，较之步行、爬行或其它非轮式的移动机器人具有行动快捷、工作效率高、结构简单、可控性强、安全性好等优势。与物料输送中常用的其他设备相比，AGV的活动区域无需铺设轨道、支座架等固定装置，不受场地、道路和空间的限制。因此，在自动化物流***中，最能充分地体现其自动性和柔性，实现高效、经济、灵活的无人化生产。

目前对货架的识别主要是依靠是无线射频技术(RFID)对货架上的二维码进行扫描得到位置信息进而确定货架的位置，但这种方法的优点是稳定可靠，缺点是误识率高，对二维码的粘贴位置精度要求高，二维码一旦损毁，或被遮挡就会出错。

发明内容

针对以上技术问题，本发明如何通过简单的设备准确的对货架的位置进行定位。

针对以上技术问题，本发明提供了一种基于AGV的货架识别的装置，包括：AGV以及安装在所述AGV上的激光器和照相机；

所述激光器向所述AGV前的预设空间发射激光；

所述照相机获取所述激光器在所述预设空间内形成的成像点图像；

所述AGV根据所述成像点图像计算所述AGV前进的第一方向相对于由所述预设空间内的货架中心线和所述AGV中心线确定的第一平面之间的夹角，根据所述夹角将所述第一方向调整为第二方向，以使所述AGV沿着所述第二方向前进；

其中，所述第二方向与所述第一平面之间的夹角为零。

优选地，所述激光器和照相机安装在所述AGV的车体前端。

优选地，还包括：固定支架、激光固定块和固定立板；

所述固定立板设置在所述车体前端，所述激光固定块通过所述固定支架固定在所述固定立板上；

所述激光器安装在所述激光固定块上的激光器安装孔内，并通过所述固定立板上的固定套固定；

所述照相机通过所述固定立板上的相机安装孔固定，所述相机安装孔上设置有相机安装套。

优选地，还包括：安装外壳；

所述安装外壳固定在所述车体前端；

所述固定立板安装在所述安装外壳上，且固定在所述固定立板上的激光器和照相机位于所述安装外壳内。

优选地，所述安装外壳通过螺栓固定在所述车体前端，所述固定立板通过螺栓固定在所述安装外壳上。

另一方面，本发明还提供了一种使用上述基于AGV的货架识别装置进行货架识别的方法，包括：

S1：获取所述成像点图像中亮度最亮点在所述成像点图像中的第一坐标，根据所述第一坐标，计算所述AGV与所述货架所在的第二平面之间的第一距离；

S2：根据所述照相机的参数和所述第一距离，确定所述架的中心线，并计算由所述AGV中心线在所述第二平面上投影所得的直线与所述货架的中心线之间的第二距离；

S3：根据所述第一距离和所述第二距离计算所述夹角，并按照所述夹角将所述AGV前进的第一方向调整为所述第二方向。

优选地，所述步骤S1包括：

S11：根据公式

$R_{max}=\frac{\underset{l>T}{\Σ}(R\×l)}{\underset{l>T}{\Σ}l}$

计算所述成像点图像中亮度最亮点的亮度值R_max，根据所述亮度值在所述成像点图像中获取亮度最亮点的第一坐标；

S12：获取所述第一坐标所在位置处的光斑中，最大的纵坐标坐标值和最小的纵坐标坐标值之间的差值Δy_image；

S13：根据公式

$z^{\′}=\frac{sf}{{\mathrm{c\Δy}}_{image}}+\mathrm{\μ}$

计算所述AGV与所述货架所在的第二平面之间的第一距离z'；

其中，l为所述成像点图像中的像素点的列数，R为每一列的像素点的亮度平均值，T为预设的列数的阈值，f为所述照相机的光学焦距，s为所述激光器和所述照相机之间的距离，μ为计算过程中的误差校正参数，c是每个像素点对应的实际尺寸。

优选地，所述步骤S2包括：

S21：根据所述第一距离z'、所述照相机的像素高度H、像素宽度W和光学焦距f，按照公式：

$x=\frac{z^{\′}\×(x_{image}-\frac{W}{2})}{f}$

$y=\frac{z^{\′}\×(y_{image}-\frac{H}{2})}{f}$

计算所述货架上的每一点在所述预设空间中的第二坐标(x,y)；

S22：根据所述货架上的每一点在所述预设空间中的第二坐标(x,y)，确定所述第二坐标确定所述货架的中心线对应位置处的横坐标x₁，计算由所述AGV中心线在所述第二平面上投影所得的直线对应的横坐标x₂，计算横坐标x₁和横坐标x₂之间差值的绝对值x'，以作为所述第二距离的值；

其中，x_image和y_image分别是所述照相机获取的成像点图像上的像素点对应的横坐标和纵坐标。

优选地，所述步骤S3包括：

根据所述第一距离和所述第二距离按照公式

$\mathrm{\θ}=arctan\left(\frac{x^{\′}}{z^{\′}}\right)$

计算所述夹角θ，并按照所述夹角将所述AGV前进的第一方向向所述第一平面调整角度θ，以得到所述第二方向，并使得所述AGV沿着所述第二方向前进。

优选地，所述步骤S2包括：

采用霍夫变换获取所述成像点图像中货架的中性线对应的线段；确定所述线段在所述成像点图像中的横坐标的坐标值x₀，按照公式

$x=\frac{z^{\′}\×(x_0-\frac{W}{2})}{f}$

计算在所述预设空间中，所述货架的中性线对应位置处的横坐标，计算由所述AGV中心线在所述第二平面上投影所得的直线对应的横坐标与所述货架的中性线对应位置处的横坐标之间的差值，以作为所述第二距离的值

其中，z'为所述第一距离，H为所述照相机的像素高度、W为所述照相机的像素宽度W，f为所述照相机的光学焦距。

本发明提供的基于AGV的货架识别的装置和方法中，通过安装在AGV上的激光器和照相机获取AGV前方的预设空间中的成像点图像，通过成像点图像的坐标以及成像点图像上的点和预设空间中的点之间的对应关系，确定AGV前进的第一方向相对于由所述预设空间内的货架中心线和所述AGV中心线确定的第一平面之间的夹角，根据计算得到的夹角，调整AGV的方向，以使AGV将货物运送至正确的位置。该AGV的货架识别的装置在AGV上安装照相机和激光器，结构简单。通过对成像点图像的处理，能够准确定位预设空间中的货架位置，实现了对货架的位置的精准定位。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的AGV的货架识别的装置中的激光器和照相机的安装位置内侧的三维示意图；

图2是本发明一个实施例提供的AGV的货架识别的装置中的激光器和照相机的安装位置外侧的三维示意图；

图3本发明一个实施例提供的AGV的货架识别的装置中的激光器和照相机的安装位置内侧面的主视图；

图4本发明一个实施例提供的AGV的货架识别的装置中的激光器和照相机的安装位置外侧面的主视图；

图5本发明一个实施例提供的AGV的货架识别的装置中的激光器和照相机的安装外壳三维结构示意图；

图6本发明一个实施例提供的AGV的货架识别的装置中的激光器和照相机安装的固定立板三维结构示意图；

图7本发明一个实施例提供的AGV的货架识别的装置中的激光器安装的激光固定块的三维结构示意图；

图8本发明一个实施例提供的AGV的货架识别的装置中的激光器安装的激光安装孔的三维结构示意图；

图9本发明一个实施例提供的AGV的货架识别的装置中的固定支架的三维结构示意图；

图10本发明一个实施例提供的AGV的货架识别的装置进行货架识别过程中第一距离的计算原理示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种基于AGV的货架识别的装置，包括：AGV以及安装在所述AGV上的激光器和照相机；

激光器向所述AGV前的预设空间发射激光；

照相机获取所述激光器在所述预设空间内形成的成像点图像；

所述AGV根据所述成像点图像计算所述AGV前进的第一方向相对于由所述预设空间内的货架中心线和所述AGV中心线确定的第一平面之间的夹角，根据所述夹角将所述第一方向调整为第二方向， 以使所述AGV沿着所述第二方向前进；

其中，所述第二方向与所述第一平面之间的夹角为零。

其中照相机可以采用单目照相机，照相机和激光器的安装可以采用如图1和图2中的安装方式实现，将激光器和照相机安装在AGV的车体前端。具体的，在车体前端制作一个用于安装照相机和激光器的安装外壳102，安装外壳102上包括固定支架108、激光固定块106和固定立板104；安装外壳102的结构如图5所示，109是用于安装固定立板的螺栓孔。固定立板的结构如图6所示。

固定立板104设置在车体前端，激光固定块106通过固定支架108固定在固定立板104上，如图1所示，通过螺栓107将固定支架108固定在固定立板104上，并与车体前端固定。激光固定块106的结构如图7所示，固定支架108的结构如图9所示。

激光器安装在激光固定块106上的激光器安装孔111内，并通过固定立板104上的固定套105固定；激光器安装孔111的结构示意图如图8所示。

照相机通过固定立板104上的相机安装孔110固定，相机安装孔110上设置有相机安装套103。

安装外壳102通过设置在安装外壳102边缘的螺栓孔101固定在AGV车体前端，固定立板104安装在安装外壳102上，且固定在固定立板104上的激光器和照相机位于安装外壳102内。

安装外壳102通过螺栓固定在车体前端，固定立板104通过螺栓固定在安装外壳102上。

图3和图4分别是AGV的货架识别的装置中的激光器和照相机的安装位置的内侧和外侧的主视图，可以看出，激光安装孔111通过安装激光安装孔111的螺栓孔112和螺栓113固定在激光固定块106上。安装固定支架108的螺栓107和固定支架108之间设置有垫片114。整个激光固定块106通过安装激光固定块106的螺栓115固定 在固定支架108上。

另一方面，本发明还提供了一种基于AGV的货架识别装置进行货架识别的方法，包括：

S1：获取所述成像点图像中亮度最亮点在所述成像点图像中的第一坐标，根据所述第一坐标，计算所述AGV与所述货架所在的第二平面之间的第一距离；

S2：根据所述照相机的参数和所述第一距离，确定所述货架的中心线，并计算由所述AGV中心线在所述第二平面上投影所得的直线与所述货架的中心线之间的第二距离；

S3：根据所述第一距离和所述第二距离计算所述夹角，并按照所述夹角将所述AGV前进的第一方向调整为所述第二方向。

第一坐标指的是在成像点图像上各个像素点的坐标。本发明中的照相机可以使用单目照相机。在该AGV的货架识别装置中，激光器和照相机的连线是垂直于地面的。

本实施例提供的基于AGV的货架识别的装置和方法中，通过安装在AGV上的激光器和照相机获取AGV前方的预设空间中的成像点图像，通过成像点图像的坐标以及成像点图像上的点和预设空间中的点之间的对应关系，确定AGV前进的第一方向相对于由所述预设空间内的货架中心线和所述AGV中心线确定的第一平面之间的夹角，根据计算得到的夹角，调整AGV的方向，以使AGV将货物运送至正确的位置。该AGV的货架识别的装置在AGV上安装照相机和激光器，结构简单。通过对成像点图像的处理，能够准确定位预设空间中的货架位置，实现了对货架的位置的精准定位。

具体地，所述步骤S1包括：

S11：根据公式

$R_{max}=\frac{\underset{l>T}{\Σ}(R\×l)}{\underset{l>T}{\Σ}l}$

计算所述成像点图像中亮度最亮点的亮度值R_max，根据所述亮度值在所述成像点图像中获取亮度最亮点的第一坐标；

S12：获取所述第一坐标所在位置处的光斑中，最大的纵坐标坐标值和最小的纵坐标坐标值之间的差值Δy_image；

S13：根据公式

$z^{\′}=\frac{sf}{{\mathrm{c\Δy}}_{image}}+\mathrm{\μ}$

计算所述AGV与所述货架所在的第二平面之间的第一距离z'；

其中，l为所述成像点图像中的像素点的列数，R为每一列的像素点的亮度平均值，T为预设的列数的阈值，f为所述照相机的光学焦距，s为所述激光器和所述照相机之间的距离，μ为计算过程中的误差校正参数，c是每个像素点对应的实际尺寸。

图10示出了AGV的货架识别的装置进行货架识别过程中第一距离的计算原理示意图，一般情况下，亮度最亮的点位于所述AGV的正前方。

在图10中，设相机(图10中的camera)成像面为α，过相机焦点且垂直于地面和成像面的平面为β，激光器发射的无线光平面γ。当反射点位于平面β上时(即成像的横坐标为图像宽度的一半)，激光器、反射点、相机焦点与成像点同一平面β，此时四者间的几何关系如式二所示。由相似三角形可得：

$z=q=\frac{sf}{{\mathrm{c\Δy}}_{image}}=\frac{sf}{c(y_0-y)}$

其中z为深度，c为每个像素的实际尺寸。但由于校正参数时z不容易得到，我们实际采用的公式是

$z^{\′}=q^{\′}=\frac{sf}{{\mathrm{c\Δy}}_{mage}}+\mathrm{\μ}=\frac{sf}{c(y_0-y)}+\mathrm{\μ}$

z'是AGV与货架所在的第二平面之间的第一距离。当然，在图 10中假定反射点位于平面β上，对于反射点不位于平面β上的点，也可以通过一定的转化关系求得每一个点在预设空间中的坐标。

进一步地，所述步骤S2包括：

S21：根据所述第一距离z'、所述照相机的像素高度H、像素宽度W和光学焦距f，按照公式：

$x=\frac{z^{\′}\×(x_{image}-\frac{W}{2})}{f}$

$y=\frac{z^{\′}\×(y_{image}-\frac{H}{2})}{f}$

计算所述货架上的每一点在所述预设空间中的第二坐标(x,y)；

S22：根据所述货架上的每一点在所述预设空间中的第二坐标(x,y)，确定所述第二坐标确定所述货架的中心线对应位置处的横坐标x₁，计算由所述AGV中心线在所述第二平面上投影所得的直线对应的横坐标x₂，计算横坐标x₁和横坐标x₂之间差值的绝对值x'，以作为所述第二距离的值；

其中，x_image和y_image分别是所述照相机获取的成像点图像上的像素点对应的横坐标和纵坐标。

进一步地，所述步骤S3包括：

根据所述第一距离和所述第二距离按照公式

$\mathrm{\θ}=arctan\left(\frac{x^{\′}}{z^{\′}}\right)$

计算所述夹角θ，并按照所述夹角将所述AGV前进的第一方向向所述第一平面调整角度θ，以得到所述第二方向，并使得所述AGV沿着所述第二方向前进。

进一步地，所述步骤S2还可以是采用如下方式实现：

采用霍夫变换获取所述成像点图像中货架的中性线对应的线段； 确定所述线段在所述成像点图像中的横坐标的坐标值x₀，按照公式

$x=\frac{z^{\′}\×(x_0-\frac{W}{2})}{f}$

计算在所述预设空间中，所述货架的中性线对应位置处的横坐标，计算由所述AGV中心线在所述第二平面上投影所得的直线对应的横坐标与所述货架的中性线对应位置处的横坐标之间的差值，以作为所述第二距离的值

其中，z'为所述第一距离，H为所述照相机的像素高度、W为所述照相机的像素宽度W，f为所述照相机的光学焦距。

本发明中的AGV的货架识别装置进行货架识别的方法中，用一种低成本的新型结构对利用激光与单目摄像机对货架底部进行简单三维重建，并以此识别货架并调整AGV位姿。本发明很好的解决了货架识别需要完全依靠二维码的问题，进行并且识别精度可达到1mm，识别速率在200ms之内，测量精度<0.5。识别准确率>90％。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于AGV的货架识别的装置，其特征在于，包括：AGV以及安装在所述AGV上的激光器和照相机；

所述激光器向所述AGV前的预设空间发射激光；

所述照相机获取所述激光器在所述预设空间内形成的成像点图像；

所述AGV根据所述成像点图像计算所述AGV前进的第一方向相对于由所述预设空间内的货架中心线和所述AGV中心线确定的第一平面之间的夹角，根据所述夹角将所述第一方向调整为第二方向，以使所述AGV沿着所述第二方向前进；

其中，所述第二方向与所述第一平面之间的夹角为零。

2.根据权利要求1所述的装置，其特征在于，所述激光器和照相机安装在所述AGV的车体前端。

3.根据权利要求2所述的装置，其特征在于，还包括：固定支架、激光固定块和固定立板；

所述固定立板设置在所述车体前端，所述激光固定块通过所述固定支架固定在所述固定立板上；

所述激光器安装在所述激光固定块上的激光器安装孔内，并通过所述固定立板上的固定套固定；

所述照相机通过所述固定立板上的相机安装孔固定，所述相机安装孔上设置有相机安装套。

4.根据权利要求3所述的装置，其特征在于，还包括：安装外壳；

所述安装外壳固定在所述车体前端；

所述固定立板安装在所述安装外壳上，且固定在所述固定立板上的激光器和照相机位于所述安装外壳内。

5.根据权利要求4所述的装置，其特征在于，所述安装外壳通过螺栓固定在所述车体前端，所述固定立板通过螺栓固定在所述安装外壳上。

6.一种使用权利要求1中所述的基于AGV的货架识别装置进行货架识别的方法，其特征在于，包括：

S1：获取所述成像点图像中亮度最亮点在所述成像点图像中的第一坐标，根据所述第一坐标，计算所述AGV与所述货架所在的第二平面之间的第一距离；

S2：根据所述照相机的参数和所述第一距离，确定所述货架的中心线，并计算由所述AGV中心线在所述第二平面上投影所得的直线与所述货架的中心线之间的第二距离；

S3：根据所述第一距离和所述第二距离计算所述夹角，并按照所述夹角将所述AGV前进的第一方向调整为所述第二方向。

7.根据权利要求6中所述的方法，其特征在于，所述步骤S1包括：

S11：根据公式

$R_{max}=\frac{\underset{l>T}{\&Sigma;}(R\&times;l)}{\underset{l>T}{\&Sigma;}l}$

计算所述成像点图像中亮度最亮点的亮度值R_max，根据所述亮度值在所述成像点图像中获取亮度最亮点的第一坐标；

S12：获取所述第一坐标所在位置处的光斑中，最大的纵坐标坐标值和最小的纵坐标坐标值之间的差值Δy_image；

S13：根据公式

$z^{\&prime;}=\frac{sf}{{\mathrm{c\&Delta;y}}_{image}}+\mathrm{\&mu;}$

计算所述AGV与所述货架所在的第二平面之间的第一距离z'；

其中，l为所述成像点图像中的像素点的列数，R为每一列的像素点的亮度平均值，T为预设的列数的阈值，f为所述照相机的光学焦距，s为所述激光器和所述照相机之间的距离，μ为计算过程中的误差校正参数，c是每个像素点对应的实际尺寸。

8.根据权利要求7中的方法，其特征在于，所述步骤S2包括：

S21：根据所述第一距离z'、所述照相机的像素高度H、像素宽度W和光学焦距f，按照公式：

$x=\frac{z^{\&prime;}\&times;(x_{image}-\frac{W}{2})}{f}$

$y=\frac{z^{\&prime;}\&times;(y_{image}-\frac{H}{2})}{f}$

计算所述货架上的每一点在所述预设空间中的第二坐标(x,y)；

S22：根据所述货架上的每一点在所述预设空间中的第二坐标(x,y)，确定所述第二坐标确定所述货架的中心线对应位置处的横坐标x₁，计算由所述AGV中心线在所述第二平面上投影所得的直线对应的横坐标x₂，计算横坐标x₁和横坐标x₂之间差值的绝对值x'，以作为所述第二距离的值；

其中，x_image和y_image分别是所述照相机获取的成像点图像上的像素点对应的横坐标和纵坐标。

9.根据权利要求7中的方法，其特征在于，所述步骤S3包括：

根据所述第一距离和所述第二距离按照公式

$\mathrm{\&theta;}=\arctan \left(\frac{x^{\&prime;}}{z^{\&prime;}}\right)$

计算所述夹角θ，并按照所述夹角将所述AGV前进的第一方向向所述第一平面调整角度θ，以得到所述第二方向，并使得所述AGV沿着所述第二方向前进。

10.根据权利要求6中所述的方法，其特征在于，所述步骤S2包括：

采用霍夫变换获取所述成像点图像中货架的中性线对应的线段；确定所述线段在所述成像点图像中的横坐标的坐标值x₀，按照公式

$x=\frac{z^{\&prime;}\&times;(x_0-\frac{W}{2})}{f}$

计算在所述预设空间中，所述货架的中性线对应位置处的横坐标，计算由所述AGV中心线在所述第二平面上投影所得的直线对应的横坐标与所述货架的中性线对应位置处的横坐标之间的差值，以作为所述第二距离的值

其中，z'为所述第一距离，H为所述照相机的像素高度、W为所述照相机的像素宽度W，f为所述照相机的光学焦距。