CN115035105B - 一种agv小车转向控制的多维数据融合、决策方法 - Google Patents

一种agv小车转向控制的多维数据融合、决策方法 Download PDF

Info

Publication number
CN115035105B
CN115035105B CN202210952611.0A CN202210952611A CN115035105B CN 115035105 B CN115035105 B CN 115035105B CN 202210952611 A CN202210952611 A CN 202210952611A CN 115035105 B CN115035105 B CN 115035105B
Authority
CN
China
Prior art keywords
gradient
image
value
obtaining
agv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210952611.0A
Other languages
English (en)
Other versions
CN115035105A (zh
Inventor
赵彦燕
袁绪彬
袁绪龙
李栓柱
贺庆壮
王诚善
徐祥琦
龙敏勇
王川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Ximanke Technology Co ltd
Original Assignee
Shandong Ximanke Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Ximanke Technology Co ltd filed Critical Shandong Ximanke Technology Co ltd
Priority to CN202210952611.0A priority Critical patent/CN115035105B/zh
Publication of CN115035105A publication Critical patent/CN115035105A/zh
Application granted granted Critical
Publication of CN115035105B publication Critical patent/CN115035105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/60Electric or hybrid propulsion means for production processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,具体涉及一种AGV小车转向控制的多维数据融合、决策方法,该方法获取路面图像的二值图像,筛选出边界点并获取对应的三维向量,将所有三维向量进行分类,获取多个类别,并计算每个类别的第一平均梯度;获取每两个类别之间的聚类距离,利用聚类距离对所有第一平均梯度进行二分类,得到两个梯度组;计算每个梯度组的第二平均梯度分别作为边缘检测的高梯度阈值和低梯度阈值,对路面图像进行边缘检测,得到轨道线图像;获取视觉可信度和磁可信度,选取视觉可信度和磁可信度中的较大值对应的检测结果控制AGV小车的转向。本发明通过视觉检测和磁条相互辅助,更准确地对AGV小车进行转向控制,降低了转向误差。

Description

一种AGV小车转向控制的多维数据融合、决策方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种AGV小车转向控制的多维数据融合、决策方法。
背景技术
AGV小车装备有电磁或光学等自动导航装置,能够沿着粘贴于地板上的电磁轨道所规定的路径移动,或者依据计算机发出的指令行进或动作。
其中电磁感应引导式AGV仅通过磁感应模块获得磁感应数据,AGV小车根据获取的磁信号进行转向控制。但是由于磁条使用时间过长,会出现磁条本身老化或者外力原因,进而导致磁性减弱,使得转向时出现转向误差,当累积误差过大,可能会导致转向时转向轨道超过AGV小车所能转向极限,或者AGV小车偏离出轨道,无法回到正轨,无法完成AGV小车搬运任务。因此,在AGV小车行进过程中,会出现磁条磁性减弱导致的转向误差较大的问题,影响AGV小车的搬运任务。
发明内容
为了解决AGV小车行进过程中,磁条磁性减弱导致的转向误差较大的问题,本发明提供一种AGV小车转向控制的多维数据融合、决策方法,所采用的技术方案具体如下:
本发明一个实施例提供了一种AGV小车转向控制的多维数据融合、决策方法,该方法包括以下步骤:
采集AGV小车行驶时正前方的路面图像,所述路面图像包括磁条轨道线和地面;
通过阈值分割获取所述路面图像的二值图像,获取二值图像中每个像素点的梯度值,并基于所述梯度值筛选出边界点;以所述边界点的坐标和梯度值组合为对应边界点的三维向量,将所有三维向量进行分类,获取多个类别,并计算每个类别的第一平均梯度;
根据每个类别中边界点的切线方向获取对应类别的曲率差异性,基于每两个类别的第一平均梯度之间的差值和曲率差异性获取对应两个类别之间的聚类距离,利用所述聚类距离对所有第一平均梯度进行二分类,得到两个梯度组;
计算每个梯度组的第二平均梯度分别作为边缘检测的高梯度阈值和低梯度阈值,对所述路面图像进行边缘检测,得到轨道线图像;提取轨道线图像的中断点,对含有中断点的连通域进行曲线拟合,得到多条拟合曲线,基于轨道线图像中拟合曲线之间的距离以及拟合曲线的长度获取视觉可信度;
以实时采集的磁条磁强度与标准磁强度的比值作为当前时刻的磁可信度,选取视觉可信度和磁可信度中的较大值对应的检测结果控制AGV小车的转向。
优选的,所述二值图像的获取方法为:
通过大津法获取最佳阈值,以所述最佳阈值对所述路面图像进行分割,将大于所述最佳阈值的像素值置为第一预设值,将小于等于所述最佳阈值的像素值置为第二预设值,得到所述二值图像。
优选的,所述边界点的筛选过程为:
以所述第二预设值与所述第一预设值的差作为梯度阈值,当像素点的梯度值为所述梯度阈值时,对应的像素点为所述边界点。
优选的,所述将所有三维向量进行分类,获取多个类别,包括:
通过设置簇最小数目以及邻域半径,对所有三维向量进行密度聚类,得到所述多个类别。
优选的,所述曲率差异性的获取方法为:
对于每个类别,获取每个边界点在二值图像中的海森矩阵,以海森矩阵的最小特征值对应的特征向量作为对应边界点的切线方向,以所有边界点的切线方向的方差作为对应类别的曲率差异性。
优选的,所述聚类距离的获取方法为:
计算每两个类别的第一平均梯度之间的差值绝对值,并选取这两个类别的曲率差异性的较大值与所述差值绝对值相乘,得到的结果为所述聚类距离。
优选的,所述轨道线图像的获取方法为:
以两个第二平均梯度中的较大值作为高梯度阈值,较小值作为低梯度阈值,利用canny边缘检测算子对所述路面图像进行双阈值的边缘检测,得到所述轨道线图像。
优选的,所述中断点的提取方法为:
通过连通域提取算法获取所述轨道线图像中的线条以及线条的端点,去除图像边界上的端点,剩下的图像内部的端点为所述中断点。
优选的,所述视觉可信度的获取方法为:
平均距离最小的两条拟合曲线属于同一轨道线,以两条拟合曲线对应的中断点之间的距离与两条拟合曲线的长度之和的比值作为对应轨道线的影响度,令预设值减去所有轨道线的平均影响度作为所述轨道线图像的视觉可信度。
本发明实施例至少具有如下有益效果:
1、通过图像处理的方法获取视觉可信度,基于磁强度获取磁可信度,在AGV小车运行过程中以可信度更高的检测结果进行转向控制,随着使用时间的增加,磁条磁性减弱是无法避免的,当磁条磁性减弱不可用时,视觉可信度必然大于磁可信度,此时利用视觉检测结果进行转向控制,视觉检测结果为图像处理的结果,不会随着磁条磁性减弱而降低精度,避免了磁性减弱导致的转向误差。本发明通过视觉检测与磁条相互辅助,达到更准确的转向控制效果,降低磁条磁性减弱带来的转向误差。
2、通过图像阈值分割获取得到二值图像,然后基于二值图像的边界点的梯度以及曲率差异得到高梯度阈值和低梯度阈值,通过双阈值对路面图像进行边缘检测,得到轨道线图像,能够准确提取轨道线边缘,提高基于视觉检测结果对AGV小车进行转向控制的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种AGV小车转向控制的多维数据融合、决策方法的步骤流程图;
图2为一个路面图像示例图;
图3为另一个路面图像示例图;
图4为利用canny算子的默认阈值对图2进行边缘检测的效果图;
图5为利用canny算子的默认阈值对图3进行边缘检测的效果图;
图6为利用canny算子以本发明获取的高低梯度阈值对图2进行边缘检测得到的轨道线图像;
图7为利用canny算子以本发明获取的高低梯度阈值对图3进行边缘检测得到的轨道线图像。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种AGV小车转向控制的多维数据融合、决策方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种AGV小车转向控制的多维数据融合、决策方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种AGV小车转向控制的多维数据融合、决策方法的步骤流程图,该方法包括以下步骤:
步骤S001,采集AGV小车行驶时正前方的路面图像,路面图像包括磁条轨道线和地面。
具体的步骤包括:
在AGV小车上固定一个朝向AGV小车所行驶方向的灰度相机,用于采集AGV小车所行驶方向的路面图像。路面图像为灰度图像,包括AGV小车路线上即将行驶部分的磁条轨道线和地面,其中相机一直处于工作状态。
由于磁条轨道大部分为黑色或者黄色,轨道线往往会与地面具有较大的灰度差异,采集的路面图像如图2和图3所示。
步骤S002,通过阈值分割获取路面图像的二值图像,获取二值图像中每个像素点的梯度值,并基于梯度值筛选出边界点;以边界点的坐标和梯度值组合为对应边界点的三维向量,将所有三维向量进行分类,获取多个类别,并计算每个类别的第一平均梯度。
具体的步骤包括:
1、获取路面图像的二值图像。
通过大津法(otus算法)获取最佳阈值,以最佳阈值对路面图像进行分割,将大于最佳阈值的像素值置为第一预设值,将小于等于最佳阈值的像素值置为第二预设值,得到二值图像。
作为一个示例,本发明实施例中第一预设值为0,第二预设值为1。
对所采集图像利用大津法获取路面图像的最佳阈值,该最佳阈值为一个灰度值,利用该最佳阈值作为分割阈值对路面图像进行二值化,将路面图像中大于分割阈值的像素点值置为0,将路面图像中小于等于分割阈值的像素点值置为1,得到路面图像的二值图像。
因为磁条大部分为黑色或相对于地面具有其他低灰度的部分,所以本发明实施例中将相比于分割阈值更小的部分作为1的部分。
在其他实施例中,可根据具体实施场景中磁条和地面颜色差异,进行图像分割后的赋值调整。
对路面图像通过otus算法所得阈值进行图像分割的结果为二值图,并且由于通过otus算法对图像进行分割后,可使得图像分割后两类之间具有最大方差值,表示两类之间灰度值的差异,则两类之间的交界处的梯度可以表示评估两类之间的差异。
2、筛选边界点。
以第二预设值与第一预设值的差作为梯度阈值,当像素点的梯度值为梯度阈值时,对应的像素点为边界点。
建立3*3的滑窗,以二值图像中每个像素点作为滑窗中心点,计算滑窗内像素值的最大值和最小值之间的差值,作为对应中心点的梯度值,将第i个像素点的梯度值记为
Figure 570145DEST_PATH_IMAGE001
。二值图像中的像素值只有两个值,在本发明实施例中为1和0,即梯度阈值为1,当像素点的梯度值等于1时,说明在滑窗内包括了1和0两种像素值,该像素点为边界点。
3、获取多个类别,并计算每个类别的第一平均梯度。
以边界点的坐标和梯度值组合为对应边界点的三维向量,通过设置簇最小数目以及邻域半径,对所有三维向量进行密度聚类,得到多个类别。
获取二值图像中所有边界点在图像中的坐标信息,同样以第i个像素点为例,将其坐标记为
Figure 31214DEST_PATH_IMAGE002
;与该边界点在灰度图像中梯度信息
Figure 883894DEST_PATH_IMAGE001
组合为一个三维向量
Figure 63203DEST_PATH_IMAGE003
,进而得到二值图像中所有边界点所对应的三维向量。
对所有三维向量采用DBSCAN算法进行分类,将坐标连续且梯度相近的边界点分为一类,共得到D个类别。
作为一个示例,本发明实施例中DBSCAN算法进行分类时,簇最小数目minport=3,邻域半径r=3,minport与r都是超参数,可根据具体实施场景进行调整。
对于每个类别,计算类别中所有梯度的平均值作为对应类别的第一平均梯度,将第d个类别的第一平均梯度记为
Figure 259698DEST_PATH_IMAGE004
步骤S003,根据每个类别中边界点的切线方向获取对应类别的曲率差异性,基于每两个类别的第一平均梯度之间的差值和曲率差异性获取对应两个类别之间的聚类距离,利用聚类距离对所有第一平均梯度进行二分类,得到两个梯度组。
具体的步骤包括:
1、获取每个类别的曲率差异性。
对于每个类别,获取每个边界点在二值图像中的海森矩阵,以海森矩阵的最小特征值对应的特征向量作为对应边界点的切线方向,以所有边界点的切线方向的方差作为对应类别的曲率差异性。
获取二值图像中每个边界点所对应的海森矩阵,是2×2的对角矩阵,获取海森矩阵最小特征值对应的特征向量,用于表示该边界点在二值图像上灰度值变化曲率最小的方向,即边界点在边界线上的切线方向,进而求取每个类别内所有边界点对应切线方向的方差值,作为曲率差异性。
将第d个类别的曲率差异性记为
Figure 575273DEST_PATH_IMAGE005
,其方差值越大,表示每个类别内所有像素点对应切线方向越不一致,轨道线为保证AGV小车能够平稳行驶,都是有规则的线,所以曲率差异性越大的类别越不可能是AGV小车的轨道线。
2、计算聚类距离。
通过对所有第一平均梯度进行二分类,获取两个梯度阈值,本发明实施例中二分类采用k-means算法,因此首先计算聚类距离。
计算每两个类别的第一平均梯度之间的差值绝对值,并选取这两个类别的曲率差异性的较大值与差值绝对值相乘,得到的结果为聚类距离。
作为一个示例,第d个类别和第d+1个类别之间的聚类距离的计算公式为:
Figure 595925DEST_PATH_IMAGE006
其中,
Figure 262530DEST_PATH_IMAGE005
表示第d个类别的曲率差异性,
Figure 528295DEST_PATH_IMAGE007
表示第d+1个类别的曲率差异性,
Figure 823010DEST_PATH_IMAGE008
表示选取
Figure 532340DEST_PATH_IMAGE005
Figure 905815DEST_PATH_IMAGE007
中的最大值,
Figure 726003DEST_PATH_IMAGE004
表示第d个类别的第一平均梯度,
Figure 999859DEST_PATH_IMAGE009
表示第d+1个类别的第一平均梯度。
曲率差异性越大,越不可能是AGV小车的轨道线,同时两个类别的第一平均梯度之间的差异越大,越有可能为两种不同的种类,因此对应的聚类距离越远。
3、利用聚类距离对所有第一平均梯度进行二分类,得到两个梯度组。
通过k-means算法,令k=2,基于计算的聚类距离对所有第一平均梯度进行二分类,将相似的第一平均梯度分为一类,得到两个梯度组。
步骤S004,计算每个梯度组的第二平均梯度分别作为边缘检测的高梯度阈值和低梯度阈值,对路面图像进行边缘检测,得到轨道线图像;提取轨道线图像的中断点,对含有中断点的连通域进行曲线拟合,得到多条拟合曲线,基于轨道线图像中拟合曲线之间的距离以及拟合曲线的长度获取视觉可信度。
具体的步骤包括:
1、获取轨道线图像。
首先通过高斯滤波对路面图像进行去噪,然后以两个第二平均梯度中的较大值作为高梯度阈值,较小值作为低梯度阈值,利用canny边缘检测算子对路面图像进行双阈值的边缘检测,得到轨道线图像。
如果canny算子双阈值设置不当,则会导致具有较大的干扰影响轨道线的检测,如图4和图5所示,图4为利用canny算子的默认阈值对图2进行边缘检测的效果图;图5为利用canny算子的默认阈值对图3进行边缘检测的效果图。canny算子的双阈值为默认阈值,边缘检测结果存在较多干扰,不能准确得出轨道线。
以两个第二平均梯度中的较大值作为canny边缘检测算子的高梯度阈值,较小值作为canny边缘检测算子的低梯度阈值,对路面图像进行双阈值的边缘检测,得到轨道线图像,如图6和图7所示,图6为利用canny算子以本发明获取的高低梯度阈值对图2进行边缘检测得到的轨道线图像;图7为利用canny算子以本发明获取的高低梯度阈值对图3进行边缘检测得到的轨道线图像。
2、提取中断点。
通过连通域提取算法获取所述轨道线图像中的线条以及线条的端点,去除图像边界上的端点,剩下的图像内部的端点为所述中断点。
通过8邻域的连通域提取算法,得到轨道线图像中的细线形的各轨线线连通域,获取在轨道线图像中各连通域的两边端点,并获取轨道线图像的边界,将属于轨道线图像的边界上的端点去除不考虑,只得到属于轨道线图像内部的端点,记为中断点,用于表示视觉上轨道线中断的位置,并获取中断点的坐标。
3、获取视觉可信度。
平均距离最小的两条拟合曲线属于同一轨道线,以两条拟合曲线对应的中断点之间的距离与两条拟合曲线的长度之和的比值作为对应轨道线的影响度,令预设值减去所有轨道线的平均影响度作为轨道图像的视觉可信度。
获取带有中断点的连通域,对于这些连通域,获取连通域内所有边界点坐标,利用最小二乘法对所有边界点坐标进行多项式拟合,得到对应的拟合曲线,计算每两条拟合曲线之间的平均距离,平均距离最小的两条拟合曲线属于同一轨道线,也就是说这两条拟合曲线本来属于同一轨道线,由于中断点将轨道线断开,成为了两条曲线,如果识别没有误差的情况下,两条拟合曲线是可以相交的,但是考虑到误差存在的情况,本发明实施例采用最小平均距离的方法判断两条拟合曲线属于同一轨道线。
对于属于同一轨道线的两条拟合曲线,以两条拟合曲线对应的中断点之间的距离与两条拟合曲线的长度之和的比值作为对应轨道线的影响度,如果中断距离较短,而轨道线较长,此时的影响度较小,反之影响较大。影响较小的时候,代表着此时利用视觉检测结果进行转向控制得到的转向结果较好,即视觉可信度较高。
影响度的取值范围为[0,1],本发明实施例中的预设值为1,由1减去影响度,得到视觉可信度,将第c条轨道线的视觉可信度记为
Figure 880090DEST_PATH_IMAGE010
,取值范围为[0,1]。
需要说明的是,相机一直处于工作状态,实时采集的图像需要实时计算视觉可信度,相机视野有限,随着AGV小车的行进,相机视野中的同一轨道线在不同时刻下可能有时存在中断点,有时是完整的轨道线不存在中断点,因此同一条轨道线的视觉可信度在不同时刻下可能是不同的。
步骤S005,以实时采集的磁条轨道线的磁强度与标准磁强度的比值作为当前时刻的磁可信度,选取视觉可信度和磁可信度中的较大值对应的检测结果控制AGV小车的转向。
具体的步骤包括:
1、获取当前时刻的磁可信度。
通过AGV小车所携带磁感应模块,获取得到当前行驶路径上AGV小车的磁强度,以实时采集的磁条轨道线的磁强度与标准磁强度的比值作为当前时刻的磁可信度,磁可信度最大为1,最小为0,磁可信度越小,说明从当前磁条轨道中所获取的磁信号越弱,进而通过磁信号得到结果就越不可信。
将第c条磁条轨道线的磁可信度记为
Figure 737931DEST_PATH_IMAGE011
,由于AGV小车一直在移动,实时检测的磁强度可能并不相同,即不同时刻下同一磁条轨道线的磁可信度可能是不同的。
2、控制AGV小车的转向。
在获取得到AGV小车的轨道线图像后,由于视觉使用场景有限,磁条使用场景也有限,必须将两者的数据结合使用,才能够克服磁条AGV小车磁性减弱获取缺失时的情况,以帮助AGV小车更好的获取得到转向控制量。
所以如果
Figure 96231DEST_PATH_IMAGE012
,即当前轨道的磁可信度比视觉可信度更高,说明当前轨道相比于通过视觉检测结果进行转向控制,利用磁条轨道中所获取的磁信号进行转向控制更好,则选用磁信号进行转向控制。否则选用视觉检测结果进行转向控制。
其中,利用磁信号进行转向控制即令小车基于地面磁条的磁信号进行转向。
而利用视觉检测结果进行转向控制的过程为:
由于AGV小车相机固定,所以对相机坐标系与世界坐标系进行预先标定,得到相机中各像素点的坐标相对于现实世界中的位置,由于所行驶轨道与小车相对位置偏差不大,所以可以获取标定在端点在下边界并且靠近中间位置的连通域作为待行驶轨道,获取待行驶轨道连通域对应曲线的坐标点,作为行驶位置,完成转向控制。
需要说明的是,轨道位置在相机中所出现的范围可根据具体实施场景进行标注或更改。
进一步的,设定可信度阈值R,当
Figure 365539DEST_PATH_IMAGE013
Figure 665939DEST_PATH_IMAGE014
时,说明当前磁信号和视觉检测信号都不可信,AGV小车磁条轨道需要进行维修,此时,AGV小车发出警报并停止运行,同时停止部分相关联AGV小车的运行或者进行绕路行驶。
可信度阈值可根据具体实施场景进行设定,作为一个示例,本发明实施例中可信度阈值R=0.5。
综上所述,本发明实施例采集AGV小车行驶时正前方的路面图像,路面图像包括磁条轨道线和地面;通过阈值分割获取路面图像的二值图像,获取二值图像中每个像素点的梯度值,并基于梯度值筛选出边界点;以边界点的坐标和梯度值组合为对应边界点的三维向量,将所有三维向量进行分类,获取多个类别,并计算每个类别的第一平均梯度;根据每个类别中边界点的切线方向获取对应类别的曲率差异性,基于每两个类别的第一平均梯度之间的差值和曲率差异性获取对应两个类别之间的聚类距离,利用聚类距离对所有第一平均梯度进行二分类,得到两个梯度组;计算每个梯度组的第二平均梯度分别作为边缘检测的高梯度阈值和低梯度阈值,对路面图像进行边缘检测,得到轨道线图像;提取轨道线图像的中断点,对含有中断点的连通域进行曲线拟合,得到多条拟合曲线,基于轨道线图像中拟合曲线之间的距离以及拟合曲线的长度获取视觉可信度;以实时采集的磁条磁强度与标准磁强度的比值作为当前时刻的磁可信度,选取视觉可信度和磁可信度中的较大值对应的检测结果控制AGV小车的转向。本发明实施例能够通过视觉检测和磁条相互辅助,对AGV小车达到更准确的转向控制效果,降低了转向误差。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。

Claims (9)

1.一种AGV小车转向控制的多维数据融合、决策方法,其特征在于,该方法包括以下步骤:
采集AGV小车行驶时正前方的路面图像,所述路面图像包括磁条轨道线和地面;
通过阈值分割获取所述路面图像的二值图像,获取二值图像中每个像素点的梯度值,并基于所述梯度值筛选出边界点;以所述边界点的坐标和梯度值组合为对应边界点的三维向量,将所有三维向量进行分类,获取多个类别,并计算每个类别的第一平均梯度;
根据每个类别中边界点的切线方向获取对应类别的曲率差异性,基于每两个类别的第一平均梯度之间的差值和曲率差异性获取对应两个类别之间的聚类距离,利用所述聚类距离对所有第一平均梯度进行二分类,得到两个梯度组;
计算每个梯度组的第二平均梯度分别作为边缘检测的高梯度阈值和低梯度阈值,对所述路面图像进行边缘检测,得到轨道线图像;提取轨道线图像的中断点,对含有中断点的连通域进行曲线拟合,得到多条拟合曲线,基于轨道线图像中拟合曲线之间的距离以及拟合曲线的长度获取视觉可信度;
以实时采集的磁条磁强度与标准磁强度的比值作为当前时刻的磁可信度,选取视觉可信度和磁可信度中的较大值对应的检测结果控制AGV小车的转向。
2.根据权利要求1所述的一种AGV小车转向控制的多维数据融合、决策方法,其特征在于,所述二值图像的获取方法为:
通过大津法获取最佳阈值,以所述最佳阈值对所述路面图像进行分割,将大于所述最佳阈值的像素值置为第一预设值,将小于等于所述最佳阈值的像素值置为第二预设值,得到所述二值图像。
3.根据权利要求2所述的一种AGV小车转向控制的多维数据融合、决策方法,其特征在于,所述边界点的筛选过程为:
以所述第二预设值与所述第一预设值的差作为梯度阈值,当像素点的梯度值为所述梯度阈值时,对应的像素点为所述边界点。
4.根据权利要求1所述的一种AGV小车转向控制的多维数据融合、决策方法,其特征在于,所述将所有三维向量进行分类,获取多个类别,包括:
通过设置簇最小数目以及邻域半径,对所有三维向量进行密度聚类,得到所述多个类别。
5.根据权利要求1所述的一种AGV小车转向控制的多维数据融合、决策方法,其特征在于,所述曲率差异性的获取方法为:
对于每个类别,获取每个边界点在二值图像中的海森矩阵,以海森矩阵的最小特征值对应的特征向量作为对应边界点的切线方向,以所有边界点的切线方向的方差作为对应类别的曲率差异性。
6.根据权利要求1所述的一种AGV小车转向控制的多维数据融合、决策方法,其特征在于,所述聚类距离的获取方法为:
计算每两个类别的第一平均梯度之间的差值绝对值,并选取这两个类别的曲率差异性的较大值与所述差值绝对值相乘,得到的结果为所述聚类距离。
7.根据权利要求1所述的一种AGV小车转向控制的多维数据融合、决策方法,其特征在于,所述轨道线图像的获取方法为:
以两个第二平均梯度中的较大值作为高梯度阈值,较小值作为低梯度阈值,利用canny边缘检测算子对所述路面图像进行双阈值的边缘检测,得到所述轨道线图像。
8.根据权利要求1所述的一种AGV小车转向控制的多维数据融合、决策方法,其特征在于,所述中断点的提取方法为:
通过连通域提取算法获取所述轨道线图像中的线条以及线条的端点,去除图像边界上的端点,剩下的图像内部的端点为所述中断点。
9.根据权利要求1所述的一种AGV小车转向控制的多维数据融合、决策方法,其特征在于,所述视觉可信度的获取方法为:
平均距离最小的两条拟合曲线属于同一轨道线,以两条拟合曲线对应的中断点之间的距离与两条拟合曲线的长度之和的比值作为对应轨道线的影响度,令预设值减去所有轨道线的平均影响度作为所述轨道线图像的视觉可信度。
CN202210952611.0A 2022-08-10 2022-08-10 一种agv小车转向控制的多维数据融合、决策方法 Active CN115035105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210952611.0A CN115035105B (zh) 2022-08-10 2022-08-10 一种agv小车转向控制的多维数据融合、决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210952611.0A CN115035105B (zh) 2022-08-10 2022-08-10 一种agv小车转向控制的多维数据融合、决策方法

Publications (2)

Publication Number Publication Date
CN115035105A CN115035105A (zh) 2022-09-09
CN115035105B true CN115035105B (zh) 2022-10-25

Family

ID=83131266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210952611.0A Active CN115035105B (zh) 2022-08-10 2022-08-10 一种agv小车转向控制的多维数据融合、决策方法

Country Status (1)

Country Link
CN (1) CN115035105B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09245298A (ja) * 1996-03-13 1997-09-19 Toyota Motor Corp 車両用自動走行装置
CN106228138A (zh) * 2016-07-26 2016-12-14 国网重庆市电力公司电力科学研究院 一种融合区域和边缘信息的道路检测算法
CN109765905A (zh) * 2019-03-01 2019-05-17 航天通用技术(北京)有限公司 一种全向智能立体搬运控制***
CN110081888A (zh) * 2019-05-15 2019-08-02 华南师范大学 一种基于可信度的惯导和地磁融合的室内定位算法
CN112801111A (zh) * 2020-12-18 2021-05-14 广东工业大学 基于梯度方向的图像直线边缘点分类方法及装置
CN112882476A (zh) * 2021-01-26 2021-06-01 佛山市光华智能设备有限公司 用于控制agv车体转向的控制方法及控制装置
CN113200086A (zh) * 2021-06-21 2021-08-03 盐城工学院 一种智能车转向控制***及其控制方法
CN114399522A (zh) * 2022-01-14 2022-04-26 东南大学 一种基于高低阈值的Canny算子的边缘检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09245298A (ja) * 1996-03-13 1997-09-19 Toyota Motor Corp 車両用自動走行装置
CN106228138A (zh) * 2016-07-26 2016-12-14 国网重庆市电力公司电力科学研究院 一种融合区域和边缘信息的道路检测算法
CN109765905A (zh) * 2019-03-01 2019-05-17 航天通用技术(北京)有限公司 一种全向智能立体搬运控制***
CN110081888A (zh) * 2019-05-15 2019-08-02 华南师范大学 一种基于可信度的惯导和地磁融合的室内定位算法
CN112801111A (zh) * 2020-12-18 2021-05-14 广东工业大学 基于梯度方向的图像直线边缘点分类方法及装置
CN112882476A (zh) * 2021-01-26 2021-06-01 佛山市光华智能设备有限公司 用于控制agv车体转向的控制方法及控制装置
CN113200086A (zh) * 2021-06-21 2021-08-03 盐城工学院 一种智能车转向控制***及其控制方法
CN114399522A (zh) * 2022-01-14 2022-04-26 东南大学 一种基于高低阈值的Canny算子的边缘检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Study for AGV Steering Control and Identification using Vision System;Jin- Woo Lee et al.;《ISIE 2001》;20011231;第1575-1578页 *
AGV navigation analysis based on multi-sensor data fusion;Ti-chun Wang et al.;《pringer Science+Business Media, LLC, part of Springer Nature 2018》;20180703;第5109-5124页 *
基于传感器信息融合的自动导引车自由路径转向研究;唐金君;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130415;I140-213 *

Also Published As

Publication number Publication date
CN115035105A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN111693972B (zh) 一种基于双目序列图像的车辆位置与速度估计方法
US10943131B2 (en) Image based lane marking classification
US8379928B2 (en) Obstacle detection procedure for motor vehicle
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
US9626599B2 (en) Reconfigurable clear path detection system
WO2012014430A1 (ja) 移動体検出装置および移動体検出方法
WO2017130640A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN101929867A (zh) 使用道路模型的畅通路径检测
CN107389084A (zh) 行车路径规划方法及存储介质
CN107909009B (zh) 一种基于路面学习的障碍物检测方法与装置
CN109919144A (zh) 可行驶区域检测方法、装置、计算机存储介质及路测视觉设备
US20220342427A1 (en) Information processing device, information processing method, and program
KR20180070258A (ko) 주행상황에서의 동시적 물체 인식 및 학습 방법
CN115923839A (zh) 一种车辆路径规划方法
Avşar et al. Moving vehicle detection and tracking at roundabouts using deep learning with trajectory union
Ghahremannezhad et al. Robust road region extraction in video under various illumination and weather conditions
CN113538585B (zh) 基于无人机的高精度多目标智能识别定位追踪方法及***
CN115035105B (zh) 一种agv小车转向控制的多维数据融合、决策方法
Hernández et al. Lane marking detection using image features and line fitting model
Diego et al. Vision-based road detection via on-line video registration
JP2002175534A (ja) 道路の白線検出方法
CN112861599A (zh) 用于对道路上的对象进行分类的方法和设备、计算机程序及存储介质
JPH05151341A (ja) 車両用走行路検出装置
Yu et al. An improved phase correlation method for stop detection of autonomous driving
EP3905113A1 (en) Camera height calculation method and image processing apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant