CN112540382B - 一种基于视觉识别检测的激光导航agv辅助定位方法 - Google Patents

一种基于视觉识别检测的激光导航agv辅助定位方法 Download PDF

Info

Publication number
CN112540382B
CN112540382B CN201910844981.0A CN201910844981A CN112540382B CN 112540382 B CN112540382 B CN 112540382B CN 201910844981 A CN201910844981 A CN 201910844981A CN 112540382 B CN112540382 B CN 112540382B
Authority
CN
China
Prior art keywords
agv
visual
specified
image
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910844981.0A
Other languages
English (en)
Other versions
CN112540382A (zh
Inventor
周军
罗川
吴迪
皇攀凌
陈庆伟
李建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Shandong Alesmart Intelligent Technology Co Ltd
Original Assignee
Shandong University
Shandong Alesmart Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, Shandong Alesmart Intelligent Technology Co Ltd filed Critical Shandong University
Priority to CN201910844981.0A priority Critical patent/CN112540382B/zh
Publication of CN112540382A publication Critical patent/CN112540382A/zh
Application granted granted Critical
Publication of CN112540382B publication Critical patent/CN112540382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于视觉识别检测的激光导航AGV辅助定位方法，步骤包括训练指定路标的图像集，形成图像识别模型；在规定位置范围内通过视觉传感器识别所指定路标，并检测AGV与两侧指定路标之间的距离，计算两者距离之和；根据从视觉传感器中所获取的信息，将其反馈给激光SLAM***，实现AGV绝对位置的定位，从而实现对于激光SLAM导航累计误差的修正，提高定位精度，提升工作效率。

Description

一种基于视觉识别检测的激光导航AGV辅助定位方法
技术领域
本发明涉及一种基于视觉识别检测的激光导航AGV辅助定位方法，属于视觉识别检测技术领域。
背景技术
在室内移动机器人SLAM自主导航的工业应用中，现有的SLAM导航方式多采用单一2D激光雷达传感器，通过激光发射器在二维平面内发射激光粒子，通过粒子飞行时间返回周围环境深度信息，然后对比原始地图数据库，确定其所处的位置。其不足之处是检测到的信息量较少，在特征相似的场景定位中具有较高的不确定性，容易出现轮廓的误匹配，在环境重复率高的工业中难以适用。
中国专利文件(公开号CN109752725A)公开了一种低速商用机器人、定位导航方法及定位导航***，SLAM采用的是2D激光定位建图，精度较高，但由于2D激光采集的信息量少，对于纹理信息相近的场景识别检测存在不足，为了改进这一缺点，当遇到相似场景定位准确性差时，本发明采用视觉传感器辅助提取丰富的纹理信息识别物体，提高2D激光重复定位的精度。
发明内容
针对现有技术的不足，本发明提供一种基于视觉识别检测的激光导航AGV辅助定位方法，能够检测工业机器人与路标物体之间的位置关系，从而实现对于激光SLAM导航累计误差的修正，提高定位精度，提升工作效率。
本发明的技术方案如下：
一种基于视觉识别检测的激光导航AGV辅助定位方法，该方法包括：
步骤(1)、在AGV两侧设置视觉传感器，标定视觉传感器内外参数；
步骤(2)、训练指定路标的图像集，生成图像识别模型；
步骤(3)、运行AGV，当AGV到达指定位置范围时，启动视觉传感器识别所指定路标，识别路标后，并检测AGV与两侧指定路标之间的距离，分别记为d1和d2，计算两者距离之和：d＝d1+d2，根据工业环境，设置距离检测阈值T；
当d＜T时，进行步骤(4)，否则返回步骤(3)，AGV继续运动进行路标识别；
步骤(4)、根据从视觉传感器中所获取的信息，反馈给激光SLAM***，对比地图数据库，地图数据库是指AGV在示教时事先建立的工业环境地图，本方法是关于事先建立好工业环境地图之后的AGV运行情况，将AGV附带传感器的累计误差清零，AGV附带的若干传感器(里程计，陀螺仪，激光雷达等等)受限于精度，难免会有误差，长时间运动会产生累计误差，清零是指实现AGV的绝对位置的重定位，每当到达指定路标附近时，AGV激光SLAM***扫描周围信息，输出其绝对位姿(位置和旋转)，而非继续使用各种传感器长时间运行累计出来的位姿，相当于间接地消除了传感器的累计误差，以此绝对位姿进行下一步操作，实现所述***的AGV辅助定位；从视觉传感器中所获取的信息包括路标信息和距离信息。
优选的，所述步骤(1)中，标定视觉传感器内外参数，内参数包括相机焦距和畸变，外参数包括世界坐标系到相机坐标系之间的旋转和平移；采用的视觉传感器为深度相机，通过相机SDK包进行手动标定。相机SDK包为相机官网提供软件包。
优选的，所述步骤(2)中，训练的路标为固定物体，采集路标全方位角度的图像，以此作为训练样本集，通过CNN卷积神经网络方法训练指定路标，生成图像识别模型，作为后续对比的依据。
进一步优选的，所述步骤(2)中，在训练图像识别模型时，对不同的路标设置不同的标注。在后续的识别中就可以识别出所指定路标，提高最后绝对位置的定位准确性。
优选的，所述步骤(3)中，当AGV到达指定位置范围时，开启视觉传感器，拍摄周围环境，提取周围环境中的特征点，对比步骤(2)中训练好的图像识别模型，对路标进行识别。
优选的，所述步骤(3)中，AGV上还设有红外发射器，视觉传感器通过三角测量分别计算视觉传感器到两侧指定路标的距离，并计算两者距离之和，红外发射器投射红外线测距加以校正，获得精度更高的距离d1和d2。
本申请通过视觉来识别前进过程中特定物体，将识别信息传递给激光导航***，进而提高导航的定位精度，而非通过视觉检测来直接实现定位，也并非通过视觉测量来建图，视觉识别是一个辅助手段，在相似场景克服激光检测精度低这一缺点，将识别信息传送给***，最终的定位与建图还是通过激光来完成的。
本发明的有益效果在于：
本发明基于视觉识别检测的激光导航AGV辅助定位方法，首先采用相机SDK包对相机的内外参数进行手动标定，通过训练生成图像识别模型，在规定位置范围内通过视觉传感器识别所指定路标，并检测与两侧指定路标之间的距离，将视觉传感器获取的信息反馈给激光SLAM***。基于视觉获取的信息，激光SLAM***扫描周围环境信息，对比图像识别模型，实现绝对位置的定位，从而实现对于激光SLAM导航累计误差的修正，提高定位精度，提升工作效率。通过视觉来识别路标物体，并检测AGV与路标之间的距离，将这些信息传递***，实现AGV的辅助定位，提高定位精度。
附图说明
图1为基于视觉识别检测的激光导航AGV辅助定位方法流程图；
图2为基于视觉识别检测的激光导航AGV辅助定位原理图；
图3为视觉传感器内外参数标定棋盘图；
图4为视觉传感器测距原理图；
其中，1、路标，2、激光雷达，3、深度相机，4、AGV，5、图像传感器，6、红外发射器，7、深度图。
具体实施方式
下面通过实施例并结合附图对本发明做进一步说明，但不限于此。
实施例1：
一种基于视觉识别检测的激光导航AGV辅助定位方法，该方法包括如下步骤，如图1所示：
步骤(1)、在AGV两侧设置视觉传感器，标定视觉传感器内外参数；内参数包括相机焦距和畸变，外参数包括世界坐标系到相机坐标系之间的旋转和平移；采用的视觉传感器为深度相机，图3为相机标定内外参数棋盘图，如图3所示，启动相机，使图3整个标定棋盘图都可以在相机视野范围内，通过相机SDK包进行手动标定，打开SDK内置标定程序进行标定，将输出的内外参数保存并写入相机配置文件，完成标定过程。相机SDK包为相机官网提供软件包。
步骤(2)、训练指定路标的图像集，训练的路标为固定物体，从各个角度对指定路标分别进行拍摄，采集指定路标全方位角度的图像，以此作为训练样本集，设置分类器，即创建一个文件，说明哪些路标是一类的，通过CNN卷积神经网络方法训练指定路标，对图像集进行识别分类，生成图像识别模型：首先将待训练的路标图像集存放在一个文件夹中，运用Caffe软件，将其转换为可供Caffe处理的文件形式并作为输入，编写神经网络结构模型(主要包括输入层、卷积层、池化层、全连接层和输出层)，按照配置好的网络结构对转换后的图像文件进行训练，最终会生成一个训练后的图像模型文件，根据此文件可以对后续路标进行识别。
在训练图像识别模型时，对不同的路标设置不同的标注，如桌子标注为0，椅子标注为1，垃圾桶标注为3，(仅举例说明)。根据这些标注训练好模型之后，在后续的识别中就可以识别出所指定路标，提高最后绝对位置的定位准确性。
步骤(3)、运行AGV，如图2所示，当AGV到达指定位置范围时，启动视觉传感器，拍摄周围环境，提取周围环境中的特征点，对比步骤(2)中训练好的图像识别模型，对路标进行识别。
检测AGV与两侧指定路标之间的距离，计算两者距离之和：
图4为视觉传感器测距原理图，如图4所示。在准确识别指定路标之后，相机通过三角测量获取深度信息，红外发射器投射红外线测距加以校正，获得精度更高的距离d1和d2，计算距离之和：d＝d1+d2。
根据工业环境，设置距离检测阈值T；当d＜T时，返回给激光SLAM***一个标志位，标志位是在软件中设置一个标志位flag，当程序运行检测到该标志位时，***进行步骤(4)，否则返回步骤(3)，AGV继续运动进行路标识别。
步骤(4)、根据从视觉传感器中所获取的信息，包括路标信息和距离信息；激光SLAM***根据视觉传感器反馈的信息，对比地图数据库，实现绝对位置的定位；清除AGV附带的传感器的运动累计误差，实现所述***的AGV辅助定位。

Claims (4)

1.一种基于视觉识别检测的激光导航AGV辅助定位方法，其特征在于，包括步骤如下：
步骤(1)、在AGV两侧设置视觉传感器，标定视觉传感器内外参数；
步骤(2)、训练指定路标的图像集，生成图像识别模型；
步骤(3)、运行AGV，当AGV到达指定位置范围时，启动视觉传感器识别所指定路标，并检测AGV与两侧指定路标之间的距离，分别记为d1和d2，计算两者距离之和：d＝d1+d2，设置距离检测阈值T；
当d＜T时，进行步骤(4)，否则返回步骤(3)，AGV继续运动进行路标识别；
步骤(4)、根据从视觉传感器中所获取的信息，反馈给激光SLAM***，对比地图数据库，地图数据库是指AGV在示教时事先建立的工业环境地图，将AGV附带传感器的累计误差清零，实现AGV的绝对位置的重定位，实现所述***的AGV辅助定位；从视觉传感器中所获取的信息包括路标信息和距离信息；
所述步骤(1)中，标定视觉传感器内外参数，内参数包括相机焦距和畸变，外参数包括世界坐标系到相机坐标系之间的旋转和平移；采用的视觉传感器为深度相机，通过相机SDK包进行手动标定；
所述步骤(3)中，AGV上还设有红外发射器，视觉传感器通过三角测量分别计算视觉传感器到两侧指定路标的距离，并计算两者距离之和，红外发射器投射红外线测距加以校正，获得精度更高的距离d1和d2。
2.根据权利要求1所述的基于视觉识别检测的激光导航AGV辅助定位方法，其特征在于，所述步骤(2)中，训练的路标为固定物体，采集路标全方位角度的图像，以此作为训练样本集，通过卷积神经网络方法训练指定路标，生成图像识别模型。
3.根据权利要求1所述的基于视觉识别检测的激光导航AGV辅助定位方法，其特征在于，所述步骤(2)中，在训练图像识别模型时，对不同的路标设置不同的标注。
4.根据权利要求1所述的基于视觉识别检测的激光导航AGV辅助定位方法，其特征在于，所述步骤(3)中，当AGV到达指定位置范围时，开启视觉传感器，拍摄周围环境，提取周围环境中的特征点，对比步骤(2)中训练好的图像识别模型，对路标进行识别。
CN201910844981.0A 2019-09-07 2019-09-07 一种基于视觉识别检测的激光导航agv辅助定位方法 Active CN112540382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910844981.0A CN112540382B (zh) 2019-09-07 2019-09-07 一种基于视觉识别检测的激光导航agv辅助定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910844981.0A CN112540382B (zh) 2019-09-07 2019-09-07 一种基于视觉识别检测的激光导航agv辅助定位方法

Publications (2)

Publication Number Publication Date
CN112540382A CN112540382A (zh) 2021-03-23
CN112540382B true CN112540382B (zh) 2024-02-13

Family

ID=75012170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910844981.0A Active CN112540382B (zh) 2019-09-07 2019-09-07 一种基于视觉识别检测的激光导航agv辅助定位方法

Country Status (1)

Country Link
CN (1) CN112540382B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113447950A (zh) * 2021-06-30 2021-09-28 湖南牛顺科技有限公司 Agv定位导航***及方法
CN114252013B (zh) * 2021-12-22 2024-03-22 深圳市天昕朗科技有限公司 一种基于有线通讯模式下的agv视觉识别精准定位***
CN114137820A (zh) * 2021-12-24 2022-03-04 无锡承方科技有限公司 重复定位反馈机构

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN104848851A (zh) * 2015-05-29 2015-08-19 山东鲁能智能技术有限公司 基于多传感器数据融合构图的变电站巡检机器人及其方法
CN107422735A (zh) * 2017-07-29 2017-12-01 深圳力子机器人有限公司 一种无轨导航agv激光与视觉特征混合导航方法
CN107967473A (zh) * 2016-10-20 2018-04-27 南京万云信息技术有限公司 基于图文识别和语义的机器人自主定位和导航
CN109099901A (zh) * 2018-06-26 2018-12-28 苏州路特工智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109752725A (zh) * 2019-01-14 2019-05-14 天合光能股份有限公司 一种低速商用机器人、定位导航方法及定位导航***
CN109872372A (zh) * 2019-03-07 2019-06-11 山东大学 一种小型四足机器人全局视觉定位方法和***
CN110147095A (zh) * 2019-03-15 2019-08-20 广东工业大学 基于路标信息与多传感器数据融合的机器人重定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145478B2 (en) * 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN104848851A (zh) * 2015-05-29 2015-08-19 山东鲁能智能技术有限公司 基于多传感器数据融合构图的变电站巡检机器人及其方法
CN107967473A (zh) * 2016-10-20 2018-04-27 南京万云信息技术有限公司 基于图文识别和语义的机器人自主定位和导航
CN107422735A (zh) * 2017-07-29 2017-12-01 深圳力子机器人有限公司 一种无轨导航agv激光与视觉特征混合导航方法
CN109099901A (zh) * 2018-06-26 2018-12-28 苏州路特工智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109752725A (zh) * 2019-01-14 2019-05-14 天合光能股份有限公司 一种低速商用机器人、定位导航方法及定位导航***
CN109872372A (zh) * 2019-03-07 2019-06-11 山东大学 一种小型四足机器人全局视觉定位方法和***
CN110147095A (zh) * 2019-03-15 2019-08-20 广东工业大学 基于路标信息与多传感器数据融合的机器人重定位方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
基于Kinect2.0的三维视觉同步定位与地图构建;王龙辉;杨光;尹芳;丑武胜;;中国体视学与图像分析(第03期);全文 *
基于全景视觉的移动机器人同步定位与地图创建研究;许俊勇;王景川;陈卫东;;机器人(第04期);全文 *
基于单目视觉的同时定位与建图算法研究综述;朱凯;刘华峰;夏青元;;计算机应用研究(第01期);全文 *
基于视觉SLAM和人工标记码的定位与导航方法研究;王永力;胡旭晓;兰国清;承永宏;;成组技术与生产现代化;第35卷(第04期);全文 *
朱凯 ; 刘华峰 ; 夏青元 ; .基于单目视觉的同时定位与建图算法研究综述.计算机应用研究.2017,(第01期),全文. *
王龙辉 ; 杨光 ; 尹芳 ; 丑武胜 ; .基于Kinect2.0的三维视觉同步定位与地图构建.中国体视学与图像分析.2017,(第03期),全文. *
融合视觉信息的激光定位与建图;骆燕燕;陈龙;;工业控制计算机(第12期);全文 *
许俊勇 ; 王景川 ; 陈卫东 ; .基于全景视觉的移动机器人同步定位与地图创建研究.机器人.2008,(第04期),全文. *
骆燕燕 ; 陈龙 ; .融合视觉信息的激光定位与建图.工业控制计算机.2017,(第12期),全文. *

Also Published As

Publication number Publication date
CN112540382A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
WO2022156175A1 (zh) 融合图像和点云信息的检测方法、***、设备及存储介质
CN111340797B (zh) 一种激光雷达与双目相机数据融合检测方法及***
CN106767399B (zh) 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN108388641B (zh) 一种基于深度学习的交通设施地图生成方法与***
CN108764187B (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
CN112540382B (zh) 一种基于视觉识别检测的激光导航agv辅助定位方法
CN108226938B (zh) 一种agv小车的定位***和方法
KR102420476B1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
CN110738121A (zh) 一种前方车辆检测方法及检测***
US11841434B2 (en) Annotation cross-labeling for autonomous control systems
WO2021056841A1 (zh) 定位方法、路径确定方法、装置、机器人及存储介质
CN106650701B (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN113903011B (zh) 一种适用于室内停车场的语义地图构建及定位方法
CN109186606A (zh) 一种基于slam和图像信息的机器人构图及导航方法
CN106908064B (zh) 一种基于Kinect2传感器的室内夜间视觉导航方法
CN110197106A (zh) 物件标示***及方法
Momeni-k et al. Height estimation from a single camera view
CN113936198A (zh) 低线束激光雷达与相机融合方法、存储介质及装置
US20220292747A1 (en) Method and system for performing gtl with advanced sensor data and camera image
CN112861748B (zh) 一种自动驾驶中的红绿灯检测***及方法
CN108106617A (zh) 一种无人机自动避障方法
CN116518984B (zh) 一种煤矿井下辅助运输机器人车路协同定位***及方法
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN112101160A (zh) 一种面向自动驾驶场景的双目语义slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant