CN109521398A - 一种基于多目视觉的定位***及定位方法 - Google Patents
一种基于多目视觉的定位***及定位方法 Download PDFInfo
- Publication number
- CN109521398A CN109521398A CN201811477135.1A CN201811477135A CN109521398A CN 109521398 A CN109521398 A CN 109521398A CN 201811477135 A CN201811477135 A CN 201811477135A CN 109521398 A CN109521398 A CN 109521398A
- Authority
- CN
- China
- Prior art keywords
- fork truck
- goods
- positioning system
- vision
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
- G01S5/163—Determination of attitude
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Image Processing (AREA)
Abstract
一种基于多目视觉的定位***，是由多目相机单元、交换机和视觉定位***构成；其中，所述多目相机单元是至少有两目相机构成的单元结构；属于嵌入式开发，体积很小、算法接口均为标准接口；可依据货物的位姿引导叉车进行准确的叉取货拍；结构简单，易于实现，适用于智能化仓储***中的无人叉车自动插装货拍。
Description
技术领域
本发明属于智能化仓储相关技术领域，尤其是一种基于多目视觉的定位***及定位方法。
背景技术
目前市场上智能化仓储***和无人化仓储***正越来越受到人们的重视，其中无人叉车的自动化插取货物是一个非常重要的技术环节，技术难点在于怎么样引导叉车精准插取位置不固定的货拍。目前解决这个难题比较常用的办法是采用单相机***和在货拍上贴合作目标相结合的方式来实现，但是这种方式的缺点在于，要在每一个货拍的相同位置贴合作目标，***精度很大一部分受到合作目标与货拍相对位置关系的精度影响。因此，为了达到很高的精度合作目标和货拍的位置关系要提前进行标定。并且货拍种类非常多，操作起来很麻烦。这导致在很多应用的场合都达不到很好的控制效果。
发明内容
本发明的目的在于提供一种基于多目视觉的定位***及定位方法，它可以弥补现有技术的不足，是一种结构简单，定位方法容易实现的多目视觉图像定位***。
本发明的技术方案：一种基于多目视觉的定位***，包括叉车控制***，由嵌入式控制***、伺服电机驱动***、网口和USB口的标准通讯接口和其它辅助功能单元构成，其特征在于它是由多目相机单元、交换机和视觉定位***构成；其中，所述多目相机单元是至少有两目相机构成的单元结构，用于采集叉车及货拍图像信息，与交换机之间呈双向数据连接；所述视觉定位***包括控制核心板单元；所述交换机与控制核心板单元之间呈双向数据连接；所述控制核心板单元与交换机和叉车控制***之间均呈双向数据连接，用于实现对多目相机单元采集到的叉车图像信息进行坐标系标定处理，以获取物体在叉车坐标系下的位姿，找出与标准位姿之间的位置偏差，并将偏差信号回传给叉车控制***，达到控制叉车正确动作的目的。
所述控制核心板单元与交换机之间依千兆以太网接口呈双向数据连接；所述控制核心板单元与叉车控制***之间通过USB接口呈双向数据连接。
所述一种基于多目视觉的定位***还包括控制光源，通过IO接口与视觉定位***的控制核心板单元呈双向连接。
所述交换机是工业交换机。
所述多目相机单元是双目相机单元，由两个相机和镜头采用品牌和规格参数一致工业相机构成。
所述双目相机单元装于叉车正前方的车头位置，安装位置调整的依据以无遮挡地看见货拍为准；所述车头位置安装有一个水平支架，所述双目相机单元的相机和镜头都架设在该水平支架上；所述双目相机单元的两个相机之间的中心线夹角与被测物体的大小和待测距离有关，依据保证物体可同时完全出现在两个相机的视场中，并且大小是整幅画面的1/3对中心线夹角进行调节。
所述基于多目视觉的定位***是一套符合X86结构的计算***，采用嵌入式核心CPU板为控制核心，可以安装Windows/Linux***。
一种基于多目视觉的定位方法，其特征在于它包括以下步骤：
第一步：由多目相机单元采集叉车和货拍位置进行图像信息，并通过交换机将图像信息上传到控制核心板单元，此时，控制核心板单元要将多目相机单元得到的叉车图像信息与已经存储在控制核心板单元的叉车图像信息进行联合标定，得到转换矩阵，目的是将视觉***的坐标系与叉车坐标系进行统一化；
第二步：标定后，通过分析叉车在图像坐标系下的值即可通过转换矩阵计算出物体在叉车坐标系下的位姿；完成***标定工作；
第三步：在叉车和货拍标准位置关系下，通过多目相机单元对货拍进行图像采集，并将此图像中的货拍正面图像设置为模板，将当前状况下叉车的位姿作为参考位姿；
第四步：叉车开始工作，当叉车运动到货拍前方1.6米-2米的位置后，由双目图像检测单进行图像数据采集，并上传到控制核心板单元，由控制核心板单元对图像中的货拍图像数据进行特征点提取，并与第三步得到的货拍模板图片进行对比，进而计算出当前货拍在叉车坐标系下的位姿；
第五步：将第四步得到的货拍在叉车坐标系下的位姿信息以（X,Y,Z,Rx,Ry,Rz）的格式通过USB接口发送给叉车控制***；其中，X、Y、Z是三维坐标系下物体的位置信息，X、Y、Z表示一个坐标点分别表示一个点在三维坐标系下X轴、Y轴和Z轴方向的值；Rx、Ry、Rz是物体在每个坐标轴下的旋转量，这六个参数统称为物体的位置和姿态信息；
第六步：叉车控制***则根据事先标定好的标准参考位姿与当前得到的位姿进行差值比较，即可计算出叉车所需要的偏移量和旋转量，叉车根据这些计算值进行对应的移动来达到准确插装的目的。
本发明的工作原理：是一款基于多目视觉图像定位***，来引导无人叉车完成高精度插装。它是基于模板匹配的方式将货拍正面建立模板，通过多目视觉***识别和分析货拍侧面的特征点来解析出当前货拍在相机坐标系下的位姿。因为相机坐标系和叉车坐标系已经提前标定完毕，所以通过相机坐标系下的位姿可以反算出货拍在叉车坐标系下的位姿，从而可以引导叉车进行对应的位置调整。它可以在不贴标志点的情况下兼容绝大多数货拍。因此，它大大增加了设备的柔性化程度，应用范围也随之扩大。
本发明的优越性：1、集成了一套完整的视觉引导控制算法，可以根据用户需要获取不同货拍类型下货物在不同坐标系下的位姿信息；2、本***为嵌入式开发，体积很小、算法接口均为标准接口；3、将高精度视觉测量技术与无人叉车控制技术结合在一起，通过多目***计算出当前货拍位姿，并且位姿反馈给无人叉车的控制***来引导叉车进行准确的叉取货拍；4、结构简单，易于实现，适用于智能化仓储***中的无人叉车自动插装货拍。
说明书附图
图1为本发明所涉一种基于多目视觉的定位***的整体结构框图。
具体实施方式
实施例：一种基于多目视觉的定位***，包括叉车控制***，由嵌入式控制***、伺服电机驱动***、网口和USB口的标准通讯接口和其它辅助功能单元构成，如图所示，其特征在于它是由多目相机单元、交换机和视觉定位***构成；其中，所述多目相机单元是至少有两目相机构成的单元结构，用于采集叉车及货拍图像信息，与交换机之间呈双向数据连接；所述视觉定位***包括控制核心板单元；所述交换机与控制核心板单元之间呈双向数据连接；所述控制核心板单元与交换机和叉车控制***之间均呈双向数据连接，用于实现对多目相机单元采集到的叉车图像信息进行坐标系标定处理，以获取物体在叉车坐标系下的位姿，找出与标准位姿之间的位置偏差，并将偏差信号回传给叉车控制***，达到控制叉车正确动作的目的。
如图所示，所述控制核心板单元与交换机之间依千兆以太网接口呈双向数据连接；所述控制核心板单元与叉车控制***之间通过USB接口呈双向数据连接。
如图所示，所述一种基于多目视觉的定位***还包括控制光源，通过IO接口与视觉定位***的控制核心板单元呈双向连接。
所述交换机是工业交换机。
如图所示，所述多目相机单元是双目相机单元，由两个相机和镜头采用品牌和规格参数一致工业相机构成。
所述双目相机单元装于叉车正前方的车头位置，安装位置调整的依据以无遮挡地看见货拍为准；所述车头位置安装有一个水平支架，所述双目相机单元的相机和镜头都架设在该水平支架上；所述双目相机单元的两个相机之间的中心线夹角与被测物体的大小和待测距离有关，依据保证物体可同时完全出现在两个相机的视场中，并且大小是整幅画面的1/3对中心线夹角进行调节。
所述视觉定位***是一套符合X86结构的计算***，采用嵌入式核心CPU板为控制核心，可以安装Windows/Linux***。
一种基于多目视觉的定位方法，其特征在于它包括以下步骤：
第一步：由多目相机单元采集叉车和货拍位置进行图像信息，并通过交换机将图像信息上传到控制核心板单元，此时，控制核心板单元要将多目相机单元得到的叉车图像信息与已经存储在控制核心板单元的叉车图像信息进行联合标定，得到转换矩阵，目的是将视觉***的坐标系与叉车坐标系进行统一化；
第二步：标定后，通过分析叉车在图像坐标系下的值即可通过转换矩阵计算出物体在叉车坐标系下的位姿；完成***标定工作；
第三步：在叉车和货拍标准位置关系下，通过多目相机单元对货拍进行图像采集，并将此图像中的货拍正面图像设置为模板，将当前状况下叉车的位姿作为参考位姿；
第四步：叉车开始工作，当叉车运动到货拍前方1.6米-2米的位置后，由双目图像检测单进行图像数据采集，并上传到控制核心板单元，由控制核心板单元对图像中的货拍图像数据进行特征点提取，并与第三步得到的货拍模板图片进行对比，进而计算出当前货拍在叉车坐标系下的位姿；
第五步：将第四步得到的货拍在叉车坐标系下的位姿信息以（X,Y,Z,Rx,Ry,Rz）的格式通过USB接口发送给叉车控制***；其中，X、Y、Z是三维坐标系下物体的位置信息，X、Y、Z表示一个坐标点分别表示一个点在三维坐标系下X轴、Y轴和Z轴方向的值；Rx、Ry、Rz是物体在每个坐标轴下的旋转量，这六个参数统称为物体的位置和姿态信息；
第六步：叉车控制***则根据事先标定好的标准参考位姿与当前得到的位姿进行差值比较，即可计算出叉车所需要的偏移量和旋转量，叉车根据这些计算值进行对应的移动来达到准确插装的目的。
为了进一步清晰明白的描述本发明的目的、技术方案及优点，结合附图以及实施案例进行详细的说明。此处描述的实施案例只是本发明的一部分。
当***各部分运行进入自动模式时，无人叉车在SLAM***导航的指引下运动到货拍正前方，但是由于货拍的姿态具有很大的不确定性，并且叉车的定位精度在±5cm范围，所以要想叉车精准的插取货物就必须借助本视觉定位***进行最后的调整。
第一步：本视觉定位***装于叉车正前方的车头位置，具体的安装位置要调整到可以无遮挡地看见货拍为准。第二步：多相机***要与叉车进行联合标定，得到转换矩阵，目的是将视觉***的坐标系与叉车坐标系进行统一化。标定后，通过分析物体在图像坐标系下的值即可通过转换矩阵的计算出物体在叉车坐标系下的位姿。第三步：进行完***标定以后就可以进行工作了。在叉车和货拍标准位置关系下对货拍进行采图，并将此图像中的货拍正面图像设置为模板，将当前状况下叉车的位姿作为参考位姿。叉车到位后视觉***首先进行图像数据采集，然后对图像中的货拍进行特征点提取，并与模板图片进行对比，进而计算出当前货拍在叉车坐标系下的位姿，并将该位姿信息以（X,Y,Z,Rx,Ry,Rz）的格式通过USB接口发送给叉车控制***。叉车***根据参考位姿与当前得到的位姿进行差值比较即可计算出叉车所需要的偏移量和旋转量，叉车根据这些计算值进行对应的移动来达到准确插装的目的。
尽管上述已经详细描述本发明实施例，但是对本领域普通技术人员，在此原理和精神下可对实施例进行多种变化，在没有做出创造性的劳动前提下，均属于本发明的保护范围之内。
Claims (8)
1.一种基于多目视觉的定位***，包括叉车控制***，由嵌入式控制***、伺服电机驱动***、网口和USB口的标准通讯接口和其它辅助功能单元构成，其特征在于它是由多目相机单元、交换机和视觉定位***构成；其中，所述多目相机单元是至少有两目相机构成的单元结构，用于采集叉车及货拍图像信息，与交换机之间呈双向数据连接；所述视觉定位***包括控制核心板单元；所述交换机与控制核心板单元之间呈双向数据连接；所述控制核心板单元与交换机和叉车控制***之间均呈双向数据连接，用于实现对多目相机单元采集到的叉车图像信息进行坐标系标定处理，以获取物体在叉车坐标系下的位姿，找出与标准位姿之间的位置偏差，并将偏差信号回传给叉车控制***，达到控制叉车正确动作的目的。
2.根据权利要求1所述一种基于多目视觉的定位***，其特征在于所述控制核心板单元与交换机之间依千兆以太网接口呈双向数据连接；所述控制核心板单元与叉车控制***之间通过USB接口呈双向数据连接。
3.根据权利要求1所述一种基于多目视觉的定位***，其特征在于所述基于多目视觉的定位***还包括控制光源，通过IO接口与视觉定位***的控制核心板单元呈双向连接。
4.根据权利要求1所述一种基于多目视觉的定位***，其特征在于所述交换机是工业交换机。
5.根据权利要求1所述一种基于多目视觉的定位***，其特征在于所述多目相机单元是双目相机单元，由两个相机和镜头采用品牌和规格参数一致工业相机构成。
6.根据权利要求5所述一种基于多目视觉的定位***，其特征在于所述双目相机单元装于叉车正前方的车头位置，安装位置调整的依据以无遮挡地看见货拍为准；所述车头位置安装有一个水平支架，所述双目相机单元的相机和镜头都架设在该水平支架上；所述双目相机单元的两个相机之间的中心线夹角与被测物体的大小和待测距离有关，依据保证物体可同时完全出现在两个相机的视场中，并且大小是整幅画面的1/3对中心线夹角进行调节。
7.根据权利要求1所述一种基于多目视觉的定位***，其特征在于所述视觉定位***是一套符合X86结构的计算***，采用嵌入式核心CPU板为控制核心，可以安装Windows/Linux***。
8.一种基于多目视觉的定位方法，其特征在于它包括以下步骤：
第一步：由多目相机单元采集叉车和货拍位置进行图像信息，并通过交换机将图像信息上传到控制核心板单元，此时，控制核心板单元要将多目相机单元得到的叉车图像信息与已经存储在控制核心板单元的叉车图像信息进行联合标定，得到转换矩阵，目的是将视觉***的坐标系与叉车坐标系进行统一化；
第二步：标定后，通过分析叉车在图像坐标系下的值即可通过转换矩阵计算出物体在叉车坐标系下的位姿；完成***标定工作；
第三步：在叉车和货拍标准位置关系下，通过多目相机单元对货拍进行图像采集，并将此图像中的货拍正面图像设置为模板，将当前状况下叉车的位姿作为参考位姿；
第四步：叉车开始工作，当叉车运动到货拍前方1.6米-2米的位置后，由双目图像检测单进行图像数据采集，并上传到控制核心板单元，由控制核心板单元对图像中的货拍图像数据进行特征点提取，并与第三步得到的货拍模板图片进行对比，进而计算出当前货拍在叉车坐标系下的位姿；
第五步：将第四步得到的货拍在叉车坐标系下的位姿信息以（X,Y,Z,Rx,Ry,Rz）的格式通过USB接口发送给叉车控制***；其中，X、Y、Z是三维坐标系下物体的位置信息，X、Y、Z表示一个坐标点分别表示一个点在三维坐标系下X轴、Y轴和Z轴方向的值；Rx、Ry、Rz是物体在每个坐标轴下的旋转量，这六个参数统称为物体的位置和姿态信息；
第六步：叉车控制***则根据事先标定好的标准参考位姿与当前得到的位姿进行差值比较，即可计算出叉车所需要的偏移量和旋转量，叉车根据这些计算值进行对应的移动来达到准确插装的目的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811477135.1A CN109521398A (zh) | 2018-12-05 | 2018-12-05 | 一种基于多目视觉的定位***及定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811477135.1A CN109521398A (zh) | 2018-12-05 | 2018-12-05 | 一种基于多目视觉的定位***及定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109521398A true CN109521398A (zh) | 2019-03-26 |
Family
ID=65794168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811477135.1A Pending CN109521398A (zh) | 2018-12-05 | 2018-12-05 | 一种基于多目视觉的定位***及定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109521398A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111807265A (zh) * | 2020-06-16 | 2020-10-23 | 季华实验室 | 取货位置调整方法、装置、移动机器人***及电子设备 |
| CN113313444A (zh) * | 2021-04-19 | 2021-08-27 | 安吉智能物联技术有限公司 | 一种物流仓库用叉车实时定位***及其方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103706568A (zh) * | 2013-11-26 | 2014-04-09 | 中国船舶重工集团公司第七一六研究所 | 基于机器视觉的机器人分拣***及方法 |
| CN104331894A (zh) * | 2014-11-19 | 2015-02-04 | 山东省科学院自动化研究所 | 一种基于双目立体视觉的机器人拆垛方法 |
| CN106695784A (zh) * | 2016-12-02 | 2017-05-24 | 中国东方电气集团有限公司 | 一种机器人视觉控制*** |
| CN106885601A (zh) * | 2017-01-09 | 2017-06-23 | 北京理工大学 | 无人车多传感器数据同步采集*** |
| CN108012325A (zh) * | 2017-10-30 | 2018-05-08 | 上海神添实业有限公司 | 一种基于uwb和双目视觉的导航定位方法 |
| CN208999804U (zh) * | 2018-12-05 | 2019-06-18 | 普达迪泰（天津）智能装备科技有限公司 | 一种基于多目视觉定位***的高精度智能设备 |
-
2018
- 2018-12-05 CN CN201811477135.1A patent/CN109521398A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103706568A (zh) * | 2013-11-26 | 2014-04-09 | 中国船舶重工集团公司第七一六研究所 | 基于机器视觉的机器人分拣***及方法 |
| CN104331894A (zh) * | 2014-11-19 | 2015-02-04 | 山东省科学院自动化研究所 | 一种基于双目立体视觉的机器人拆垛方法 |
| CN106695784A (zh) * | 2016-12-02 | 2017-05-24 | 中国东方电气集团有限公司 | 一种机器人视觉控制*** |
| CN106885601A (zh) * | 2017-01-09 | 2017-06-23 | 北京理工大学 | 无人车多传感器数据同步采集*** |
| CN108012325A (zh) * | 2017-10-30 | 2018-05-08 | 上海神添实业有限公司 | 一种基于uwb和双目视觉的导航定位方法 |
| CN208999804U (zh) * | 2018-12-05 | 2019-06-18 | 普达迪泰（天津）智能装备科技有限公司 | 一种基于多目视觉定位***的高精度智能设备 |
Non-Patent Citations (2)
| Title |
|---|
| 李瑞峰: "《工业机器人设计与应用》", 31 January 2017 * |
| 马蕾: "基于双目立体视觉的集装箱识别与定位技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111807265A (zh) * | 2020-06-16 | 2020-10-23 | 季华实验室 | 取货位置调整方法、装置、移动机器人***及电子设备 |
| CN113313444A (zh) * | 2021-04-19 | 2021-08-27 | 安吉智能物联技术有限公司 | 一种物流仓库用叉车实时定位***及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111897332B (zh) | 一种语义智能变电站机器人仿人巡视作业方法及*** | |
| CN104217439B (zh) | 一种室内视觉定位***及方法 | |
| US20190371003A1 (en) | Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium | |
| CN108536145A (zh) | 一种使用机器视觉进行智能跟随的机器人***及运行方法 | |
| CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
| CN106168805A (zh) | 基于云计算的机器人自主行走的方法 | |
| KR20140049361A (ko) | 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법 | |
| CN110517216A (zh) | 一种基于多类型相机的slam融合方法及其*** | |
| CN206990800U (zh) | 一种定位*** | |
| CN103941746A (zh) | 无人机巡检图像处理***及方法 | |
| CN109521398A (zh) | 一种基于多目视觉的定位***及定位方法 | |
| WO2021036587A1 (zh) | 面向电力巡检场景的定位方法及*** | |
| KR20120099952A (ko) | 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법 | |
| CN109407115B (zh) | 一种基于激光雷达的路面提取***及其提取方法 | |
| WO2022000713A1 (zh) | 一种基于航空装配的增强现实自定位方法 | |
| CN112212784B (zh) | 一种点激光位移传感器与双目相机坐标融合的方法及*** | |
| CN109387194A (zh) | 一种移动机器人定位方法和定位*** | |
| CN105929820A (zh) | 一种智能机器人定位方法 | |
| CN208999804U (zh) | 一种基于多目视觉定位***的高精度智能设备 | |
| CN206074001U (zh) | 一种基于3d摄像机的机器人室内定位*** | |
| CN112050814A (zh) | 一种室内变电站无人机视觉导航***及方法 | |
| Little et al. | Selecting stable image features for robot localization using stereo | |
| Maxim et al. | UAV Guidance with robotic total station for architectural fabrication processes | |
| CN112556695A (zh) | 室内定位与三维建模方法、***、电子设备及存储介质 | |
| CN114800524B (zh) | 一种人机交互协作机器人主动避碰的***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190326 |