CN112884832A - 一种基于多目视觉的智能小车轨迹预测方法 - Google Patents

一种基于多目视觉的智能小车轨迹预测方法 Download PDF

Info

Publication number
CN112884832A
CN112884832A CN202110270322.8A CN202110270322A CN112884832A CN 112884832 A CN112884832 A CN 112884832A CN 202110270322 A CN202110270322 A CN 202110270322A CN 112884832 A CN112884832 A CN 112884832A
Authority
CN
China
Prior art keywords
dimensional
intelligent trolley
intelligent
pose
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110270322.8A
Other languages
English (en)
Other versions
CN112884832B (zh
Inventor
耿雪纯
蔡骋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianji University
Original Assignee
Shanghai Dianji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianji University filed Critical Shanghai Dianji University
Priority to CN202110270322.8A priority Critical patent/CN112884832B/zh
Publication of CN112884832A publication Critical patent/CN112884832A/zh
Application granted granted Critical
Publication of CN112884832B publication Critical patent/CN112884832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于多目视觉的智能小车轨迹预测方法，解决了现有室内智能小车实时定位不稳定、易存在信号断连、存在使用局限性、工作效率低且成本高的弊端，其技术方案要点是将智能小车上贴视觉标签，在空间中放置多个摄像头对视觉标签***进行二维坐标的定位，再通过坐标系的转化，进而确定智能小车的三维位姿信息，本发明的一种基于多目视觉的智能小车轨迹预测方法，基于机器视觉，能稳定进行室内实时定位，稳定性高。

Description

一种基于多目视觉的智能小车轨迹预测方法
技术领域
本发明涉及室内定位技术，特别涉及一种基于多目视觉的智能小车轨迹预测方法。
背景技术
现有技术中，对于室外智能小车是基于全球定位导航技术(GPS)来实现实时的定位和轨迹预测，可是在一些GPS信号较弱或者GPS根本覆盖不到的区域则无法对只能小车进行精准的定位，例如，室内智能小车定位，目前智能小车定位技术是依靠传感器对外部信号进行处理，从而获得实时的位姿信息。但由于传感器会受到外部影响较大，当信号受到干扰的时候则无法准确实现定位，例如在一些GPS无法覆盖的地方可使用WiFi定位、蓝牙定位、射频识别定位等。这些方法存在着不稳定的缺点，当室内智能小车在距离接受源较远的地方工作时，可能会发生信号断联的情况。因此，现有的技术成本过高，具有一定的局限性，工作效率低。
发明内容
本发明的目的是提供一种基于多目视觉的智能小车轨迹预测方法，能基于机器视觉实时定位，成本低、稳定性高。
本发明的上述技术目的是通过以下技术方案得以实现的：
一种基于多目视觉的智能小车轨迹预测方法，包括有以下步骤：
S1、固定安装若干摄像机，并拍摄设定张数棋盘格的不同位姿图片，通过张正友标定法对摄像机进行标定，得到摄像机的内参及畸变参数；
S2、将视觉标签粘贴于智能小车上，摄像机实时进行拍摄通过定位视觉标签的位姿得到智能小车实时的二维坐标；
S3、根据PnP算法确立世界坐标原点，定义多个点的世界空间坐标和二维坐标的对应关系，并求得此时摄像机的外参；
S4、将视觉标签输出的二维坐标位姿进行坐标系的变换，将二维坐标转化为三维空间坐标；
S5、通过多目立体视觉模型构建位姿测量模型，引入最小二乘法求得三维空间位姿，结合三角形重心法优化求得智能小车机械臂空间位姿；
S6、通过三维空间坐标得到智能小车的位姿信息，对小车运动轨迹进行轨迹绘制并进行误差分析。
作为优选，视觉标签的信息包括有四个角点像素、中心点像素、单应性矩阵、每个标签对应ID。
作为优选，所述视觉标签采用AprilTag视觉***。
作为优选，三维空间坐标的转化具体为
通过三个摄像机摆放位置的不同，在同一时间同一场景下对智能小车上的视觉标签进行图片获取；
通过PnP算法在给定世界上N个3D点坐标以及图像上的二维坐标情况下，求解相机外参；
根据相机内参、外参将一系列二维坐标转化为三维坐标。
作为优选，三个摄像机在空间内安装呈不同位置、不同角度设置。
综上所述，本发明具有以下有益效果：
通过多目机器视觉、视觉标签技术对智能小车进行位姿定位，实现无传感器智能小车的室内实时定位，提高了现有的智能小车定位技术；通过多目视觉来计算三维位姿不仅可解决了单目相机深度计算问题，对于双目相机来说有着更高的精度，能实现更精准的室内智能小车定位，实现智能小车多角度，大范围的实时定位需求。
附图说明
图1为本方法的流程示意框图；
图2为多视图智能小车位姿测量示意图；
图3为多目视觉位姿测量模型图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
根据一个或多个实施例，公开了一种基于多目视觉的智能小车轨迹预测方法，如图1及图2所示，包括有以下步骤：
S1、固定安装若干摄像机，并拍摄设定张数棋盘格的不同位姿图片，通过张正友标定法对摄像机进行标定，得到摄像机的内参及畸变参数。
摄像机的安装具体为：摄像机数量优选为3台，在室内空间不同的位置安装三个摄像机，并且每个摄像机的角度不同，通过三个摄像机实现多目视觉，多目视觉测量***能够覆盖更大测量面积，且相较于单一的双目视觉，具有三个双目视觉的测量***有着更好的鲁棒性，在实际复杂的应用场景中有着更广泛的用途。
对摄像机内参的标定具体为：制作棋盘格标定板，固定安装的三个摄像机同步拍摄标定板的20张不同位置和旋转角度的图片，进行多目同步采集数据，采用张正友标定法分别对三个摄像机进行标定获得各相机的内参以及畸变系数。
根据摄像机标定可算出摄像机坐标系下的平移矩阵、旋转矩阵，进而根据平移矩阵可获得物体中心的三维空间坐标，从而实现六自由度姿态估计。
S2、将视觉标签粘贴于智能小车上，摄像机实时进行拍摄通过定位视觉标签的位姿得到智能小车实时的二维坐标。
视觉标签的信息包括有四个角点像素、中心点像素、单应性矩阵、每个标签对应ID。
视觉标签采用AprilTag视觉***，该视觉标签***在机器人，AR，相机校准领域使用较为广泛，与二维码(QR)技术相似，但降低了复杂度，可快速检测标志物，并计算标志物的相对位置，通过此标签可准确估计智能小车的二维坐标位姿，实现远程实时定位技术。
室内智能小车身上贴上多个视觉标签，实时拍摄智能小车上视觉标签的位置，当智能小车在工作时，三个摄像头实时拍摄视频信息传输给计算机，计算机通过智能小车身上的视觉标签来进行识别视觉标签AprilTag中心点的二维坐标。
S3、根据PnP算法确立世界坐标原点，定义多个点的世界空间坐标和二维坐标的对应关系，并求得此时摄像机的外参。利用PnP算法根据多个固定点的图像二维坐标的和空间坐标，通过已知的4个角点和标定的相机内参和畸变求取相机外参，同时可确定世界坐标系的原点。
S4、将视觉标签输出的二维坐标位姿进行坐标系的变换，将二维坐标转化为三维空间坐标，如图3所示。
根据预先输入计算机内的摄像头的信息和各设备的空间位置关系可以将二维坐标转化为相机坐标，在将相机坐标转化为世界坐标系下的空间位置坐标，三维空间坐标的转化具体为：
通过三个摄像机摆放位置的不同，在同一时间同一场景下对智能小车上的视觉标签进行图片获取；通过PnP算法在给定世界上N个3D点坐标以及图像上的二维坐标情况下，求解相机外参；根据相机内参、外参将一系列二维坐标转化为三维坐标，见公式1，A矩阵为相机内参矩阵，B矩阵为相机外参矩阵，u，v为二维坐标，XW,YW,ZW为三维坐标，ZC为比例系数。
Figure BDA0002974080640000051
S5、通过多目立体视觉模型构建位姿测量模型，如图3所示，引入最小二乘法求得三维空间位姿，结合三角形重心法优化求得智能小车的空间位姿。
在实际应用中，由于数据总是有噪声的，通过最小二乘法进行三目视觉融合可得出被测物体的三维坐标分别是不相交的三个点，在经过重心法就可得到最优的三维坐标。
S6、通过三维空间坐标得到智能小车的位姿信息，对小车运动轨迹进行轨迹绘制并进行误差分析。
可实现对智能小车实现实时轨迹预测，满足了室内智能小车精确定位的工作需求，并且提高了灵活性和可控性。
通过多目机器视觉，视觉标签***等技术进行位姿定位，对智能小车实现无传感器室内实时定位，提高了现有的智能小车定位技术。AprilTag是一个视觉基准***，机器人定位和相机校准等视觉任务，能够计算相机在二维坐标系下的精确位置与方向。因此可以节省购置昂贵传感器智能小车的费用，有很好的鲁棒性和经济性。用户可以摆脱由于全球定位***定位不到的区域，例如室内的智能小车定位所带来的不方便和工作效率低等缺点所带来的困扰。所用的视觉标签***也是经济可靠，多目视觉对精度比双目视觉更加精确，对室内智能小车估计预测工作效率有很大的提升，通过多目视觉来计算三维位姿不仅可解决了单目相机深度计算问题，对于双目相机来说有着更高的精度，能实现更精准的室内智能小车定位，实现智能小车多角度，大范围的实时定位需求。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (5)

1.一种基于多目视觉的智能小车轨迹预测方法，其特征是，包括有以下步骤：
S1、固定安装若干摄像机，并拍摄设定张数棋盘格的不同位姿图片，通过张正友标定法对摄像机进行标定，得到摄像机的内参及畸变参数；
S2、将视觉标签粘贴于智能小车上，摄像机实时进行拍摄通过定位视觉标签的位姿得到智能小车实时的二维坐标；
S3、根据PnP算法确立世界坐标原点，定义多个点的世界空间坐标和二维坐标的对应关系，并求得此时摄像机的外参；
S4、将视觉标签输出的二维坐标位姿进行坐标系的变换，将二维坐标转化为三维空间坐标；
S5、通过多目立体视觉模型构建位姿测量模型，引入最小二乘法求得三维空间位姿，结合三角形重心法优化求得智能小车空间位姿；
S6、通过三维空间坐标得到智能小车的位姿信息，对小车运动轨迹进行轨迹绘制并进行误差分析。
2.根据权利要求1所述的基于多目视觉的智能小车轨迹预测方法，其特征是：视觉标签的信息包括有四个角点像素、中心点像素、单应性矩阵、每个标签对应ID。
3.根据权利要求2所述的基于多目视觉的智能小车轨迹预测方法，其特征是：所述视觉标签采用AprilTag视觉***。
4.根据权利要求3所述的基于多目视觉的智能小车轨迹预测方法，其特征是：三维空间坐标的转化具体为
通过三个摄像机摆放位置的不同，在同一时间同一场景下对智能小车上的视觉标签进行图片获取；
通过PnP算法在给定世界上N个3D点坐标以及图像上的二维坐标情况下，求解相机外参；
根据相机内参、外参将一系列二维坐标转化为三维坐标。
5.根据权利要求4所述的基于多目视觉的智能小车轨迹预测方法，其特征是：三个摄像机在空间内安装呈不同位置、不同角度设置。
CN202110270322.8A 2021-03-12 2021-03-12 一种基于多目视觉的智能小车轨迹预测方法 Active CN112884832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110270322.8A CN112884832B (zh) 2021-03-12 2021-03-12 一种基于多目视觉的智能小车轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110270322.8A CN112884832B (zh) 2021-03-12 2021-03-12 一种基于多目视觉的智能小车轨迹预测方法

Publications (2)

Publication Number Publication Date
CN112884832A true CN112884832A (zh) 2021-06-01
CN112884832B CN112884832B (zh) 2022-10-21

Family

ID=76042455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110270322.8A Active CN112884832B (zh) 2021-03-12 2021-03-12 一种基于多目视觉的智能小车轨迹预测方法

Country Status (1)

Country Link
CN (1) CN112884832B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781576A (zh) * 2021-09-03 2021-12-10 北京理工大学 多自由度位姿实时调整的双目视觉检测***、方法、装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527426A (zh) * 2016-10-17 2017-03-22 江苏大学 一种室内多目轨迹规划***及其方法
CN108571971A (zh) * 2018-05-17 2018-09-25 北京航空航天大学 一种agv视觉定位***及方法
CN108827316A (zh) * 2018-08-20 2018-11-16 南京理工大学 基于改进的Apriltag标签的移动机器人视觉定位方法
CN109018591A (zh) * 2018-08-09 2018-12-18 沈阳建筑大学 一种基于计算机视觉的自动贴标定位方法
CN109658461A (zh) * 2018-12-24 2019-04-19 中国电子科技集团公司第二十研究所 一种基于虚拟仿真环境的合作二维码的无人机定位方法
US20200364482A1 (en) * 2019-05-15 2020-11-19 Matterport, Inc. Arbitrary visual features as fiducial elements
CN112364677A (zh) * 2020-11-23 2021-02-12 盛视科技股份有限公司 基于二维码的机器人视觉定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527426A (zh) * 2016-10-17 2017-03-22 江苏大学 一种室内多目轨迹规划***及其方法
CN108571971A (zh) * 2018-05-17 2018-09-25 北京航空航天大学 一种agv视觉定位***及方法
CN109018591A (zh) * 2018-08-09 2018-12-18 沈阳建筑大学 一种基于计算机视觉的自动贴标定位方法
CN108827316A (zh) * 2018-08-20 2018-11-16 南京理工大学 基于改进的Apriltag标签的移动机器人视觉定位方法
CN109658461A (zh) * 2018-12-24 2019-04-19 中国电子科技集团公司第二十研究所 一种基于虚拟仿真环境的合作二维码的无人机定位方法
US20200364482A1 (en) * 2019-05-15 2020-11-19 Matterport, Inc. Arbitrary visual features as fiducial elements
CN112364677A (zh) * 2020-11-23 2021-02-12 盛视科技股份有限公司 基于二维码的机器人视觉定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUO ZHENGLONG ET AL.: "Pose Estimation for Multicopters Based on Monocular Vision and AprilTag", 《PROCEEDINGS OF THE 37TH CHINESE CONTROL CONFERENCE》 *
何浩楠 等: "基于AprilTag的智能小车拓展定位追踪应用", 《现代信息科技》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781576A (zh) * 2021-09-03 2021-12-10 北京理工大学 多自由度位姿实时调整的双目视觉检测***、方法、装置
CN113781576B (zh) * 2021-09-03 2024-05-07 北京理工大学 多自由度位姿实时调整的双目视觉检测***、方法、装置

Also Published As

Publication number Publication date
CN112884832B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN106197422B (zh) 一种基于二维标签的无人机定位及目标跟踪方法
CN107990940B (zh) 一种基于立体视觉测量技术的运动物体追踪方法
CN108594245A (zh) 一种目标物运动监测***及方法
CN111220126A (zh) 一种基于点特征和单目相机的空间物***姿测量方法
Xia et al. Global calibration of non-overlapping cameras: State of the art
CN101916437A (zh) 一种基于多视觉信息的目标定位方法和***
CN113096183B (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
CN110108269A (zh) 基于多传感器数据融合的agv定位方法
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
Aliakbarpour et al. An efficient algorithm for extrinsic calibration between a 3d laser range finder and a stereo camera for surveillance
CN108362205B (zh) 基于条纹投影的空间测距方法
CN106370160A (zh) 一种机器人室内定位***和方法
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
Jung et al. A novel 2.5 D pattern for extrinsic calibration of tof and camera fusion system
CN115830142A (zh) 相机标定和相机的目标检测与定位方法、装置及电子设备
CN112884832B (zh) 一种基于多目视觉的智能小车轨迹预测方法
CN111199576A (zh) 一种基于移动平台的室外大范围人体姿态重建方法
CN208350997U (zh) 一种目标物运动监测***
CN113487726B (zh) 动作捕捉***和方法
CN116824067B (zh) 一种室内三维重建方法及其装置
Muffert et al. The estimation of spatial positions by using an omnidirectional camera system
CN117310627A (zh) 一种应用于车路协同路侧感知***的联合标定方法
KR102065337B1 (ko) 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법
Chen et al. Low cost and efficient 3D indoor mapping using multiple consumer RGB-D cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant