CN113135181B - 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 - Google Patents
一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 Download PDFInfo
- Publication number
- CN113135181B CN113135181B CN202110688400.6A CN202110688400A CN113135181B CN 113135181 B CN113135181 B CN 113135181B CN 202110688400 A CN202110688400 A CN 202110688400A CN 113135181 B CN113135181 B CN 113135181B
- Authority
- CN
- China
- Prior art keywords
- camera
- parking position
- data point
- expected parking
- expected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005065 mining Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000000007 visual effect Effects 0.000 title claims description 16
- 238000009434 installation Methods 0.000 claims abstract description 51
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 2
- 238000003032 molecular docking Methods 0.000 claims 4
- 230000003993 interaction Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003245 coal Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法,对安装在辅助作业车辆前方的相机进行标定和微调;利用人机交互界面实时显示相机画面,选取预期停靠位置,便于工作人员操作和调控,提高矿用卡车的装卸效率;将预期停靠位置的像素坐标转换为预期停靠位置与相机的横纵向距离,根据相机安装位置与辅助作业车辆GPS天线间的横纵向距离,获取预期停靠位置与辅助作业车辆GPS天线的相对位置;结合辅助作业车辆的GPS信息,采用Vincenty椭球面计算公式计算预期停靠位置的GPS坐标;这样获取的预期停靠位置信息较为精确,可为矿用卡车的精准停靠提供基础依据;将预期停靠位置的GPS坐标发送至矿用卡车规划停靠路线。
Description
技术领域
本发明涉及矿区自动驾驶技术领域,尤其涉及一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法。
背景技术
多风、严寒、危险、恶劣的矿区环境,对驾驶员的技术和经验有着极高的要求,即使对于驾驶经验丰富的司机也具有一定的挑战。随着自动驾驶技术的发展,矿区运输走到了一个拐点——车辆驾驶主体即将由人类变为机器,采用无人驾驶技术不仅能避免或减少对驾驶人员健康、安全的危害或威胁, 而且将大幅提升效率、降低成本, 更加经济、节能和环保。
矿山运输的典型作业流程可简要概括为“启动-装载-运输-卸载-停车”。目前针对装卸过程的研究主要集中在协同装载提高装卸效率,然而,装卸点停靠位置处于动态变化中,无法通过寻迹方式实现。矿区道路不同于城市结构化道路,矿区装卸停靠区并无明显特征,很难通过传感器精准识别,实现车辆在装卸点的精准停靠难度较大。
发明内容
有鉴于此,本发明提供了一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法,用以解决矿区自动驾驶车辆装卸点停靠偏差问题。
本发明提供的一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法,包括如下步骤:
S1:将相机安装至辅助作业车辆的前方,相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确定;
S2:测量相机的安装位置与辅助作业车辆GPS天线的安装位置之间的水平距离和垂直距离;
S3:在相机前方放置棋盘格,采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数;
S4:根据标定的径向畸变系数对相机采集的图像进行径向畸变矫正,根据标定的切向畸变系数对相机采集的图像进行切向畸变矫正;
S5:在畸变矫正后的图像中选取多个数据点,每个数据点代表图像中的一个像素点,记录各数据点与相机真实地面投影的水平距离和垂直距离,保存各数据点的图片或视频,提取各数据点的像素坐标;
S6:根据相机的安装高度、安装俯仰角、偏航角及标定的相机内参,确定像素坐标系至世界坐标系的转换矩阵,根据提取的各数据点的像素坐标,计算相机与各数据点的水平距离和垂直距离;
S7:将计算出的相机与各数据点的水平距离和垂直距离,与记录的各数据点与相机真实地面投影的水平距离和垂直距离进行比较,微调相机的安装高度、安装俯仰角、偏航角及标定的相机内参,更新像素坐标系至世界坐标系的转换矩阵;
S8:辅助作业车辆通过HMI人机交互界面实时获取辅助作业车辆前面的画面,选取矿用卡车的预期停靠位置;
S9:根据更新后的转换矩阵,将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离,再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离,获取预期停靠位置与辅助作业车辆GPS天线的相对位置,结合辅助作业车辆实时发送的GPS信息,选取Vincenty椭球面计算公式,计算矿用卡车的预期停靠位置的GPS坐标;
S10:将预期停靠位置的GPS坐标下发至矿用卡车,矿用卡车根据预期停靠位置的GPS坐标,规划停靠行驶路线。
在一种可能的实现方式中,在本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中,步骤S3,在相机前方放置棋盘格,采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数,具体包括:
在相机前方放置棋盘格,拍摄至少20张包含棋盘格的图片,将采集的图像输入至matlab的标定工具箱,获取相机内参、径向畸变系数和切向畸变系数。
在一种可能的实现方式中,在本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中,步骤S4中,按照如下公式对图像进行径向畸变矫正和切向畸变矫正:
其中,表示畸变点在相机上的原始位置的像素横坐标,表示畸变点在相机上的原始位置的像素纵坐标,表示畸变矫正后数据点在图像中的像素横坐标,表示畸变矫正后数据点在图像中的像素纵坐标,;k 1、k 2和k 3为径向畸变系数,p 1和p 2为切向畸变系数。
在一种可能的实现方式中,在本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中,步骤S6中,像素坐标系至世界坐标系的转换矩阵T为:
按照如下公式计算相机与各数据点的水平距离和垂直距离:
在一种可能的实现方式中,在本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中,步骤S9中,预期停靠位置与辅助作业车辆GPS天线的相对位置为:
其中,表示预期停靠位置与辅助作业车辆GPS天线的水平距离,表示预期停靠位置与辅助作业车辆GPS天线的垂直距离,表示相机的安装位置与辅助作业车辆GPS天线的安装位置的水平距离,表示相机的安装位置与辅助作业车辆GPS天线的安装位置的垂直距离,表示预期停靠位置与相机的水平距离,表示预期停靠位置与相机的垂直距离。
本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法,在辅助作业车辆前方安装相机,对相机内外参数及畸变系数进行标定和微调,更新像素坐标系至世界坐标系的转换矩阵;利用HMI人机交互界面实时显示相机传输的实时画面,通过HMI人机交互界面选取矿用卡车的预期停靠位置,便于工作人员操作和精准调控,可以提高矿用卡车的装卸效率;根据更新后的转换矩阵,将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离,再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离,获取预期停靠位置与辅助作业车辆GPS天线的相对位置;再结合辅助作业车辆实时发送的GPS信息,采用Vincenty椭球面计算公式,计算预期停靠位置的GPS坐标;这样,将预期停靠位置的像素坐标转换为GPS坐标,获取的预期停靠位置信息较为精确,可以为矿用卡车的精准停靠提供基础依据;将预期停靠位置的GPS坐标发送至矿用卡车,矿用卡车根据本车GPS坐标和预期停靠位置的GPS坐标自动规划停靠路线。本发明面向矿区自动驾驶车辆,所需的相机和GPS设备,大部分矿区自动驾驶车辆均配备,因此,不需要添加额外的传感器,一方面减少了车载处理设备的处理量,另一方面降低了成本。
附图说明
图1为本发明实施例1提供的一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法的流程图;
图2为本发明实施例1中矿用卡车预期停靠位置选取示意图。
具体实施方式
下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整的描述,显然,所描述的实施方式仅仅是作为例示,并非用于限制本发明。
本发明提供的一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法,包括如下步骤:
S1:将相机安装至辅助作业车辆的前方,相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确定;
S2:测量相机的安装位置与辅助作业车辆GPS天线的安装位置之间的水平距离和垂直距离;
S3:在相机前方放置棋盘格,采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数;
S4:根据标定的径向畸变系数对相机采集的图像进行径向畸变矫正,根据标定的切向畸变系数对相机采集的图像进行切向畸变矫正;
S5:在畸变矫正后的图像中选取多个数据点,每个数据点代表图像中的一个像素点,记录各数据点与相机真实地面投影的水平距离和垂直距离,保存各数据点的图片或视频,提取各数据点的像素坐标;
S6:根据相机的安装高度、安装俯仰角、偏航角及标定的相机内参,确定像素坐标系至世界坐标系的转换矩阵,根据提取的各数据点的像素坐标,计算相机与各数据点的水平距离和垂直距离;
S7:将计算出的相机与各数据点的水平距离和垂直距离,与记录的各数据点与相机真实地面投影的水平距离和垂直距离进行比较,微调相机的安装高度、安装俯仰角、偏航角及标定的相机内参,更新像素坐标系至世界坐标系的转换矩阵;
S8:辅助作业车辆通过HMI人机交互界面实时获取辅助作业车辆前面的画面,选取矿用卡车的预期停靠位置;
S9:根据更新后的转换矩阵,将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离,再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离,获取预期停靠位置与辅助作业车辆GPS天线的相对位置,结合辅助作业车辆实时发送的GPS信息,选取Vincenty椭球面计算公式,计算矿用卡车的预期停靠位置的GPS坐标;
S10:将预期停靠位置的GPS坐标下发至矿用卡车,矿用卡车根据预期停靠位置的GPS坐标,规划停靠行驶路线。
下面通过一个具体的实施例对本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法的具体实施进行详细说明。
实施例1:
如图1所示,分为两部分,第一部分为辅助作业车辆参数标定,第二部分为矿用卡车预期停靠位置选取。
第一步:辅助作业车辆参数标定,包括相机内外参数及畸变系数的标定和微调。
(1) 将相机安装至辅助作业车辆(如挖掘机)的前方,相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确定。
(2) 测量相机的安装位置与辅助作业车辆GPS天线的安装位置之间的水平距离和垂直距离;
(3) 在相机前方放置棋盘格,采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数。
具体地,在相机前方放置棋盘格,通过前后左右转动棋盘格,拍摄至少20张包含棋盘格的图片,转动角度不宜超过45°,将采集的图像输入至matlab的标定工具箱,获取相机内参(f x 、f y 、u 0和v 0)、径向畸变系数(k 1、k 2和k 3)和切向畸变系数(p 1和p 2)。
(4)对相机采集的图像进行径向畸变矫正和切向畸变矫正:
其中,表示畸变点在相机上的原始位置的横坐标,表示畸变点在相机上的原始位置的纵坐标,表示畸变矫正后数据点在图像中的像素横坐标,表示畸变矫正后数据点在图像中的像素纵坐标,;k 1、k 2和k 3为径向畸变系数,p 1和p 2为切向畸变系数。
(5) 在畸变矫正后的图像中选取5~8个数据点,每个数据点代表图像中的一个像素点,记录各数据点与相机真实地面投影的水平距离和垂直距离,保存各数据点的图片或视频,提取各数据点的像素坐标。
(6) 根据第(1)步中相机的安装高度、安装俯仰角、偏航角及第(3)步中标定的相机内参,确定像素坐标系至世界坐标系的转换矩阵T:
根据第(5)步中提取的各数据点的像素坐标,计算相机与各数据点的水平距离和垂直距离:
(7) 将计算出的相机与各数据点的水平距离和垂直距离,与第(5)步中记录的各数据点与相机真实地面投影的水平距离和垂直距离进行比较,微调相机的安装高度、安装俯仰角、偏航角及标定的相机内参,更新像素坐标系至世界坐标系的转换矩阵,以减小人工标定的误差。
第二步:矿用卡车预期停靠位置选取,如图2所示,1为物料点(例如矿区内的土堆、煤堆),2为实际场景中的预期停靠位置,3为矿用卡车,4为辅助作业车辆,5为HMI人机交互界面,6为辅助作业车辆上相机视角下的物料点位置,7为辅助作业车辆上相机视角下的预期停靠位置。
(1) 辅助作业车辆4通过HMI人机交互界面5实时获取辅助作业车辆4前面的画面,结合辅助作业车辆上相机视角下的物料点位置6,选取矿用卡车3的预期停靠位置2在辅助作业车辆上相机视角下的预期停靠位置7。其中,HMI人机交互界面5支持位置选取、信息下发及信息显示功能。
(2) 根据更新后的转换矩阵,将选取的预期停靠位置7的像素坐标转换为预期停靠位置2与相机的水平距离和垂直距离,再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离,获取预期停靠位置2与辅助作业车辆4的GPS天线的相对位置:
其中,表示预期停靠位置与辅助作业车辆GPS天线的水平距离,表示预期停靠位置与辅助作业车辆GPS天线的垂直距离,表示相机的安装位置与辅助作业车辆GPS天线的安装位置的水平距离,表示相机的安装位置与辅助作业车辆GPS天线的安装位置的垂直距离,表示预期停靠位置与相机的水平距离,表示预期停靠位置与相机的垂直距离。
(3) 预期停靠位置2与辅助作业车辆4的GPS天线的相对位置结合辅助作业车辆4实时发送的GPS信息,选取Vincenty椭球面计算公式,计算矿用卡车3的预期停靠位置2的GPS坐标。
(4) 将预期停靠位置2的GPS坐标下发至矿用卡车3,矿用卡车3根据预期停靠位置2的GPS坐标,规划停靠行驶路线。
本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法,在辅助作业车辆前方安装相机,对相机内外参数及畸变系数进行标定和微调,更新像素坐标系至世界坐标系的转换矩阵;利用HMI人机交互界面实时显示相机传输的实时画面,通过HMI人机交互界面选取矿用卡车的预期停靠位置,便于工作人员操作和精准调控,可以提高矿用卡车的装卸效率;根据更新后的转换矩阵,将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离,再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离,获取预期停靠位置与辅助作业车辆GPS天线的相对位置;再结合辅助作业车辆实时发送的GPS信息,采用Vincenty椭球面计算公式,计算预期停靠位置的GPS坐标;这样,将预期停靠位置的像素坐标转换为GPS坐标,获取的预期停靠位置信息较为精确,可以为矿用卡车的精准停靠提供基础依据;将预期停靠位置的GPS坐标发送至矿用卡车,矿用卡车根据本车GPS坐标和预期停靠位置的GPS坐标自动规划停靠路线。本发明面向矿区自动驾驶车辆,所需的相机和GPS设备,大部分矿区自动驾驶车辆均配备,因此,不需要添加额外的传感器,一方面减少了车载处理设备的处理量,另一方面降低了成本。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法,其特征在于,包括如下步骤:
S1:将相机安装至辅助作业车辆的前方,相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确定;
S2:测量相机的安装位置与辅助作业车辆GPS天线的安装位置之间的水平距离和垂直距离;
S3:在相机前方放置棋盘格,采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数;
S4:根据标定的径向畸变系数对相机采集的图像进行径向畸变矫正,根据标定的切向畸变系数对相机采集的图像进行切向畸变矫正;
S5:在畸变矫正后的图像中选取多个数据点,每个数据点代表图像中的一个像素点,记录各数据点与相机真实地面投影的水平距离和垂直距离,保存各数据点的图片或视频,提取各数据点的像素坐标;
S6:根据相机的安装高度、安装俯仰角、偏航角及标定的相机内参,确定像素坐标系至世界坐标系的转换矩阵,根据提取的各数据点的像素坐标,计算相机与各数据点的水平距离和垂直距离;
S7:将计算出的相机与各数据点的水平距离和垂直距离,与记录的各数据点与相机真实地面投影的水平距离和垂直距离进行比较,微调相机的安装高度、安装俯仰角、偏航角及标定的相机内参,更新像素坐标系至世界坐标系的转换矩阵;
S8:辅助作业车辆通过HMI人机交互界面实时获取辅助作业车辆前面的画面,选取矿用卡车的预期停靠位置;
S9:根据更新后的转换矩阵,将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离,再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离,获取预期停靠位置与辅助作业车辆GPS天线的相对位置,结合辅助作业车辆实时发送的GPS信息,选取Vincenty椭球面计算公式,计算矿用卡车的预期停靠位置的GPS坐标;
S10:将预期停靠位置的GPS坐标下发至矿用卡车,矿用卡车根据预期停靠位置的GPS坐标,规划停靠行驶路线。
2.如权利要求1所述的基于视觉辅助的矿区自动驾驶装卸点精准停靠方法,其特征在于,步骤S3,在相机前方放置棋盘格,采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数,具体包括:
在相机前方放置棋盘格,拍摄至少20张包含棋盘格的图片,将采集的图像输入至matlab的标定工具箱,获取相机内参、径向畸变系数和切向畸变系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110688400.6A CN113135181B (zh) | 2021-06-22 | 2021-06-22 | 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110688400.6A CN113135181B (zh) | 2021-06-22 | 2021-06-22 | 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113135181A CN113135181A (zh) | 2021-07-20 |
CN113135181B true CN113135181B (zh) | 2021-08-24 |
Family
ID=76815884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110688400.6A Active CN113135181B (zh) | 2021-06-22 | 2021-06-22 | 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113135181B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765496A (zh) * | 2018-05-24 | 2018-11-06 | 河海大学常州校区 | 一种多视点汽车环视辅助驾驶***及方法 |
CN108873904A (zh) * | 2018-07-04 | 2018-11-23 | 北京踏歌智行科技有限公司 | 矿用车辆无人驾驶停靠方法、设备及可读存储介质 |
CN109343041A (zh) * | 2018-09-11 | 2019-02-15 | 昆山星际舟智能科技有限公司 | 用于高级智能辅助驾驶的单目测距方法 |
CN111427348A (zh) * | 2020-03-24 | 2020-07-17 | 江苏徐工工程机械研究院有限公司 | 一种自动驾驶矿用自卸卡车环境感知***及矿用自卸卡车 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8233045B2 (en) * | 2007-07-16 | 2012-07-31 | Trw Automotive U.S. Llc | Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system |
US9934572B2 (en) * | 2015-12-17 | 2018-04-03 | Ford Global Technologies, Llc | Drawbar scan solution for locating trailer hitch point |
-
2021
- 2021-06-22 CN CN202110688400.6A patent/CN113135181B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765496A (zh) * | 2018-05-24 | 2018-11-06 | 河海大学常州校区 | 一种多视点汽车环视辅助驾驶***及方法 |
CN108873904A (zh) * | 2018-07-04 | 2018-11-23 | 北京踏歌智行科技有限公司 | 矿用车辆无人驾驶停靠方法、设备及可读存储介质 |
CN109343041A (zh) * | 2018-09-11 | 2019-02-15 | 昆山星际舟智能科技有限公司 | 用于高级智能辅助驾驶的单目测距方法 |
CN111427348A (zh) * | 2020-03-24 | 2020-07-17 | 江苏徐工工程机械研究院有限公司 | 一种自动驾驶矿用自卸卡车环境感知***及矿用自卸卡车 |
Also Published As
Publication number | Publication date |
---|---|
CN113135181A (zh) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6154905B2 (ja) | カメラ校正装置、カメラ校正システム、及びカメラ校正方法 | |
US6201883B1 (en) | Topography measuring device | |
US8665263B2 (en) | Aerial image generating apparatus, aerial image generating method, and storage medium having aerial image generating program stored therein | |
CN205024577U (zh) | 自行式建筑机械 | |
CN109902637A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
US20050179801A1 (en) | Camera corrector | |
JP2009237901A (ja) | 路面標示地図生成方法 | |
CN103822615A (zh) | 一种多控制点自动提取与聚合的无人机地面目标实时定位方法 | |
CN112648976B (zh) | 实景影像测量方法、装置、电子设备及存储介质 | |
US20210190526A1 (en) | System and method of generating high-definition map based on camera | |
CN113280798A (zh) | 隧道gnss拒止环境下车载扫描点云的几何纠正方法 | |
CN106556414A (zh) | 一种激光扫描仪的自动数字定向方法 | |
CN111145362A (zh) | 一种机载综合视景***虚实融合显示方法及*** | |
JP2019533875A (ja) | 道路の合成トップビュー画像を生成するための方法およびシステム | |
JP5915268B2 (ja) | パラメータ算出方法、情報処理装置及びプログラム | |
JP2009258651A (ja) | 路面標示地図生成方法 | |
CN112669465A (zh) | 场景转换方法、电子设备及存储介质 | |
CN104268884B (zh) | 一种基于车联网的车道偏离预警的标定***和方法 | |
CN113135181B (zh) | 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 | |
US11403770B2 (en) | Road surface area detection device | |
JP2974316B1 (ja) | 俯瞰写真から現地座標の2次元位置情報を復元する方法及びその2次元位置情報復元システム、並びにその方法のプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP5339753B2 (ja) | 路面標示地図生成方法 | |
CN115357052A (zh) | 一种无人机自动探索视频画面中兴趣点的方法及*** | |
CN110887488A (zh) | 一种无人驾驶碾压机定位方法 | |
CN113593026A (zh) | 车道线标注辅助地图生成方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |