CN113135181B - 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 - Google Patents

一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 Download PDF

Info

Publication number
CN113135181B
CN113135181B CN202110688400.6A CN202110688400A CN113135181B CN 113135181 B CN113135181 B CN 113135181B CN 202110688400 A CN202110688400 A CN 202110688400A CN 113135181 B CN113135181 B CN 113135181B
Authority
CN
China
Prior art keywords
camera
parking position
data point
expected parking
expected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110688400.6A
Other languages
English (en)
Other versions
CN113135181A (zh
Inventor
王章宇
刘蓬菲
黄立明
余贵珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tage Idriver Technology Co Ltd
Original Assignee
Beijing Tage Idriver Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tage Idriver Technology Co Ltd filed Critical Beijing Tage Idriver Technology Co Ltd
Priority to CN202110688400.6A priority Critical patent/CN113135181B/zh
Publication of CN113135181A publication Critical patent/CN113135181A/zh
Application granted granted Critical
Publication of CN113135181B publication Critical patent/CN113135181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，对安装在辅助作业车辆前方的相机进行标定和微调；利用人机交互界面实时显示相机画面，选取预期停靠位置，便于工作人员操作和调控，提高矿用卡车的装卸效率；将预期停靠位置的像素坐标转换为预期停靠位置与相机的横纵向距离，根据相机安装位置与辅助作业车辆GPS天线间的横纵向距离，获取预期停靠位置与辅助作业车辆GPS天线的相对位置；结合辅助作业车辆的GPS信息，采用Vincenty椭球面计算公式计算预期停靠位置的GPS坐标；这样获取的预期停靠位置信息较为精确，可为矿用卡车的精准停靠提供基础依据；将预期停靠位置的GPS坐标发送至矿用卡车规划停靠路线。

Description

一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法
技术领域
本发明涉及矿区自动驾驶技术领域，尤其涉及一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法。
背景技术
多风、严寒、危险、恶劣的矿区环境，对驾驶员的技术和经验有着极高的要求，即使对于驾驶经验丰富的司机也具有一定的挑战。随着自动驾驶技术的发展，矿区运输走到了一个拐点——车辆驾驶主体即将由人类变为机器，采用无人驾驶技术不仅能避免或减少对驾驶人员健康、安全的危害或威胁, 而且将大幅提升效率、降低成本, 更加经济、节能和环保。
矿山运输的典型作业流程可简要概括为“启动-装载-运输-卸载-停车”。目前针对装卸过程的研究主要集中在协同装载提高装卸效率，然而，装卸点停靠位置处于动态变化中，无法通过寻迹方式实现。矿区道路不同于城市结构化道路，矿区装卸停靠区并无明显特征，很难通过传感器精准识别，实现车辆在装卸点的精准停靠难度较大。
发明内容
有鉴于此，本发明提供了一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，用以解决矿区自动驾驶车辆装卸点停靠偏差问题。
本发明提供的一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，包括如下步骤：
S1：将相机安装至辅助作业车辆的前方，相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确定；
S2：测量相机的安装位置与辅助作业车辆GPS天线的安装位置之间的水平距离和垂直距离；
S3：在相机前方放置棋盘格，采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数；
S4：根据标定的径向畸变系数对相机采集的图像进行径向畸变矫正，根据标定的切向畸变系数对相机采集的图像进行切向畸变矫正；
S5：在畸变矫正后的图像中选取多个数据点，每个数据点代表图像中的一个像素点，记录各数据点与相机真实地面投影的水平距离和垂直距离，保存各数据点的图片或视频，提取各数据点的像素坐标；
S6：根据相机的安装高度、安装俯仰角、偏航角及标定的相机内参，确定像素坐标系至世界坐标系的转换矩阵，根据提取的各数据点的像素坐标，计算相机与各数据点的水平距离和垂直距离；
S7：将计算出的相机与各数据点的水平距离和垂直距离，与记录的各数据点与相机真实地面投影的水平距离和垂直距离进行比较，微调相机的安装高度、安装俯仰角、偏航角及标定的相机内参，更新像素坐标系至世界坐标系的转换矩阵；
S8：辅助作业车辆通过HMI人机交互界面实时获取辅助作业车辆前面的画面，选取矿用卡车的预期停靠位置；
S9：根据更新后的转换矩阵，将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离，再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离，获取预期停靠位置与辅助作业车辆GPS天线的相对位置，结合辅助作业车辆实时发送的GPS信息，选取Vincenty椭球面计算公式，计算矿用卡车的预期停靠位置的GPS坐标；
S10：将预期停靠位置的GPS坐标下发至矿用卡车，矿用卡车根据预期停靠位置的GPS坐标，规划停靠行驶路线。
在一种可能的实现方式中，在本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中，步骤S3，在相机前方放置棋盘格，采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数，具体包括：
在相机前方放置棋盘格，拍摄至少20张包含棋盘格的图片，将采集的图像输入至matlab的标定工具箱，获取相机内参、径向畸变系数和切向畸变系数。
在一种可能的实现方式中，在本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中，步骤S4中，按照如下公式对图像进行径向畸变矫正和切向畸变矫正：
Figure 188284DEST_PATH_IMAGE001
(1)
其中，
Figure 61562DEST_PATH_IMAGE002
表示畸变点在相机上的原始位置的像素横坐标，
Figure 256044DEST_PATH_IMAGE003
表示畸变点在相机上的原始位置的像素纵坐标，
Figure 240180DEST_PATH_IMAGE004
表示畸变矫正后数据点在图像中的像素横坐标，
Figure 694296DEST_PATH_IMAGE005
表示畸变矫正后数据点在图像中的像素纵坐标，
Figure 863109DEST_PATH_IMAGE006
；k 1、k 2和k 3为径向畸变系数，p 1和p 2为切向畸变系数。
在一种可能的实现方式中，在本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中，步骤S6中，像素坐标系至世界坐标系的转换矩阵T为：
Figure 668254DEST_PATH_IMAGE007
(2)
其中，f x 表示x方向焦距，f y 表示y方向焦距，u 0和v 0分别表示主点与像素坐标系原点之间相差的横向像素数和纵向像素数；h表示相机的安装高度，
Figure 456081DEST_PATH_IMAGE008
表示相机的安装俯仰角，
Figure 30282DEST_PATH_IMAGE009
表示偏航角；
按照如下公式计算相机与各数据点的水平距离和垂直距离：
Figure 369996DEST_PATH_IMAGE010
(3)
其中，
Figure 131279DEST_PATH_IMAGE011
表示数据点与相机的水平距离，
Figure 722797DEST_PATH_IMAGE012
表示数据点与相机的垂直距离。
在一种可能的实现方式中，在本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中，步骤S9中，预期停靠位置与辅助作业车辆GPS天线的相对位置为：
Figure 276138DEST_PATH_IMAGE013
(4)
其中，
Figure 396541DEST_PATH_IMAGE014
表示预期停靠位置与辅助作业车辆GPS天线的水平距离，
Figure 176278DEST_PATH_IMAGE015
表示预期停靠位置与辅助作业车辆GPS天线的垂直距离，
Figure 430542DEST_PATH_IMAGE016
表示相机的安装位置与辅助作业车辆GPS天线的安装位置的水平距离，
Figure 713756DEST_PATH_IMAGE017
表示相机的安装位置与辅助作业车辆GPS天线的安装位置的垂直距离，
Figure 536219DEST_PATH_IMAGE018
表示预期停靠位置与相机的水平距离，
Figure 537673DEST_PATH_IMAGE019
表示预期停靠位置与相机的垂直距离。
本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，在辅助作业车辆前方安装相机，对相机内外参数及畸变系数进行标定和微调，更新像素坐标系至世界坐标系的转换矩阵；利用HMI人机交互界面实时显示相机传输的实时画面，通过HMI人机交互界面选取矿用卡车的预期停靠位置，便于工作人员操作和精准调控，可以提高矿用卡车的装卸效率；根据更新后的转换矩阵，将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离，再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离，获取预期停靠位置与辅助作业车辆GPS天线的相对位置；再结合辅助作业车辆实时发送的GPS信息，采用Vincenty椭球面计算公式，计算预期停靠位置的GPS坐标；这样，将预期停靠位置的像素坐标转换为GPS坐标，获取的预期停靠位置信息较为精确，可以为矿用卡车的精准停靠提供基础依据；将预期停靠位置的GPS坐标发送至矿用卡车，矿用卡车根据本车GPS坐标和预期停靠位置的GPS坐标自动规划停靠路线。本发明面向矿区自动驾驶车辆，所需的相机和GPS设备，大部分矿区自动驾驶车辆均配备，因此，不需要添加额外的传感器，一方面减少了车载处理设备的处理量，另一方面降低了成本。
附图说明
图1为本发明实施例1提供的一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法的流程图；
图2为本发明实施例1中矿用卡车预期停靠位置选取示意图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。
本发明提供的一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，包括如下步骤：
S1：将相机安装至辅助作业车辆的前方，相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确定；
S2：测量相机的安装位置与辅助作业车辆GPS天线的安装位置之间的水平距离和垂直距离；
S3：在相机前方放置棋盘格，采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数；
S4：根据标定的径向畸变系数对相机采集的图像进行径向畸变矫正，根据标定的切向畸变系数对相机采集的图像进行切向畸变矫正；
S5：在畸变矫正后的图像中选取多个数据点，每个数据点代表图像中的一个像素点，记录各数据点与相机真实地面投影的水平距离和垂直距离，保存各数据点的图片或视频，提取各数据点的像素坐标；
S6：根据相机的安装高度、安装俯仰角、偏航角及标定的相机内参，确定像素坐标系至世界坐标系的转换矩阵，根据提取的各数据点的像素坐标，计算相机与各数据点的水平距离和垂直距离；
S7：将计算出的相机与各数据点的水平距离和垂直距离，与记录的各数据点与相机真实地面投影的水平距离和垂直距离进行比较，微调相机的安装高度、安装俯仰角、偏航角及标定的相机内参，更新像素坐标系至世界坐标系的转换矩阵；
S8：辅助作业车辆通过HMI人机交互界面实时获取辅助作业车辆前面的画面，选取矿用卡车的预期停靠位置；
S9：根据更新后的转换矩阵，将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离，再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离，获取预期停靠位置与辅助作业车辆GPS天线的相对位置，结合辅助作业车辆实时发送的GPS信息，选取Vincenty椭球面计算公式，计算矿用卡车的预期停靠位置的GPS坐标；
S10：将预期停靠位置的GPS坐标下发至矿用卡车，矿用卡车根据预期停靠位置的GPS坐标，规划停靠行驶路线。
下面通过一个具体的实施例对本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法的具体实施进行详细说明。
实施例1：
如图1所示，分为两部分，第一部分为辅助作业车辆参数标定，第二部分为矿用卡车预期停靠位置选取。
第一步：辅助作业车辆参数标定，包括相机内外参数及畸变系数的标定和微调。
(1) 将相机安装至辅助作业车辆（如挖掘机）的前方，相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确定。
(2) 测量相机的安装位置与辅助作业车辆GPS天线的安装位置之间的水平距离和垂直距离；
(3) 在相机前方放置棋盘格，采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数。
具体地，在相机前方放置棋盘格，通过前后左右转动棋盘格，拍摄至少20张包含棋盘格的图片，转动角度不宜超过45°，将采集的图像输入至matlab的标定工具箱，获取相机内参(f x 、f y 、u 0和v 0)、径向畸变系数(k 1、k 2和k 3)和切向畸变系数(p 1和p 2)。
(4)对相机采集的图像进行径向畸变矫正和切向畸变矫正：
Figure 595627DEST_PATH_IMAGE001
(1)
其中，
Figure 467768DEST_PATH_IMAGE002
表示畸变点在相机上的原始位置的横坐标，
Figure 461132DEST_PATH_IMAGE003
表示畸变点在相机上的原始位置的纵坐标，
Figure 808937DEST_PATH_IMAGE004
表示畸变矫正后数据点在图像中的像素横坐标，
Figure 280370DEST_PATH_IMAGE005
表示畸变矫正后数据点在图像中的像素纵坐标，
Figure 538176DEST_PATH_IMAGE006
；k 1、k 2和k 3为径向畸变系数，p 1和p 2为切向畸变系数。
(5) 在畸变矫正后的图像中选取5~8个数据点，每个数据点代表图像中的一个像素点，记录各数据点与相机真实地面投影的水平距离和垂直距离，保存各数据点的图片或视频，提取各数据点的像素坐标。
(6) 根据第(1)步中相机的安装高度、安装俯仰角、偏航角及第(3)步中标定的相机内参，确定像素坐标系至世界坐标系的转换矩阵T：
Figure 827074DEST_PATH_IMAGE007
(2)
其中，f x 表示x方向焦距，f y 表示y方向焦距，u 0和v 0分别表示主点与像素坐标系原点之间相差的横向像素数和纵向像素数；h表示相机的安装高度，
Figure 537541DEST_PATH_IMAGE008
表示相机的安装俯仰角，
Figure 812665DEST_PATH_IMAGE009
表示偏航角；
根据第(5)步中提取的各数据点的像素坐标，计算相机与各数据点的水平距离和垂直距离：
Figure 190557DEST_PATH_IMAGE010
(3)
其中，
Figure 119198DEST_PATH_IMAGE011
表示数据点与相机的水平距离，
Figure 582541DEST_PATH_IMAGE012
表示数据点与相机的垂直距离。
(7) 将计算出的相机与各数据点的水平距离和垂直距离，与第(5)步中记录的各数据点与相机真实地面投影的水平距离和垂直距离进行比较，微调相机的安装高度、安装俯仰角、偏航角及标定的相机内参，更新像素坐标系至世界坐标系的转换矩阵，以减小人工标定的误差。
第二步：矿用卡车预期停靠位置选取，如图2所示，1为物料点（例如矿区内的土堆、煤堆），2为实际场景中的预期停靠位置，3为矿用卡车，4为辅助作业车辆，5为HMI人机交互界面，6为辅助作业车辆上相机视角下的物料点位置，7为辅助作业车辆上相机视角下的预期停靠位置。
(1) 辅助作业车辆4通过HMI人机交互界面5实时获取辅助作业车辆4前面的画面，结合辅助作业车辆上相机视角下的物料点位置6，选取矿用卡车3的预期停靠位置2在辅助作业车辆上相机视角下的预期停靠位置7。其中，HMI人机交互界面5支持位置选取、信息下发及信息显示功能。
(2) 根据更新后的转换矩阵，将选取的预期停靠位置7的像素坐标转换为预期停靠位置2与相机的水平距离和垂直距离，再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离，获取预期停靠位置2与辅助作业车辆4的GPS天线的相对位置：
Figure 395776DEST_PATH_IMAGE013
(4)
其中，
Figure 752808DEST_PATH_IMAGE014
表示预期停靠位置与辅助作业车辆GPS天线的水平距离，
Figure 993297DEST_PATH_IMAGE015
表示预期停靠位置与辅助作业车辆GPS天线的垂直距离，
Figure 943935DEST_PATH_IMAGE016
表示相机的安装位置与辅助作业车辆GPS天线的安装位置的水平距离，
Figure 419916DEST_PATH_IMAGE017
表示相机的安装位置与辅助作业车辆GPS天线的安装位置的垂直距离，
Figure 506820DEST_PATH_IMAGE018
表示预期停靠位置与相机的水平距离，
Figure 183789DEST_PATH_IMAGE019
表示预期停靠位置与相机的垂直距离。
(3) 预期停靠位置2与辅助作业车辆4的GPS天线的相对位置结合辅助作业车辆4实时发送的GPS信息，选取Vincenty椭球面计算公式，计算矿用卡车3的预期停靠位置2的GPS坐标。
(4) 将预期停靠位置2的GPS坐标下发至矿用卡车3，矿用卡车3根据预期停靠位置2的GPS坐标，规划停靠行驶路线。
本发明提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，在辅助作业车辆前方安装相机，对相机内外参数及畸变系数进行标定和微调，更新像素坐标系至世界坐标系的转换矩阵；利用HMI人机交互界面实时显示相机传输的实时画面，通过HMI人机交互界面选取矿用卡车的预期停靠位置，便于工作人员操作和精准调控，可以提高矿用卡车的装卸效率；根据更新后的转换矩阵，将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离，再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离，获取预期停靠位置与辅助作业车辆GPS天线的相对位置；再结合辅助作业车辆实时发送的GPS信息，采用Vincenty椭球面计算公式，计算预期停靠位置的GPS坐标；这样，将预期停靠位置的像素坐标转换为GPS坐标，获取的预期停靠位置信息较为精确，可以为矿用卡车的精准停靠提供基础依据；将预期停靠位置的GPS坐标发送至矿用卡车，矿用卡车根据本车GPS坐标和预期停靠位置的GPS坐标自动规划停靠路线。本发明面向矿区自动驾驶车辆，所需的相机和GPS设备，大部分矿区自动驾驶车辆均配备，因此，不需要添加额外的传感器，一方面减少了车载处理设备的处理量，另一方面降低了成本。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，其特征在于，包括如下步骤：
S1：将相机安装至辅助作业车辆的前方，相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确定；
S2：测量相机的安装位置与辅助作业车辆GPS天线的安装位置之间的水平距离和垂直距离；
S3：在相机前方放置棋盘格，采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数；
S4：根据标定的径向畸变系数对相机采集的图像进行径向畸变矫正，根据标定的切向畸变系数对相机采集的图像进行切向畸变矫正；
S5：在畸变矫正后的图像中选取多个数据点，每个数据点代表图像中的一个像素点，记录各数据点与相机真实地面投影的水平距离和垂直距离，保存各数据点的图片或视频，提取各数据点的像素坐标；
S6：根据相机的安装高度、安装俯仰角、偏航角及标定的相机内参，确定像素坐标系至世界坐标系的转换矩阵，根据提取的各数据点的像素坐标，计算相机与各数据点的水平距离和垂直距离；
S7：将计算出的相机与各数据点的水平距离和垂直距离，与记录的各数据点与相机真实地面投影的水平距离和垂直距离进行比较，微调相机的安装高度、安装俯仰角、偏航角及标定的相机内参，更新像素坐标系至世界坐标系的转换矩阵；
S8：辅助作业车辆通过HMI人机交互界面实时获取辅助作业车辆前面的画面，选取矿用卡车的预期停靠位置；
S9：根据更新后的转换矩阵，将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离，再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离，获取预期停靠位置与辅助作业车辆GPS天线的相对位置，结合辅助作业车辆实时发送的GPS信息，选取Vincenty椭球面计算公式，计算矿用卡车的预期停靠位置的GPS坐标；
S10：将预期停靠位置的GPS坐标下发至矿用卡车，矿用卡车根据预期停靠位置的GPS坐标，规划停靠行驶路线。
2.如权利要求1所述的基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，其特征在于，步骤S3，在相机前方放置棋盘格，采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数，具体包括：
在相机前方放置棋盘格，拍摄至少20张包含棋盘格的图片，将采集的图像输入至matlab的标定工具箱，获取相机内参、径向畸变系数和切向畸变系数。
3.如权利要求1所述的基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，其特征在于，步骤S4中，按照如下公式对图像进行径向畸变矫正和切向畸变矫正：
Figure 950311DEST_PATH_IMAGE001
(1)
其中，
Figure 831680DEST_PATH_IMAGE002
表示畸变点在相机上的原始位置的像素横坐标，
Figure 125258DEST_PATH_IMAGE003
表示畸变点在相机上的原始位置的像素纵坐标，
Figure 634736DEST_PATH_IMAGE004
表示畸变矫正后数据点在图像中的像素横坐标，
Figure 293251DEST_PATH_IMAGE005
表示畸变矫正后数据点在图像中的像素纵坐标，
Figure 458653DEST_PATH_IMAGE006
；k 1、k 2和k 3为径向畸变系数，p 1和p 2为切向畸变系数。
4.如权利要求3所述的基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，其特征在于，步骤S6中，像素坐标系至世界坐标系的转换矩阵T为：
Figure 352660DEST_PATH_IMAGE007
(2)
其中，f x 表示x方向焦距，f y 表示y方向焦距，u 0和v 0分别表示主点与像素坐标系原点之间相差的横向像素数和纵向像素数；h表示相机的安装高度，
Figure 919907DEST_PATH_IMAGE008
表示相机的安装俯仰角，
Figure 483744DEST_PATH_IMAGE009
表示偏航角；
按照如下公式计算相机与各数据点的水平距离和垂直距离：
Figure 136442DEST_PATH_IMAGE010
(3)
其中，
Figure 93859DEST_PATH_IMAGE011
表示数据点与相机的水平距离，
Figure 187717DEST_PATH_IMAGE012
表示数据点与相机的垂直距离。
5.如权利要求1所述的基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，其特征在于，步骤S9中，预期停靠位置与辅助作业车辆GPS天线的相对位置为：
Figure 250351DEST_PATH_IMAGE013
(4)
其中，
Figure 187083DEST_PATH_IMAGE014
表示预期停靠位置与辅助作业车辆GPS天线的水平距离，
Figure 626155DEST_PATH_IMAGE015
表示预期停靠位置与辅助作业车辆GPS天线的垂直距离，
Figure 840099DEST_PATH_IMAGE016
表示相机的安装位置与辅助作业车辆GPS天线的安装位置的水平距离，
Figure 401530DEST_PATH_IMAGE017
表示相机的安装位置与辅助作业车辆GPS天线的安装位置的垂直距离，
Figure 763241DEST_PATH_IMAGE018
表示预期停靠位置与相机的水平距离，
Figure 678108DEST_PATH_IMAGE019
表示预期停靠位置与相机的垂直距离。
CN202110688400.6A 2021-06-22 2021-06-22 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 Active CN113135181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110688400.6A CN113135181B (zh) 2021-06-22 2021-06-22 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110688400.6A CN113135181B (zh) 2021-06-22 2021-06-22 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法

Publications (2)

Publication Number Publication Date
CN113135181A CN113135181A (zh) 2021-07-20
CN113135181B true CN113135181B (zh) 2021-08-24

Family

ID=76815884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110688400.6A Active CN113135181B (zh) 2021-06-22 2021-06-22 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法

Country Status (1)

Country Link
CN (1) CN113135181B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765496A (zh) * 2018-05-24 2018-11-06 河海大学常州校区 一种多视点汽车环视辅助驾驶***及方法
CN108873904A (zh) * 2018-07-04 2018-11-23 北京踏歌智行科技有限公司 矿用车辆无人驾驶停靠方法、设备及可读存储介质
CN109343041A (zh) * 2018-09-11 2019-02-15 昆山星际舟智能科技有限公司 用于高级智能辅助驾驶的单目测距方法
CN111427348A (zh) * 2020-03-24 2020-07-17 江苏徐工工程机械研究院有限公司 一种自动驾驶矿用自卸卡车环境感知***及矿用自卸卡车

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233045B2 (en) * 2007-07-16 2012-07-31 Trw Automotive U.S. Llc Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system
US9934572B2 (en) * 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765496A (zh) * 2018-05-24 2018-11-06 河海大学常州校区 一种多视点汽车环视辅助驾驶***及方法
CN108873904A (zh) * 2018-07-04 2018-11-23 北京踏歌智行科技有限公司 矿用车辆无人驾驶停靠方法、设备及可读存储介质
CN109343041A (zh) * 2018-09-11 2019-02-15 昆山星际舟智能科技有限公司 用于高级智能辅助驾驶的单目测距方法
CN111427348A (zh) * 2020-03-24 2020-07-17 江苏徐工工程机械研究院有限公司 一种自动驾驶矿用自卸卡车环境感知***及矿用自卸卡车

Also Published As

Publication number Publication date
CN113135181A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
JP6154905B2 (ja) カメラ校正装置、カメラ校正システム、及びカメラ校正方法
US6201883B1 (en) Topography measuring device
US8665263B2 (en) Aerial image generating apparatus, aerial image generating method, and storage medium having aerial image generating program stored therein
CN205024577U (zh) 自行式建筑机械
CN109902637A (zh) 车道线检测方法、装置、计算机设备和存储介质
US20050179801A1 (en) Camera corrector
JP2009237901A (ja) 路面標示地図生成方法
CN103822615A (zh) 一种多控制点自动提取与聚合的无人机地面目标实时定位方法
CN112648976B (zh) 实景影像测量方法、装置、电子设备及存储介质
US20210190526A1 (en) System and method of generating high-definition map based on camera
CN113280798A (zh) 隧道gnss拒止环境下车载扫描点云的几何纠正方法
CN106556414A (zh) 一种激光扫描仪的自动数字定向方法
CN111145362A (zh) 一种机载综合视景***虚实融合显示方法及***
JP2019533875A (ja) 道路の合成トップビュー画像を生成するための方法およびシステム
JP5915268B2 (ja) パラメータ算出方法、情報処理装置及びプログラム
JP2009258651A (ja) 路面標示地図生成方法
CN112669465A (zh) 场景转换方法、电子设备及存储介质
CN104268884B (zh) 一种基于车联网的车道偏离预警的标定***和方法
CN113135181B (zh) 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法
US11403770B2 (en) Road surface area detection device
JP2974316B1 (ja) 俯瞰写真から現地座標の２次元位置情報を復元する方法及びその２次元位置情報復元システム、並びにその方法のプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5339753B2 (ja) 路面標示地図生成方法
CN115357052A (zh) 一种无人机自动探索视频画面中兴趣点的方法及***
CN110887488A (zh) 一种无人驾驶碾压机定位方法
CN113593026A (zh) 车道线标注辅助地图生成方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant