CN111572633B - 转向角度检测方法、装置及*** - Google Patents

转向角度检测方法、装置及*** Download PDF

Info

Publication number
CN111572633B
CN111572633B CN201910123410.8A CN201910123410A CN111572633B CN 111572633 B CN111572633 B CN 111572633B CN 201910123410 A CN201910123410 A CN 201910123410A CN 111572633 B CN111572633 B CN 111572633B
Authority
CN
China
Prior art keywords
tractor
camera
trailer
axis
identification points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910123410.8A
Other languages
English (en)
Other versions
CN111572633A (zh
Inventor
叶卉
项党
刘玉
刘元伟
鲍凤卿
卢远志
梁伟铭
刘奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Automobile Industry Group Co Ltd
SAIC Motor Corp Ltd
Original Assignee
SAIC Motor Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Motor Corp Ltd filed Critical SAIC Motor Corp Ltd
Priority to CN201910123410.8A priority Critical patent/CN111572633B/zh
Publication of CN111572633A publication Critical patent/CN111572633A/zh
Application granted granted Critical
Publication of CN111572633B publication Critical patent/CN111572633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021Determination of steering angle
    • B62D15/024Other means for determination of steering angle without directly measuring it, e.g. deriving from wheel speeds on different sides of the car

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请一种转向角度检测方法、装置及***,其中方法应用于转向角度检测***中的处理器,转向角度检测***还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖平面靶标的多个标识点;方法包括:接收摄像设备于牵引车转向过程中拍摄并发送的图像;识别图像中的多个标识点;确定多个标识点于摄像设备坐标系中当前坐标;依据多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。本申请对于各种机型的卡车均可以能够适应且获得转向角度准确度较高。

Description

转向角度检测方法、装置及***
技术领域
本申请涉及自动驾驶技术领域,尤其涉及转向角度检测方法、装置及***。
背景技术
自动驾驶技术已开始应用于卡车领域。对于卡车而言包括牵引车和挂车,且牵引车和挂车之间通过牵引车上的鞍座和挂车上的牵引销连接,鞍座可绕着牵引销旋转,牵引车驱动并牵引挂车行驶。
在卡车行驶过程中,车辆拐弯、掉头、换道、泊车等工况下,挂车相对于牵引车有一定的转向角度。该转向角度对于自动驾驶传感器标定及路径规划决策来说至关重要。
目前主要使用含角度传感器的特定检测装置安装在鞍座或牵引销上,以获取牵引车和挂车之间相对的转向角度。
但是,由于挂车的转轴与牵引车鞍座之间具有较大的晃动余量,角度传感器难以直接测量角度,并且,上述方案需要改造原有鞍座或牵引销,由于不同卡车车型其改造方式不同,所以适应性较差。
发明内容
申请人在研究过程中还发现一些其它测量转向角度的方案:基于GPS***、惯性导航***或航姿参考***来确定转向角度。
对于基于GPS转向角度来确定转向角度而言:GPS***可通过多颗卫星定位接收机的位置,因此通过在牵引车和挂车上分别安装两套接收机,计算牵引车和挂车的行进方向,便可以确定挂车的转角。但是,本方案中若道路两侧具有高大建筑物,则GPS信号较弱,因此本方法难以工作,鲁棒性较差。
对于基于惯性导航***来确定转向角度而言:惯性导航***具有陀螺仪和加速度计等元件,可直接测量车辆的三轴角速度与角加速度,通过积分获得角度信息。因此将惯性导航***安装于牵引车和挂车上,分别测量牵引车和挂车的航向角即可相减获得挂车的转向角度。
为了提高转向角度的精度,经常采用GPS信号进行航向初始化并修正惯性导航***的航向与位移信息。但是由于惯性导航***的初始化需要GPS信号,因此初始化操作仅能在空旷场地进行,同时惯性导航***的初始化需要一定的时间,对于不同的挂车适配性较差。
鉴于此,本申请提供转向角度检测方法、装置及***,可以适用于各种类型的卡车,以获得牵引车和挂车之间相对的转向角度。
为了实现上述目的,本申请提供下述技术特征:
一种转向角度检测方法,应用于转向角度检测***中的处理器,所述转向角度检测***还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,所述平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;所述方法包括:
接收摄像设备于牵引车转向过程中拍摄并发送的图像;
识别所述图像中的多个标识点;
确定所述多个标识点于摄像设备坐标系中当前坐标;
依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
可选的,所述摄像设备的中心和平面靶标的中心处于同一水平面;
且,摄像设备的中心与牵引车与挂车之间中心线之间的误差小于预设误差,且,平面靶标的中心与牵引车与挂车之间中心线之间的误差小于预设误差。
可选的,所述平面靶标包括四个标识点,且,四个标识点组成正方形。
可选的,所述摄像设备坐标系包括:
以摄像设备的光心为原点;
以摄像设备的光轴为Z轴;
以水平面内垂直Z轴的直线为X轴;
以左手定则确定垂直于X轴和Z轴所在平面的Y轴;
构建X轴、Y轴和Z轴组成的摄像设备坐标系Oc-XcYcZc
可选的,所述确定所述多个标识点于摄像设备坐标系中当前坐标,包括:
当牵引车相对于挂车转动角度为θ时,依据下述公式计算每个标识点Pi于摄像设备坐标系中的
Figure GDA0003100753690000031
下的当前坐标Pci θ=(xci θ,yci θ,zci θ),(i=1,2,3,4);
其中,xci θ、yci θ和zci θ的计算方式如下:
Figure GDA0003100753690000032
其中,xi、yi为平面靶标上四个空间特征点在摄像设备归一化图像平面下的坐标值;
L为靶标上四个特征点组成的正方形边长;
K1、K2、K3、和K4是和xi、yi有关的参数,关系如下:
K1=|x1(y2-y3)+y1(x3-y2)+x2y3-x3y2|
K2=|x1(y2-y4)+y1(x4-y2)+x2y4-x4y2|
K3=|x1(y3-y4)+y1(x4-y3)+x3y4-x4y3|
K4=|x2(y3-y4)+y2(x4-y3)+x3y4-x4y3|。
可选的,在接收摄像设备于牵引车转向过程中拍摄并发送的图像之前,还包括:
当牵引车相对于挂车转动角度为0°的情况下,通过视觉定位技术确定出平面靶标中四个标识点在摄像设备坐标系
Figure GDA0003100753690000033
下的原始坐标Pci 0=(xci 0,yci 0,zci 0),(i=1,2,3,4)。
可选的,所述依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度,包括:
构建
Figure GDA0003100753690000034
Figure GDA0003100753690000035
中之间的位姿关系
Figure GDA0003100753690000036
其中,R为旋转矩阵,T为平移矩阵,
Figure GDA0003100753690000037
R=R(εx)R(εy)R(εz);其中,εx、εy、和εz分别为
Figure GDA0003100753690000038
的三坐标轴相对于
Figure GDA0003100753690000039
三坐标轴的旋转角度,ΔX、ΔY、ΔZ分别为
Figure GDA0003100753690000041
的三坐标轴相对于
Figure GDA0003100753690000042
三坐标轴的平移量;
采用P4P定向求解方法计算得到εx、εy、和εz,将εy确定为牵引车与挂车之间的转向角度。
一种转向角度检测装置,集成于转向角度检测***中的处理器,所述转向角度检测***还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,所述平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;所述装置包括:
接收单元,用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;
识别单元,用于识别所述图像中的多个标识点;
确定单元,用于确定所述多个标识点于摄像设备坐标系中当前坐标;
计算单元,用于依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
一种转向角度检测***,包括:
处理器;
与处理器相连,且,设置于牵引车驾驶舱后侧面的摄像设备;
设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,且,所述平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;
其中,处理器用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;识别所述图像中的多个标识点;确定所述多个标识点于摄像设备坐标系中当前坐标;依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
可选的,所述摄像设备的中心和平面靶标的中心处于同一水平面;
且,摄像设备的中心与牵引车与挂车之间中心线之间的误差小于预设误差,且,平面靶标的中心与牵引车与挂车之间中心线之间的误差小于预设误差;
所述平面靶标包括四个标识点,且,四个标识点组成正方形。
通过以上技术手段,可以实现以下有益效果:
根据卡车无人驾驶实际应用场景的需求,合理布置平面靶标和摄像设备于挂车和牵引车上的位置,结合平面靶标的标识点的先验信息确定原始状态下的平面靶标的原始坐标,以及通过图像处理方法确定转动一定角度后平面靶标的当前坐标,最后通过求解绝对定向问题,即可计算得到牵引车相对于挂车的转向角度。
本发明无需改造卡车、牵引销和鞍座,仅通过简单的靶标布置和视觉检测手段来实时获取牵引车相对于牵引销的转向角度。本申请对于各种机型的卡车均可以能够适应,且,准确度较高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的转向角度检测***的结构示意图;
图2为本申请实施例公开的又一转向角度检测***的结构示意图;
图3为本申请实施例公开的平面靶标的结构示意图;
图4为本申请实施例公开的又一平面靶标的结构示意图;
图5为本申请实施例公开的转向角度检测方法的流程图;
图6为本申请实施例公开的转向角度检测方法中坐标系示意图;
图7为本申请实施例公开的又一转向角度检测方法中坐标系示意图;
图8为本申请实施例公开的转向角度检测装置的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供一种转向角度检测***,参见图1(原始状态下)和图2(一定转向角度下),转向角度检测***包括:
处理器(图示为示出)。
设置于牵引车的驾驶舱后侧面的摄像设备1,摄像设备1的拍摄视野为牵引车的正后方。例如,在牵引车的驾驶舱内后挡玻璃上安装一个视野朝向牵引车正后方的单目摄像头。
设置于牵引车与挂车之间且附着于挂车前侧面的平面靶标2(图示中加黑部分)。
牵引车和挂车之间通过牵引车上的鞍座4和挂车上的牵引销3连接,鞍座4可绕着牵引销3旋转,牵引车驱动并牵引挂车行驶。
由于平面靶标2与挂车的牵引销3相对位置固定不变,摄像设备1与牵引车的相对位置固定不变,所以摄像设备1相对于平面靶标2的转动角度θ即是牵引车与挂车之间的转向角度。
为了便于后续计算转向角度,于平面靶标2上设置有多个标识点,且,相邻标识点之间的距离相等。参见图3,以平面靶标2上设置有4个标识点为例,4个标识点可以组成一个正方形,4个标识点即为正方形的四个顶点。
其中,平面靶标2上多个标识点组成形状的尺寸(例如,图3中的正方形尺寸),随着摄像设备1与平面靶标2之间的距离而定。其原则为摄像设备1的视角能够完全覆盖多个标识点组成形状的边界。摄像设备的视角指镜头所能覆盖的范围,当被拍摄物体超过该视角则无法收入镜头中。
即,摄像设备1与平面靶标2的距离越短,多个标识点组成形状的尺寸越小,反之,摄像设备1与平面靶标2的距离越长,多个标识点组成形状的尺寸可以越大。
参见图4,为平面靶标2的一种设计示意图,在摄像设备1到平面靶标2为1.5m左右情况下,设计平面靶标为边长50cm的正方形,四组同心圆作为标识点,同心圆的圆心均匀分布在平面靶标2中边长D=30cm的正方形的四个顶点处。
可以理解的是,为了便于检测转向角度的准确性,摄像设备1的中心、平面靶标2的中心尽可能地位于牵引车与挂车的中心线,当然,鉴于安装的偏差,偏差在一定范围内也是可以允许的。摄像设备1和平面靶标2的安装位置尽量不会影响卡车的装卸货物和正常行驶。
以平面靶标2包括4个标识点,且,4个标识点组成一个正方形为例,对本申请转向角度检测方法进行详细描述。由于平面靶标具有四个标识点的情况下,四个标识点位于边长相等的正方形的顶点处,这保证相邻两个标识点之间的距离相等,这种特殊设计可以提高标识点提取时的鲁棒性,并使得求解问题变成等距约束下的共面P4P求解问题。
参见图5,本申请提供一种转向角度检测方法,可以包括如下步骤:
步骤S501:处理器构建摄像设备坐标系。
参见图6,为摄像设备和平面靶标于卡车中的俯视图,以摄像设备1的光心(镜头中心)为原点,光轴(镜头中心与平面靶标中心的连线)为Z轴,水平面内垂直Z轴的直线为X轴,以左手定则确定垂直于X轴和Z轴所在平面的Y轴,构建X轴、Y轴和Z轴的摄像设备坐标系Oc-XcYcZc
步骤S502:在牵引车相对于挂车转动角度为0°的情况下,处理器通过视觉定位确定平面靶标中四个标识点于摄像设备坐标系下的坐标。
S1:摄像设备拍摄包含四个标识点的图像并发送至处理器。
S2:处理器对图像进行预处理,获得于摄像设备坐标系中四个标识点的坐标。
摄像设备拍摄包含平面靶标的图像,并进行畸变矫正、灰度处理、平滑滤波、直方图均衡化、图像二值化等预处理,再通过自适应阈值分割将包含平面靶标的图像从背景图像中分割开来。
对包含平面靶标的图像进行轮廓跟踪和椭圆拟合法,确定平面靶标中四个标识点的位置,最后获得四个标识点于摄像设备坐标系下的坐标Pi 0=(xi 0,yi 0,zi 0),(i=1,2,3,4)。
上述为处理器的预执行过程,下面介绍本申请转向角度检测方法。
步骤S503:处理器接收摄像设备于牵引车转向过程中拍摄并发送的图像。
在牵引车转向过程中,摄像设备拍摄包含四个标识点的图像,并发送至处理器,以供处理器接收图像。
步骤S504:处理器识别所述图像中的多个标识点。
摄像设备拍摄包含平面靶标的图像,处理器对图像进行畸变矫正、灰度处理、平滑滤波、直方图均衡化、图像二值化等预处理,再通过自适应阈值分割将包含平面靶标的图像从背景图像中分割开来。
对包含平面靶标的图像进行轮廓跟踪和椭圆拟合法,确定平面靶标中四个标识点的位置。
参见图7为平面靶标坐标系,在平面靶标坐标系的原点平面靶标的四个标识点组成的正方形的中心Ow处,中方形中心点为P0,Xw轴与
Figure GDA0003100753690000081
重合,Yw轴与
Figure GDA0003100753690000082
重合,并在平面靶标坐标系中确定四个标识点坐标。
例如,设正方形的边长为L,则共面四点P1~P4在靶标本体坐标系下的坐标分别为
Figure GDA0003100753690000083
当牵引车带动摄像设备绕着挂车旋转角度θ时,其摄像设备坐标系变更为
Figure GDA0003100753690000084
如图6所示。通过亚像素定位技术确定平面靶标上四个标识点,于旋转后的摄像设备坐标系
Figure GDA0003100753690000085
下的坐标Pci θ=(xci θ,yci θ,zci θ),(i=1,2,3,4)。
当牵引车相对于挂车转动角度为θ时,依据下述公式计算每个标识点Pi于摄像设备坐标系中的
Figure GDA0003100753690000086
下的当前坐标Pci θ=(xci θ,yci θ,zci θ),(i=1,2,3,4);
其中,摄像设备坐标系下的标识点的坐标值xci、yci和zci如下:
Figure GDA0003100753690000087
其中,xi、yi为平面靶标上四个空间特征点在摄像设备归一化图像平面下的坐标值;摄像设备归一化图像平面图7中虚线所示的平面,可以通过亚像素定位技术获得pi(i=0,...,4)在摄像设备坐标系下的坐标为(xi,yi,1)。
L为靶标上四个特征点组成的正方形边长;
K1、K2、K3、和K4是和xi、yi有关的参数,关系如下:
K1=|x1(y2-y3)+y1(x3-y2)+x2y3-x3y2|
K2=|x1(y2-y4)+y1(x4-y2)+x2y4-x4y2|
K3=|x1(y3-y4)+y1(x4-y3)+x3y4-x4y3|
K4=|x2(y3-y4)+y2(x4-y3)+x3y4-x4y3|。
步骤S505:依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
如图6所示,牵引车相对于挂车转动角度为0°时,定位出靶标上四个标识点在摄像设备坐标系
Figure GDA0003100753690000091
下的坐标Pci 0=(xci 0,yci 0,zci 0),(i=1,2,3,4);当牵引车带动摄像头绕着挂车上的牵引销旋转角度θ时,定位出靶标上四个标识点在旋转后的摄像设备坐标系
Figure GDA0003100753690000092
下的坐标Pci θ=(xci θ,yci θ,zci θ),(i=1,2,3,4)。
在已知空间两坐标系
Figure GDA0003100753690000093
Figure GDA0003100753690000094
下四个公共点的坐标,求解这两个坐标系之间的位姿关系,即可得到该绝对定向问题的闭式解。
构建
Figure GDA0003100753690000095
Figure GDA0003100753690000096
中之间的位姿关系
Figure GDA0003100753690000097
其中,R为旋转矩阵,T为平移矩阵,
Figure GDA0003100753690000098
R=R(εx)R(εy)R(εz);其中,εx、εy、和εz分别为
Figure GDA0003100753690000099
的三坐标轴相对于
Figure GDA00031007536900000910
三坐标轴的旋转角度(由于卡车可能存在翻滚和俯仰,因此εx和εz不一定完全等于0°),ΔX、ΔY、ΔZ分别为
Figure GDA00031007536900000911
的三坐标轴相对于
Figure GDA00031007536900000912
三坐标轴的平移量;
采用绝对定向问题求解方法计算得到εx、εy、和εz,将εy确定为牵引车与挂车之间的转向角度。
该绝对定向问题的求解即是求解旋转矩阵R和平移矩阵T的过程。求解方式可以采用多种,可以采用基于罗格里德矩阵的转换方法,本方法可同时满足小角度和大角度情况,从而获得εx、εy、和εz
其中,Y方向的旋转角度εy即为牵引车相对于牵引销的旋转角度θ。
上述公式1的大体推导过程如下:
参见图7,设定平面靶标中四个标识点P1~P4和中心点P0在摄像设备归一化图像平面(图示中虚线所示的四边形)的投影点是p1~p4和p0;通过亚像素定位技术获得pi(i=0,...,4)在摄像设备坐标系下的坐标为(xi,yi,1),Z轴为数字1。
下面以标识点Pi为例进行说明,假设Pi的深度
Figure GDA0003100753690000101
其投影点pi到Oc的距离记为
Figure GDA0003100753690000102
在摄像设备坐标系下Pi的坐标为Pi c=(xci,yci,zci),则
Figure GDA0003100753690000103
由于四个标识点分布于正方形的四个顶点处,则任意三点与摄像设备的光心Oc所组成的四个三棱锥的体积相等。基于三棱锥体积计算公式可得:
Figure GDA0003100753690000104
代入等距约束关系
Figure GDA0003100753690000105
可得:
L2=(xc2-xc1)2+(yc2-yc1)2+(zc2-zc1)2……公式4
综合上述两式3和公式4可得:
Figure GDA0003100753690000106
将公式5代入公式2中,即可获得摄像设备坐标系下Pi的坐标为
Figure GDA0003100753690000107
通过上述方案可以得知,本申请具有如下有益效果:
根据卡车无人驾驶实际应用场景的需求,合理布置平面靶标和摄像设备于挂车和牵引车上的位置,结合平面靶标的标识点的先验信息确定原始状态下的平面靶标的原始坐标,以及通过图像处理方法确定转动一定角度后平面靶标的当前坐标,最后通过求解绝对定向问题,即可计算得到牵引车相对于挂车的转向角度。
本发明无需改造卡车、牵引销和鞍座,仅通过简单的靶标布置和视觉检测手段来实时获取牵引车相对于牵引销的转向角度。对于各种机型的卡车均可以能够适应,且,准确度较高。
参见图8,本申请提供了一种转向角度检测装置,集成于转向角度检测***中的处理器,所述转向角度检测***还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,所述平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;所述装置包括:
接收单元81,用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;
识别单元82,用于识别所述图像中的多个标识点;
确定单元83,用于确定所述多个标识点于摄像设备坐标系中当前坐标;
计算单元84,用于依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
关于转向角度检测装置的具体实现可以参见图5所示的实施例,在此不再赘述。
参见图1和2本申请提供了一种转向角度检测***,包括:
处理器(图示未示出);
与处理器相连,且,设置于牵引车驾驶舱后侧面的摄像设备1;
设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标2,且,所述平面靶标2设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;
其中,处理器用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;识别所述图像中的多个标识点;确定所述多个标识点于摄像设备坐标系中当前坐标;依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
其中,所述摄像设备的中心和平面靶标的中心处于同一水平面;
且,摄像设备的中心与牵引车与挂车之间中心线之间的误差小于预设误差,且,平面靶标的中心与牵引车与挂车之间中心线之间的误差小于预设误差;所述平面靶标包括四个标识点,且,四个标识点组成正方形。
通过上述方案可以得知,本申请具有如下有益效果:
根据卡车无人驾驶实际应用场景的需求,合理布置平面靶标和摄像设备于挂车和牵引车上的位置,结合平面靶标的标识点的先验信息确定原始状态下的平面靶标的原始坐标,以及通过图像处理方法确定转动一定角度后平面靶标的当前坐标,最后通过求解绝对定向问题,即可计算得到牵引车相对于挂车的转向角度。
本发明无需改造卡车、牵引销和鞍座,仅通过简单的靶标布置和视觉检测手段来实时获取牵引车相对于牵引销的转向角度。对于各种机型的卡车均可以能够适应,且,准确度较高。
本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种转向角度检测方法,其特征在于,应用于转向角度检测***中的处理器,所述转向角度检测***还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,所述平面靶标设置有四个标识点,且,四个标识点组成正方形;且,摄像设备的视角能够完全覆盖所述平面靶标的四个标识点;所述摄像设备的中心和平面靶标的中心处于同一水平面;且,摄像设备的中心与牵引车与挂车之间中心线之间的误差小于预设误差,且,平面靶标的中心与牵引车与挂车之间中心线之间的误差小于预设误差;所述方法包括:
接收摄像设备于牵引车转向过程中拍摄并发送的图像;
识别所述图像中的多个标识点;
确定所述多个标识点于摄像设备坐标系中当前坐标;所述摄像设备坐标系包括:以摄像设备的光心为原点;以摄像设备的光轴为Z轴;以水平面内垂直Z轴的直线为X轴;以左手定则确定垂直于X轴和Z轴所在平面的Y轴;构建X轴、Y轴和Z轴组成的摄像设备坐标系Oc-XcYcZc
依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度;
所述确定所述多个标识点于摄像设备坐标系中当前坐标,包括:
当牵引车相对于挂车转动角度为θ时,依据下述公式计算每个标识点Pi于摄像设备坐标系中的
Figure FDA0003100753680000011
下的当前坐标Pci θ=(xci θ,yci θ,zci θ),(i=1,2,3,4);
其中,xci θ、yci θ和zci θ的计算方式如下:
Figure FDA0003100753680000012
其中,xi、yi为平面靶标上四个空间特征点在摄像设备归一化图像平面下的坐标值;
L为靶标上四个特征点组成的正方形边长;
K1、K2、K3、和K4是和xi、yi有关的参数,关系如下:
K1=|x1(y2-y3)+y1(x3-y2)+x2y3-x3y2|
K2=|x1(y2-y4)+y1(x4-y2)+x2y4-x4y2|
K3=|x1(y3-y4)+y1(x4-y3)+x3y4-x4y3|
K4=|x2(y3-y4)+y2(x4-y3)+x3y4-x4y3|。
2.如权利要求1所述的方法,其特征在于,在接收摄像设备于牵引车转向过程中拍摄并发送的图像之前,还包括:
当牵引车相对于挂车转动角度为0°的情况下,通过视觉定位技术确定出平面靶标中四个标识点在摄像设备坐标系
Figure FDA0003100753680000021
下的原始坐标Pci 0=(xci 0,yci 0,zci 0),(i=1,2,3,4)。
3.如权利要求2所述的方法,其特征在于,所述依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度,包括:
构建
Figure FDA0003100753680000022
Figure FDA0003100753680000023
中之间的位姿关系
Figure FDA0003100753680000024
其中,R为旋转矩阵,T为平移矩阵,
Figure FDA0003100753680000025
R=R(εx)R(εy)R(εz);其中,εx、εy、和εz分别为
Figure FDA0003100753680000026
的三坐标轴相对于
Figure FDA0003100753680000027
三坐标轴的旋转角度,ΔX、ΔY、ΔZ分别为
Figure FDA0003100753680000028
的三坐标轴相对于
Figure FDA0003100753680000029
三坐标轴的平移量;
采用P4P定向求解方法计算得到εx、εy、和εz,将εy确定为牵引车与挂车之间的转向角度。
4.一种转向角度检测装置,其特征在于,集成于转向角度检测***中的处理器,所述转向角度检测***还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,所述平面靶标设置有四个标识点,且,四个标识点组成正方形;且,摄像设备的视角能够完全覆盖所述平面靶标的四个标识点;所述摄像设备的中心和平面靶标的中心处于同一水平面;且,摄像设备的中心与牵引车与挂车之间中心线之间的误差小于预设误差,且,平面靶标的中心与牵引车与挂车之间中心线之间的误差小于预设误差;所述装置包括:
接收单元,用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;
识别单元,用于识别所述图像中的多个标识点;
确定单元,用于确定所述多个标识点于摄像设备坐标系中当前坐标;所述摄像设备坐标系包括:以摄像设备的光心为原点;以摄像设备的光轴为Z轴;以水平面内垂直Z轴的直线为X轴;以左手定则确定垂直于X轴和Z轴所在平面的Y轴;构建X轴、Y轴和Z轴组成的摄像设备坐标系Oc-XcYcZc
计算单元,用于依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度;
所述确定单元具体用于:当牵引车相对于挂车转动角度为θ时,依据下述公式计算每个标识点Pi于摄像设备坐标系中的
Figure FDA0003100753680000031
下的当前坐标Pci θ=(xci θ,yci θ,zci θ),(i=1,2,3,4);
其中,xci θ、yci θ和zci θ的计算方式如下:
Figure FDA0003100753680000032
其中,xi、yi为平面靶标上四个空间特征点在摄像设备归一化图像平面下的坐标值;
L为靶标上四个特征点组成的正方形边长;
K1、K2、K3、和K4是和xi、yi有关的参数,关系如下:
K1=|x1(y2-y3)+y1(x3-y2)+x2y3-x3y2|
K2=|x1(y2-y4)+y1(x4-y2)+x2y4-x4y2|
K3=|x1(y3-y4)+y1(x4-y3)+x3y4-x4y3|
K4=|x2(y3-y4)+y2(x4-y3)+x3y4-x4y3|。
5.一种转向角度检测***,其特征在于,包括:
处理器;
与处理器相连,且,设置于牵引车驾驶舱后侧面的摄像设备;
设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,且,所述平面靶标设置有四个标识点,且,四个标识点组成正方形;且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;所述摄像设备的中心和平面靶标的中心处于同一水平面;且,摄像设备的中心与牵引车与挂车之间中心线之间的误差小于预设误差,且,平面靶标的中心与牵引车与挂车之间中心线之间的误差小于预设误差;
其中,处理器用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;识别所述图像中的多个标识点;确定所述多个标识点于摄像设备坐标系中当前坐标;依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度;
所述摄像设备坐标系包括:以摄像设备的光心为原点;以摄像设备的光轴为Z轴;以水平面内垂直Z轴的直线为X轴;以左手定则确定垂直于X轴和Z轴所在平面的Y轴;构建X轴、Y轴和Z轴组成的摄像设备坐标系Oc-XcYcZc
所述处理器用于确定所述多个标识点于摄像设备坐标系中当前坐标,包括:
当牵引车相对于挂车转动角度为θ时,依据下述公式计算每个标识点Pi于摄像设备坐标系中的
Figure FDA0003100753680000041
下的当前坐标Pci θ=(xci θ,yci θ,zci θ),(i=1,2,3,4);
其中,xci θ、yci θ和zci θ的计算方式如下:
Figure FDA0003100753680000042
其中,xi、yi为平面靶标上四个空间特征点在摄像设备归一化图像平面下的坐标值;
L为靶标上四个特征点组成的正方形边长;
K1、K2、K3、和K4是和xi、yi有关的参数,关系如下:
K1=|x1(y2-y3)+y1(x3-y2)+x2y3-x3y2|
K2=|x1(y2-y4)+y1(x4-y2)+x2y4-x4y2|
K3=|x1(y3-y4)+y1(x4-y3)+x3y4-x4y3|
K4=|x2(y3-y4)+y2(x4-y3)+x3y4-x4y3|。
CN201910123410.8A 2019-02-18 2019-02-18 转向角度检测方法、装置及*** Active CN111572633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910123410.8A CN111572633B (zh) 2019-02-18 2019-02-18 转向角度检测方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910123410.8A CN111572633B (zh) 2019-02-18 2019-02-18 转向角度检测方法、装置及***

Publications (2)

Publication Number Publication Date
CN111572633A CN111572633A (zh) 2020-08-25
CN111572633B true CN111572633B (zh) 2021-09-24

Family

ID=72112891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910123410.8A Active CN111572633B (zh) 2019-02-18 2019-02-18 转向角度检测方法、装置及***

Country Status (1)

Country Link
CN (1) CN111572633B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112356626B (zh) * 2020-12-04 2022-04-12 中科领航智能科技(苏州)有限公司 用于自动驾驶牵引车与拖斗自动对接的方法
CN113212079B (zh) * 2021-05-31 2023-01-20 驭势科技(北京)有限公司 一种牵引车与被牵引目标对接控制方法、设备和存储介质
CN114872790B (zh) * 2022-04-29 2023-04-07 盛视科技股份有限公司 基于视觉的拖挂车的转向夹角的检测方法及检测***
CN115131285A (zh) * 2022-04-29 2022-09-30 盛视科技股份有限公司 拖挂车转向夹角的检测方法及转向夹角的检测***
CN116823954B (zh) * 2023-08-29 2023-12-08 深圳魔视智能科技有限公司 铰接式车辆的位姿估计方法、装置、车辆及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064892A1 (de) * 2006-11-29 2008-06-05 Universität Koblenz-Landau Verfahren zum bestimmen einer position, vorrichtung und computerprogrammprodukt
CN103328285A (zh) * 2011-01-13 2013-09-25 大陆汽车***公司 用于在反向行进中操纵车辆拖车单元的***和方法
CN104417546A (zh) * 2013-08-27 2015-03-18 福特环球技术公司 用于挂车倒退辅助的挂车识别***
JP6376936B2 (ja) * 2014-10-14 2018-08-22 アルパイン株式会社 運転支援装置
CN108778784A (zh) * 2016-01-14 2018-11-09 大陆汽车***公司 具有无目标挂钩角度探测和拖车几何学习的车辆-拖车倒车***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9592851B2 (en) * 2013-02-04 2017-03-14 Ford Global Technologies, Llc Control modes for a trailer backup assist system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064892A1 (de) * 2006-11-29 2008-06-05 Universität Koblenz-Landau Verfahren zum bestimmen einer position, vorrichtung und computerprogrammprodukt
CN103328285A (zh) * 2011-01-13 2013-09-25 大陆汽车***公司 用于在反向行进中操纵车辆拖车单元的***和方法
CN104417546A (zh) * 2013-08-27 2015-03-18 福特环球技术公司 用于挂车倒退辅助的挂车识别***
JP6376936B2 (ja) * 2014-10-14 2018-08-22 アルパイン株式会社 運転支援装置
CN108778784A (zh) * 2016-01-14 2018-11-09 大陆汽车***公司 具有无目标挂钩角度探测和拖车几何学习的车辆-拖车倒车***

Also Published As

Publication number Publication date
CN111572633A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111572633B (zh) 转向角度检测方法、装置及***
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
CN111862672B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN110008893B (zh) 一种基于车载图像传感器的车辆行驶跑偏自动检测方法
CN111862673B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN107677274B (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
WO2020133172A1 (zh) 图像处理方法、设备及计算机可读存储介质
CN109523579B (zh) 一种无人机视频图像与三维地图的匹配方法和装置
CN106183995B (zh) 一种基于立体视觉的可视倒车方法
CN103204104B (zh) 一种车辆全视角驾驶监控***及方法
CN110148177A (zh) 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
CN107560603A (zh) 一种无人机倾斜摄影测量***及测量方法
CN113781562B (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN104949657A (zh) 物体检测装置、物体检测方法、以及包括物体检测程序的计算机可读非瞬时性存储介质
CN112116651A (zh) 一种基于无人机单目视觉的地面目标定位方法和***
CN113034605B (zh) 目标对象的位置确定方法、装置、电子设备及存储介质
Bazin et al. UAV attitude estimation by vanishing points in catadioptric images
CN111273701A (zh) 一种云台视觉控制***以及控制方法
CN113436313B (zh) 一种基于无人机的三维重建误差主动修正方法
CN112529935A (zh) 目标车辆运动状态识别方法及装置
CN112308899B (zh) 一种挂车角度识别方法及装置
CN112102396B (zh) 桥吊下的车辆定位方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220518

Address after: No. 203, Shanghai Songjiang Road, No. 201563, Pudong New Area

Patentee after: SAIC Motor Corp.,Ltd.

Patentee after: Shanghai automobile industry (Group) Co., Ltd

Address before: 201203 Room 509, Building No. 1, 563 Songtao Road, Zhangjiang High-tech Park, Pudong New Area, Shanghai

Patentee before: SAIC Motor Corp.,Ltd.

TR01 Transfer of patent right