CN111459176B - 车自动充电定位控制方法、标定方法及车辆姿态计算方法 - Google Patents

车自动充电定位控制方法、标定方法及车辆姿态计算方法 Download PDF

Info

Publication number
CN111459176B
CN111459176B CN202010258584.8A CN202010258584A CN111459176B CN 111459176 B CN111459176 B CN 111459176B CN 202010258584 A CN202010258584 A CN 202010258584A CN 111459176 B CN111459176 B CN 111459176B
Authority
CN
China
Prior art keywords
point
vehicle
value
robot
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010258584.8A
Other languages
English (en)
Other versions
CN111459176A (zh
Inventor
陈鹏飞
叶云波
吴迪
吕恕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Googol Changjiang Research Institute Co ltd
Original Assignee
Chongqing Googol Changjiang Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Googol Changjiang Research Institute Co ltd filed Critical Chongqing Googol Changjiang Research Institute Co ltd
Priority to CN202010258584.8A priority Critical patent/CN111459176B/zh
Publication of CN111459176A publication Critical patent/CN111459176A/zh
Application granted granted Critical
Publication of CN111459176B publication Critical patent/CN111459176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/70Energy storage systems for electromobility, e.g. batteries
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及基于点激光及2D相机的新能源车自动充电定位控制方法、标定方法及车辆姿态计算方法。控制方法,包括⑴车辆寻位阶段;⑵相机定位阶段;⑶车辆姿态纠正阶段。本发明不断迭代计算出偏移量,使得机器人在此偏移量下,拍照点、测量点所测量状态与标定模板时一致,即可认为此偏移量正是车相对标定模板时的位置姿态偏移,将此偏移量补偿至模板动作的轨迹后,新轨迹就适用于当前车的位置,可以完成充电等操作。

Description

车自动充电定位控制方法、标定方法及车辆姿态计算方法
技术领域
本发明涉及自动化技术领域,特别涉及一种基于点激光及2D相机的新能源车自动充电定位控制方法、标定方法及车辆姿态计算方法。
背景技术
新能源车由于行驶里程较短,存在大量需要充电的场景。对于家用而言,人工充电可满足需求。但对于工厂及自动无人泊车环境,由于车辆到达的时间及频次不确定、充电周期较长,安排专人在充电区等待车辆到来并充电、充电完成后拔枪,这种情况安排人工处理对人力及成本无疑是一种浪费。
因此使用六轴机器人对新能源车自动充电的需求应运而生。在车辆内部控制打开外部无法打开的外盖后,机器人需完成开内盖、插枪、拔枪、关盖的动作。由于车辆停止位置不一致,为准确完成动作不碰撞,机器人需要外部的精准定位引导,以纠正偏移。
传统的定位方式依赖于在车端加装传感器来实现定位,如AGV进入自动充电桩。或者依靠机械装置,强行限制车辆的位置,使得充电口位置恒定,让机器人走固定轨迹。但这些方法存在局限性,如机械限位装置无法适配不同规格尺寸的车辆,不同厂商车辆不可能统一加装同一种传感器,对车辆的兼容性很差。
发明内容
本发明的目的是提供一种实现准确定位车辆的位置姿态,传递位置偏移量给机器人,实现引导机器人运动。并实现对不同车辆的兼容性,实现装置柔性化,新增车型几乎无额外硬件设备开销,仅需要工作人员完成一次调试标定的基于点激光及2D相机的新能源车自动充电定位控制方法、标定方法及车辆姿态计算方法。
本发明的技术解决方案是所述基于点激光及2D相机的新能源车自动充电定位控制方法,包括2D相机、点激光,所述2D相机与所述点激光均安装于机器人末端工具上,并随机器人运动,其特殊之处在于,包括以下步骤:
⑴车辆寻位阶段,具体包括:
(1.1)机器人以检测姿态,从车位寻位初始点一端,步进向另一端移动,每次移动后拍照检测;
(1.2)判断是否检测到车内盖,若是,则进入步骤(1.4);若否,则向寻位终点方向以固定距离步进移动一次;
(1.3)判断是否到达寻位终点,若是,未检测到符合车辆,结束;若否,则返回步骤(1.1);
(1.4)当图像内存在车辆内盖时,判断内盖符合哪种车型模板,计算匹配车型,调用模板,设置后续检测程序发检测模板数据为该车型;
(1.5)结合移动距离及像素偏差值,计算位置补偿量;
⑵相机定位阶段,具体包括:
(2.1)根据计算获得的位置补偿量移动机器人到拍照点;
(2.2)拍照检测,并计算像素偏差值及机器人新的补偿量;
(2.3)判断偏差是否小于阈值,若否,则返回步骤(2.1),若是,则进入下一步骤;
⑶车辆姿态纠正阶段,具体包括:
(3.1)以当前补偿量,运动到指定测量点,采集计算姿势变换;
⑷相机二次定位阶段,具体包括:
(4.1)机器人以新补偿量运动到拍照点;
(4.2)拍照检测,并计算像素偏差值及机器人新补偿量;
(4.3)判断偏差是否小于阈值,若否,则返回步骤(4.1),若是,则进入下一步骤;
⑸车辆距离纠正阶段,具体包括:
(5.1)机器人以新补偿量运动到深度测量点;
(5.2)测量深度,并计算与模板深度差;
(5.3)判断深度差是否小于阈值,若否,则返回步骤(5.1),若是,则进入下一步骤;
⑹进一步判断循环次数是否满足阈值,若否,则返回步骤(2.1),若是,则结束。
作为优选:所述步骤(2.2)进一步包括:将图像像素差以像素到实际距离比例值k1转换为实际机器人运动距离,让机器人根据此数值运动;运动后再次拍照计算,得到新的特征像素差值,根据实际运动数值及运动前后两次像素差的差值,计算得到新的像素到实际距离比例值k1,代入下次运算;不断重复本过程,直至差值小于设定阈值后进入车辆姿态纠正阶段。
作为优选:所述步骤(3.1)进一步包括:在已测量的偏移量补偿基础上,走到设定固定点间距的多个测量点,依次测量得到测量点的深度数据。根据结果计算得出车的空间姿态变化,并传输给机器人。
作为优选:所述步骤(4.2)进一步包括:将图像像素差以像素到实际距离比例值k1转换为实际机器人运动距离,让机器人根据此数值运动;运动后再次拍照计算,得到新的特征像素差值,根据实际运动数值及运动前后两次像素差的差值,计算得到新的像素到实际距离比例值k1,代入下次运算。
作为优选:所述步骤(5.2)进一步包括:
采集当前深度值,与模板标定时采集值对比,差值以设定移动比例值k2转化后,让机器人以面向车辆的方向前后移动;移动后再次测量,若测量差值小于设定阈值,则认为阶段完成,否则根据移动前后测量得到的深度差的对比差值,修正移动比例值k2,代入下一次运算。
本发明的另一技术解决方案是所述基于点激光及2D相机的新能源车的标定方法,其特殊之处在于,包括以下步骤:
⑴相机模板图片采集,具体包括:
(1.1)调整机器人姿态位置,使相机能够拍到车内盖,让内盖位于图像正中,拍摄图像后,对图片处理,将图像中除内盖外区域置为白色,消除干扰特征;
⑵深度点采集姿,具体包括:
(2.1)调整机器人姿态位置,使点激光线尽量平行于地面,垂直于初始寻位运动方向,射在内盖正中,使得接近或远离车时,保证激光点在内盖上映射的位置变化较小;
(2.2)所述位置作为深度采集点,完成采集记录深度点点激光测量数值;
⑶姿态测量点采集,具体包括:
(3.1)以深度采集点为基准,保持机器人姿态欧拉角ABC不变,设置设定的XYZ偏移量作为姿态测量点;
(3.2)偏移量方向为除接近车辆方向外的其他两个方向的偏移量,即若机器人X轴运动方向为接近或远离车辆,则对机器人Y轴和Z轴方向设置偏移,深度记录点机器人位置为(x,y,z,a,b,c)时,采集点机器人位置为(x,y+n1,z+m1,a,b,c)、(x,y+n2,z+m2,a,b,c)、(x,y+n3,z+m3,a,b,c)……采集点需设置3组以上,同时保证激光点依旧位于内盖上;
⑷完成采集记录各点点激光测量数值,则能采集计算所需的数据。
本发明的再一技术解决方案是所述点激光及2D相机的新能源车车辆姿态计算方法,其特殊之处在于,包括以下步骤:
⑴相机定位,具体包括:
(1.1)图像获取:到达拍照点后,使用相机采集图像;
(1.2)特征点提取:采用图像特征描述子的方式,分别提取模板图片和运行采集图片中的特征点;
(1.3)特征点匹配及优化:对步骤(1.2)中提取的两组特征点,做初次匹配;由于直接匹配存在大量错误匹配对,所以通过k最近邻算法进行初次匹配筛选;再通过计算图像间的基础矩阵及单应矩阵,再次匹配筛选;获得置信度较高的匹配对组;
(1.4)像素差计算:在步骤(1.3)中,计算得到了n组匹配对;对于筛选后的模板图像中的特征点Pn1(Xn1,Yn1),在运行采集图像中都存在一个对应的Pm1(Xm1,Ym1),对于此匹配点对,像素差
(1.5)实际运动计算:在标定模板时,根据车盖上特征实际距离Lreal及像素差Limage,可计算得到初始的运动比例Kinit=Lreal/Limage
⑵车辆姿态计算,具体包括:
(2.1)以P0为原点,保留原有机器人坐标系坐标轴方向,构建观测坐标系Op;在观测坐标系下,各观测点坐标Ppi(dxi,dyi,dzi),消除P0点坐标影响;
(2.2)在观测坐标系Op中,各测量点点激光距离值L0、L1、L2、L3…Ln可作为距离方向坐标系方向轴Axis1的新数值,构建车盖上的点集Ppt;如当Y轴为选定轴时,车盖表面第i个映射点在坐标系Op中的坐标值为Ppti(dxi,Li,dzi);
(2.3)使用车盖上的点集Ppt在坐标系Op下的坐标,代入空间平面方程AX+BY+CZ+D=0;解超定方程得到车盖平面方程系数A、B、C、D,(A,B,C)即为平面的的法向量;
(2.4)深度测量点P0在车盖上的映射点在观测坐标系Op下为表示为Ppt0,选择非方向轴Axis1的其他任意一坐标系方向轴Axis2上的一点Paxis,求出沿坐标系方向轴Axis1方向投射到平面上的点Paxis
(2.5)以Ppt0为原点,矢量Ppt0Paxis、方向为新坐标系方向轴Axis2轴正方向,平面法向量以远离点Ppt0的一侧方向作为新坐标系方向轴Axis3轴正方向;根据右手系方向构建车盖坐标系Ocar
(2.6)在观测坐标系Op中,表示观测坐标系Op姿态的三个轴单位向量可用X(1,0,0)、Y(0,1,0)、Z(0,0,1)表示,即
在观测坐标系中,表示车盖坐标系Ocar姿态的三个轴单位向量可用X(x1,y1,z1)、Y(x2,y2,z2)、Z(x3,y3,z3)表示,即
坐标系B姿态到坐标系A姿态的变化,可用旋转矩阵RB_A表示
存在关系
RB_AB=A
B-1为B的逆,即旋转矩阵为RB_A=A B-1
该旋转矩阵物理意义为车内盖相对于机器人观测坐标系的姿态关系;
(2.7)标定模板时得到了模板位置相对于观测坐标系的旋转矩阵RB_A_std,后续工作时又测量到车新位置相对于观测坐标系的旋转矩阵RB_A_work,则工作时车停留的新位置,与模板位置之间的姿态变化量Rwork_std,即是机器人需要补偿的姿态,补偿此姿态后,相对姿态关系就与标定模板时相同;
得到变换矩阵后,根据机器人对应的欧拉角顺序形式,可求解得欧拉角变化值(A,B,C),将此值补偿至机器人轨迹即可;⑶深度距离纠正,具体包括:
(3.1)在标定模板时,深度测量点测到到车盖距离为Lstd,由于此值测量为实际尺寸,可设初始的运动比例Kinit=1;工作时,深度测量点测到到车盖距离为Lwork,则机器人接近方向补偿移动距离dl=(Lwork-Lstd)*K;
(3.2)但由于激光线无法调整得完全垂直车盖面,当机器人在接近方向移动时,会导致激光点在车盖上的位置微微变化,导致测量距离变化与移动值不一致,需要对此比例值K进行修正;修正方法如下:
上一次测量深度为L1,对应实际运动距离dL,本次测量深度为L2,则
计算完成后,对K校验,防止异常值产生;当K>0且K<2*Kinit时,认为K计算有效,否则K=Kinit
作为优选:所述步骤(1.4)中,由于两张图片拍摄位置的姿态及空间位置可能不同,不同时物体投影到像平面的位置不同,所以对于匹配点对像素差组GL下的每一个成员L1、L2、L3…Lk,不存在像素差相等的情况;只需要部分匹配点对的像素差小于阈值,就可认为相机定位阶段完成,进入点激光姿态校验阶段进行姿态矫正;
对匹配点对像素差组GL内的值按从小到大排序后,从第一位开始判断,判断符合则此值为结果像素差,不符合则依次位数递增;判断第i位值Vi是否小于对比最小值Vmin,小于则将对比值Vcompare设为对比最小值,否则将对比值设Vcompare=Vi*K(放大系数),计算像素差组中所有小于对比值Vcompare的数量占总体数量的比例,当比例大于设定阈值时,认为此点可作为当前定位的像素差结果;
当姿态矫正、深度矫正完成后,可认为在拍照点时,相机相对于车盖的空间关系完全和建立模板时一致,理想下各匹配点间像素差均为0;可用所有匹配点对的像素差与0的方差,作为评分校验匹配结果,即评分计算完成后,对K校验,防止异常值产生;当K>0且K<2*Kinit时,认为K计算有效,否则K=Kinit
作为优选:所述步骤(1.4)中,计算得到的像素差Li由dx、dy两部分组成,则机器人在图像dx、dy对应的轴方向的运动变化量为K*dx、K*dy,将此值传输至机器人完成运动即可;但同样因为两图片拍摄位置的姿态及空间位置不同,随着相机距内盖特征实际距离的变化,像素点转化为实际距离的比例尺也会变化,因此为了减少运动调节次数,需要对此比例值K进行修正。
作为优选:所述修正包括:上一次测量像素差为dx1、dy1,对应实际运动距离Lx、Ly,本次测量像素差为dx2、dy2;则计算完成后,对K校验,防止异常值产生;当K>0且K<2*Kinit时,认为K计算有效,否则K=Kinit
与现有技术相比,本发明的有益效果:
⑴本发明可结合机器人实现对不同车辆的自动充电动作,实现无人化自动充电,减少人工。
⑵本发明的硬件仅使用一个点激光及2D相机,成本低廉。
⑶本发明由于使用实时修正,偏差量迭代计算的方式,并不需要对传感器进行自身标定以减小畸变误差,及不需要要求传感安装位置的准确度及安装面的平面度,可任意组合安装。同时也不需要对相机、点激光同机器人间进行相互位置关系的标定。标定过程简便,不需要标定板等额外辅助物料,后期维护简单。
⑷新增支持车型不需要增加额外硬件,***具有柔性。
附图说明
图1是本发明的夹具示意图;
图2是本发明的步骤流程图;
图3是本发明模板图像采集处理前后图;
图4是本发明取4个姿态采集点的激光采集点示意图;
图5是本发明特征点(彩色斑点即为特征点)提取示意图;
图6是本发明优化过滤后匹配示意图;
图7是本发明坐标系示意图。
具体实施方式
本发明下面将结合附图作进一步详述:
请参阅图1所示的夹具结构,本发明依靠一个2D相机及一个点激光来实现算法定位,2D相机及点激光装于机器人末端工具上,随着机器人运动。
计算的结果为偏移量,即车当前停留位置与标定模板位置的空间位置变化值,以空间位置变化X、Y、Z及姿态欧拉角A、B、C共六个自由度的形式传给机器人,用于补偿模板轨迹。
使用2D相机实现的功能为:
⑴图像内,寻找标定时采集的车盖特征位置;
⑵计算图像坐标系中,当前车盖特征与模板车盖特征位置的xy像素差。
使用点激光实现的功能为:
⑴测量激光点深度;
⑵根据多个采集点,计算车辆的姿态欧拉角;
⑶比对当前距离与模板距离,调整机器人与车辆的距离。
定位过程为根据即时测量结果实时修正,迭代偏差结果,直至匹配;非一次测量完成,因此测量过程对绝对定位精度要求较低,传感器自身无需额外的标定。
请参阅图2所示的流程步骤,本发明运行时有五个阶段的执行步骤,其中为了保证最终精度,步骤2~5需作为一次小循环,需重复2~3次。
各步骤说明如下:
⑴车辆寻位阶段:
该阶段修正空间偏移量XYZ,机器人以检测姿态,从车位一端,步进向另一端移动,每次移动后拍照检测,当图像内存在车辆内盖时,判断内盖符合哪种车型模板,设置后续检测程序发检测模板数据为该车型,同时进入相机定位阶段;
⑵相机定位阶段:
该阶段修正空间偏移量XYZ,相机定位阶段时,将计算图像中提取的特征与模板特征在图像坐标下的坐标差值,将图像像素差以像素到实际距离比例值k1转换为实际机器人运动距离,让机器人根据此数值运动。运动后再次拍照计算,得到新的特征像素差值,根据实际运动数值及运动前后两次像素差的差值,计算得到新的像素到实际距离比例值k1,代入下次运算,不断重复本过程,直至差值小于设定阈值后进入车辆姿态纠正阶段。
⑶车辆姿态纠正阶段:
该阶段修正空间偏移量ABC。此阶段时,会在已测量的偏移量补偿基础上,走到设定固定点间距的多个测量点,依次测量得到测量点的深度数据。根据结果计算得出车的空间姿态变化,并传输给机器人,然后进入相机二次定位阶段。
⑷相机二次定位阶段:
该阶段修正空间偏移量XYZ,由于阶段3改变了姿态,按照原本的XYZ偏移量到达拍照点时,图像位置会发生变化,此时需再次计算图像中提取的特征与模板特征在图像坐标下的坐标差值,将图像像素差以像素到实际距离比例值k1转换为实际机器人运动距离,让机器人根据此数值运动。运动后再次拍照计算,得到新的特征像素差值,根据实际运动数值及运动前后两次像素差的差值,计算得到新的像素到实际距离比例值k1,代入下次运算,不断重复本过程,直至差值小于设定阈值后进入车辆距离纠正阶段。
⑸车辆距离纠正阶段:
该阶段修正空间偏移量XYZ。此阶段时,机器人会在已测量的偏移量补偿基础上,运动到到距离测量点;采集当前深度值,与模板标定时采集值对比,差值以设定移动比例值k2转化后,让机器人以面向车辆的方向前后移动。移动后再次测量,若测量差值小于设定阈值,则认为阶段完成,否则根据移动前后测量得到的深度差的对比差值,修正移动比例值k2,代入下一次运算。
新增不同类型车辆时,需要标定,将标定时车辆位置作为模板位置,用于后续补偿计算。完成机器人在此车辆位置的轨迹点调试后,开始进行本发明的标定流程。
本发明的标定步骤主要分为三部分,相机模板图片采集、深度点采集姿、态测量点采集;步骤简单说明如下:
⑴相机模板图片采集。
请参阅图3所示模板图像采集处理前后的效果图;调整机器人姿态位置,使相机能够拍到车内盖,并且尽量让内盖位于图像正中,拍摄图像后,对图片处理,将图像中除内盖外区域置为白色,消除干扰特征。
⑴深度点采集姿:
请参阅图4所示激光采集点位置,调整机器人姿态位置,使点激光线尽量平行于地面,垂直于初始寻位运动方向,射在内盖正中,使得接近或远离车时,保证激光点在内盖上映射的位置变化较小。此位置作为深度采集点,完成采集记录深度点点激光测量数值。
⑶姿态测量点采集:
以深度采集点为基准,保持机器人姿态欧拉角ABC不变,设置设定的XYZ偏移量作为姿态测量点。偏移量方向为除接近车辆方向外的其他两个方向的偏移量,即若机器人X轴运动方向为接近或远离车辆,则对机器人YZ轴方向设置偏移,深度记录点机器人位置为(x,y,z,a,b,c)时,采集点机器人位置为(x,y+n1,z+m1,a,b,c)、(x,y+n2,z+m2,a,b,c)、(x,y+n3,z+m3,a,b,c)……采集点需设置三组以上,同时保证激光点依旧位于内盖上,完成采集记录各点点激光测量数值。
完成上述三个过程,则能完全采集计算所需的数据。
本发明实现过程的原理:
本算法的核心思想:不断迭代计算出偏移量,使得机器人在此偏移量下,拍照点、测量点所测量状态与标定模板时一致,即可认为此偏移量正是车相对标定模板时的位置姿态偏移。将此偏移量补偿至模板动作的轨迹后,新轨迹就适用于当前车的位置,可以完成充电等操作。
偏移量含有六个自由度X、Y、Z、A、B、C。通过相机定位计算得到X、Y、Z自由度中的两个值,深度距离纠正另外一个值;车辆姿态计算得到A、B、C三个自由度。
A.相机定位:
相机定位主要分为几个阶段,图像获取、特征点提取、特征点匹配及优化、像素差计算、实际运动计算。
⑴图像获取:到达拍照点后,使用相机采集图像;
请参阅图5所示的提取特征点效果;
⑵特征点提取:采用图像特征描述子的方式,分别提取模板图片和运行采集图片中的特征点;。
⑶特征点匹配及优化
请参阅图6所示的优化过滤后匹配的效果示意,对步骤⑵中提取的两组特征点,做初次匹配;由于直接匹配存在大量错误匹配对,所以通过k最近邻算法进行初次匹配筛选;然后通过计算图像间的基础矩阵及单应矩阵,再次匹配筛选;获得置信度较高的匹配对组。
⑷像素差计算:
在步骤⑶中,计算得到了n组匹配对;对于筛选后的模板图像中的特征点Pn1(Xn1,Yn1),在运行采集图像中都存在一个对应的Pm1(Xm1,Ym1),对于此匹配点对,像素差
由于两张图片拍摄位置的姿态及空间位置可能不同,不同时物体投影到像平面的位置不同,所以对于匹配点对像素差组GL下的每一个成员L1、L2、L3…Lk,不存在像素差相等的情况;只需要部分匹配点对的像素差小于阈值,就可认为相机定位阶段完成,进入点激光姿态校验阶段进行姿态矫正。
对匹配点对像素差组GL内的值按从小到大排序后,从第一位开始判断,判断符合则此值为结果像素差,不符合则依次位数递增。判断第i位值Vi是否小于对比最小值Vmin,小于则将对比值Vcompare设为对比最小值,否则;将对比值设Vcompare=Vi*K(放大系数),计算像素差组中所有小于对比值Vcompare的数量占总体数量的比例,当比例大于设定阈值时,认为此点可作为当前定位的像素差结果。
同理,当姿态矫正、深度矫正完成后,可认为在拍照点时,相机相对于车盖的空间关系完全和建立模板时一致,理想下各匹配点间像素差均为0。可用所有匹配点对的像素差与0的方差,作为评分校验匹配结果,即评分。当评分小于设定阈值时,认为结果有效。
⑸实际运动计算:
在标定模板时,根据车盖上特征实际距离Lreal及像素差Limage,可计算得到初始的运动比例Kinit=Lreal/Limage
步骤⑷中,计算得到的像素差Li由dx、dy两部分组成,则机器人在图像dx、dy对应的轴方向的运动变化量为K*dx、K*dy,将此值传输至机器人完成运动即可。
但同样因为两图片拍摄位置的姿态及空间位置不同,随着相机距内盖特征实际距离的变化,像素点转化为实际距离的比例尺也会变化,因此为了减少运动调节次数,需要对此比例值K进行修正。
修正方法如下:上一次测量像素差为dx1、dy1,对应实际运动距离Lx、Ly,本次测量像素差为dx2、dy2;则计算完成后,对K校验,防止异常值产生。当K>0且K<2*Kinit时,认为K计算有效,否则K=Kinit
B.车辆姿态计算:
对于机器人姿态测量点的点集P,是以深度测量点P0(X0,Y0,Z0)为基准构建,对第i个姿态测量点,在机器人坐标系下坐标值为Pi(X0+dxi,Y0+dyi,Z0+dzi)。由于每次测量姿态时,都带有不同的偏移量,即X0、Y0、Z0每次数值都位置不同。可以P0为原点,保留原有机器人坐标系坐标轴方向,构建观测坐标系Op,在观测坐标系下,各观测点坐标Ppi(dxi,dyi,dzi),消除P0点坐标影响,简化计算。
由于机器人测量点XYZ方向中,选取点位时固定了接近/远离车的距离运动方向Axis轴,观测点在这Axis轴上的数值不变化,即
dx1=dx2=dx3=…=dxn=0或dy1=dy2=dy3=…=dyn=0或dz1=dz2=dz3=…=dzn=0。在观测坐标系Op中,各测量点点激光距离值L0、L1、L2、L3...Ln可作为距离方向坐标系方向轴Axis1的新数值,构建车盖上的点集Ppt。如当Y轴为选定轴时,车盖表面第i个映射点在坐标系Op中的坐标值为Ppti(dxi,Li,dzi)。
使用车盖上的点集Ppt在坐标系Op下的坐标,代入空间平面方程AX+BY+CZ+D=0;解超定方程得到车盖平面方程系数A、B、C、D,(A,B,C)即为平面的的法向量。
深度测量点P0在车盖上的映射点在观测坐标系Op下为表示为Ppt0,选择非方向轴Axis1的其他任意一坐标系方向轴Axis2上的一点Paxis,求出沿坐标系方向轴Axis1方向投射到平面上的点P`axis
以Ppt0为原点,矢量Ppt0 P`axis方向为新坐标系方向轴Axis2轴正方向,平面法向量以远离点Ppt0的一侧方向作为新坐标系方向轴Axis3轴正方向。根据右手系方向构建车盖坐标系Ocar
图7所示坐标系关系图为作为基准的机器人基座标系Orob与其下的观测坐标系Op及车盖坐标系Ocar之间的关系。
在观测坐标系Op中,表示观测坐标系Op姿态的三个轴单位向量可用X(1,0,0)、Y(0,1,0)、Z(0,0,1)表示。即
在观测坐标系中,表示车盖坐标系Ocar姿态的三个轴单位向量可用X(x1,y1,z1)、Y(x2,y2,z2)、Z(x3,y3,z3)表示。即
坐标系B姿态到坐标系A姿态的变化,可用旋转矩阵RB_A表示
存在关系
RB_A B=A
B-1为B的逆,即旋转矩阵为RB_A=A B-1
此旋转矩阵物理意义为车内盖相对于机器人观测坐标系的姿态关系。
标定模板时得到了模板位置相对于观测坐标系的旋转矩阵RB_A_std,后续工作时又测量到了车新位置相对于观测坐标系的旋转矩阵RB_A_work。则工作时车停留的新位置,与模板位置之间的姿态变化量Rwork_std,即是机器人需要补偿的姿态,补偿此姿态后,相对姿态关系就与标定模板时相同。
得到变换矩阵后,根据机器人对应的欧拉角顺序形式(如zyx,xyz等),可求解得欧拉角变化值(A,B,C),将此值补偿至机器人轨迹即可。
C.深度距离纠正:
在标定模板时,深度测量点测到到车盖距离为Lstd,由于此值测量为实际尺寸,可设初始的运动比例Kinit=1。工作时,深度测量点测到到车盖距离为Lwork,则机器人接近方向补偿移动距离dl=(Lwork-Lstd)*K。
但由于激光线无法调整得完全垂直车盖面,当机器人在接近方向移动时,会导致激光点在车盖上的位置微微变化,导致测量距离变化与移动值不一致,需要对此比例值K进行修正。
修正方法如下:
上一次测量深度为L1,对应实际运动距离dL,本次测量深度为L2。则计算完成后,对K校验,防止异常值产生。当K>0且K<2*Kinit时认为K计算有效,否则K=Kinit
以上所述仅为本发明的较佳实施例,凡依本发明权利要求范围所做的均等变化与修饰,皆应属本发明权利要求的涵盖范围。

Claims (9)

1.一种基于点激光及2D相机的新能源车自动充电定位控制方法,包括2D相机、点激光,所述2D相机与所述点激光均安装于机器人末端工具上,并随机器人运动,其特征在于,包括以下步骤:
⑴车辆寻位阶段,具体包括:
(1.1)机器人以检测姿态,从车位寻位初始点一端,步进向另一端移动,每次移动后拍照检测;
(1.2)判断是否检测到车内盖,若是,则进入步骤(1.4);若否,则向寻位终点方向以固定距离步进移动一次;
(1.3)判断是否到达寻位终点,若是,未检测到符合车辆,结束;若否,则返回步骤(1.1);
(1.4)当图像内存在车辆内盖时,判断内盖符合哪种车型模板,计算匹配车型,调用模板,设置后续检测程序发检测模板数据为该车型;
(1.5)结合移动距离及像素偏差值,计算位置补偿量;
⑵相机定位阶段,具体包括:
(2.1)根据计算获得的位置补偿量移动机器人到拍照点;
(2.2)拍照检测,并计算像素偏差值及机器人新的补偿量;
(2.3)判断偏差是否小于阈值,若否,则返回步骤(2.1),若是,则进入下一步骤;
⑶车辆姿态纠正阶段,具体包括:
(3.1)以当前补偿量,运动到指定测量点,采集计算姿势变换;
⑷相机二次定位阶段,具体包括:
(4.1)机器人以新补偿量运动到拍照点;
(4.2)拍照检测,并计算像素偏差值及机器人新补偿量;
(4.3)判断偏差是否小于阈值,若否,则返回步骤(4.1),若是,则进入下一步骤;
⑸车辆距离纠正阶段,具体包括:
(5.1)机器人以新补偿量运动到深度测量点;
(5.2)测量深度,并计算与模板深度差;
(5.3)判断深度差是否小于阈值,若否,则返回步骤(5.1),若是,则进入下一步骤;
⑹进一步判断循环次数是否满足阈值,若否,则返回步骤(2.1),若是,则结束。
2.根据权利要求1所述基于点激光及2D相机的新能源车自动充电定位控制方法,其特征在于,所述步骤(2.2)进一步包括:将图像像素差以像素到实际距离比例值k1转换为实际机器人运动距离,让机器人根据此数值运动;运动后再次拍照计算,得到新的特征像素差值,根据实际运动数值及运动前后两次像素差的差值,计算得到新的像素到实际距离比例值k1,代入下次运算;不断重复本过程,直至差值小于设定阈值后进入车辆姿态纠正阶段。
3.根据权利要求1所述基于点激光及2D相机的新能源车自动充电定位控制方法,其特征在于,所述步骤(3.1)进一步包括:在已测量的偏移量补偿基础上,走到设定固定点间距的多个测量点,依次测量得到测量点的深度数据;根据结果计算得出车的空间姿态变化,并传输给机器人。
4.根据权利要求1所述基于点激光及2D相机的新能源车自动充电定位控制方法,其特征在于,所述步骤(4.2)进一步包括:将图像像素差以像素到实际距离比例值k1转换为实际机器人运动距离,让机器人根据此数值运动;运动后再次拍照计算,得到新的特征像素差值,根据实际运动数值及运动前后两次像素差的差值,计算得到新的像素到实际距离比例值k1,代入下次运算。
5.根据权利要求1所述基于点激光及2D相机的新能源车自动充电定位控制方法,其特征在于,所述步骤(5.2)进一步包括:
采集当前深度值,与模板标定时采集值对比,差值以设定移动比例值k2转化后,让机器人以面向车辆的方向前后移动;移动后再次测量,若测量差值小于设定阈值,则认为阶段完成,否则根据移动前后测量得到的深度差的对比差值,修正移动比例值k2,代入下一次运算。
6.一种点激光及2D相机的新能源车辆姿态计算方法,其特征在于,包括以下步骤:
⑴相机定位,具体包括:
(1.1)图像获取:到达拍照点后,使用相机采集图像;
(1.2)特征点提取:采用图像特征描述子的方式,分别提取模板图片和运行采集图片中的特征点;
(1.3)特征点匹配及优化:对步骤(1.2)中提取的两组特征点,做初次匹配;由于直接匹配存在大量错误匹配对,所以通过k最近邻算法进行初次匹配筛选;再通过计算图像间的基础矩阵及单应矩阵,再次匹配筛选;获得置信度较高的匹配对组;
(1.4)像素差计算:在步骤(1.3)中,计算得到了n组匹配对;对于筛选后的模板图像中的特征点Pn1(Xn1,Yn1),在运行采集图像中都存在一个对应的Pm1(Xm1,Ym1),对于此匹配点对,像素差
(1.5)实际运动计算:在标定模板时,根据车盖上特征实际距离Lreal及像素差Limage,可计算得到初始的运动比例Kinit=Lreal/Limage;
⑵车辆姿态计算,具体包括:
(2.1)以P0为原点,保留原有机器人坐标系坐标轴方向,构建观测坐标系Op;在观测坐标系下,各观测点坐标Ppi(dxi,dyi,dzi),消除P0点坐标影响;
(2.2)在观测坐标系Op中,各测量点点激光距离值L0、L1、L2、L3…Ln可作为距离方向坐标系方向轴Axis1的新数值,构建车盖上的点集Ppt;如当Y轴为选定轴时,车盖表面第i个映射点在坐标系Op中的坐标值为Ppti(dxi,Li,dzi);
(2.3)使用车盖上的点集Ppt在坐标系Op下的坐标,代入空间平面方程AX+BY+CZ+D=0;解超定方程得到车盖平面方程系数A、B、C、D,(A,B,C)即为平面的法向量;
(2.4)深度测量点P0在车盖上的映射点在观测坐标系Op下为表示为Ppt0,选择非方向轴Axis1的其他任意一坐标系方向轴Axis2上的一点Paxis,求出沿坐标系方向轴Axis1方向投射到平面上的点Paxis
(2.5)以Ppt0为原点,矢量Ppt0Paxis`方向为新坐标系方向轴Axis2轴正方向,平面法向量以远离点Ppt0的一侧方向作为新坐标系方向轴Axis3轴正方向;根据右手系方向构建车盖坐标系Ocar
(2.6)在观测坐标系Op中,表示观测坐标系Op姿态的三个轴单位向量可用X(1,0,0)、Y(0,1,0)、Z(0,0,1)表示,即
在观测坐标系中,表示车盖坐标系Ocar姿态的三个轴单位向量可用X(x1,y1,z1)、Y(x2,y2,z2)、Z(x3,y3,z3)表示,即
坐标系B姿态到坐标系A姿态的变化,可用旋转矩阵RB_A表示
存在关系
RB_AB=A
B-1为B的逆,即旋转矩阵为
RB_A=A B-1
该旋转矩阵物理意义为车内盖相对于机器人观测坐标系的姿态关系;
(2.7)标定模板时得到了模板位置相对于观测坐标系的旋转矩阵RB_A_std,后续工作时又测量到车新位置相对于观测坐标系的旋转矩阵RB_A_work,则工作时车停留的新位置,与模板位置之间的姿态变化量Rwork_std,即是机器人需要补偿的姿态,补偿此姿态后,相对姿态关系就与标定模板时相同;
得到变换矩阵后,根据机器人对应的欧拉角顺序形式,可求解得欧拉角变化值(A,B,C),将此值补偿至机器人轨迹即可;
⑶深度距离纠正,具体包括:
(3.1)在标定模板时,深度测量点测到车盖距离为Lstd,由于此值测量为实际尺寸,可设初始的运动比例Kinit=1;工作时,深度测量点测到车盖距离为Lwork,则机器人接近方向补偿移动距离dl=(Lwork-Lstd)*K;
(3.2)但由于激光线无法调整得完全垂直车盖面,当机器人在接近方向移动时,会导致激光点在车盖上的位置微微变化,导致测量距离变化与移动值不一致,需要对此比例值K进行修正;修正方法如下:
上一次测量深度为L1,对应实际运动距离dL,本次测量深度为L2,则
计算完成后,对K校验,防止异常值产生;当K>0且K<2*Kinit时,认为K计算有效,否则K=Kinit
7.根据权利要求6所述点激光及2D相机的新能源车辆姿态计算方法,其特征在于,所述步骤(1.4)中,由于两张图片拍摄位置的姿态及空间位置可能不同,不同时物体投影到像平面的位置不同,所以对于匹配点对像素差组GL下的每一个成员L1、L2、L3…Lk,不存在像素差相等的情况;只需要部分匹配点对的像素差小于阈值,就可认为相机定位阶段完成,进入点激光姿态校验阶段进行姿态矫正;
对匹配点对像素差组GL内的值按从小到大排序后,从第一位开始判断,判断符合则此值为结果像素差,不符合则依次位数递增;判断第i位值Vi是否小于对比最小值Vmin,小于则将对比值Vcompare设为对比最小值,否则将对比值设Vcompare=Vi*K,其中K为放大系数,计算像素差组中所有小于对比值Vcompare的数量占总体数量的比例,当比例大于设定阈值时,认为此点可作为当前定位的像素差结果;
当姿态矫正、深度矫正完成后,可认为在拍照点时,相机相对于车盖的空间关系完全和建立模板时一致,理想下各匹配点间像素差均为0;可用所有匹配点对的像素差与0的方差,作为评分校验匹配结果,即评分当评分小于设定阈值时,认为结果有效。
8.根据权利要求6所述点激光及2D相机的新能源车辆姿态计算方法,其特征在于,所述步骤(1.4)中,计算得到的像素差Li由dx、dy两部分组成,则机器人在图像dx、dy对应的轴方向的运动变化量为K*dx、K*dy,将此值传输至机器人完成运动即可;但同样因为两图片拍摄位置的姿态及空间位置不同,随着相机距内盖特征实际距离的变化,像素点转化为实际距离的比例尺也会变化,因此为了减少运动调节次数,需要对此比例值K进行修正。
9.根据权利要求8所述点激光及2D相机的新能源车辆姿态计算方法,其特征在于,所述修正包括:上一次测量像素差为dx1、dy1,对应实际运动距离Lx、Ly,本次测量像素差为dx2、dy2;则计算完成后,对K校验,防止异常值产生;当K>0且K<2*Kinit时,认为K计算有效,否则K=Kinit
CN202010258584.8A 2020-04-03 2020-04-03 车自动充电定位控制方法、标定方法及车辆姿态计算方法 Active CN111459176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010258584.8A CN111459176B (zh) 2020-04-03 2020-04-03 车自动充电定位控制方法、标定方法及车辆姿态计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010258584.8A CN111459176B (zh) 2020-04-03 2020-04-03 车自动充电定位控制方法、标定方法及车辆姿态计算方法

Publications (2)

Publication Number Publication Date
CN111459176A CN111459176A (zh) 2020-07-28
CN111459176B true CN111459176B (zh) 2023-09-01

Family

ID=71685895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010258584.8A Active CN111459176B (zh) 2020-04-03 2020-04-03 车自动充电定位控制方法、标定方法及车辆姿态计算方法

Country Status (1)

Country Link
CN (1) CN111459176B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112170124B (zh) * 2020-09-29 2021-12-14 广汽本田汽车有限公司 一种车身车框视觉定位方法及装置
CN113487686A (zh) * 2021-08-02 2021-10-08 固高科技股份有限公司 一种多目相机的标定方法、装置、多目相机和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886545A (zh) * 2017-11-03 2018-04-06 西安航天精密机电研究所 电动汽车换电的视觉***、标定方法及电池定位方法
CN108508897A (zh) * 2018-04-20 2018-09-07 杭州蓝芯科技有限公司 一种基于视觉的机器人自动充电对准***及方法
CN109727290A (zh) * 2018-12-26 2019-05-07 南京理工大学 基于单目视觉三角测距法的变焦相机动态标定方法
CN109827507A (zh) * 2019-01-22 2019-05-31 上海蔚来汽车有限公司 基于定焦距相机的视觉定位换电方法及换电***
CN109977954A (zh) * 2019-04-01 2019-07-05 上海电气集团股份有限公司 电动汽车充电接口的识别及定位方法及***
CN110340887A (zh) * 2019-06-12 2019-10-18 西安交通大学 一种基于图像的加油机器人视觉引导的方法
CN209776188U (zh) * 2019-01-21 2019-12-13 河南埃尔森智能科技有限公司 一种基于3d视觉技术的汽车无人充电***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205283B2 (en) * 2017-02-16 2021-12-21 Qualcomm Incorporated Camera auto-calibration with gyroscope

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886545A (zh) * 2017-11-03 2018-04-06 西安航天精密机电研究所 电动汽车换电的视觉***、标定方法及电池定位方法
CN108508897A (zh) * 2018-04-20 2018-09-07 杭州蓝芯科技有限公司 一种基于视觉的机器人自动充电对准***及方法
CN109727290A (zh) * 2018-12-26 2019-05-07 南京理工大学 基于单目视觉三角测距法的变焦相机动态标定方法
CN209776188U (zh) * 2019-01-21 2019-12-13 河南埃尔森智能科技有限公司 一种基于3d视觉技术的汽车无人充电***
CN109827507A (zh) * 2019-01-22 2019-05-31 上海蔚来汽车有限公司 基于定焦距相机的视觉定位换电方法及换电***
CN109977954A (zh) * 2019-04-01 2019-07-05 上海电气集团股份有限公司 电动汽车充电接口的识别及定位方法及***
CN110340887A (zh) * 2019-06-12 2019-10-18 西安交通大学 一种基于图像的加油机器人视觉引导的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王超.电动汽车充电口位姿激光扫描定位技术的研究.《中国优秀硕士学位论文全文数据库(电子期刊)》.2020,第 3 章 充电口位姿扫描式激光定位***设计. *

Also Published As

Publication number Publication date
CN111459176A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN111595333B (zh) 视觉惯性激光数据融合的模块化无人车定位方法及***
CN106457562B (zh) 用于校准机器人的方法和机器人***
CN108109174B (zh) 一种用于散乱零件随机分拣的机器人单目引导方法和***
CN110238845B (zh) 最优标定点选取和误差自测量的自动手眼标定方法及装置
JP6180087B2 (ja) 情報処理装置及び情報処理方法
JP4021413B2 (ja) 計測装置
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
US8520067B2 (en) Method for calibrating a measuring system
CN110146099B (zh) 一种基于深度学习的同步定位与地图构建方法
JP6165745B2 (ja) 車載搭載型のコンピュータ・ベース視覚システムの校正方法
CN111459176B (zh) 车自动充电定位控制方法、标定方法及车辆姿态计算方法
CN102914293A (zh) 信息处理设备和信息处理方法
CN110136204B (zh) 基于双侧远心镜头相机机床位置标定的音膜球顶装配***
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
JPH06131420A (ja) 建設支援装置及び方法
CN114347008A (zh) 基于工业机器人的无序抓取工件方法、装置及智能终端
CN114001651B (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
JP2003089086A (ja) ロボット制御装置
CN111899303B (zh) 一种新的考虑空间逆投影约束的特征匹配与相对定位方法
CN111145267B (zh) 基于imu辅助的360度全景视图多相机标定方法
CN113459841B (zh) 基于无标定双目视觉的自动充电控制方法和装置
CN112584041B (zh) 一种图像识别动态纠偏方法
CN112184819A (zh) 机器人的引导方法、装置、计算机设备和存储介质
CN114419259A (zh) 一种基于物理模型成像仿真的视觉定位方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant