CN111145249B - 一种基于车载的自动标定控制方法、存储介质和*** - Google Patents
一种基于车载的自动标定控制方法、存储介质和*** Download PDFInfo
- Publication number
- CN111145249B CN111145249B CN201910817490.7A CN201910817490A CN111145249B CN 111145249 B CN111145249 B CN 111145249B CN 201910817490 A CN201910817490 A CN 201910817490A CN 111145249 B CN111145249 B CN 111145249B
- Authority
- CN
- China
- Prior art keywords
- calibration
- point
- positioning data
- vehicle
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 102000027426 receptor tyrosine kinases Human genes 0.000 description 22
- 108091008598 receptor tyrosine kinases Proteins 0.000 description 22
- 239000003550 marker Substances 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 14
- 238000012549 training Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010034701 Peroneal nerve palsy Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011151 fibre-reinforced plastic Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/43—Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域,公开了一种基于车载的自动标定控制方法:获取视频图像数据,识别标定点数量,获取车载定位点的定位数据;在第一标定距离,获取第一标定位置的定位数据;在第二标定距离,获取第二标定位置的定位数据;根据第一标定位置和第二标定位置的定位数据,计算车身航向;计算车身航向与第一标定点和第二标定点的连线之间的夹角;当|夹角‑90°|≤第一阈值时触发标定。还公开了相应的存储介质和***。本发明的一些技术效果在于:实现摄像机标定的自动化控制。
Description
技术领域
本发明涉及图像处理领域,特别涉及图像处理领域的自动标定控制方法。
背景技术
视觉是人类观察世界和认识世界的重要手段,占人类从外界环境获取信息的70%。人类利用眼睛获取周围物体反射或自身发出的光线,光线在视网膜上形成图像,经过神经纤维传送到大脑,大脑对视觉信息进行处理与理解,最终形成视觉。计算机视觉模拟人类视觉的功能,利用摄像机获取周围环境的图像,利用计算机处理图像。计算机视觉可以完成人类视觉不能胜任的工作,例如对待测物体的大小、远近进行精确的测量。计算机视觉技术可以广泛运用于测绘领域、视觉检测、自动驾驶等领域。
计算机视觉的基本任务之一是从摄像机获取的图像信息出发来计算三维空间中物体的几何信息,并由此重建或识别物体,并进一步认知现实世界。其中,摄像机标定是完成该任务的必经途径。通过识别标定物来获取标定点的坐标信息。按照是否需要标定物,摄像机标定方法可分为传统标定方法和自标定方法。传统的摄像机标定方法是将具有已知形状和尺寸的标定物作为摄像机的拍摄对象,然后对拍摄到的图像进行相关处理,并利用一系列的数学变换求取摄像机模型的内外参数。摄像机自标定法不需要标定物,仅仅依靠多幅图像对应点之间的关系直接进行标定。到目前为止,自标定方法较为灵活,但由于标定时涉及到的未知参数过多,很难得到稳定的结果。反之,传统标定方法较为成熟,且标定结果精度较高,得到了较为广泛的应用。
针对传统摄像机标定技术而言,标定物上特征点坐标的提取是不可回避的步骤,同时特征点的定位精度对最终的标定结果有着重要的影响。随着摄像机标定技术适用范围的扩展,应用的现场环境出现了多样化的趋势,比如工厂环境,户外大背景环境或者多标定物共存等情况,导致了在处理图像时,特征点提取精度不足或者根本无法有效完成提取等问题。传统摄像机标定方法中,标定物是必不可少的组件。通常情况下作为参照物的标定物应满足如下基本要求:其一,在图像处理中,标定物的图像特征部分应易于识别,即对比背景环境,参照物应与其存在较鲜明的差别;其二,参照物的特征部分在进行图像处理时,应易于提取。标定参照物通常分为两大类:三维立体标定物与二维平面标定物。三维立体标定物通常是正方体的单色小方块。传统摄像机标定方法还存在一个易用性问题,目前较为流行方法往往需要人工交互参与才能够完成。人工交互参与度高,使得传统标定方法重复性低,标定一次需要重复一次人工步骤。
发明内容
为至少解决摄像机标定的自动控制问题,本发明提出了基于车载的自动标定控制方法,其技术方案如下:
获取图像数据,识别标定点数量,获取车载定位点的定位数据;在第一标定距离,获取第一标定位置的定位数据;在第二标定距离,获取第二标定位置的定位数据;根据第一标定位置和第二标定位置的定位数据,计算车身航向;计算车身航向与第一标定点和第二标定点的连线之间的夹角;当|夹角-90°|≤第一阈值时触发标定。
优选地,车载定位点的定位数据是在识别出所有标定点后才进行获取。
优选地,定位数据是RTK定位数据。
优选地,第一标定距离≤最大标定工作半径,第二标定距离≥最小标定工作半径。
优选地,最大标定工作半径为8m,最小标定工作半径为3m。
优选地,第一阈值是5°。
优选地,还包括如下步骤:识别任意一个标定点,计算其理论世界坐标;当标定点的理论世界坐标和实际世界坐标之间的误差绝对值小于第二阈值时,保存标定参数,终止标定。
优选地,第二阈值是20cm。
相应地,本发明公开了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序执行前述的方法。
本发明还公开了自动标定的控制***,包括标定点识别模块、车身航向判断模块、触发模块和校验模块。所述的标定点识别模块用于获取和处理图像数据,识别标定点;所述车身航向判断模块用于获取和处理车载定位点的定位数据,判断车身航向与标定点的位置关系;所述触发模块用于发送标定指令,启动标定;所述校验模块用于标定结果的校验。
本发明所提出的方法、存储介质及装置,至少一方面提供了摄像机标定的自动控制的解决技术方案,可以很好地实现摄像机标定时的自动控制。
附图说明
为更好地理解本发明的技术方案,可参考下列的、用于对现有技术或实施例进行辅助说明的附图。这些附图将对现有技术或本发明部分实施例中,涉及到的产品或方法有选择地进行展示。这些附图的基本信息如下:
图1为一个实施例中,基于车载的自动标定控制方法流程图。
图2为一个实施例中,标定点的安装位置示意图。
图3为一个实施例中,RTK定位点的安装位置示意图。
图4为一个实施例中,标定点坐标计算示意图。
图5为一个实施例中,标定物的路面设置示意图。
图6为一个实施例中,预设标记物安设置示意图。
具体实施方式
下文将对本发明涉及的技术手段或技术效果作进一步的展开描述,显然,所提供的实施例仅是本发明的部分实施方式,而并非全部。基于本发明中的实施例以及图文的明示或暗示,本领域技术人员在没有作出创造性劳动的前提下所能获得的所有其他实施例,都将在本发明保护的范围之内。
在总体思路上,本发明公开了一种基于车载的自动标定控制方法,包括以下步骤:获取图像数据,识别标定点数量,获取车载定位点的定位数据;在第一标定距离,获取第一标定位置的定位数据;在第二标定距离,获取第二标定位置的定位数据;根据第一标定位置和第二标定位置的定位数据,计算车身航向;计算车身航向与第一标定点和第二标定点的连线之间的夹角;当|夹角-90°|≤第一阈值时触发标定。
相应地,一个实施例中,本发明提出了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序执行前述的方法。
相应地,一个实施例中,本发明提出了自动标定的控制***,包括标定点识别模块、车身航向判断模块、触发模块和校验模块。所述的标定点识别模块用于获取和处理图像数据,识别标定点;所述车身航向判断模块用于获取和处理车载定位点的定位数据,判断车身航向与标定点的位置关系;所述触发模块用于发送标定指令,启动标定;所述校验模块用于标定结果的校验。
基于总体思路,本领域技术人员应该可以理解的是,本发明所述的车载中的“车”是指以动力装置驱动或牵引的车辆,动力一般来自于内燃机或电动机。所述的定位数据指的是GNSS提供的位置信息。GNSS即卫星导航***,包括但不限于美国的GPS,俄罗斯的GLONASS,欧盟的Galileo和中国的BDS。
本发明的一些技术效果在于:实现了摄像机标定过程中的自动化控制,减少了人工干预参与,具有较好的重复性。
在一些实施例中,如附图2至4所示,摄像机或具有摄像功能的设备安装固定在车辆上。一般地,摄像机或具有摄像功能的设备安装固定在车辆前方,尤其是车前窗玻璃上,以便获得良好的工作视野环境。这里所说的具有摄像功能的设备指的是可以拍摄获取视频或者图片等图像数据的装置设备,如测绘领域进行地图数据采集用的采集终端设备,自动驾驶领域进行路况视觉识别的终端设备。
在一些实施例中,如附图3和图4所示,在车辆上设置车载定位点,所述的车载定位点用于实时或非实时地获取车辆的定位数据。一般地,车载定位点可以是车辆的已有的导航装置,也可以在其它位置另外的选择和设置的其它定位装置。在一个实施例中,选择车顶中心设置为车载定位点,安装定位装置。
在一些实施例中,如附图2至5所示,标定点是对称地设置在路面两侧,且每侧任意两个标定点的连线均平行于路面中线。这样设置的好处是简便后续的数据处理。
在一些实施例中,如在标定点上设置定位装置,所述定位装置用于接收获取和发送标定点的定位数据。
在一些实施例中,还可以通过预先测量,获取所有定位点的定位数据,再将定位数据用于后续使用。
可以理解的是,以上实施例操作可以是一次性,即首次设置好,后续可以在无环境变动的情况下,无需再重新设置;再次进行标定时,可以省去以上实施例的操作步骤。
在一些实施例中,获取视频图像数据,识别标定点数量,并获取车载定位点的定位数据;在第一标定距离,获取第一标定位置的定位数据;在第二标定距离,获取第二标定位置的定位数据;根据第一标定位置和第二标定位置的定位数据,计算车身航向;计算车身航向与第一标定点和第二标定点的连线之间的夹角;当|夹角-90°|≤第一阈值时触发标定。
在一些实施例中,车辆上预先安装的摄像机或具有摄像功能的设备进行工作,生成图像数据。这里的图像数据可以是视频、图片中的任意一种或组合。
在一些实施例中,图像数据还包括每帧时间戳信息、拍摄时刻车载定位点的定位数据信息。
在一些实施例中,对图像数据进行处理,识别标定点的数量,同时获取车载定位点的定位数据。这里说的识别指的是,在图像数据中运用图像处理技术分辨出标定点。
在一些实施例中,当识别出所有标定点时,才开始获取车载定位点的定位数据,可减少数据量。
在一些实施例中,获取的车载定位点的定位数据是RTK定位数据。RTK即实时动态测量real-time kinematic,是相对定位技术的一种,主要通过基准站和流动站之间的实时数据链路和载波相对定位快速解算技术,实现高精度动态相对定位。
在一些实施例中,车辆前进,标定点进入摄像机工作半径,拍摄获取图像数据,并进行数据处理;从图像数据中识别出所有的标定点,并开始获取车载定位点的定位数据和标定点的定位数据。根据车载定位点的定位数据和标定点的定位数据,计算车载定位点至任意标定点的距离。车辆继续前进,标定点进入摄像机标定工作半径。在第一标定距离,识别出所有的标定点,此时获取并记录第一标定位置的定位数据。在第二标定距离,识别出所有的标定点,此时获取并记录第二标定位置的定位数据。这里说的第一标定距离小于或等于最大标定工作半径,第二标定距离大于或等于最小标定工作半径。摄像机工作半径指的是摄像机能获取满足图像处理工作要求的图像数据的最大工作距离。标定工作半径指的是摄像机能获取满足标定工作要求的图像数据的工作距离。
在一些实施例中,最大标定工作半径取值8m,最小标定工作半径取值3m。
在一些实施例中,标定点的定位数据可以预先从外界获取并手动输入自动标定控制***;也可以通过标定点的定位装置发送,自动标定控制***接收输入。
在一些实施例中,根据第一标定位置和第二标定位置的定位数据,计算车身航向。这里的车身航向指的是表征指示车辆前进方向的空间向量。
在一些实施例中,在通过车载定位点获取第一标定位置O点的RTK定位数据,得到精准的O点世界坐标(x1,y1,z1);通过车载定位点获取第二标定位置O′点的RTK定位数据,得到精准的O′点世界坐标(x2,y2,z2)。世界坐标系相减,得到向量
在一些实施例中,计算车身航向与第一标定点和第二标定点的连线的夹角。
在一些实施例中,获取第一标定点A1和第二标定点A2的世界坐标,得到向量通过向量/>和向量/>计算出车身航向与第一标定点和第二标定点的连线的夹角。其中,第一标定点A1和第二标定点A2是分别位于路面中线两侧的对称标定点。
在一些实施例中,当检测到|夹角-90°|≤第一阈值时,向标定装置发起标定工作指令,触发标定。
在一些实施例中,获取第一标定点A1和第三标定点A3的世界坐标,得到向量通过向量/>和向量/>计算出车身航向与第一标定点和第三标定点的连线的夹角。其中,第一标定点A1和第三标定点A3是分别位于路面同侧的两个标定点,且直线A1A3平行于路面中线。此时,通过设置夹角≤第一阈值时触发标定。
在一些实施例中,第一阈值设置为5°。
在一些实施例中,触发标定后,计算出标定参数,包括但不限于摄像机内参和位姿参数。接着,根据标定参数,由标定设备识别任意一个标定点,计算其理论世界坐标;当标定点的理论世界坐标和实际世界坐标之间的误差绝对值小于第二阈值时,保存标定参数,终止标定。
标定点的理论世界坐标指的是标定点的实际世界坐标可以预先从外界获取并手动输入自动标定控制***;也可以通过标定点的定位装置发送,自动标定控制***接收和输入。这里说的标定点的理论世界坐标和实际世界坐标之间的误差绝对值计算,设标定点的理论世界坐标(x理,y理,z理),实际坐标系(x实,y实,z实),则有对应坐标轴的误差绝对值|x理-x实|、|y理-y实|和|z理-z实|。当,|x理-x实|、|y理-y实|和|z理-z实|均小于第二阈值时,保存标定参数,完成和终止标定。
在一些实施例中,第二阈值设置为20cm。
在一些实施例中,将车载定位点RTK0设置在车身顶部,RTK可以实时获取定位点的世界坐标。在车的正前方5~10m处的马路两侧,分别用RTK设置6个点RTK1、RTK2、RTK3、RTK4、RTK5、RTK6的世界坐标Aw1,Aw2,Aw3,Aw4,Aw5,Aw6,分别对应标定点A1,A2,A3,A4,A5,A6。RTK1、RTK3、RTK5点的连线和RTK2、RTK4、RTK6点的连线分别平行于路面中线。双目相机安装于前挡风玻璃上固定,确保上述6点位置在相机视野范围内。启动车辆获取车身定位点坐标,向前行驶,形成的两个相邻RTK0点O确定为车身航向,抓取左目图像。以O点为坐标原点,车身航向O′O为Y轴,垂直地面向上为Z轴,垂直车身航向方向为X轴,建立右手直角坐标系OXYZ,即车身坐标系。
设向量与向量/>的夹角为α,向量/>与向量/>叉乘有:
则:A1点到向量的垂直距离/>为:
过点C1垂直地平面做垂线,垂足为B1,则|B1C1|为O点在世界坐标系中的Z坐标减去A1点在世界坐标系中的Z坐标值,所以有:
A1在以O为坐标原点的车身坐标系中的坐标为:
同理可求A2,A3,A4,A5,A6在车身坐标系中的坐标。识别出A1,A2,A3,A4,A5,A6在左目图像中对应的图像坐标A1′,A2′,A3′,A4′,A5′,A6′,
接着,计算出像素坐标到车身坐标系坐标转换的变换矩阵M。
变换矩阵矩阵参数fx,fy,cx,cy为相机内参数,R为旋转矩阵,T为三维平移向量。m表示的是矩阵中不同位置的参数值,下标分别是行号和列号。
具体地,所述的变换矩阵为A=MB;其中,A为车身坐标系坐标点,B为像素坐标点。
由于标定点都位于同一路平面,所以z坐标值为常量。根据标定原理,单目标定参数有内参数fx,fy,cx,cy,外参数旋转矩阵R、平移矩阵T,一共10个参数。其中,T是平移向量含有三个参数(x、y、z方向的平移)。车身坐标系下的四个标定点可以列出12个方程,解出内外参数。由于车身坐标系下的三维坐标点到像素坐标系下的二维点的投影变换矩阵是3×4不可逆矩阵,又由于z为常量,消去多余的两个参数,所以变换矩阵可以改写为3×3的可逆矩阵。即,可以通过车身坐标系下的坐标点求得像素坐标系下的坐标点,也可以通过像素坐标系下的坐标点求得车身坐标系下z为常量的路平面上的坐标点。
其中,所述的3×4不可逆矩阵为:
因车身坐标系下路面z为常量,消去第三列得变换矩阵M
接着进行角度计算,设O点和O′点在世界发坐标系中的坐标分别为(x1,y1,z1),(x2,y2,z2),沿顺时针方向与地球正北方向的夹角为α,则:
即与y轴的夹角
①x2>x1,y2>y1:α=2π-θ
②x2<x1,y2>y1:α=θ
③x2>x1,y2<y1:α=π+θ
④x2<x1,y2<y1:α=π-θ
设p点在车身坐标系的坐标为(xc,yc,zc),车顶RTK0坐标为(xo,yo,zo)
则p点在世界坐标系中的坐标为:
x=xccosα-ycsinα+xo
y=xcsinα+yccosα+yo
z=zc+zo
自此,可计算出标定点的理论世界坐标。
在一些实施例中,三维立体标定物单色小方块常规放置在标定点旁。这里的常规放置指的是三维立体标定物单色小方块的任意一条边经过标定点。一般地,传统技术方案中,会严格要求三维立体标定物单色小方块的某一特定直角顶点与标定点重合。
在一些实施例中,三维立体标定物单色小方块的任意一条边的中点与重合。
在一些实施例中,三维立体标定物单色小方块与摄像机的光轴中心线平行。这样设置的好处是简便后续的数据处理。
在一些实施例中,设置矩形条作为预设标记物,这里的预设标记物按照如下规则放置:矩形条的任意一边的中点与标定点重合,并外接三维立体标定物单色小方块的经过标定的边;矩形条的两侧边不超过三维立体标定物单色小方块。这里,矩形条可以采用常见的单色纸张制作,长宽比例任意,长宽大小均小于三维立体标定物单色小方块的边长即可。具体地,可根据标定点识别的外部环境来选择矩形条的颜色,一般可选用黑色。矩形条可以通过胶水等粘贴固定在标定点旁。
可以理解的是,预设标记物的设置可以是一次性,即首次设置好,后续可以保留该矩形条,无需再重新设置;再次进行摄像机标定时,可以省去矩形条设置的步骤。
在一些实施例中,摄像机工作,拍摄工作半径范围内的前方的视频或者图片,获取图像数据。
在一些实施例中,处理图像数据,生成图像中标定物的外接矩形;外接矩形的下边向下延伸预设像素坐标长度,生成感兴趣区域;遍历感兴趣区域,生成标定物相关的预设标记物的标记区域;遍历标记区域,生成中线,中线的上端点的像素坐标即为标定点的像素坐标。
在一些实施例中,通过深度学习的语义分割方法处理图像数据。一般地,可以采取如下步骤:采集含有识别目标的视频数据;将视频数据转换成图片数据;用标注工具对图片进行目标标注,生成样本数据;用样本数据进行训练,生成网络模型;调用模型进行识别目标。
在一些实施例中,深度学习神经网络模型的建模方法为:首先对VGG16训练得到的预训练模型进行训练,输出训练后的FCN-32s模型;以FCN-32s模型为预训练模型,以新的样本进行训练,输出训练后的FCN-16s模型;以FCN-16s模型为预训练模型,以新的样本进行训练,输出训练后的FCN-8s模型。以FCN-8s的模型为预训练模型,以新的样本进行训练,输出训练后的FCN-4s模型为目标模型。这里,FCN即全卷积神机网络(Fully ConvolutionalNetworks)。VGG即Visual Geometry Group。需要说明的是,还可以采用***Net等其余深度神经网络训练得到的所需的模型。
在一些实施例中,对图像数据findContours处理,得到三维立体标定物小方块图像对应外的所有外接四边形;输出面积最小的外接矩形。
在一些实施例中,在像素坐标中,输出的外接矩形的下边延伸预设像素坐标长度,生成感兴趣区域。一般地,这里的预设像素坐标长度值,其考虑因素主要是获取三维立体标定物小方块图像对应的外接矩形时的像素误差大小。这里的像素误差指的是三维立体标定物小方块图像的理论值和实际值的像素差。
在一些实施例中,预设像素坐标长度范围:10像素≤预设像素坐标长度≤20像素。
在一些实施例中,像素坐标长度为15像素,即外接矩形的下边向下延伸15个单位像素坐标长度。
在一些实施例中,标定物相关的预设标记物为矩形条;矩形条的上边连接标定物的下边,矩形条的上边中点和标定点重合,矩形条的边长小于标定物边长,从而保证在图像中,矩形条的图像的左右两条侧边不超过标定物的图像的左右两条侧边。
在一些实施例中,三维立体标定物平行于摄像机的光轴。遍历感兴趣区域,生成标定物相关的预设标记物的标记区域。
在一些实施例中,生成标定物相关的预设标记物的标记区域的方法:设I(x,y)为感兴趣区域中的任意像素点,I(x-δ,y)和I(x+δ,y)为I(x,y)沿y轴对称的两个像素点,其中,δ为预设标记物在图像中的像素坐标长度;
并有,
d1=I(x,y)-I(x-δ,y)
d2=I(x,y)-I(x+δ,y)
其中,d1,d2为任意像素点与对应的对称像素点的像素差值;
D=d1+d2-|I(x+δ,y)-I(x-δ,y)|
其中,D表示任意像素点与对应的对称像素点的像素差值的和,再减去两个对称像素点的像素差值,用来表征任意像素点与对称像素点的像素差异值;
令L(x,y)为像素点的像素值二值化函数,当满足d1>0,d2>0并且D>L时,L(x,y)为255,当不满足上述条件时,L(x,y)为0;
即,
其中,二值化函数阈值L=α*I(x,y),α为阈值系数。
在一些实施例中,阈值系数α的取值范围是0.3≤α≤0.8。
另外一方面,在一些实施例中,提供了一种存储介质。该存储介质存储有计算机程序指令,计算机程序指令被处理器运行时至少一次重复执行以下步骤:获取视频图像数据,识别标定点数量,获取车载定位点的定位数据;在第一标定距离,获取第一标定位置的定位数据;在第二标定距离,获取第二标定位置的定位数据;根据第一标定位置和第二标定位置的定位数据,计算车身航向;计算车身航向与第一标定点和第二标定点的连线之间的夹角;当|夹角-90°|≤第一阈值时发送标定指令,触发标定。
在一些实施例中,存储介质存储有计算机程序指令,计算机程序指令被处理器运行时至少一次重复执行以下步骤:识别任意一个标定点,计算其理论世界坐标;当标定点的理论世界坐标和实际世界坐标之间的误差绝对值小于第二阈值时,保存标定参数,终止标定。
另外一方面,在一些实施例中,提供一种自动标定的控制***,包括标定点识别模块、车身航向判断模块、触发模块和校验模块。所述的标定点识别模块用于获取和处理视频图像数据,识别标定点;车身航向判断模块用于获取和处理车载定位点的定位数据,判断车身航向与标定点的位置关系;触发模块用于发送标定指令,启动标定;校验模块用于标定结果的校验。
在符合本领域技术人员的知识和能力水平范围内,本文提及的各种实施例或者技术特征在不冲突的情况下,可以相互组合而作为另外一些可选实施例,这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例,仍属于本发明揭露的技术范围内,亦是本领域技术人员结合附图和上文所能理解或推断而得出的。
最后再次强调,上文所列举的实施例,为本发明较为典型的、较佳实施例,仅用于详细说明、解释本发明的技术方案,以便于读者理解,并不用以限制本发明的保护范围或者应用。
因此,在本发明的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案,都应被涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于车载的自动标定控制方法,其特征在于:包括以下步骤:
获取图像数据,识别标定点数量,获取车载定位点的定位数据;所述标定点具有定位信息并对称地设置在路面两侧,每侧任意两个标定点的连线均平行于路面中线;
在第一标定距离,获取第一标定位置的定位数据;所述第一标定位置的定位数据是通过车载定位点获取的第一标定位置的定位数据;
在第二标定距离,获取第二标定位置的定位数据;所述第二标定位置的定位数据是通过车载定位点获取的第二标定位置的定位数据;
根据第一标定位置和第二标定位置的定位数据,计算车身航向;
计算车身航向与第一标定点和第二标定点的连线之间的夹角;所述车身航向指的是表征指示车辆前进方向的空间向量;所述第一标定点和所述第二标定点是分别位于路面中线两侧的对称标定点;
当|夹角-90°|≤第一阈值时触发标定。
2.根据权利要求1所述的方法,其特征在于:所述的车载定位点的定位数据是在识别出所有标定点后才进行获取。
3.根据权利要求2所述的方法,其特征在于:所述的定位数据是RTK定位数据。
4.根据权利要求1所述的方法,其特征在于:所述的第一标定距离≤最大标定工作半径,第二标定距离≥最小标定工作半径。
5.根据权利要求4所述的方法,其特征在于:所述的最大标定工作半径为8m,最小标定工作半径为3m。
6.根据权利要求1所述的方法,其特征在于:所述的第一阈值是5°。
7.据权利要求1所述的方法,其特征在于:还包括如下步骤:
识别任意一个标定点,计算其理论世界坐标;
当标定点的理论世界坐标和实际世界坐标之间的误差绝对值小于第二阈值时,保存标定参数,终止标定。
8.据权利要求7所述的方法,其特征在于:所述的第二阈值是20cm。
9.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序执行如权利要求1至8中任一项所述的方法。
10.自动标定的控制***,其特征在于:
包括标定点识别模块、车身航向判断模块、触发模块和校验模块;
所述的标定点识别模块用于获取和处理视频图像数据,识别标定点;所述标定点具有定位信息并对称地设置在路面两侧,每侧任意两个标定点的连线均平行于路面中线;
所述车身航向判断模块用于获取和处理车载定位点的定位数据,判断车身航向与标定点的位置关系;在第一标定距离,获取第一标定位置的定位数据;所述第一标定位置的定位数据是通过车载定位点获取的第一标定位置的定位数据;在第二标定距离,获取第二标定位置的定位数据;所述第二标定位置的定位数据是通过车载定位点获取的第二标定位置的定位数据;
根据第一标定位置和第二标定位置的定位数据,计算车身航向;计算车身航向与第一标定点和第二标定点的连线之间的夹角;所述车身航向指的是表征指示车辆前进方向的空间向量;所述第一标定点和所述第二标定点是分别位于路面中线两侧的对称标定点;
所述触发模块用于当|夹角-90°|≤第一阈值时发送标定指令,启动标定;
所述校验模块用于标定结果的校验。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910817490.7A CN111145249B (zh) | 2019-08-30 | 2019-08-30 | 一种基于车载的自动标定控制方法、存储介质和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910817490.7A CN111145249B (zh) | 2019-08-30 | 2019-08-30 | 一种基于车载的自动标定控制方法、存储介质和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145249A CN111145249A (zh) | 2020-05-12 |
CN111145249B true CN111145249B (zh) | 2024-02-27 |
Family
ID=70516783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910817490.7A Active CN111145249B (zh) | 2019-08-30 | 2019-08-30 | 一种基于车载的自动标定控制方法、存储介质和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111145249B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102037735A (zh) * | 2008-05-22 | 2011-04-27 | 通用汽车环球科技运作公司 | 用于车辆照相机的照相机外在参数的自标定 |
CN103927754A (zh) * | 2014-04-21 | 2014-07-16 | 大连理工大学 | 一种车载摄像机的标定方法 |
CN106558080A (zh) * | 2016-11-14 | 2017-04-05 | 天津津航技术物理研究所 | 一种单目相机外参在线标定***及方法 |
CN108805934A (zh) * | 2017-04-28 | 2018-11-13 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
CN108898638A (zh) * | 2018-06-27 | 2018-11-27 | 江苏大学 | 一种车载摄像头在线自动标定方法 |
CN109188438A (zh) * | 2018-09-12 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 偏航角确定方法、装置、设备和介质 |
CN110148177A (zh) * | 2018-02-11 | 2019-08-20 | 百度在线网络技术(北京)有限公司 | 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体 |
-
2019
- 2019-08-30 CN CN201910817490.7A patent/CN111145249B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102037735A (zh) * | 2008-05-22 | 2011-04-27 | 通用汽车环球科技运作公司 | 用于车辆照相机的照相机外在参数的自标定 |
CN103927754A (zh) * | 2014-04-21 | 2014-07-16 | 大连理工大学 | 一种车载摄像机的标定方法 |
CN106558080A (zh) * | 2016-11-14 | 2017-04-05 | 天津津航技术物理研究所 | 一种单目相机外参在线标定***及方法 |
CN108805934A (zh) * | 2017-04-28 | 2018-11-13 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
CN110148177A (zh) * | 2018-02-11 | 2019-08-20 | 百度在线网络技术(北京)有限公司 | 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体 |
CN108898638A (zh) * | 2018-06-27 | 2018-11-27 | 江苏大学 | 一种车载摄像头在线自动标定方法 |
CN109188438A (zh) * | 2018-09-12 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 偏航角确定方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111145249A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109074668B (zh) | 路径导航方法、相关装置及计算机可读存储介质 | |
CN110969663B (zh) | 一种相机外部参数的静态标定方法 | |
CN110119698B (zh) | 用于确定对象状态的方法、装置、设备和存储介质 | |
CN110517325B (zh) | 一种坐标变换及坐标变换的车身周围物体定位方法和*** | |
CN111145260B (zh) | 一种基于车载的双目标定方法 | |
CN111145262B (zh) | 一种基于车载的单目标定方法 | |
CN109544629A (zh) | 摄像头位姿确定方法和装置以及电子设备 | |
CN109690622A (zh) | 多相机***中的相机登记 | |
CN111462249B (zh) | 一种交通摄像头标定方法及装置 | |
CN111260539B (zh) | 鱼眼图目标识别方法及其*** | |
CN112232275B (zh) | 基于双目识别的障碍物检测方法、***、设备及存储介质 | |
CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
CN109146958B (zh) | 一种基于二维图像的交通标志空间位置测量方法 | |
CN105809706A (zh) | 一种分布式多像机***的全局标定方法 | |
CN110750153A (zh) | 一种无人驾驶车辆的动态虚拟化装置 | |
CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
CN114140533A (zh) | 摄像头外参标定的方法与装置 | |
CN112446915A (zh) | 一种基于图像组的建图方法及装置 | |
CN116433865B (zh) | 一种基于场景可重建性分析的空地协同采集路径规划方法 | |
CN111145249B (zh) | 一种基于车载的自动标定控制方法、存储介质和*** | |
CN111145261A (zh) | 一种标定点的识别方法和存储介质 | |
CN111191596A (zh) | 一种封闭区域制图方法、装置及存储介质 | |
CN115100290B (zh) | 交通场景下的单目视觉定位方法及装置、设备、存储介质 | |
CN111243021A (zh) | 基于多组合相机的车载视觉定位方法、***及存储介质 | |
CN110503683B (zh) | 一种基于单目测距的狭窄车位倒车入库引导方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |