CN112258582A - 一种基于道路场景识别的相机姿态标定方法及装置 - Google Patents
一种基于道路场景识别的相机姿态标定方法及装置 Download PDFInfo
- Publication number
- CN112258582A CN112258582A CN202011086402.XA CN202011086402A CN112258582A CN 112258582 A CN112258582 A CN 112258582A CN 202011086402 A CN202011086402 A CN 202011086402A CN 112258582 A CN112258582 A CN 112258582A
- Authority
- CN
- China
- Prior art keywords
- camera
- straight line
- line
- rotation angle
- edges
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于道路场景识别的相机姿态标定方法及装置,基于相机采集的图片进行语义分割,提取道路场景中与相机光轴相互平行的直线束作为目标直线边缘;根据所述目标直线边缘,拟合直线方程,并根据透视原理求解不同的目标直线边缘所对应的灭点坐标;根据拟合得到的直线方程以及多个灭点坐标所确定的视平线反向推导相机姿态,完成姿态标定。本发明对采集到的图像数据进行语义分割,提取有效的环境边缘信息用于相机姿态计算,在采集设备的使用过程中自适应的完成参数标定,从而提高地图元素采集精度,减小现有技术中众包建图在感知与三维场景重建过程中引入的误差,降低设备部署中大量人工标定成本。
Description
技术领域
本发明涉及机器视觉技术领域,具体涉及一种车载相机通过行驶过程中道路场景识别实现姿态自标定的方法。
背景技术
高精度地图在自动驾驶***中扮演着重要的角色,是自动驾驶***必不可少的一部分。高精度地图制作成本高昂,采集周期长,且更新慢。所以目前多采用车载设备众包采集的方式保持高精度地图的鲜活度,众包的方式采集信息成本低,但采集设备安装精度难以保证。
未经严格的参数标定的相机数据所完成的三维场景重建存在相对成图误差,而相机安装方式每次无法绝对相同,标定工作需要每台车一种特定流程,纯手工标定作业需要耗费大量的人力工时成本。
发明内容
本发明针对现有技术中存在的技术问题,提供一种基于道路场景识别的相机姿态标定方法及装置,对采集到的图像数据进行语义分割,提取有效的环境边缘信息用于相机姿态计算,在采集设备的使用过程中自适应的完成参数标定,从而提高地图元素采集精度,减小现有技术中众包建图在感知与三维场景重建过程中引入的误差,降低设备部署中大量人工标定成本。
本发明解决上述技术问题的技术方案如下:
第一方面,本发明提供一种基于道路场景识别的相机姿态标定方法,包括以下步骤:
基于相机采集的图片进行语义分割,提取道路场景中与相机光轴相互平行的直线束作为目标直线边缘;
根据所述目标直线边缘,拟合直线方程,并根据透视原理求解不同的目标直线边缘所对应的灭点坐标;
根据拟合得到的直线方程以及多个灭点坐标所确定的视平线反向推导相机姿态,完成姿态标定。
优选的,所述的根据所述目标直线边缘,拟合直线方程,并根据透视原理求解不同的目标直线边缘所对应的灭点坐标,包括:
采用人工神经网络提取目标直线边缘所在ROI区域后利用Canny分割算法得到直线边缘点集;
针对任一线对象,利用点集中至少两点推导直线的参数方程,并求解直线斜率k和截距b;
针对一组相互平行的直线边缘,根据该组直线边缘所对应的参数方程求解该组直线边缘的交点即灭点。
优选的,所述的根据拟合得到的直线方程以及多个灭点坐标所确定的视平线反向推导相机姿态,完成姿态标定,包括:
利用下式计算相机X轴旋转角α和Y轴旋转角β,
式中(up,vp)为图像中一组相互平行的直线边缘对应的灭点,(u0,v0)为相机光轴对于图片像素坐标的原点偏移量,fx,fy代表成像平面上单位长度的像素数;
选取地平面内两组不平行的直线边缘线束,提取不同的边缘得到不同的灭点,两组灭点的连线为视平线,通过计算图像中视平线斜率从而获得像素坐标系中u方向水平夹角即Z轴旋转角γ;
根据所述X轴旋转角α、Y轴旋转角β和Z轴旋转角γ求解旋转矩阵R。
优选的,该方法还包括,将初次标定得到的相机姿态R0作为初值,引入时域一阶滞后滤波对误差噪声进行抑制:
optR0=R0
设定迭代收敛条件,经过多次观测迭代得到优化旋转矩阵R与已知平移向量t组合导出完整相机外参矩阵[R|t]用于相机姿态标定,所述平移向量t为相机安装支架对于车体的空间平移向量。
第二方面,本发明还提供一种基于道路场景识别的相机姿态标定装置,包括:
分割提取模块,用于基于相机采集的图片进行语义分割,提取道路场景中与相机光轴相互平行的直线束作为目标直线边缘;
直线方程拟合模块,用于根据所述目标直线边缘,拟合直线方程,并根据透视原理求解不同的目标直线边缘所对应的灭点坐标;
姿态计算模块,用于根据拟合得到的直线方程以及多个灭点坐标所确定的视平线反向推导相机姿态,完成姿态标定。
第三方面,本发明还提供一种电子设备,包括:
存储器,用于存储计算机软件程序;
处理器,用于读取并执行所述存储器中存储的计算机软件程序,从而实现本发明第一方面所述的一种基于道路场景识别的相机姿态标定方法。
第四方面,本发明还提供一种非暂态计算机可读存储介质,所述存储介质中存储有用于实现本发明第一方面所述的一种基于道路场景识别的相机姿态标定方法的计算机软件程序。
本发明的有益效果是:
1、对于众包采集的地图数据,由于感知重建精度不足所导致的地图精度问题,本发明提出了一种相机姿态标定方法可以有效降低感知误差,从而提高众包建图精度。
2、传统地图采集方法中,相机标定需要在设备安装后通过拍摄特定模式的图案后进行人工计算,本发明提出的一种相机姿态标定方法可通过道路识别道路场景的语义信息自动完成,无需人工干预,降低部署成本。
3、众包地图采集设备在运行过程中易受到外部因素干扰,相机位姿发生变化从而导致姿态发生改变,传统方法需要定期进行标定,本发明提出了一种相机姿态标定方法可以在设备运行过程中自行完成标定,降低维护成本。
附图说明
图1为本发明实施例提供的一种基于道路场景识别的相机姿态标定方法流程图;
图2为本发明实施例中所涉及的不同坐标系之间转换示意图;
图3为本发明实施例中所涉及的相机坐标与车体坐标的位置关系示意图;
图4为本发明实施例中所涉及的现实平行线与相机透视图对照关系示意图;
图5为本发明实施例中所涉及的视平线推导示意图;
图6本发明实施例提供的一种基于道路场景识别的相机姿态标定装置结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
实施例1
本发明实施例提供一种基于道路场景识别的相机姿态标定方法,如图1所示,包括如下步骤,
步骤1,语义分割边缘提取
获取稳定图像提取语义信息后,对特征要素进行边缘提取。本发明实施例中所涉及的特征要素,包括路缘石、护栏、路灯杆、建筑边缘等道路场景中所包含的具有标识作用的道路标志。
选取空间中与相机光轴相互平行的直线束用于相机的标定,符合以上特征的目标边缘视为有效边缘。应当理解的是,本实施中所描述的相互平行的直线束或与相机光轴平行的直线束是指在提取的直线束在真实场景中相互平行或与相机光轴平行,例如道路两侧的路缘石基线,路缘石基线与车道线,或者路缘石基线与护栏基线等等。而在相机拍摄的图片中,由于透视原理,两条平行线会呈现一定的夹角。
采用人工神经网络提取语义目标所在ROI区域后利用Canny分割算法得到直线边缘点集。
如图4所示,其中R和Ω为两条平行于相机光轴在物理世界中不相交的两条直线。对应点集为直线上所处像素坐标的uv值。
步骤2:求解直线方程与灭点
对像素坐标系内任意的线对象,可以根据点集中至少两点推导直线的参数方程。
v=ku+b
以直线R对应点集为例,取任意两点ri,rj∈R带入像素坐标系参数方程,从而求解直线斜率k和截距b值。根据透视原理,物理世界中平行线在图像中的延长线将交于无穷远处一点,通过参数方程求解该点对应像素坐标(up,vp)即为灭点。
步骤3:推导相机姿态
如图2和图3所示,根据平面成像原理,车体坐标[X Y Z]T经过姿态矩阵[R|t]变换为相机坐标,相机坐标经过内参矩阵K变换为像素坐标[u v]T。
对于内参矩阵K其中fx,fy代表成像平面上单位长度的像素数,u0,v0为光轴对于像素坐标的原点偏移量。
其中相机安装支架对于车体的空间平移向量t在行驶过程中不发生变化,因此将平移向量作为常量求解旋转矩阵R即可导出相机姿态矩阵。而旋转矩阵可由相机安装的三个姿态角间接计算得出,若姿态角分别为X轴旋转角α、Y轴旋转角β、Z轴旋转角γ,则旋转矩阵R可表达为如下形式。
对于Z轴旋转角γ的求解需要用到两组不同的灭点组成视平线,如图5所示,选取条件为地平面内两组不平行的线束,无需正交,以图中路缘石和人行道为例,提取不同的边缘可得到不同方向的灭点。两组灭点的连线为视平线,通过计算图像中视平线斜率从而获得像素坐标系中u方向水平夹角即Z轴旋转角γ。
已知内参矩阵K经由步骤2中得到两条平行线参数方程计算出对应灭点(up,vp)可以通过以下公式求解X轴旋转角α和Y轴旋转角β。其中XYZ为车体坐标,XCYCZC为对应相机坐标,消去已知旋转角γ。
灭点满足Z→∞,故上式简化为:
根据上述方法求得X轴旋转角α、Y轴旋转角β、Z轴旋转角γ进而导出旋转矩阵R。
步骤4:多次迭代优化姿态
上述标定方法通过单次观测信息对相机旋转矩阵R中的三个自由度进行约束,不同场景约束精度不同,结果存在一定的偶然性,无法很好地满足地图数据采集长期稳定需求。为提高标定算法鲁棒性,将步骤3中得到的相机姿态R0作为初值,引入时域一阶滞后滤波对误差噪声进行抑制。
optR0=R0
给定迭代收敛条件,如姿态角变化|Δα|<1°时停止迭代,经过多次观测迭代得到优化旋转矩阵R与已知平移向量t组合导出完整相机外参矩阵[Rt]用于相机姿态标定。
实施例2
基于上述方法,本发明还提供一种基于道路场景识别的相机姿态标定装置,包括:
分割提取模块,用于基于相机采集的图片进行语义分割,提取道路场景中与相机光轴相互平行的直线束作为目标直线边缘。
直线方程拟合模块,用于根据所述目标直线边缘,拟合直线方程,并根据透视原理求解不同的目标直线边缘所对应的灭点坐标。
姿态计算模块,用于根据拟合得到的直线方程以及多个灭点坐标所确定的视平线反向推导相机姿态,完成姿态标定。
迭代优化模块,用于将初次标定得到的相机姿态R0作为初值,引入时域一阶滞后滤波对误差噪声进行抑制:
optR0=R0
设定迭代收敛条件,经过多次观测迭代得到优化旋转矩阵R与已知平移向量t组合导出完整相机外参矩阵[R|t]用于相机姿态标定,所述平移向量t为相机安装支架对于车体的空间平移向量。
具体的,所述直线方程拟合模块,包括:
点集提取子模块,采用人工神经网络提取目标直线边缘所在ROI区域后利用Canny分割算法得到直线边缘点集;
参数方程推导模块,用于针对任一线对象,利用点集中至少两点推导直线的参数方程,并求解直线斜率k和截距b;
灭点计算模块,用于针对一组相互平行的直线边缘,根据该组直线边缘所对应的参数方程求解该组直线边缘的交点即灭点。
所述姿态计算模块,包括:
旋转角计算模块,利用下式计算相机X轴旋转角α和Y轴旋转角β,
式中(up,vp)为图像中一组相互平行的直线边缘对应的灭点,(u0,v0)为相机光轴对于图片像素坐标的原点偏移量,fx,fy代表成像平面上单位长度的像素数;
选取地平面内两组不平行的直线边缘线束,提取不同的边缘得到不同的灭点,两组灭点的连线为视平线,通过计算图像中视平线斜率从而获得像素坐标系中u方向水平夹角即Z轴旋转角γ;
旋转矩阵求解模块,用于根据所述X轴旋转角α、Y轴旋转角β和Z轴旋转角γ求解旋转矩阵R。
实施例3
本发明提供一种电子设备,包括:
存储器,用于存储计算机软件程序;
处理器,用于读取并执行所述存储器内存储的计算机软件程序,进而实现本发明是实施例1所述的一种基于道路场景识别的相机姿态标定方法。
同时还需说明的是,计算机软件程序中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于道路场景识别的相机姿态标定方法,其特征在于,包括以下步骤:
基于相机采集的图片进行语义分割,提取道路场景中与相机光轴相互平行的直线束作为目标直线边缘;
根据所述目标直线边缘,拟合直线方程,并根据透视原理求解不同的目标直线边缘所对应的灭点坐标;
根据拟合得到的直线方程以及多个灭点坐标所确定的视平线反向推导相机姿态,完成姿态标定。
2.根据权利要求1所述的方法,其特征在于,所述的根据所述目标直线边缘,拟合直线方程,并根据透视原理求解不同的目标直线边缘所对应的灭点坐标,包括:
采用人工神经网络提取目标直线边缘所在ROI区域后利用Canny分割算法得到直线边缘点集;
针对任一线对象,利用点集中至少两点推导直线的参数方程,并求解直线斜率k和截距b;
针对一组相互平行的直线边缘,根据该组直线边缘所对应的参数方程求解该组直线边缘的交点即灭点。
5.一种基于道路场景识别的相机姿态标定装置,其特征在于,包括:
分割提取模块,用于基于相机采集的图片进行语义分割,提取道路场景中与相机光轴相互平行的直线束作为目标直线边缘;
直线方程拟合模块,用于根据所述目标直线边缘,拟合直线方程,并根据透视原理求解不同的目标直线边缘所对应的灭点坐标;
姿态计算模块,用于根据拟合得到的直线方程以及多个灭点坐标所确定的视平线反向推导相机姿态,完成姿态标定。
6.根据权利要求5所述的装置,其特征在于,所述直线方程拟合模块,包括:
点集提取子模块,采用人工神经网络提取目标直线边缘所在ROI区域后利用Canny分割算法得到直线边缘点集;
参数方程推导模块,用于针对任一线对象,利用点集中至少两点推导直线的参数方程,并求解直线斜率k和截距b;
灭点计算模块,用于针对一组相互平行的直线边缘,根据该组直线边缘所对应的参数方程求解该组直线边缘的交点即灭点。
9.一种电子设备,其特征在于,包括:
存储器,用于存储计算机软件程序;
处理器,用于读取并执行所述存储器中存储的计算机软件程序,从而实现权利要求1-4任一项所述的一种基于道路场景识别的相机姿态标定方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述存储介质中存储有用于实现权利要求1-4任一项所述的一种基于道路场景识别的相机姿态标定方法的计算机软件程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011086402.XA CN112258582B (zh) | 2020-10-12 | 2020-10-12 | 一种基于道路场景识别的相机姿态标定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011086402.XA CN112258582B (zh) | 2020-10-12 | 2020-10-12 | 一种基于道路场景识别的相机姿态标定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112258582A true CN112258582A (zh) | 2021-01-22 |
CN112258582B CN112258582B (zh) | 2022-11-08 |
Family
ID=74242301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011086402.XA Active CN112258582B (zh) | 2020-10-12 | 2020-10-12 | 一种基于道路场景识别的相机姿态标定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112258582B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114663529A (zh) * | 2022-03-22 | 2022-06-24 | 阿波罗智能技术(北京)有限公司 | 一种外参确定方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108416791A (zh) * | 2018-03-01 | 2018-08-17 | 燕山大学 | 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法 |
CN110930459A (zh) * | 2019-10-29 | 2020-03-27 | 北京经纬恒润科技有限公司 | 灭点提取方法、相机标定方法以及存储介质 |
-
2020
- 2020-10-12 CN CN202011086402.XA patent/CN112258582B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108416791A (zh) * | 2018-03-01 | 2018-08-17 | 燕山大学 | 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法 |
CN110930459A (zh) * | 2019-10-29 | 2020-03-27 | 北京经纬恒润科技有限公司 | 灭点提取方法、相机标定方法以及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114663529A (zh) * | 2022-03-22 | 2022-06-24 | 阿波罗智能技术(北京)有限公司 | 一种外参确定方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112258582B (zh) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN110853075B (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
CN107507235B (zh) | 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 | |
CN111862234B (zh) | 双目相机自标定方法及*** | |
CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
CN113362247A (zh) | 一种激光融合多目相机的语义实景三维重建方法及*** | |
CN112184792B (zh) | 一种基于视觉的道路坡度计算方法及装置 | |
CN111127540B (zh) | 一种三维虚拟空间自动测距方法及*** | |
Gerke | Using horizontal and vertical building structure to constrain indirect sensor orientation | |
CN111862235A (zh) | 双目相机自标定方法及*** | |
CN112489106A (zh) | 基于视频的车辆尺寸测量方法、装置、终端及存储介质 | |
CN111862236B (zh) | 定焦双目相机自标定方法及*** | |
CN103900473A (zh) | 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法 | |
CN104167001B (zh) | 基于正交补偿的大视场摄像机标定方法 | |
CN111932637B (zh) | 一种车身相机外参自适应标定方法和装置 | |
CN114280582A (zh) | 激光雷达的标定校准方法、装置、存储介质及电子设备 | |
CN114217665A (zh) | 一种相机和激光雷达时间同步方法、装置及存储介质 | |
CN113763569A (zh) | 一种在三维仿真中使用的图像标注方法及装置、电子设备 | |
CN113744315A (zh) | 一种基于双目视觉的半直接视觉里程计 | |
CN114140533A (zh) | 摄像头外参标定的方法与装置 | |
CN112258582B (zh) | 一种基于道路场景识别的相机姿态标定方法及装置 | |
CN113345032B (zh) | 一种基于广角相机大畸变图的初始化建图方法及*** | |
KR101697229B1 (ko) | 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법 | |
CN114529585A (zh) | 基于深度视觉和惯性测量的移动设备自主定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |