CN110555885A - 一种车载相机的标定方法、装置及终端 - Google Patents

一种车载相机的标定方法、装置及终端 Download PDF

Info

Publication number
CN110555885A
CN110555885A CN201810550785.8A CN201810550785A CN110555885A CN 110555885 A CN110555885 A CN 110555885A CN 201810550785 A CN201810550785 A CN 201810550785A CN 110555885 A CN110555885 A CN 110555885A
Authority
CN
China
Prior art keywords
vehicle
mounted camera
line
sign line
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810550785.8A
Other languages
English (en)
Other versions
CN110555885B (zh
Inventor
曲磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Co Ltd
Original Assignee
Hisense Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Co Ltd filed Critical Hisense Group Co Ltd
Priority to CN201810550785.8A priority Critical patent/CN110555885B/zh
Publication of CN110555885A publication Critical patent/CN110555885A/zh
Application granted granted Critical
Publication of CN110555885B publication Critical patent/CN110555885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种车载相机的标定方法、装置及终端,其中该方法包括:确定在车辆周边的满足预设条件的标志线;计算得到所述车辆与所述标志线的坐标转换关系;从所述车辆的车载相机拍摄的图像中识别出所述标志线对应的标志线图像,将所述标志线图像进行透视变换得到所述标志线的透视图;根据所述标志线的透视图,计算得到所述车载相机与所述标志线的坐标转换关系;根据所述车辆与所述标志线的坐标转换关系以及所述车载相机与所述标志线的坐标转换关系,计算得到所述车辆与所述车载相机的坐标转换关系。应用该方法,可以代替经纬仪实现对车载相机的标定,使操作更加简单,提升了车载相机的实用性。

Description

一种车载相机的标定方法、装置及终端
技术领域
本申请涉及辅助驾驶技术领域,尤其涉及一种车载相机的标定方法、装置及终端
背景技术
随着汽车智能化的发展趋势,辅助驾驶、自动驾驶等正成为学术界和工业界的研究热点,其中基于视觉获取车辆周边信息防止车辆碰撞成为辅助驾驶的主要功能。
基于视觉获取到的车周身环境信息都是基于相机坐标系,如何确定相机坐标系与车辆自身坐标系之间稳定且准确的转换关系是辅助驾驶研发者们非常关注的问题。如果未能准确计算出相机坐标系与车辆自身坐标系间的转换关系,就会导致基于车载相机的汽车防碰撞***检测结果存在误差,从而会导致额定检测区域与实际检测区域不符,障碍物与车辆间的横向距离与纵向距离存在误差等问题,甚至会造成意外和危险发生。
然而,在实际应用中,计算相机坐标系与车辆自身坐标系的转换关系方法,一般是利用经纬仪等分别测量相机、标示物以及车辆在经纬仪坐标系下的参数,然后进行公共点转换,得到相机坐标系与经纬仪坐标系的转换关系,进而得到相机坐标系与车辆自身坐标系的转换关系。由于该方法需要利用专业的测量工具,则需要专业人士才能完成相机与车辆坐标系之间的标定,并且标定过程复杂,费时费力,实用性较差。
发明内容
有鉴于此,为了解决现有技术中利用经纬仪计算相机坐标系与车辆自身坐标系的转换关系,造成标定过程复杂的问题,本申请提供一种车载相机的标定方法、装置及终端,以实现通过车辆自身的车载相机的自标定,简化人工操作。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种车载相机的标定方法,所述方法包括:
确定在车辆周边的满足预设条件的标志线;
计算得到所述车辆与所述标志线的坐标转换关系;
从所述车辆的车载相机拍摄的图像中识别出所述标志线对应的标志线图像,将所述标志线图像进行透视变换得到所述标志线的透视图;
根据所述标志线的透视图,计算得到所述车载相机与所述标志线的坐标转换关系;
根据所述车辆与所述标志线的坐标转换关系以及所述车载相机与所述标志线的坐标转换关系,计算得到所述车辆与所述车载相机的坐标转换关系。
在一个实施例中,所述预设条件具体为:
垂直相交的两条直线或者线段,其中一条直线或者线段与所述车辆的车身平行。
在一个实施例中,所述垂直相交的两条直线或者线段具体为:
同一平面内垂直相交的两条直线或者线段。
在一个实施例中,所述计算所得到述车辆与所述标志线的坐标转换关系,包括:
获取车辆侧身的平行切线上的前后两点分别到与车身平行的标志线的横向距离,以及所述两点之间的纵向距离,计算得到所述车辆与所述标志线的坐标转换关系。
在一个实施例中,所述从所述车辆的车载相机拍摄的图像中识别出所述标志线对应的标志线图像,包括:
对所述车辆上车载相机拍摄的图像进行特征点提取,将提取到的特征点进行拟合得到所述标志线对应的标志线图像。
在一个实施例中,所述根据所述标志线的透视图,计算得到所述车载相机与所述标志线的坐标转换关系,包括:
获取所述标志线的透视图的中心点坐标以及所述车载相机的焦距,计算得到所述车载相机与所述标志线的坐标转换关系。
在一个实施例中,当车辆直线行驶时,所述计算得到所述车辆与所述车载相机的坐标转换关系,还包括:
获取在预设时间内的多个所述车辆与所述车载相机的坐标转换关系,利用随机抽样一致性算法或者最小二乘法计算出的平均值则为所述车辆与所述车载相机的坐标转换关系的坐标转换关系。
根据本申请实施例的第二方面,提供一种车载相机的标定装置,所述装置包括:
标志线确定模块,用于确定在车辆周边的满足预设条件的标志线;
第一计算模块,用于计算得到所述车辆与所述标志线的坐标转换关系;
图像处理模块,用于从所述车辆的车载相机拍摄的图像中识别出所述标志线对应的标志线图像,将所述标志线图像进行透视变换得到所述标志线的透视图;
第二计算模块,用于根据所述标志线的透视图,计算得到所述车载相机与所述标志线的坐标转换关系;
关系转换模块,用于根据所述车辆与所述标志线的坐标转换关系以及所述车载相机与所述标志线的坐标转换关系,计算得到所述车辆与所述车载相机的坐标转换关系。
根据本申请实施例的第三方面,提供一种车载相机的标定终端,包括存储器、处理器、通信接口、摄像头组件,以及通信总线;
其中,所述存储器、处理器、通信接口、摄像头组件通过所述通信总线进行相互间的通信;
所述摄像头组件,用于采集待检测图像,并通过所述通信总线将所述待检测图像发送至所述处理器;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,所述处理器执行所述计算机程序实现本申请实施例提供的任一车载相机的标定方法的步骤。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的任一车载相机的标定方法的步骤。
由上述实施例可见,本申请可以先确定在车辆周边的满足预设条件的标志线,相比于现有技术使用经纬仪、全站仪、基准尺等标定工具和复杂的标定物,本申请明仅利用地面上两条垂直相交直线或线段作为标志线,例如车道线、停车库标示线等,代替上述专业的测量工具,从而无需专业的安装人员和复杂的操作;根据确定的标志线计算得到所述车辆与所述标志线的坐标转换关系;从所述车辆的车载相机拍摄的图像中识别出所述标志线对应的标志线图像,将所述标志线图像进行透视变换得到所述标志线的透视图;根据所述标志线的透视图,计算得到所述车载相机与所述标志线的坐标转换关系;根据所述车辆与所述标志线的坐标转换关系以及所述车载相机与所述标志线的坐标转换关系,计算得到所述车辆与所述车载相机的坐标转换关系。因此本申请可以通过车辆与标志线的坐标转换关系和车载相机与标志线的坐标转换关系转换得到车辆与车载相机的坐标转换关系,从而在不使用专业的标定工具的情况下,使普通用户也可能方便、快捷的完成车载相机的自动高精度的标定。
综上所述,本申请提供的车载相机的标定方法可以代替经纬仪实现对车载相机的标定,使操作更加简单,提升了车载相机的实用性。
附图说明
图1为车载相机的坐标系;
图2为本申请车载相机的标定方法的一个实施例流程图;
图3为车载相机和车辆的坐标示意图;
图4为车载相机拍摄图像;
图5为标志线检测的示意图;
图6为车载相机高度与俯仰角实时姿态估计图;
图7为本申请车载相机的标定装置的一个实施例框图;
图8为本申请车载相机的标定装置所在车载相机的标定终端的一种硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1所示的是车载相机的坐标系,其中车载相机与车辆之间具有6个自由度的变换,包括水平X方向,竖直Y方向以及纵深Z方向的位移以及旋转变换,其中包括X方向的俯仰角,Y方向上的偏航角,以及Z方向上的滚转角。相机与车辆的坐标系转换关系具体指相机坐标系相对于车辆坐标系分别在X轴,Y轴,Z轴上的位移,以及分别与X轴的俯仰角,Y轴的偏航角,以及Z轴的滚转角的大小。如果未能准确计算出相机坐标系与车辆自身坐标系间的转换关系,就会导致基于车载相机的汽车防碰撞***检测结果存在误差,从而容易导致意外和危险发生。
现有的计算车载相机坐标系与车辆自身坐标系的转换关系方法,一般利用经纬仪等分别测量车载相机、标示物以及车辆在经纬仪坐标系下的参数,然后进行公共点转换,得到车载相机坐标系与经纬仪坐标系的转换关系,进而得到车载相机坐标系与车辆自身坐标系的转换关系。该方法标定过程复杂,费时费力,需要专业人士才能完成车载相机与车辆坐标系之间的标定。
基于此,本申请提供一种车载相机的标定方法,以实现代替经纬仪实现对车载相机的标定,使操作更加简单,提升车载相机的实用性。
如下,示出下述实施例对本申请提供的车载相机的标定方法进行说明。
实施例一:
请参见图2,为本申请车载相机的标定方法的一个实施例流程图,该方法包括以下步骤:
步骤201、确定在车辆周边的满足预设条件的标志线;
在本实施例中,首先说明,为了尽量减少车辆所在的路面对标定结果的影响,因此在标定车载相机时的标定场景可选较为平坦的地面或路面。本实施例中,车载相机的标定场景可以包括静态标定和动态标定。当车辆进行静态标定时,可以选择广场、地下停车场、4S店等场景用于标定;当车辆进行动态标定时,可以选择车道线清晰的平坦道路等场景用于标定。此外,由于路面在较近距离范围内相对更为平坦,因此可选在距离车辆较近的地面或者路面上选择标志线,从而可以减少路面不平对标定造成的干扰。
在本实施例中,选择标志线的预设条件具体包括:标志线为垂直相交的两条直线或者线段,其中一条直线或者线段与所述车辆的车身平行,从而可知另一条直线或者线段则与车身垂直。在静态标定场景中,垂直相交的两条直线或者线段包括两种情况:情况一,两条标志线在同一平面中的两条垂直相交线,例如,停车场地面上互相垂直的停车标示线;情况二,两条标志线为不同平面的两条垂直相交线,例如,停车场地面上的一条与车身平行的地面标示线,另一条矗立于地面之上且与地面垂直的物体边缘线等。由于在同一平面内垂直相交的两条直线或者线段在实际生活中更加普遍,因此本申请可选在同一平面内垂直相交的两条直线或者线段作为标志线。在动态标定场景中,在车辆直线行驶时,可以选择与车辆行驶所在车道的车道线以及与所述车道线垂直的直线或者线段作为标志线。
由于现有技术中通常需要利用经纬仪等专业工具进行标定,需要操作者具有一定的专业知识,并且操作比较困难;而本申请仅使用两条垂直相交直线或线段进行车载相机的标定,从而可以减少大量的测量工作,降低操作者的操作难度,由于本申请使用的两条垂直相交的直线或者线段在生活中非常常见,因此可以进一步提升车载相机标定的实用性。
步骤202、计算所得到述车辆与所述标志线的坐标转换关系;
在本实施例中,标志线确定后,可以进一步测量相关参数,其中,测量的参数包括但不限于:车辆宽度、车辆底盘高度、车辆侧身的平行切线上的前后两点分别到与车身平行的标志线的横向距离,以及所述两点之间的纵向距离;车载相机可以根据获取到的车辆侧身的平行切线上的前后两点分别到与车身平行的标志线的横向距离,以及所述两点之间的纵向距离,计算得到该车辆与标志线的坐标转换关系。
通过下面实施例对静态场景中车辆与所述标志线的坐标转换关系的计算方法分别进行具体说明。
实施例二:
首先,选择较为平坦的场地作为标定场,例如停车场;再从标定场中选择垂直相交的两条标志线作为标志线,然后将车辆驶入标定场中,车辆方向盘回正,车辆侧身尽量与标志线平行或在较小阈值范围的夹角,如图3所示,以车载相机光心为原点建立车载相机坐标系XCOCZC,以车头中心正下方的底盘位置为原点建立车辆坐标系XWOWZW;分别测量车辆侧身的平行切线上的前后两点分别到与车身平行的标志线的横向距离(即图3中的d1和d2),以及所述两点之间的纵向距离(即图3中的d3)。其中,测量车辆侧身的平行切线上的前后两点分别到与车身平行的标志线的横向距离时,可以选择车头、车尾到标志线的横向距离,也可以测量车辆前、后车轮到标志线的横向距离,另外,还可以测量多次取均值以减少误差,或者可以分别测量车辆左右两侧的车辆侧身的平行切线上的前后两点分别到与车身平行的标志线的横向距离,从而进一步减少误差,具体测量方法本申请不做限定。最后,将上述测量结果根据公式(一)计算车头方向与标志线之间的夹角σ,即:
当夹角σ大于一定阈值时,需要重新调整车辆朝向,小于阈值时,则车辆位于标定场中的位置已确定,并且车辆与标志线之间的坐标转换关系也已经确定。
至此,完成实施例二的相关描述。
步骤203、从所述车辆的车载相机拍摄的图像中识别出所述标志线对应的标志线图像,将所述标志线图像进行透视变换得到所述标志线的透视图;
在本实施例中,首先要对车载相机进行安装。具体的,暂时先将车载相机固定在安装位置处,先粗调车载相机的水平X、竖直Y、纵向Z方向,使得车载相机正视前方。车载相机自动或者手动拍摄图像,调整车载相机,使得车载相机拍摄的图像的行中心线与地平线重合,列中心线近似位于车道中心,从而使得车载相机光轴与车辆方向平行且与地面平行,如图4所示,(u0,v0)是图像中心点。然后,根据车载相机拍摄图像中的标定线与车辆的夹角实时对车载相机的姿态进行微调,使得车载相机在水平X、竖直Y、纵向Z方向的角度小于一定阈值,则车载相机安装结束。
需要说明的是,车载相机微调的方式根据不同相机的结构而可能有所不同,包括调整车载相机模组的俯仰角,或者调整车载相机外壳斜面的坡度等。可以给车载相机安装水平泡等辅助工具调节车载相机在水平X、纵向Z方向的角度等。另外,车载相机微调过程中,车载相机与水平X、竖直Y、纵向Z方向的角度可通过显示器实时显示,也可以通过语音、灯光等方式进行显示,直到用户进行车载相机姿态的微调。在静态标定时,将对相机围绕水平X、竖直Y、纵向Z方向的角度进行微调,而动态标定过程中,除非车载相机姿态因特殊原因发生了较大变化,例如人为或外力导致车载相机脱落、移动、角度变化等,否则不对车载相机姿态进行微调,而是仅进行车载相机标定。如果安装有车载相机姿态自动调节装置,也可进行动态标定过程中的微调。对于车载相机的微调方式本申请不做限定。
车载相机安装完成后,可以在车辆行驶过程中手动或自动拍摄标定场图像;然后车载相机拍摄的图像中识别出所述标志线对应的标志线图像,在可选的实施例中,车载相机可以对拍摄的图像进行特征点提取,将提取到的特征点进行拟合得到所述标志线对应的标志线图像。其中车载相机可以使用线特征提取方法获取标志线的特征图像,本实施例可以应用的线特征包括但不限于灰度、梯度、边缘等特征。对提取的特征点进行线性拟合,可以使用的拟合方法包括但不限于霍夫变换、最小二乘法等方法。标志线检测结果如图5所示,其中检测出的标志线(1)(2)(3)用黑色虚线表示。将所述标志线图像进行透视变换得到所述标志线的透视图。
步骤204、根据所述标志线的透视图,计算得到所述车载相机与所述标志线的坐标转换关系;
在本实施例中,获取所述标志线的透视图,获取所述透视图中的中心点坐标以及所述车载相机的焦距,计算得到所述车载相机与所述标志线的坐标转换关系。
通过下面实施例对静态场景中车载相机与所述标志线的坐标转换关系的计算方法分别进行具体说明。
实施例三:
首先根据针孔相机的透视变换理论,则:
公式(二)中,(u,v)是图像坐标,(u0,v0)是图像中心坐标,(xc,yc,zc)是车载相机坐标,f是车载相机的单位焦距。
由于车载相机需要与Z方向平行,则车载相机围绕Z方向的角度应微调为0,具体为利用与车载相机光轴方向垂直的标志线进行调整,该标志线可以是地面上与车载相机光轴方向垂直的标志线,也可以是矗立于地面且与相机光轴方向垂直的标志线等。
其中,一种方法为地面上与车载相机光轴方向垂直的标志线,如图5中直线(2)所示,则可以表示为:
公式(三)中,d是标志线距离车载相机的距离,h是标志线距离车载相机的高度,则图像Y方向上的距离V具体由公式(四)计算得到:
因此,说明与车载相机光轴垂直的地面标志线,在图像上是一条水平直线或线段,该直线偏离图像中心的距离与标志线距离车载相机的高度和距离相关。当标志线距离车载相机无穷远时,即d→+∞时,则v=v0,即标志线在透视图上的投影为一条通过图像中心的水平直线或线段。
另一种方法为矗立于地面且与车载相机光轴方向垂直的标志线,可以表示为:
公式(五)中,d是物体边缘距离车载相机的距离,c是物体边缘在X方向距离车载相机光轴的横向位移由公式(六)得到:
因此,矗立于地面且与车载相机光轴方向垂直的标志线在图像上是一条竖直的直线或线段,直线偏离图像中心的距离与物体边缘距离车载相机的位移和距离相关。当标志线距离车载相机无穷远时,即d→+∞时,则u=u0,即物体边缘在图像上的投影为一条通过图像中心的竖直直线或线段。
然后,利用地面上与车载相机光轴平行的标志线估计相机在X方向、Y方向的角度和位移,如图5中黑色虚线(1)或(3)所示。当地面标志线与车载相机光轴围绕X方向存在一定夹角θ时,则标志线坐标可表示为公式(七):
公式(七)中,斜率k′=tanθ,截距b′=h,h是车载相机中心距离地面的高度,c是标志线在X方向距离车载相机光轴的横向位移由公式(八)计算得到:
即标志线在图像上的投影直线的斜率k和截距b分别为:
因此,标志线在图像上的投影直线的斜率与车载相机高度、车载相机在X方向的位移有关,而截距仅与车载相机光轴围绕X方向的角度相关,则车载相机围绕X方向的角度θ为:
而当地面标志线与车载相机光轴围绕Y方向存在一定夹角时,则标志线坐标可表示为:
公式(十一)中,斜率截距b‘’=c,h是车载相机中心距离地面的高度,c是车载相机中心在X方向距离标志线的横向位移,则:
即标志线在图像上的投影直线的斜率和截距分别为:
因此,标志线在图像上的投影直线的斜率与车载相机高度、车载相机在X方向的位移有关,而截距仅与车载相机光轴围绕Y方向的角度相关,则车载相机围绕Y方向的角度为:
因此,本申请车载相机在静态标定时,首先安装车载相机并进行粗调,使得车载相机光轴方向大致与地面平行;然后根据图像中与光轴方向垂直的地面标志线或者物体边缘线的斜率,人工或自动调整车载相机围绕Z方向旋转的角度,使地面标志线在图像中为水平直线或者物体边缘线为竖直直线,此时车载相机围绕Z方向的角度近似为0;根据图像中与光轴平行的地面标志线的截距,调整车载相机围绕X方向、Y方向的角度;最后,通过直接测量获取两个位移(即车载相机高度或者车载相机在X方向距离地面标志线的横向位移)中的一个,再根据图像中投影直线的斜率,得到两个位移(即车载相机在X方向距离地面标志线的横向位移或相机高度)中的另一个。
至此,完成实施例三的相关描述。
步骤205、根据所述车辆与所述标志线的坐标转换关系以及所述车载相机与所述标志线的坐标转换关系,计算得到所述车辆与所述车载相机的坐标转换关系。
本实施例中,可以根据所述车辆与所述标志线的坐标转换关系以及所述车载相机与所述标志线的坐标转换关系,计算得到所述车辆与所述车载相机的坐标转换关系。
下面以静态标定为例,详细说明本申请获得车辆与所述车载相机的坐标转换关系的方法。
根据上述实施例二和实施例三的计算得到的车辆与标志线的坐标转换关系,以及车载相机与标志线的坐标转换关系,可知如果以车头中心前沿的底盘位置为车辆自身坐标系的中心Ow,则车载相机坐标系XCOCZC与车辆坐标系XwOwZw之间的转换关系如下:
车载相机在水平X方向的位移为车载相机相对标志线的水平位移(c)与车辆相对标志线的水平位移(d1等)、车辆宽度Wcar的差值,即:
车载相机在水平X方向的角度为车载相机的俯仰角θ,即:
θx=θ 公式(十六)
车载相机在竖直Y方向的位移为车载相机高度h与车辆底盘高度hc之差,即:
y=hc-h 公式(十七)
车载相机在竖直Y方向的角度为车载相机的偏航角与车辆方向σ之差,即:
车载相机在纵向Z方向的角度φ为0,即:
φz=0 公式(十九)
车载相机在纵向Z方向的位移通过测量同一物体距离车载相机坐标系原点的距离d以及距离车辆坐标系原点的距离dc得到,即:
z=dc-d 公式(二十)
作为一个实施例,在动态标定场景下,当车辆直线行驶时,可以将车道线作为标志线,可以在预设时间内获取的多个所述车辆与所述车载相机的坐标转换关系进行统计分析,利用随机抽样一致性算法或者最小二乘法计算出的平均值,则为所述车辆与所述车载相机的坐标转换关系。
举例来讲,动态标定前,车载相机围绕Z方向旋转的角度小于预设阈值时为可忽略不计,否则需要进行人工或自动调整角度,车载相机高度也默认与静态时相同,动态标定过程中,不在对车载相机进行微调。动态标定时,对车载相机在水平X方向的角度、竖直Y方向的角度和车载相机在X方向的位移进行估计。动态标定过程中,受车辆颠簸等影响,车载相机姿态的角度和位移会存在一定波动,如图6所示,因此可以采用RANSAC(随机抽样一致性算法)、最小二乘法等以得到平均角度和位移。其中,一般情况优先采用RANSAC方法,如图6对于车载相机实时姿态进行估计,通过多次迭代剔除波动较大的估计结果,只对剩下的估计结果进行拟合,从而得到车载相机在水平X,竖直Y方向的平均角度和位移等,具体RANSAC实现方法可查阅相关文献资料,本方案中不再赘述。另外,由于车载相机姿态波动的对称性,即车辆的上下波动一般总是成对出现的,也可以采用最小二乘法进行动态标定,即在标定周期Ts内,对所有相机姿态实时估计结果进行最小二乘拟合,从而得到车载相机在水平X,竖直Y方向的平均角度和位移。最小二乘法速度相对较快,但对标定过程中车辆的平稳性有较高要求,若在路面没有较大颠簸或起伏时,可优先采用最小二乘法。后续将通过估算相机姿态得到车载相机与标定线之间的位置关系,包括车载相机与标定线之间在水平X、竖直Y、纵向Z方向的位移和角度等,进而得到车载相机与车辆之间的坐标转换关系,包括车载相机与车辆之间在水平X、竖直Y、纵向Z方向的位移和角度等。
由上述实施例可见,本申请可以先确定在车辆周边的满足预设条件的标志线,相比于现有技术使用经纬仪、全站仪、基准尺等标定工具和复杂的标定物,本申请明仅利用生活中常见的地面上两条垂直相交直线或线段作为标志线,例如车道线、停车库标示线等,代替上述专业的测量工具,从而无需专业的安装人员和复杂的操作;根据确定的标志线计算得到所述车辆与所述标志线的坐标转换关系;从所述车辆的车载相机拍摄的图像中识别出所述标志线对应的标志线图像,将所述标志线图像进行透视变换得到所述标志线的透视图;根据所述标志线的透视图,计算得到所述车载相机与所述标志线的坐标转换关系;根据所述车辆与所述标志线的坐标转换关系以及所述车载相机与所述标志线的坐标转换关系,计算得到所述车辆与所述车载相机的坐标转换关系。因此本申请可以通过车辆与标志线的坐标转换关系和车载相机与标志线的坐标转换关系转换得到车辆与车载相机的坐标转换关系,从而在不使用专业的标定工具的情况下,使普通用户也可能方便、快捷的完成车载相机的自动高精度的标定
综上所述,本申请提供的车载相机的标定方法可以代替经纬仪实现对车载相机的标定,使操作更加简单,提升了车载相机的实用性。
至此,完成实施例一的相关描述。
与前述车载相机的标定方法的实施例相对应,本申请还提供了车载相机的标定装置的实施例。
请参见图7,为本申请车载相机的标定装置的一个实施例框图,该装置可以包括:标志线确定模块71、第一计算模块72、图像处理模块73、第二计算模块74,关系转换模块75。
其中,标志线确定模块71,用于确定在车辆周边的满足预设条件的标志线;
第一计算模块72,用于计算得到所述车辆与所述标志线的坐标转换关系;
图像处理模块73,用于从所述车辆的车载相机拍摄的图像中识别出所述标志线对应的标志线图像,将所述标志线图像进行透视变换得到所述标志线的透视图;
第二计算模块74,用于根据所述标志线的透视图,计算得到所述车载相机与所述标志线的坐标转换关系;
关系转换模块75,用于根据所述车辆与所述标志线的坐标转换关系以及所述车载相机与所述标志线的坐标转换关系,计算得到所述车辆与所述车载相机的坐标转换关系。
在一个实施例中,所述预设条件具体为:
垂直相交的两条直线或者线段,其中一条直线或者线段与所述车辆的车身平行。
在一个实施例中,所述垂直相交的两条直线或者线段具体为:
同一平面内垂直相交的两条直线或者线段。
在一个实施例中,所述第一计算模块72,具体用于获取车辆侧身的平行切线上的前后两点分别到与车身平行的标志线的横向距离,以及所述两点之间的纵向距离,计算得到所述车辆与所述标志线的坐标转换关系。
在一个实施例中,所述图像处理模块73,具体用于对所述车辆的车载相机拍摄的图像进行特征点提取,将提取到的特征点进行拟合得到所述标志线对应的标志线图像。
在一个实施例中,所述第二计算模块74,具体用于获取所述标志线的透视图的中心点坐标以及所述车载相机的焦距,计算得到所述车载相机与所述标志线的坐标转换关系。
在一个实施例中,所述关系转换模块75,具体用于当车辆直线行驶时,获取预设时间内的多个所述车辆与所述车载相机的坐标转换关系,利用随机抽样一致性算法或者最小二乘法计算出的平均值则为所述车辆与所述车载相机的坐标转换关系的坐标转换关系。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
本申请车载相机的标定装置的实施例可以应用在车载相机的标定终端上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在车载相机的标定终端的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图8所示,为本申请车载相机的标定装置所在车载相机的标定终端的一种硬件结构图,其中,处理器801是该车载相机的标定终端800的控制中心,利用各种接口和线路连接整个该车道线检测装置的各个部分,通过运行或执行存储在存储器802内的软件程序和/或模块,以及调用存储在存储器802内的数据,执行车载相机的标定装置800的各种功能和处理数据,从而对该车载相机的标定装置进行整体监控。
可选的,处理器801可包括(图8中未示出)一个或多个处理核心;可选的,处理器801可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器801中。
存储器802可用于存储软件程序以及模块,处理器801通过运行存储在存储器802的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器802主要包括(图8中未示出)存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据车载相机的标定装置800的使用所创建的数据(比如采集到的图像、计算得到的视差图像或者计算数据)等。
此外,存储器802可以包括(图8中未示出)高速随机存取存储器,还可以包括(图8中未示出)非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器802还可以包括(图8中未示出)存储器控制器,以提供处理器801对存储器802的访问。
在一些实施例中,装置800还可选包括有:***设备接口803和至少一个***设备。处理器801、存储器802和***设备接口803之间可以通信总线或信号线(图8中未示出)相连。各个***设备可以通信总线或信号线与***设备接口803相连。具体地,***设备可以包括:射频组件804、触摸显示屏805、摄像头组件806、音频组件807、定位组件808和电源组件809中的至少一种。
除了图8所示例的各个硬件之外,实施例中装置所在的车载相机的标定终端通常根据该车载相机的标定终端的实际功能,还可以包括其他硬件,对此不再赘述。
本领域技术人员可以理解的是,图8所示例的车载相机的标定终端可以应用在汽车上,也可以应用在电脑、智能手机等其他设备上,本申请对此并不作限制。
本申请还提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的任一车载相机的标定方法的步骤。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种车载相机的标定方法,其特征在于,所述方法包括:
确定在车辆周边的满足预设条件的标志线;
计算得到所述车辆与所述标志线的坐标转换关系;
从所述车辆的车载相机拍摄的图像中识别出所述标志线对应的标志线图像,将所述标志线图像进行透视变换得到所述标志线的透视图;
根据所述标志线的透视图,计算得到所述车载相机与所述标志线的坐标转换关系;
根据所述车辆与所述标志线的坐标转换关系以及所述车载相机与所述标志线的坐标转换关系,计算得到所述车辆与所述车载相机的坐标转换关系。
2.根据权利要求1所述的方法,其特征在于,所述预设条件具体为:
垂直相交的两条直线或者线段,其中一条直线或者线段与所述车辆的车身平行。
3.根据权利要求2所述的方法,其特征在于,所述垂直相交的两条直线或者线段具体为:
同一平面内垂直相交的两条直线或者线段。
4.根据权利要求2所述的方法,其特征在于,所述计算所得到述车辆与所述标志线的坐标转换关系,包括:
获取车辆侧身的平行切线上的前后两点分别到与车身平行的标志线的横向距离,以及所述两点之间的纵向距离,计算得到所述车辆与所述标志线的坐标转换关系。
5.根据权利要求1所述的方法,其特征在于,所述从所述车辆的车载相机拍摄的图像中识别出所述标志线对应的标志线图像,包括:
对所述车辆的车载相机拍摄的图像进行特征点提取,将提取到的特征点进行拟合得到所述标志线对应的标志线图像。
6.根据权利要求1所述的方法,其特征在于,所述根据所述标志线的透视图,计算得到所述车载相机与所述标志线的坐标转换关系,包括:
获取所述标志线的透视图的中心点坐标以及所述车载相机的焦距,计算得到所述车载相机与所述标志线的坐标转换关系。
7.根据权利要求1所述的方法,其特征在于,当车辆直线行驶时,所述计算得到所述车辆与所述车载相机的坐标转换关系,还包括:
获取在预设时间内的多个所述车辆与所述车载相机的坐标转换关系,利用随机抽样一致性算法或者最小二乘法计算出的平均值则为所述车辆与所述车载相机的坐标转换关系的坐标转换关系。
8.一种车载相机的标定装置,其特征在于,所述装置包括:
标志线确定模块,用于确定在车辆周边的满足预设条件的标志线;
第一计算模块,用于计算得到所述车辆与所述标志线的坐标转换关系;
图像处理模块,用于从所述车辆的车载相机拍摄的图像中识别出所述标志线对应的标志线图像,将所述标志线图像进行透视变换得到所述标志线的透视图;
第二计算模块,用于根据所述标志线的透视图,计算得到所述车载相机与所述标志线的坐标转换关系;
关系转换模块,用于根据所述车辆与所述标志线的坐标转换关系以及所述车载相机与所述标志线的坐标转换关系,计算得到所述车辆与所述车载相机的坐标转换关系。
9.一种车载相机的标定终端,其特征在于,包括存储器、处理器、通信接口、摄像头组件,以及通信总线;
其中,所述存储器、处理器、通信接口、摄像头组件通过所述通信总线进行相互间的通信;
所述摄像头组件,用于采集待检测图像,并通过所述通信总线将所述待检测图像发送至所述处理器;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,所述处理器执行所述计算机程序实现权利要求1-7任一所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述方法的步骤。
CN201810550785.8A 2018-05-31 2018-05-31 一种车载相机的标定方法、装置及终端 Active CN110555885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810550785.8A CN110555885B (zh) 2018-05-31 2018-05-31 一种车载相机的标定方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810550785.8A CN110555885B (zh) 2018-05-31 2018-05-31 一种车载相机的标定方法、装置及终端

Publications (2)

Publication Number Publication Date
CN110555885A true CN110555885A (zh) 2019-12-10
CN110555885B CN110555885B (zh) 2023-07-04

Family

ID=68733773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810550785.8A Active CN110555885B (zh) 2018-05-31 2018-05-31 一种车载相机的标定方法、装置及终端

Country Status (1)

Country Link
CN (1) CN110555885B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696160A (zh) * 2020-06-22 2020-09-22 深圳市中天安驰有限责任公司 车载摄像头自动标定方法、设备及可读存储介质
CN112419420A (zh) * 2020-09-17 2021-02-26 腾讯科技(深圳)有限公司 一种相机标定方法、装置、电子设备及存储介质
CN112800986A (zh) * 2021-02-02 2021-05-14 深圳佑驾创新科技有限公司 车载摄像头外参标定方法、装置、车载终端和存储介质
CN112837381A (zh) * 2021-02-09 2021-05-25 上海振华重工(集团)股份有限公司 一种适用于驾驶设备的摄像头的标定方法、***及设备
CN114565681A (zh) * 2022-03-01 2022-05-31 禾多科技(北京)有限公司 一种相机标定方法、装置、设备、介质及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608693A (zh) * 2015-12-18 2016-05-25 上海欧菲智能车联科技有限公司 车载全景环视的标定***及方法
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN106981082A (zh) * 2017-03-08 2017-07-25 驭势科技(北京)有限公司 车载摄像头标定方法、装置及车载设备
CN107133988A (zh) * 2017-06-06 2017-09-05 科大讯飞股份有限公司 车载全景环视***中摄像头的标定方法及标定***
CN107133985A (zh) * 2017-04-20 2017-09-05 常州智行科技有限公司 一种基于车道线消逝点的车载摄像机自动标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608693A (zh) * 2015-12-18 2016-05-25 上海欧菲智能车联科技有限公司 车载全景环视的标定***及方法
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN106981082A (zh) * 2017-03-08 2017-07-25 驭势科技(北京)有限公司 车载摄像头标定方法、装置及车载设备
CN107133985A (zh) * 2017-04-20 2017-09-05 常州智行科技有限公司 一种基于车道线消逝点的车载摄像机自动标定方法
CN107133988A (zh) * 2017-06-06 2017-09-05 科大讯飞股份有限公司 车载全景环视***中摄像头的标定方法及标定***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙英慧: "基于公路双平行线组的相机外参数在线标定", 《电子科技》 *
陈军等: "基于道路特征的车载相机标定动态补偿算法", 《机械工程学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696160A (zh) * 2020-06-22 2020-09-22 深圳市中天安驰有限责任公司 车载摄像头自动标定方法、设备及可读存储介质
CN111696160B (zh) * 2020-06-22 2023-08-18 江苏中天安驰科技有限公司 车载摄像头自动标定方法、设备及可读存储介质
CN112419420A (zh) * 2020-09-17 2021-02-26 腾讯科技(深圳)有限公司 一种相机标定方法、装置、电子设备及存储介质
CN112800986A (zh) * 2021-02-02 2021-05-14 深圳佑驾创新科技有限公司 车载摄像头外参标定方法、装置、车载终端和存储介质
CN112837381A (zh) * 2021-02-09 2021-05-25 上海振华重工(集团)股份有限公司 一种适用于驾驶设备的摄像头的标定方法、***及设备
CN114565681A (zh) * 2022-03-01 2022-05-31 禾多科技(北京)有限公司 一种相机标定方法、装置、设备、介质及产品

Also Published As

Publication number Publication date
CN110555885B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN110555885B (zh) 一种车载相机的标定方法、装置及终端
CN110555884B (zh) 一种车载双目相机的标定方法、装置及终端
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
US10424081B2 (en) Method and apparatus for calibrating a camera system of a motor vehicle
WO2017124901A1 (zh) 一种数据处理方法、装置及终端
US8180100B2 (en) Plane detector and detecting method
CN107636679B (zh) 一种障碍物检测方法及装置
JP7444605B2 (ja) 牽引ヒッチの位置を計算する方法
CN106651963B (zh) 一种用于驾驶辅助***的车载摄像头的安装参数标定方法
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、***、终端和存储介质
CN108629763B (zh) 一种视差图的评判方法、装置及终端
JP6979229B2 (ja) 魚眼レンズが装着された2次元カメラを使用して2次元イメージショットで乗客の状態を予測するための方法及び装置{method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens}
JP6756101B2 (ja) 物体認識装置
KR102464581B1 (ko) 스테레오 점군 처리장치 및 그 방법
CN110969055A (zh) 用于车辆定位的方法、装置、设备和计算机可读存储介质
CN109827516B (zh) 一种通过车轮来测量距离的方法
CN113850867A (zh) 相机参数标定及设备的控制方法、装置、设备及存储介质
CN114755662A (zh) 一种路车融合感知的激光雷达和gps的标定方法和装置
CN114419143A (zh) 深度测量方法、深度测量设备及存储介质
CN113658262B (zh) 相机外参标定方法、装置、***及存储介质
CN110597249A (zh) 一种机器人及其回充定位方法和装置
CN114322856B (zh) 矿区路面平整度的检测方法、装置、存储介质及设备
CN112384952A (zh) 一种相机的标定方法、标定装置及电子设备
CN109427077B (zh) 一种用于标定汽车环视***的处理器
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant