CN112802341A - 前车位置和姿态测量方法 - Google Patents

前车位置和姿态测量方法 Download PDF

Info

Publication number
CN112802341A
CN112802341A CN202011643624.7A CN202011643624A CN112802341A CN 112802341 A CN112802341 A CN 112802341A CN 202011643624 A CN202011643624 A CN 202011643624A CN 112802341 A CN112802341 A CN 112802341A
Authority
CN
China
Prior art keywords
license plate
camera
vehicle
coordinate
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011643624.7A
Other languages
English (en)
Other versions
CN112802341B (zh
Inventor
杨永富
王珂
胡春文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan United Automotive Technology Co ltd
Original Assignee
Zhongshan United Automotive Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan United Automotive Technology Co ltd filed Critical Zhongshan United Automotive Technology Co ltd
Priority to CN202011643624.7A priority Critical patent/CN112802341B/zh
Publication of CN112802341A publication Critical patent/CN112802341A/zh
Application granted granted Critical
Publication of CN112802341B publication Critical patent/CN112802341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种前车位置和姿态测量方法。该方法包括:获取车载相机标定好的相机内参数以及相机外参数;获取车载相机采集的视频数据;根据视频数据确定前车车牌各顶点的像素坐标检测值;确定前车车牌各顶点在车牌坐标系中的坐标系坐标;根据像素坐标检测值、坐标系坐标、相机内参数以及相机外参数确定前车车牌的位置和姿态,以实现对前车位置和前车姿态的测量。根据前车车牌的像素坐标检测值、坐标系坐标、相机内参数以及相机外参数确定前车车牌的位置和姿态,从而确定前车相对于本车的位置和姿态,根据本发明测量的位置和姿态可以判断出前车的运动方向,从而确定当前工况是否为高风险工况,解决了现有的视觉测量方法只能输出前车位置,无法输出前车姿态的技术问题。

Description

前车位置和姿态测量方法
技术领域
本发明涉及车辆技术领域,尤其涉及一种前车位置和姿态测量方法。
背景技术
实时感知车辆前方的人、车及其运动状态,对提前预判、提前预警以及提前应对安全驾驶潜在风险具有非常重要的意义,可以提升驾驶安全性和舒适性,因此得到了广泛的应用。
前车位置和姿态的测量是前车运动状态感知中最基础的测量,目前主要的视觉测量方法只能输出前车位置,无法输出前车车身角度,而前车车身角度是判断前车运动方向的重要依据,根据前车运动方向可以判断出诸如变道、切入以及汇入等高风险工况。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种前车位置和姿态测量方法,旨在解决现有的视觉测量方法只能输出前车位置,无法输出前车姿态的技术问题。
为实现上述目的,本发明提供了一种前车位置和姿态测量方法,所述方法包括以下步骤:
获取车载相机标定好的相机内参数以及相机外参数;
获取所述车载相机采集的视频数据;
根据所述视频数据确定前车车牌各顶点的像素坐标检测值;
确定所述前车车牌的各顶点在车牌坐标系中对应的坐标系坐标;
根据所述像素坐标检测值、所述坐标系坐标、所述相机内参数以及所述相机外参数确定所述前车车牌的位置和姿态,以实现对前车位置和前车姿态的测量。
可选地,所述根据所述视频数据确定前车车牌各顶点的像素坐标检测值,包括:
根据预设深度学习算法确定前车车牌处于所述视频数据中的最小外接四边形;
根据所述最小外接四边形确定前车车牌各顶点的像素坐标检测值。
可选地,所述根据所述像素坐标检测值、所述坐标系坐标、所述相机内参数以及所述相机外参数确定所述前车车牌的位置和姿态,以实现对前车位置和前车姿态的测量,包括:
根据所述坐标系坐标、所述相机内参数、所述相机外参数、待测定位置、待测定姿态以及所述像素坐标检测值构成目标函数;
最小化所述目标函数,确定所述待测定位置以及所述待测定姿态,以实现对前车位置和前车姿态的测量。
可选地,所述根据所述坐标系坐标、所述相机内参数、所述相机外参数、待测定位置、待测定姿态以及所述像素坐标检测值构成目标函数,包括:
根据所述相机内参数、所述相机外参数、待测定位置以及待测定姿态将所述坐标系坐标转化为像素坐标,得到像素坐标估计值;
根据所述像素坐标检测值以及所述像素坐标检测值检测值构成目标函数。
可选地,所述根据所述相机内参数、所述相机外参数、待测定位置以及待测定姿态将所述坐标系坐标转化为像素坐标,得到像素坐标估计值,包括:
根据待测定位置以及待测定姿态将所述坐标系坐标转化至本车车体坐标系中,得到第一顶点坐标;
根据所述相机外参数将所述第一顶点坐标转化至相机坐标系中,得到第二顶点坐标;
根据所述相机内参数将所述第二顶点坐标转化为像素坐标,得到像素坐标估计值。
可选地,所述确定所述前车车牌的各顶点在车牌坐标系中对应的坐标系坐标,包括:
根据所述视频数据确定车牌类型;
根据所述车牌类型确定所述前车车牌的宽度和高度;
根据所述前车车牌的宽度和高度确定所述前车车牌的各顶点在车牌坐标系中对应的坐标系坐标。
可选地,所述根据所述视频数据确定车牌类型,包括:
根据所述视频数据确定前车车牌处于所述视频数据中对应的车牌颜色;
根据所述车牌颜色确定车牌类型。
可选地,所述根据所述车牌类型确定所述前车车牌的宽度和高度之前,所述方法还包括:
获取用户输入的当前车牌类型以及对应的宽度和高度;
将所述宽度、所述高度以及所述当前车牌类型一一对应存储在预设存储区域内。
可选地,所述获取车载相机标定好的相机内参数以及相机外参数之前,所述方法还包括:
对车载相机进行标定,得到标定好的相机内参数以及相机外参数;
将所述标定好的相机内参数以及相机外参数保存在预设存储区域内。
可选地,所述根据所述像素坐标检测值、所述坐标系坐标、所述相机内参数以及所述相机外参数确定所述前车车牌的位置和姿态,以实现对前车位置和前车姿态的测量之后,所述方法还包括:
获取本车辆的当前行驶参数;
根据所述前车位置、所述前车姿态以及所述当前行驶参数确定本车辆是否处于安全状态;
在本车辆不处于安全状态时,向提示装置发送控制信号,以使所述提示装置进行提示。
本发明通过获取车载相机标定好的相机内参数以及相机外参数;获取所述车载相机采集的视频数据;根据所述视频数据确定前车车牌各顶点的像素坐标检测值;确定所述前车车牌的各顶点在车牌坐标系中对应的坐标系坐标;根据所述像素坐标检测值、所述坐标系坐标、所述相机内参数以及所述相机外参数确定所述前车车牌的位置和姿态,以实现对前车位置和前车姿态的测量。通过上述方式,根据前车车牌在视频数据中的像素坐标检测值、坐标系坐标、相机内参数以及相机外参数确定前车车牌的位置和姿态,从而确定前车相对于本车的位置和姿态,不仅测量了前车的位置,还测量了前车姿态,根据本发明测量的位置和姿态可以判断出前车的运动方向,从而确定当前工况是否为变道、切入以及汇入等高风险工况,解决了现有的视觉测量方法只能输出前车位置,无法输出前车姿态的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的前车位置和姿态测量设备的结构示意图;
图2为本发明前车位置和姿态测量方法第一实施例的流程示意图;
图3为本发明前车位置和姿态测量方法第二实施例的流程示意图;
图4为本发明前车位置和姿态测量方法一实施例的坐标系示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的前车位置和姿态测量设备结构示意图。
如图1所示,该前车位置和姿态测量设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对前车位置和姿态测量设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及前车位置和姿态测量程序。
在图1所示的前车位置和姿态测量设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明前车位置和姿态测量设备中的处理器1001、存储器1005可以设置在前车位置和姿态测量设备中,所述前车位置和姿态测量设备通过处理器1001调用存储器1005中存储的前车位置和姿态测量程序,并执行本发明实施例提供的前车位置和姿态测量方法。
本发明实施例提供了一种前车位置和姿态测量方法,参照图2,图2为本发明一种前车位置和姿态测量方法第一实施例的流程示意图。
本实施例中,所述前车位置和姿态测量方法包括以下步骤:
步骤S10:获取车载相机标定好的相机内参数以及相机外参数。
可以理解的是,本实施例的执行主体为前车位置和姿态测量装备,所述前车位置和姿态测量装备可以为车载电脑,也可以为与车载相机通信的电脑、服务器以及移动终端等设备,本实施例对此不加以限制。
需要说明的是,获取车载相机标定好的相机内参数以及相机外参数的过程可以为对车载相机进行标定,得到标定好的相机内参数以及相机外参数,在具体实现中,如果车载相机已经安装完毕,位置和角度不会发生变化,避免多次标定造成资源浪费,可以直接从预设存储区域内获取标定好的相机内参数以及相机外参数。
进一步地,为了得到更准确的相机内参数以及相机外参数,从而使最终测量结果更准确,步骤S10之前,所述方法还包括:对车载相机进行标定,得到标定好的相机内参数以及相机外参数;将所述标定好的相机内参数以及相机外参数保存在预设存储区域内。
需要说明的是,相机标定是指确定相机图像像素位置与场景点位置之间的映射模型参数,根据相机成像模型,由特征点在图像中坐标与世界坐标的对应关系,求解相机模型的参数。相机需要标定的模型参数包括相机内参数以及相机外参数。相机相机内参数是与相机自身特性相关的参数,比如相机的焦距、像素大小等,相机相机外参数是在世界坐标系中的参数,比如相机的位置、旋转方向等,确定了相机在某个三维空间中的位置和朝向。
在具体实现中,可以根据张正友标定法对车载相机进行标定,以获取所述车载相机标定好的相机内参数;根据透视N点标定法对车载相机进行标定,以获取所述车载相机标定好的相机外参数。也可以采用其他标定方式,本实施例对此不加以限制。提前通过张正友标定法对车载相机进行相机内参数标定后,若相机的焦距、分辨率以及畸变等参数不发生变化,无需重复标定,将车载相机安装于车辆前方挡风玻璃上边缘中央位置,平视车前方,再通过透视N点标定法标定相机的外参数,若车载相机安装位置和角度不发生变化,无需重复标定。
需要说明的是,在检测到车载相机安装位置和角度发生变化时,需要再次对车载相机外参数进行标定。
可以理解的是,本实施例采用窄视场相机,无需考虑相机畸变,经标定得到的相机内参数K通过公式(1)表示:
Figure BDA0002872123620000061
其中,fx以及fy为焦距与像素横纵比的融合,(cx,cy)表征了主点(图像原点)坐标。
经标定得到的相机外参数Mvc通过公式(2)表示:
Figure BDA0002872123620000062
其中,Rvc表征了车载相机相对于本车车体坐标系的姿态,Tvc表征了车载相机相对于本车车体坐标系的位置。
步骤S20:获取所述车载相机采集的视频数据。
需要说明的是,在车辆运行过程中,实时采集车辆前方的视频数据,从而实现实时对前车及其运动状态进行采集。
步骤S30:根据所述视频数据确定前车车牌各顶点的像素坐标检测值。
需要说明的是,像素坐标检测值为前车车牌处于车载相机图像中对应的像素坐标,像素坐标检测值可以表示为:右上像素坐标检测值U0=(u0,v0)T,右下像素坐标检测值U1=(u1,v1)T,左下像素坐标检测值U2=(u2,v2)T,左上像素坐标检测值U3=(u3,v3)T
进一步地,为了得到更准确的像素坐标检测值,从而提高前车的位置和姿态的测量准确度,步骤S30,包括:根据预设深度学习算法确定前车车牌处于所述视频数据中的最小外接四边形;根据所述最小外接四边形确定前车车牌各顶点的像素坐标检测值。
需要说明的是,最小外接四边形可以理解为最小面积包围四边形,与最小外接矩形不同,例如,在前车处于左转状态时,根据预设深度学习算法确定前车车牌处于视频数据中为左侧长度大右侧长度小的四边形。将最小外接四边形的四个顶点作为前车车牌的四个顶点,确定最小外接四边形各顶点的像素坐标即可确定前车车牌各顶点的像素坐标检测值。
步骤S40:确定所述前车车牌的各顶点在车牌坐标系中对应的坐标系坐标。
需要说明的是,车牌坐标系为右手坐标系,车牌坐标系以车牌左上顶点为坐标原点,车牌坐标系xp轴与车牌上边缘重合,车牌坐标系yp轴与车牌左边缘重合,车牌坐标系zp轴垂直于车牌,在本实施例中,坐标系坐标的z坐标为0,在得到前车车牌对应的宽度和高度即可确定前车车牌的各顶点在车牌坐标系中对应的坐标系坐标,可以取最常见的车牌的宽度和高度,从而确定坐标系坐标,由用户提前存储在预设存储区域中。
进一步地,由于不同的车牌对应的宽度和高度存在区别,为了得到更准确的坐标系坐标,步骤S40,包括:根据所述视频数据确定车牌类型;根据所述车牌类型确定所述前车车牌的宽度和高度;根据所述前车车牌的宽度和高度确定所述前车车牌的各顶点在车牌坐标系中对应的坐标系坐标。
具体地,所述根据所述视频数据确定车牌类型,包括:根据所述视频数据确定前车车牌处于所述视频数据中对应的车牌颜色;根据所述车牌颜色确定车牌类型。
需要说明的是,车牌类型可以包括蓝色车牌、黄色车牌、白色车牌、黑色车牌或绿色车牌,根据视频数据中车牌的颜色确定车牌类型,例如,蓝色车牌以及黑色车牌的宽度为440mm,高度为140mm;黄色车牌宽度为440mm,高度为220mm。
可以理解的是,对于每一副宽度为w,高度为h的车牌,在车牌坐标系中坐标系坐标分别为:Xp0=(w,0,0)T,Xp1=(w,h,0)T,Xp2=(0,h,0)T
进一步地,所述根据所述车牌类型确定所述前车车牌的宽度和高度之前,所述方法还包括:获取用户输入的当前车牌类型以及对应的宽度和高度;将所述宽度、所述高度以及所述当前车牌类型一一对应存储在预设存储区域内。
需要说明的是,在通过视频数据确定前车车牌对应的颜色时,即可确定前车车牌对应的类型,根据车牌类型从预设存储区域中查找对应的宽度和高度,根据所述前车车牌的宽度和高度确定所述前车车牌的各顶点在车牌坐标系中对应的坐标系坐标Xp0=(w,0,0)T,Xp1=(w,h,0)T,Xp2=(0,h,0)T
步骤S50:根据所述像素坐标检测值、所述坐标系坐标、所述相机内参数以及所述相机外参数确定所述前车车牌的位置和姿态,以实现对前车位置和前车姿态的测量。
可以理解的是,根据所述像素坐标检测值、所述坐标系坐标、所述相机内参数以及所述相机外参数确定所述前车车牌相对于本车坐标系的位置和姿态。
在具体实现中,将像素坐标检测值、所述坐标系坐标、所述相机内参数以及所述相机外参数作为公式(3)以及公式(4)的输入,求解公式(3)即可确定前车车牌的位置和姿态:
s·U=K·Mvc·Mpv·Xp 公式(3)
Figure BDA0002872123620000081
其中,s为缩放因子;K为相机内参数;Mvc为相机外参数;Mpv中包含待测定位置以及待测定姿态;j表示顶点标号,Uj表示第j个顶点对应的像素坐标检测值,Uj *表示将第j个顶点对应的坐标系坐标输入至公式(3)得到的U值。
步骤S40之后,所述方法还包括:获取本车辆的当前行驶参数;根据所述前车位置、所述前车姿态以及所述当前行驶参数确定本车辆是否处于安全状态;在本车辆不处于安全状态时,向提示装置发送控制信号,以使所述提示装置进行提示。
需要说明的是,提示装置可以为汽车仪表,也可以为另外设置的语音装置或者车内信号灯装置,本实施例对此不加以限制。当前行驶参数通过车辆上安装的各类传感器获取,本实施例以车速传感器为例进行说明,通过车速传感器确定本车辆的当前车速,根据前车车牌在一定时间内的位置和姿态确定前车与本车之间的行驶距离变化值,根据当前车速以及行驶距离变化值确定前车与本车之间的相对车速,根据相对车速确定最小安全距离,实时确定前车的位置和姿态,在前车与本车之间的行驶距离小于最小安全距离时,判定本车辆不处于安全状态,向汽车仪表发送控制信号,以使汽车仪表上对应的信号灯闪烁,并发出提示语音。
本发明通过获取车载相机标定好的相机内参数以及相机外参数;获取所述车载相机采集的视频数据;根据所述视频数据确定前车车牌各顶点的像素坐标检测值;确定所述前车车牌的各顶点在车牌坐标系中对应的坐标系坐标;根据所述像素坐标检测值、所述坐标系坐标、所述相机内参数以及所述相机外参数确定所述前车车牌的位置和姿态,以实现对前车位置和前车姿态的测量。通过上述方式,根据前车车牌在视频数据中的像素坐标检测值、坐标系坐标、相机内参数以及相机外参数确定前车车牌的位置和姿态,从而确定前车相对于本车的位置和姿态,不仅测量了前车的位置,还测量了前车姿态,根据本发明测量的位置和姿态可以判断出前车的运动方向,从而确定当前工况是否为变道、切入以及汇入等高风险工况,解决了现有的视觉测量方法只能输出前车位置,无法输出前车姿态的技术问题。
参考图3,图3为本发明一种前车位置和姿态测量方法第二实施例的流程示意图。
基于上述第一实施例,本实施例前车位置和姿态测量方法的所述步骤S50,包括:
步骤S501:根据所述坐标系坐标、所述相机内参数、所述相机外参数、待测定位置、待测定姿态以及所述像素坐标检测值构成目标函数。
具体地,步骤S501,包括:根据所述相机内参数、所述相机外参数、待测定位置以及待测定姿态将所述坐标系坐标转化为像素坐标,得到像素坐标估计值;根据所述像素坐标检测值以及所述像素坐标检测值检测值构成目标函数。
需要说明的是,根据所述相机内参数、所述相机外参数、待测定位置以及待测定姿态将各顶点处于车牌坐标系中坐标系坐标,转化为像素坐标,从而得到像素坐标估计值。
具体地,由于像素坐标通过相机坐标系更容易转化,因此,先将处于车牌坐标系中坐标系坐标转化至相机坐标系,所述根据所述相机内参数、所述相机外参数、待测定位置以及待测定姿态将所述坐标系坐标转化为像素坐标,得到像素坐标估计值,包括:根据待测定位置以及待测定姿态将所述坐标系坐标转化至本车车体坐标系中,得到第一顶点坐标;根据所述相机外参数将所述第一顶点坐标转化至相机坐标系中,得到第二顶点坐标;根据所述相机内参数将所述第二顶点坐标转化为像素坐标,得到像素坐标估计值。
参照图4,图4为本发明前车位置和姿态测量方法一实施例的坐标系示意图,本实施例中包括三个坐标系,分别为:车牌坐标系、相机坐标系以及本车车体坐标系。车牌坐标系、相机坐标系以及本车车体坐标系均为右手坐标系,其中,车牌坐标系以车牌左上顶点为坐标原点,车牌坐标系xp轴与车牌上边缘重合,车牌坐标系yp轴与车牌左边缘重合,车牌坐标系zp轴垂直于车牌,将前车车牌顶点在车牌坐标系中的坐标记为(xp,yp,zp)T,在本车车体坐标系中的坐标记为(xv,yv,zv)T,在相机坐标系中的坐标记为(xc,yc,zc)T
需要说明的是,通过公式(5)将(xp,yp,zp)T转化为(xv,yv,zv)T
Figure BDA0002872123620000101
简记为公式(6):
Xv=Mpv·Xp 公式(6)
其中,Xv为本车车体坐标系中前车车牌的第一顶点坐标;Mpv中包含待测定位置以及待测定姿态;Xp为车牌坐标系中前车车牌的顶点的坐标系坐标;Rpv为车牌坐标系到本车车体坐标系的旋转矩阵,表征了待测定位置;Tpv表征了前车相对于本车的位置,表征了待测定位置。
需要说明的是,Tpv中包含3个自由变量,用于表征前车相对于本车的位置,Rpv中包含车牌坐标系相对于本车车体坐标系的方位角φ、俯仰角θ和横滚角ψ,一个Rpv与一组(φ,θ,ψ)唯一对应,通过公式(7)表示:
Figure BDA0002872123620000111
通过公式(8)将(xv,yv,zv)T转化为(xc,yc,zc)T
Figure BDA0002872123620000112
简记为公式(9):
Xc=Mvc·Xv 公式(9)
其中,Mvc为车载相机的相机外参数;Xv为本车车体坐标系中前车车牌的第一顶点坐标;Xc为相机坐标系中的前车车牌的第二顶点坐标。
通过公式(10)将(xc,yc,zc)T转化为像素坐标(u,v)T
Figure BDA0002872123620000113
简记为公式(11):
s·U=K·Xc 公式(11)
其中,K为车载相机的相机内参数;Xc为相机坐标系中的前车车牌的第二顶点坐标;U为像素坐标估计值,s为缩放因子。
因此,可以通过公式(12)将车牌坐标系中的坐标系坐标(xp,yp,zp)T转换为像素坐标(u,v)T
Figure BDA0002872123620000114
简记为公式(3):
s·U=K·Mvc·Mpv·Xp 公式(3)
需要说明的是,在通过公式(3)将顶点坐标从车牌坐标系转化为像素坐标时,K为相机内参数,Mvc为相机外参数,Mpv中包含待测定位置以及待测定姿态,得到车牌顶点对应的像素坐标估计值。根据车牌类型确定车牌坐标系中的坐标系坐标为Xp0=(w,0,0)T,Xp1=(w,h,0)T,Xp2=(0,h,0)T,通过公式(3)对这三个顶点进行坐标转化,确定对应的像素坐标估计值:U0 *,U1 *,U2 *
以蓝色车牌为例进行说明:蓝色车牌对应的宽度为440mm,高度为140mm,因此,在车牌坐标系中,坐标系坐标分别为:Xp0=(440,0,0)T,Xp1=(440,140,0)T,Xp2=(0,140,0)T代入公式(3),得到包含待测定位置以及待测定姿态的车牌对应的像素坐标估计值U0 *,U1 *,U2 *
需要说明的是,像素坐标检测值为:U0=(u0,v0)T、U1=(u1,v1)T、U2=(u2,v2)T以及U3=(u3,v3)T,像素坐标估计值:U0 *,U1 *,U2 *。由于在计算像素坐标估计值时,未考虑坐标原点对应的顶点,因此,排除掉左上顶点对应的像素坐标检测值,重新确定一一对应的像素坐标检测值以及像素坐标估计值为:U0=(u0,v0)T与U0 *、U1=(u1,v1)T与U1 *以及U2=(u2,v2)T与U2 *
根据像素坐标检测值以及像素坐标估计值确定目标函数可以表示为公式(13):
Figure BDA0002872123620000121
其中,j表示顶点标号,E表示目标函数,Uj表示第j个顶点对应的像素坐标检测值,Uj *表示第j个顶点对应的像素坐标估计值。
步骤S502:最小化所述目标函数,确定所述待测定位置以及所述待测定姿态,以实现对前车位置和前车姿态的测量。
需要说明的是,最小化目标函数,使三个像素坐标检测值以及三个像素坐标估计值之间的差距最小化,从而确定待测定位置以及待测定姿态。
本实施例通过根据坐标系坐标、相机内参数、相机外参数、待测定位置、待测定姿态以及像素坐标检测值构成目标函数,最小化目标函数,从而保证前车车牌的像素坐标检测值与像素坐标估计值差值最小化,进而确定构成目标函数的待测定位置以及待测定姿态,本实施例不仅测量了前车的位置,还测量了前车姿态,并且测得的前车位置和姿态是相对于本车车体坐标系的位置和姿态,不是相对于车载相机坐标系的位置和姿态,不依赖于车载相机的安装状态。根据本实施例测量的位置和姿态可以判断出前车的运动方向,从而确定当前工况是否为变道、切入以及汇入等高风险工况,解决了现有的视觉测量方法只能输出前车位置,无法输出前车姿态的技术问题。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种前车位置和姿态测量方法,其特征在于,所述前车位置和姿态测量方法包括:
获取车载相机标定好的相机内参数以及相机外参数;
获取所述车载相机采集的视频数据;
根据所述视频数据确定前车车牌各顶点的像素坐标检测值;
确定所述前车车牌的各顶点在车牌坐标系中对应的坐标系坐标;
根据所述像素坐标检测值、所述坐标系坐标、所述相机内参数以及所述相机外参数确定所述前车车牌的位置和姿态,以实现对前车位置和前车姿态的测量。
2.如权利要求1所述的前车位置和姿态测量方法,其特征在于,所述根据所述视频数据确定前车车牌各顶点的像素坐标检测值,包括:
根据预设深度学习算法确定前车车牌处于所述视频数据中的最小外接四边形;
根据所述最小外接四边形确定前车车牌各顶点的像素坐标检测值。
3.如权利要求1所述的前车位置和姿态测量方法,其特征在于,所述根据所述像素坐标检测值、所述坐标系坐标、所述相机内参数以及所述相机外参数确定所述前车车牌的位置和姿态,以实现对前车位置和前车姿态的测量,包括:
根据所述坐标系坐标、所述相机内参数、所述相机外参数、待测定位置、待测定姿态以及所述像素坐标检测值构成目标函数;
最小化所述目标函数,确定所述待测定位置以及所述待测定姿态,以实现对前车位置和前车姿态的测量。
4.如权利要求3所述的前车位置和姿态测量方法,其特征在于,所述根据所述坐标系坐标、所述相机内参数、所述相机外参数、待测定位置、待测定姿态以及所述像素坐标检测值构成目标函数,包括:
根据所述相机内参数、所述相机外参数、待测定位置以及待测定姿态将所述坐标系坐标转化为像素坐标,得到像素坐标估计值;
根据所述像素坐标检测值以及所述像素坐标检测值检测值构成目标函数。
5.如权利要求4所述的前车位置和姿态测量方法,其特征在于,所述根据所述相机内参数、所述相机外参数、待测定位置以及待测定姿态将所述坐标系坐标转化为像素坐标,得到像素坐标估计值,包括:
根据待测定位置以及待测定姿态将所述坐标系坐标转化至本车车体坐标系中,得到第一顶点坐标;
根据所述相机外参数将所述第一顶点坐标转化至相机坐标系中,得到第二顶点坐标;
根据所述相机内参数将所述第二顶点坐标转化为像素坐标,得到像素坐标估计值。
6.如权利要求1所述的前车位置和姿态测量方法,其特征在于,所述确定所述前车车牌的各顶点在车牌坐标系中对应的坐标系坐标,包括:
根据所述视频数据确定车牌类型;
根据所述车牌类型确定所述前车车牌的宽度和高度;
根据所述前车车牌的宽度和高度确定所述前车车牌的各顶点在车牌坐标系中对应的坐标系坐标。
7.如权利要求6所述的前车位置和姿态测量方法,其特征在于,所述根据所述视频数据确定车牌类型,包括:
根据所述视频数据确定前车车牌处于所述视频数据中对应的车牌颜色;
根据所述车牌颜色确定车牌类型。
8.如权利要求6所述的前车位置和姿态测量方法,其特征在于,所述根据所述车牌类型确定所述前车车牌的宽度和高度之前,所述方法还包括:
获取用户输入的当前车牌类型以及对应的宽度和高度;
将所述宽度、所述高度以及所述当前车牌类型一一对应存储在预设存储区域内。
9.如权利要求1-8中任一项所述的前车位置和姿态测量方法,其特征在于,所述获取车载相机标定好的相机内参数以及相机外参数之前,所述方法还包括:
对车载相机进行标定,得到标定好的相机内参数以及相机外参数;
将所述标定好的相机内参数以及相机外参数保存在预设存储区域内。
10.如权利要求1-8中任一项所述的前车位置和姿态测量方法,其特征在于,所述根据所述像素坐标检测值、所述坐标系坐标、所述相机内参数以及所述相机外参数确定所述前车车牌的位置和姿态,以实现对前车位置和前车姿态的测量之后,所述方法还包括:
获取本车辆的当前行驶参数;
根据所述前车位置、所述前车姿态以及所述当前行驶参数确定本车辆是否处于安全状态;
在本车辆不处于安全状态时,向提示装置发送控制信号,以使所述提示装置进行提示。
CN202011643624.7A 2020-12-30 2020-12-30 前车位置和姿态测量方法 Active CN112802341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011643624.7A CN112802341B (zh) 2020-12-30 2020-12-30 前车位置和姿态测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011643624.7A CN112802341B (zh) 2020-12-30 2020-12-30 前车位置和姿态测量方法

Publications (2)

Publication Number Publication Date
CN112802341A true CN112802341A (zh) 2021-05-14
CN112802341B CN112802341B (zh) 2022-07-01

Family

ID=75809326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011643624.7A Active CN112802341B (zh) 2020-12-30 2020-12-30 前车位置和姿态测量方法

Country Status (1)

Country Link
CN (1) CN112802341B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191303A (zh) * 2021-05-14 2021-07-30 山东新一代信息产业技术研究院有限公司 一种基于单摄像机前车距离和转向计算的方法
CN114648576A (zh) * 2022-05-24 2022-06-21 苏州魔视智能科技有限公司 一种目标车辆的定位方法、装置以及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010175423A (ja) * 2009-01-30 2010-08-12 Mitsubishi Electric Corp 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
CN106778480A (zh) * 2016-11-22 2017-05-31 武汉大学 一种基于车牌的高精度近距离车距测量方法
CN109305171A (zh) * 2018-11-01 2019-02-05 长安大学 一种前方车辆行驶姿态观测装置及其方法
CN110060298A (zh) * 2019-03-21 2019-07-26 径卫视觉科技(上海)有限公司 一种基于图像的车辆位置和姿态确定***以及相应的方法
CN110188749A (zh) * 2019-05-09 2019-08-30 青岛讯极科技有限公司 一种多车辆下的指定车辆车牌识别***和方法
CN111967360A (zh) * 2020-08-06 2020-11-20 苏州易航远智智能科技有限公司 基于车轮的目标车辆姿态检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010175423A (ja) * 2009-01-30 2010-08-12 Mitsubishi Electric Corp 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
CN106778480A (zh) * 2016-11-22 2017-05-31 武汉大学 一种基于车牌的高精度近距离车距测量方法
CN109305171A (zh) * 2018-11-01 2019-02-05 长安大学 一种前方车辆行驶姿态观测装置及其方法
CN110060298A (zh) * 2019-03-21 2019-07-26 径卫视觉科技(上海)有限公司 一种基于图像的车辆位置和姿态确定***以及相应的方法
CN110188749A (zh) * 2019-05-09 2019-08-30 青岛讯极科技有限公司 一种多车辆下的指定车辆车牌识别***和方法
CN111967360A (zh) * 2020-08-06 2020-11-20 苏州易航远智智能科技有限公司 基于车轮的目标车辆姿态检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191303A (zh) * 2021-05-14 2021-07-30 山东新一代信息产业技术研究院有限公司 一种基于单摄像机前车距离和转向计算的方法
CN113191303B (zh) * 2021-05-14 2023-04-18 山东新一代信息产业技术研究院有限公司 一种基于单摄像机前车距离和转向计算的方法
CN114648576A (zh) * 2022-05-24 2022-06-21 苏州魔视智能科技有限公司 一种目标车辆的定位方法、装置以及***

Also Published As

Publication number Publication date
CN112802341B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
CN112802341B (zh) 前车位置和姿态测量方法
JP5124147B2 (ja) カメラ校正装置及び方法並びに車両
JP4832321B2 (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
CN112362055B (zh) 姿态估计方法、装置和电子设备
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及***
EP4213068A1 (en) Target detection method and apparatus based on monocular image
EP2150053A1 (en) Vehicle periphery monitoring system, vehicle periphery monitoring program and vehicle periphery monitoring method
US9082020B2 (en) Apparatus and method for calculating and displaying the height of an object detected in an image on a display
CN103985131B (zh) 一种用于高速公路车道偏离预警***的相机快速标定方法
CN112902874B (zh) 图像采集装置及方法、图像处理方法及装置、图像处理***
CN113240756B (zh) 车载bsd摄像头的位姿变动检测方法、设备和存储介质
CN111559314A (zh) 深度与图像信息融合的3d增强全景环视***及实现方法
CN112785653B (zh) 车载相机姿态角标定方法
CN115797467B (zh) 车辆相机标定结果检测方法、装置、设备及存储介质
CN114913506A (zh) 一种基于多视角融合的3d目标检测方法及装置
KR20200094657A (ko) 어안 렌즈가 장착된 2차원 카메라를 사용하여 2차원 이미지 샷에서 승객의 상태를 예측하기 위한 방법 및 장치
WO2022257569A1 (zh) 图像采集装置的标定
CN114724104A (zh) 一种视认距离检测的方法、装置、电子设备、***及介质
JP2021522719A (ja) カメラ内部パラメータのオンライン評価
JP2008225908A (ja) 運転支援装置及び案内映像表示方法
CN116486351A (zh) 行车预警方法、装置、设备及存储介质
JP2021043141A (ja) 物体距離推定装置及び物体距離推定方法
CN113870234B (zh) 车辆状态的检测方法、装置和车辆
CN111383268A (zh) 车辆间距状态获取方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant