CN111462503A - 车辆测速方法、装置及计算机可读存储介质 - Google Patents

车辆测速方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111462503A
CN111462503A CN201910059660.XA CN201910059660A CN111462503A CN 111462503 A CN111462503 A CN 111462503A CN 201910059660 A CN201910059660 A CN 201910059660A CN 111462503 A CN111462503 A CN 111462503A
Authority
CN
China
Prior art keywords
target vehicle
coordinate system
determining
vehicle
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910059660.XA
Other languages
English (en)
Other versions
CN111462503B (zh
Inventor
罗义平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910059660.XA priority Critical patent/CN111462503B/zh
Publication of CN111462503A publication Critical patent/CN111462503A/zh
Application granted granted Critical
Publication of CN111462503B publication Critical patent/CN111462503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种车辆测速方法、装置及计算机可读存储介质,属于智能交通领域。该方法包括:确定当前时刻目标车辆在拼接坐标系中的轨迹,然后从当前时刻目标车辆在该拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点。然后根据这两个测速基准点在该拼接坐标系中的拼接坐标,确定这两个测速基准点之间的实际距离,最后根据该实际距离和这两个测速基准点分别所属的视频帧图像的采集时间之间的差值,即可确定出目标车辆的行驶速度。本发明选取的两个测速基准点之间的距离一般较远,且这两个测速基准点所属的视频帧图像的采集时间之间的差值也较大,如此,可以使确定出的目标车辆的行驶速度的误差较小,准确性较高。

Description

车辆测速方法、装置及计算机可读存储介质
技术领域
本发明涉及智能交通领域,特别涉及一种车辆测速方法、装置及计算机可读存储介质。
背景技术
随着我国车辆数量的不断上涨,车辆超速行驶带来的交通事故问题日益严重,使得对车辆进行测速成为交通管制中不可或缺的部分。
相关技术中,提出了一种车辆测速方法,包括:通过双目摄像机采集视频帧图像,以得到左右两个视频帧图像。确定左右两个视频帧图像的视差图,根据确定的视差图,以及上一时刻目标车辆在图像坐标系中的坐标,确定目标车辆上一时刻的实际三维坐标。根据确定的视差图,以及当前时刻目标车辆在图像坐标系中的坐标,确定目标车辆当前时刻的实际三维坐标。根据目标车辆上一时刻的实际三维坐标和当前时刻的实际三维坐标,确定目标车辆在前后两个相邻时刻之间的实际行驶距离。进而将该实际行驶距离与前后两个相邻时刻的时间差的商值,确定为目标车辆的行驶速度。其中,目标车辆为当前进行测速的任一车辆,图像坐标系是针对采集的视频帧图像建立的坐标系。
然而,由于前后两个相邻时刻的时间差一般比较小,这样,目标车辆在这两个相邻时刻之间的实际行驶距离会比较短,所以,就会存在因相邻两个时刻的时间差太小、实际行驶距离太短等因素带来误差放大的问题,从而导致确定的行驶速度的准确性较低。
发明内容
本发明实施例提供了一种车辆测速方法、装置及计算机可读存储介质,可以解决相关技术中因相邻两个测速时刻的时间差太小、实际行驶距离太短等因素带来的误差放大,从而导致确定的行驶速度的准确性较低的问题。所述技术方案如下:
第一方面,提供了一种车辆测速方法,应用于多目摄像机,所述多目摄像机包括的多个摄像头中相邻两个摄像头的监控范围沿道路的走向存在交叠部分,所述方法包括:
确定当前时刻目标车辆在拼接坐标系中的轨迹,所述目标车辆为进行测速的任一车辆,所述拼接坐标系为用于绘制所述目标车辆在所述多个摄像头的监控范围内的完整轨迹的坐标系;
从当前时刻所述目标车辆在所述拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点;
根据所述两个测速基准点在所述拼接坐标系中的拼接坐标,确定所述两个测速基准点之间的实际距离;
根据所述实际距离与第一时间差,确定所述目标车辆的行驶速度,所述第一时间差为所述两个测速基准点分别所属的视频帧图像的采集时间之间的差值。
可选地,所述根据所述两个测速基准点在所述拼接坐标系中的拼接坐标,确定所述两个测速基准点之间的实际距离,包括:
根据所述两个测速基准点在所述拼接坐标系中的横坐标、所述道路上相邻两条车道线的实际距离和所述拼接坐标系中相邻两条车道线之间的距离,确定第一距离;
根据所述两个测速基准点在所述拼接坐标系中的纵坐标、所述道路上相邻两条标定线的实际距离和所述拼接坐标系中相邻两条标定线之间的距离,确定第二距离;
根据所述第一距离和所述第二距离,确定所述两个测速基准点之间的实际距离。
可选地,所述确定当前时刻目标车辆在拼接坐标系中的轨迹,包括:
通过所述多个摄像头采集视频帧图像,以得到多个视频帧图像;
当所述多个视频帧图像中的至少一个视频帧图像中包括所述目标车辆时,确定所述至少一个视频帧图像中所述目标车辆的车辆信息,以得到至少一个车辆信息,每个车辆信息中均包括所述目标车辆在标定坐标系中的标定坐标和所述目标车辆的车牌信息;
根据至少一个摄像头的编号,将所述至少一个车辆信息中所述目标车辆的标定坐标转换为所述拼接坐标系中对应的至少一个拼接坐标,所述至少一个摄像头为用于采集所述至少一个视频帧图像的摄像头;
根据所述至少一个车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标;
当所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在所述拼接坐标系中的所述前一拼接坐标与所述当前拼接坐标之间连线,以得到当前时刻所述目标车辆在所述拼接坐标系中的轨迹。
可选地,所述确定所述至少一个视频帧图像中所述目标车辆的车辆信息,以得到至少一个车辆信息,包括:
对所述至少一个视频帧图像进行车辆检测,以确定每个视频帧图像中所述目标车辆的车辆位置;
根据确定出的所述目标车辆的车辆位置,从所述至少一个视频帧图像包括的每个视频帧图像中确定所述目标车辆的车牌信息;
根据确定出的所述目标车辆的车辆位置,确定所述目标车辆在所述至少一个视频帧图像包括的每个视频帧图像的图像坐标系中的图像坐标,以得到至少一个图像坐标;
将所述至少一个图像坐标转换至所述标定坐标系中,以得到所述目标车辆在所述标定坐标系中的标定坐标。
可选地,所述多个摄像头的编号从0开始逐个增加;
所述根据至少一个摄像头的编号,将所述至少一个车辆信息中所述目标车辆的标定坐标转换为所述拼接坐标系中对应的至少一个拼接坐标,包括:
将所述至少一个车辆信息中所述目标车辆的标定坐标的横坐标作为所述目标车辆在所述拼接坐标系中的横坐标,将所述至少一个车辆信息中所述目标车辆的标定坐标的纵坐标与所述至少一个摄像头的编号对应相加,得到所述目标车辆在所述拼接坐标系中的纵坐标。
可选地,所述根据所述至少一个车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标,包括:
当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像头对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标,相比于所述至少一个摄像头中的其他摄像头,所述第一摄像头拍摄出的视频帧图像中所述目标车辆所占的像素区域的尺寸最大;
当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
当确定出的匹配度位于预设匹配度范围内时,确定所述至少一个拼接坐标之间的距离;
当所述至少一个拼接坐标之间的距离小于预设距离时,将所述第一摄像头对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标。
可选地,所述确定当前时刻目标车辆在拼接坐标系中的轨迹之前,还包括:
通过所述多个摄像头中每个摄像头采集一张参考图像,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像头拍摄的参考图像中有一条相同的标定线;
根据所述多个摄像头的编号,以及采集到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系。
可选地,所述根据所述多个摄像头的编号,以及采集到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系,包括:
按照所述多个摄像头的编号,将所述多个摄像头中相邻两个摄像头拍摄的参考图像中相同的标定线重合,并将所述多张参考图像中最左边的车道线连接,得到一条竖直连接线;
将所述多个摄像头的编号从小到大的方向确定为所述竖直连接线的方向;
获取编号最小的摄像头拍摄的参考图像中最下边的标定线,将水平向右的方向确定为所述最下边的标定线的方向;
将有方向的所述竖直连接线作为所述拼接坐标系的纵轴,将有方向的所述最下边的标定线作为所述拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立所述拼接坐标系。
可选地,所述根据所述实际距离与第一时间差,确定所述目标车辆的行驶速度之后,还包括:
抓拍所述目标车辆行驶在所述道路上的车辆图像;
将所述目标车辆的车辆图像、所述目标车辆的行驶速度和所述目标车辆的车辆信息发送给服务器。
可选地,所述确定当前时刻目标车辆在拼接坐标系中的轨迹之后,还包括:
当根据当前时刻所述目标车辆在所述拼接坐标系中的轨迹,以及所述道路上的车道线在所述拼接坐标系中的位置,确定所述目标车辆存在变道行为时,采集所述目标车辆的变道过程图;
当根据当前时刻所述目标车辆在所述拼接坐标系中的轨迹,以及所述道路上的车道线在所述拼接坐标系中的位置,确定所述目标车辆结束变道行为时,确定所述目标车辆的变道行为的持续时长;
当所述持续时长小于参考时长,且所述目标车辆在所述持续时长内行驶在至少三个不同车道时,确定所述目标车辆的变道行为为连续变道行为;
在确定所述目标车辆的变道行为为连续变道行为之后,根据采集的变道过程图,确定所述目标车辆的连续变道事件取证图;
将所述目标车辆的车辆信息和所述连续变道事件取证图发送给服务器。
可选地,所述根据采集的变道过程图,确定所述目标车辆的连续变道事件取证图,包括:
从采集的变道过程图中选取第一过程图,所述第一过程图是采集的变道过程图中所述目标车辆所占的像素区域的尺寸最大的一张变道过程图;
从所述第一过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为所述目标车辆的车辆特写图,所述车牌扩展区域是指根据车牌区域扩展后包括所述目标车辆的车头或车尾的区域;
将采集的变道过程图和所述车辆特写图确定为所述目标车辆的连续变道事件取证图。
第二方面,提供了一种车辆测速装置,应用于多目摄像机,所述多目摄像机包括的多个摄像头中相邻两个摄像头的监控范围沿道路的走向存在交叠部分,所述装置包括:
第一确定模块,用于确定当前时刻目标车辆在拼接坐标系中的轨迹,所述目标车辆为进行测速的任一车辆,所述拼接坐标系为用于绘制所述目标车辆在所述多个摄像头的监控范围内的完整轨迹的坐标系;
选取模块,用于从当前时刻所述目标车辆在所述拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点;
第二确定模块,用于根据所述两个测速基准点在所述拼接坐标系中的拼接坐标,确定所述两个测速基准点之间的实际距离;
第三确定模块,用于根据所述实际距离与第一时间差,确定所述目标车辆的行驶速度,所述第一时间差为所述两个测速基准点分别所属的视频帧图像的采集时间之间的差值。
可选地,所述第二确定模块包括:
第一确定子模块,用于根据所述两个测速基准点在所述拼接坐标系中的横坐标、所述道路上相邻两条车道线的实际距离和所述拼接坐标系中相邻两条车道线之间的距离,确定第一距离;
第二确定子模块,用于根据所述两个测速基准点在所述拼接坐标系中的纵坐标、所述道路上相邻两条标定线的实际距离和所述拼接坐标系中相邻两条标定线之间的距离,确定第二距离;
第三确定子模块,用于根据所述第一距离和所述第二距离,确定所述两个测速基准点之间的实际距离。
可选地,所述第一确定模块包括:
采集子模块,用于通过所述多个摄像头采集视频帧图像,以得到多个视频帧图像;
第四确定子模块,用于当所述多个视频帧图像中的至少一个视频帧图像中包括所述目标车辆时,确定所述至少一个视频帧图像中所述目标车辆的车辆信息,以得到至少一个车辆信息,每个车辆信息中均包括所述目标车辆在标定坐标系中的标定坐标和所述目标车辆的车牌信息;
转换子模块,用于根据至少一个摄像头的编号,将所述至少一个车辆信息中所述目标车辆的标定坐标转换为所述拼接坐标系中对应的至少一个拼接坐标,所述至少一个摄像头为用于采集所述至少一个视频帧图像的摄像头;
第五确定子模块,用于根据所述至少一个车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标;
轨迹绘制子模块,用于当所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在所述拼接坐标系中的所述前一拼接坐标与所述当前拼接坐标之间连线,以得到当前时刻所述目标车辆在所述拼接坐标系中的轨迹。
可选地,所述第四确定子模块包括:
车辆检测单元,用于对所述至少一个视频帧图像进行车辆检测,以确定每个视频帧图像中所述目标车辆的车辆位置;
第一确定单元,用于根据确定出的所述目标车辆的车辆位置,从所述至少一个视频帧图像包括的每个视频帧图像中确定所述目标车辆的车牌信息;
第二确定单元,用于根据确定出的所述目标车辆的车辆位置,确定所述目标车辆在所述至少一个视频帧图像包括的每个视频帧图像的图像坐标系中的图像坐标,以得到至少一个图像坐标;
转换单元,用于将所述至少一个图像坐标转换至所述标定坐标系中,以得到所述目标车辆在所述标定坐标系中的标定坐标。
可选地,所述多个摄像头的编号从0开始逐个增加;
所述转换子模块,还用于将所述至少一个车辆信息中所述目标车辆的标定坐标的横坐标作为所述目标车辆在所述拼接坐标系中的横坐标,将所述至少一个车辆信息中所述目标车辆的标定坐标的纵坐标与所述至少一个摄像头的编号对应相加,得到所述目标车辆在所述拼接坐标系中的纵坐标。
可选地,所述第五确定子模块包括:
第三确定单元,用于当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像头对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标,相比于所述至少一个摄像头中的其他摄像头,所述第一摄像头拍摄出的视频帧图像中所述目标车辆所占的像素区域的尺寸最大;
第四确定单元,用于当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
第五确定单元,用于当确定出的匹配度位于预设匹配度范围内时,确定所述至少一个拼接坐标之间的距离;
第六确定单元,用于当所述至少一个拼接坐标之间的距离小于预设距离时,将所述第一摄像头对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标。
可选地,所述装置还包括:
第一采集模块,用于通过所述多个摄像头中每个摄像头采集一张参考图像,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像头拍摄的参考图像中有一条相同的标定线;
建立模块,用于根据所述多个摄像头的编号,以及采集到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系。
可选地,所述建立模块包括:
标定线重合子模块,用于按照所述多个摄像头的编号,将所述多个摄像头中相邻两个摄像头拍摄的参考图像中相同的标定线重合,并将所述多张参考图像中最左边的车道线连接,得到一条竖直连接线;
第六确定子模块,用于将所述多个摄像头的编号从小到大的方向确定为所述竖直连接线的方向;
第七确定子模块,用于获取编号最小的摄像头拍摄的参考图像中最下边的标定线,将水平向右的方向确定为所述最下边的标定线的方向;
建立子模块,用于将有方向的所述竖直连接线作为所述拼接坐标系的纵轴,将有方向的所述最下边的标定线作为所述拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立所述拼接坐标系。
可选地,所述装置还包括:
抓拍模块,用于抓拍所述目标车辆行驶在所述道路上的车辆图像;
第一发送模块,用于将所述目标车辆的车辆图像、所述目标车辆的行驶速度和所述目标车辆的车辆信息发送给服务器。
可选地,所述装置还包括:
第二采集模块,用于当根据当前时刻所述目标车辆在所述拼接坐标系中的轨迹,以及所述道路上的车道线在所述拼接坐标系中的位置,确定所述目标车辆存在变道行为时,采集所述目标车辆的变道过程图;
第四确定模块,用于当根据当前时刻所述目标车辆在所述拼接坐标系中的轨迹,以及所述道路上的车道线在所述拼接坐标系中的位置,确定所述目标车辆结束变道行为时,确定所述目标车辆的变道行为的持续时长;
第五确定模块,用于当所述持续时长小于参考时长,且所述目标车辆在所述持续时长内行驶在至少三个不同车道时,确定所述目标车辆的变道行为为连续变道行为;
第六确定模块,用于在确定所述目标车辆的变道行为为连续变道行为之后,根据采集的变道过程图,确定所述目标车辆的连续变道事件取证图;
第二发送模块,用于将所述目标车辆的车辆信息和所述连续变道事件取证图发送给服务器。
可选地,所述第六确定模块包括:
选取子模块,用于从采集的变道过程图中选取第一过程图,所述第一过程图是采集的变道过程图中所述目标车辆所占的像素区域的尺寸最大的一张变道过程图;
第八确定子模块,用于从所述第一过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为所述目标车辆的车辆特写图,所述车牌扩展区域是指根据车牌区域扩展后包括所述目标车辆的车头或车尾的区域;
第九确定子模块,用于将采集的变道过程图和所述车辆特写图确定为所述目标车辆的连续变道事件取证图。
第三方面,提供一种车辆测速装置,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述第一方面所述的任一项方法的步骤。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。
第五方面,提供了一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面任一项所述方法的步骤。
本发明实施例提供的技术方案至少可以带来以下有益效果:
先确定当前时刻目标车辆在拼接坐标系中的轨迹,然后从当前时刻目标车辆在拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点。然后根据这两个测速基准点在该拼接坐标系中的拼接坐标,确定这两个基准点之间的实际距离,最后根据该实际距离和这两个测速基准点分别所属的视频帧图像的采集时间之间的差值,即可确定出目标车辆的行驶速度。由于选取的两个测速基准点属于不同摄像头的监控画面,且相比于同一监控画面中的两个测速基准点,本发明实施例选取的两个测速基准点之间的距离一般较远,且这两个测速基准点所属的视频帧图像的采集时间之间的差值也较大,从而不会因为这两个测速基准点之间的距离较小和这两个测速基准点所属的视频帧图像的采集时间之间的差值较小而引起误差放大的问题,进而会大大减小图像坐标上的距离转换成道路上的实际距离的误差,继而使确定出的目标车辆的行驶速度的误差较小,准确性较高。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种实施环境的示意图。
图2是本发明实施例提供的一种多目摄像机101的结构示意图。
图3是本发明实施例提供的另一种多目摄像机101的结构示意图。
图4是本发明实施例提供的一种车辆测速方法的流程图。
图5是本发明实施例提供的另一种车辆测速方法的流程图。
图6是本发明实施例提供的一种建立标定坐标系的示意图。
图7是本发明实施例提供的一种多目摄像机架设的示意图。
图8是本发明实施例提供的一种摄像头成像原理的示意图。
图9是本发明实施例提供的一种建立拼接坐标系的示意图。
图10是本发明实施例提供的一种车辆连续变道检测方法的流程图。
图11是本发明实施例提供的一种车辆测速装置框图。
图12是本发明实施例提供的一种车辆测速装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与本发明的一些方面相一致的装置和方法的例子。
在对本发明实施例进行详细的解释说明之前,先对本发明实施例的实施环境进行介绍:
图1是本发明实施例提供的一种实施环境的示意图,参见图1,该实施环境包括多目摄像机101和服务器102。多目摄像机101和服务器102之间通过网络连接。图2是多目摄像机101的一种结构示意图。参见图2,多目摄像机101可以为智能多目摄像机,多目摄像机101包括摄像头1,…,摄像头i,…,摄像头n、驱动电路、FPGA(Field-Programmable GateArray,现场可编程门阵列)、DSP(Digital Signal Processing,数字信号处理)、DDR(Double Data Rate,双倍速率)存储模块和Flash(闪存)存储模块。
多个摄像头中的每个摄像头包括CCD(Charge-coupled Device,电荷耦合元件),CCD用于采集视频帧图像,并将采集到的视频帧图像的模拟信号传输至FPGA。其中,该多个摄像头中相邻两个摄像头的监控范围沿道路的走向存在交叠部分。
驱动电路用于驱动CCD采集视频帧图像。
FPGA包括信号转换模块和第一预处理模块。
信号转换模块可以将CCD传输过来的视频帧图像的模拟信号转换成视频帧图像的数字信号,然后将该视频帧图像的数字信号传输至第一预处理模块。
第一预处理模块可以对该视频帧图像的数字信号进行第一预处理,然后将第一预处理后得到的第一视频帧图像存储至DDR存储模块。
图3是多目摄像机的另一种结构示意图,参见图3,DSP包括前景检测模块、车辆检测模块、车牌识别模块、车辆跟踪模块、坐标转换模块、坐标拼接模块、视频测速及抓拍模块和连续变道检测模块。
前景检测模块可以从DDR存储模块中获取第一视频帧图像,并对第一视频帧图像进行第二预处理,然后将第二预处理后得到的第二视频帧图像存储至DDR存储模块中。另外,前景检测模块还可以对第二视频帧图像进行前景提取和背景计算,以获取第二视频帧图像的前景信息和背景信息,然后将第二视频帧图像的前景信息和背景信息存储至Flash存储模块。
车辆检测模块可以从DDR存储模块中获取第二视频帧图像,同时从Flash存储模块中获取第二视频帧图像的前景信息和背景信息,根据第二视频帧图像的前景信息和背景信息从第二视频帧图像中检测出车辆所在的车辆位置和/或车辆类型,然后将车辆位置和/或车辆类型存储至Flash存储模块中。
车牌识别模块可以从DDR存储模块中获取第一视频帧图像,同时从Flash存储模块中获取第二视频帧图像的前景信息、背景信息以及车辆位置,然后对第一视频帧图像中车辆位置处的车辆的车牌进行识别,得到车牌信息,并将车牌信息存储至Flash存储模块中。
车辆跟踪模块可以从DDR存储模块中获取第二视频帧图像,同时从Flash存储模块中获取车辆位置和车牌信息,并将第二视频帧图像、车辆位置和车牌信息作为每个车辆的属性信息。并根据每个车辆的属性信息进行车辆跟踪,以形成该车辆的轨迹,然后将该车辆轨迹存储至Flash存储模块中。另外,车辆跟踪模块还可以将该车辆与车牌信息进行关联,并为该车辆建立一个ID-sc(Identity-smart camera,智能摄像机标识),以和其他车辆进行区分。。
坐标转换模块可以从Flash存储模块中获取车辆位置,然后结合车道线和标定线建立标定坐标系,确定车辆位置在标定坐标系中的标定坐标,并将标定坐标存储至Flash存储模块中。
坐标拼接模块可以从Flash存储模块中获取标定坐标,并结合每个摄像头的编号按顺序将每个摄像头对应的标定坐标系进行拼接,得到拼接坐标系,并将标定坐标转换为拼接坐标,并获取车辆在拼接坐标系中的轨迹,并将拼接坐标和车辆在拼接坐标系中的轨迹存储至Flash存储模块中。
视频测速及抓拍模块可以从Flash存储模块中获取目标车辆在拼接坐标系中的轨迹,然后选取属于不同摄像头的监控画面的两个测速基准点,根据这两个测速基准点在拼接坐标系中的拼接坐标,确定这两个基准点之间的实际距离,并根据该实际距离和这两个测速基准点分别所属的视频帧图像的采集时间之间的差值,得到目标车辆的行驶速度,并抓拍目标车辆行驶在道路上的车辆图像,将目标车辆的车辆图像、目标车辆的行驶速度和目标车辆的车辆信息发送给服务器。
连续变道检测模块可以从Flash存储模块中获取目标车辆在拼接坐标系中的轨迹,并结合道路上的车道线在拼接坐标系中的位置,确定目标车辆存在连续变道行为时,采集目标车辆的连续变道过程图,并根据采集的变道过程图,确定目标车辆的连续变道事件取证图,将目标车辆的车辆信息和目标车辆的连续变道事件取证图发送给服务器。
需要说明的是,由于CCD采集到的视频帧图像的分辨率通常比较高,而FPGA的第一预处理模块对CCD采集到的视频帧图像进行第一预处理的方式主要是平滑和降噪等,这些预处理的方式不会对视频帧图像的分辨率造成影响,因此,通过FPGA的第一预处理模块对CCD采集到的视频帧图像进行第一预处理后可以得到分辨率比较高第一视频帧图像。对于车牌识别模块而言,由于视频帧图像中的车牌通常占据视频帧图像的面积比例比较小,所以需要较高分辨率的视频帧图像来对车辆位置处的车辆的车牌进行识别,因此车牌识别模块可以从DDR存储模块中获取分辨率较高的第一视频帧图像对车牌进行识别。分辨率较高的第一视频帧图像放大后的清晰度也较高,如此可以使多目摄像机对车牌识别的准确率更高。
另外,前景检测模块对第一视频帧图像进行第二预处理的方式主要是格式转换和降采样处理等,其中,格式转换可以将第一视频帧图像转换为后续可以使用的格式,降采样处理可以提高处理视频帧图像的效率而减少视频帧图像的采样点,降采样处理后得到的视频帧图像的分辨率通常会比降采样处理前小,所以通过前景检测模块对第一视频帧图像进行第二预处理后可以得到不同格式,且分辨率较小的第二视频帧图像。对于车辆检测模块和车辆跟踪模块而言,由于视频帧图像中的车辆通常占据视频帧图像的面积比例比较大,车辆位置也较车牌明显,所以车辆检测模块和车辆跟踪模块可以从DDR存储模块中获取分辨率较小的第二视频帧图像对车辆进行检测和跟踪。分辨率较小的第二视频帧图像占据多目摄像机的存储空间也较小,使得多目摄像机的运行速度也较快,如此可以使车辆检测和车辆跟踪的效率更高。
上述FPGA的第一预处理模块对CCD采集到的视频帧图像进行第一预处理得到第一视频帧图像,以及前景检测模块对第一视频帧图像进行第二预处理得到第二视频帧图像均是可选的步骤,也即是,CCD采集到的视频帧图像的模拟信号经过FPGA的信号转换模块转换成数字信号后,可以直接根据转换成数字信号后的视频帧图像进行视频帧图像的前景提取、背景计算,以及进行车辆检测、车牌识别和车辆跟踪,而无需进行第一预处理和第二预处理。
服务器102是指为多目摄像机101提供后台服务的服务器,可以为一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务器中心,本发明实施例对此不做限定。本发明实施例中以一台服务器102举例说明。服务器102包括用户数据存储区。
接下来对本发明实施例提供的车辆测速方法进行详细地解释说明。
图4是本发明实施例提供的一种车辆测速方法流程图,参见图4,该方法应用于多目摄像机,该多目摄像机包括的多个摄像头中相邻两个摄像头的监控范围沿道路的走向存在交叠部分,该方法包括:
步骤401:确定当前时刻目标车辆在拼接坐标系中的轨迹,目标车辆为进行测速的任一车辆,该拼接坐标系为用于绘制目标车辆在该多个摄像头的监控范围内的完整轨迹的坐标系。
步骤402:从当前时刻目标车辆在该拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点。
步骤403:根据这两个测速基准点在该拼接坐标系中的拼接坐标,确定这两个测速基准点之间的实际距离。
步骤404:根据该实际距离与第一时间差,确定目标车辆的行驶速度,第一时间差为这两个测速基准点分别所属的视频帧图像的采集时间之间的差值。
在本发明实施例中,先确定当前时刻目标车辆在拼接坐标系中的轨迹,然后从当前时刻目标车辆在拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点。然后根据这两个测速基准点在该拼接坐标系中的拼接坐标,确定这两个基准点之间的实际距离,最后根据该实际距离和这两个测速基准点分别所属的视频帧图像的采集时间之间的差值,即可确定出目标车辆的行驶速度。由于选取的两个测速基准点属于不同摄像头的监控画面,且相比于同一监控画面中的两个测速基准点,本发明实施例选取的两个测速基准点之间的距离一般较远,且这两个测速基准点所属的视频帧图像的采集时间之间的差值也较大,从而不会因为这两个测速基准点之间的距离较小和这两个测速基准点所属的视频帧图像的采集时间之间的差值较小而引起误差放大的问题,进而会大大减小图像坐标上的距离转换成道路上的实际距离的误差,继而使确定出的目标车辆的行驶速度的误差较小,准确性较高。
可选地,根据这两个测速基准点在该拼接坐标系中的拼接坐标,确定这两个测速基准点之间的实际距离,包括:
根据这两个测速基准点在该拼接坐标系中的横坐标、该道路上相邻两条车道线的实际距离和该拼接坐标系中相邻两条车道线之间的距离,确定第一距离;
根据这两个测速基准点在该拼接坐标系中的纵坐标、该道路上相邻两条标定线的实际距离和该拼接坐标系中相邻两条标定线之间的距离,确定第二距离;
根据第一距离和第二距离,确定这两个测速基准点之间的实际距离。
可选地,确定当前时刻目标车辆在拼接坐标系中的轨迹,包括:
通过该多个摄像头采集视频帧图像,以得到多个视频帧图像;
当该多个视频帧图像中的至少一个视频帧图像中包括目标车辆时,确定该至少一个视频帧图像中目标车辆的车辆信息,以得到至少一个车辆信息,每个车辆信息中均包括目标车辆在标定坐标系中的标定坐标和目标车辆的车牌信息;
根据至少一个摄像头的编号,将该至少一个车辆信息中目标车辆的标定坐标转换为该拼接坐标系中对应的至少一个拼接坐标,该至少一个摄像头为用于采集该至少一个视频帧图像的摄像头;
根据该至少一个车辆信息中目标车辆的车牌信息和该至少一个拼接坐标,确定目标车辆在该拼接坐标系中的当前拼接坐标;
当目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在该拼接坐标系中的该前一拼接坐标与该当前拼接坐标之间连线,以得到当前时刻目标车辆在该拼接坐标系中的轨迹。
可选地,该确定该至少一个视频帧图像中目标车辆的车辆信息,以得到至少一个车辆信息,包括:
对该至少一个视频帧图像进行车辆检测,以确定每个视频帧图像中目标车辆的车辆位置;
根据确定出的目标车辆的车辆位置,从该至少一个视频帧图像包括的每个视频帧图像中确定目标车辆的车牌信息;
根据确定出的目标车辆的车辆位置,确定目标车辆在该至少一个视频帧图像包括的每个视频帧图像的图像坐标系中的图像坐标,以得到至少一个图像坐标;
将该至少一个图像坐标转换至该标定坐标系中,以得到目标车辆在该标定坐标系中的标定坐标。
可选地,该多个摄像头的编号从0开始逐个增加;
该根据至少一个摄像头的编号,将该至少一个车辆信息中目标车辆的标定坐标转换为该拼接坐标系中对应的至少一个拼接坐标,包括:
将该至少一个车辆信息中目标车辆的标定坐标的横坐标作为目标车辆在该拼接坐标系中的横坐标,将该至少一个车辆信息中目标车辆的标定坐标的纵坐标与该至少一个摄像头的编号对应相加,得到目标车辆在该拼接坐标系中的纵坐标。
可选地,该根据该至少一个车辆信息中目标车辆的车牌信息和该至少一个拼接坐标,确定目标车辆在该拼接坐标系中的当前拼接坐标,包括:
当该至少一个拼接坐标的数量为两个,且该至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像头对应的拼接坐标确定为目标车辆在该拼接坐标系中的当前拼接坐标,相比于该至少一个摄像头中的其他摄像头,第一摄像头拍摄出的视频帧图像中目标车辆所占的像素区域的尺寸最大;
当该至少一个拼接坐标的数量为两个,且该至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定该至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
当确定出的匹配度位于预设匹配度范围内时,确定该至少一个拼接坐标之间的距离;
当该至少一个拼接坐标之间的距离小于预设距离时,将第一摄像头对应的拼接坐标确定为目标车辆在该拼接坐标系中的当前拼接坐标。
可选地,该确定当前时刻目标车辆在拼接坐标系中的轨迹之前,还包括:
通过该多个摄像头中每个摄像头采集一张参考图像,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像头拍摄的参考图像中有一条相同的标定线;
根据该多个摄像头的编号,以及采集到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立该拼接坐标系。
可选地,该根据该多个摄像头的编号,以及采集到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立该拼接坐标系,包括:
按照该多个摄像头的编号,将该多个摄像头中相邻两个摄像头拍摄的参考图像中相同的标定线重合,并将该多张参考图像中最左边的车道线连接,得到一条竖直连接线;
将该多个摄像头的编号从小到大的方向确定为该竖直连接线的方向;
获取编号最小的摄像头拍摄的参考图像中最下边的标定线,将水平向右的方向确定为该最下边的标定线的方向;
将有方向的该竖直连接线作为该拼接坐标系的纵轴,将有方向的该最下边的标定线作为该拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立该拼接坐标系。
可选地,根据该实际距离与第一时间差,确定目标车辆的行驶速度之后,还包括:
抓拍目标车辆行驶在该道路上的车辆图像;
将目标车辆的车辆图像、目标车辆的行驶速度和目标车辆的车辆信息发送给服务器。
可选地,该确定当前时刻目标车辆在拼接坐标系中的轨迹之后,还包括:
当根据当前时刻目标车辆在该拼接坐标系中的轨迹,以及该道路上的车道线在该拼接坐标系中的位置,确定目标车辆存在变道行为时,采集目标车辆的变道过程图;
当根据当前时刻目标车辆在该拼接坐标系中的轨迹,以及该道路上的车道线在该拼接坐标系中的位置,确定目标车辆结束变道行为时,确定目标车辆的变道行为的持续时长;
当该持续时长小于参考时长,且目标车辆在该持续时长内行驶在至少三个不同车道时,确定目标车辆的变道行为为连续变道行为;
在确定目标车辆的变道行为为连续变道行为之后,根据采集的变道过程图,确定目标车辆的连续变道事件取证图;
将目标车辆的车辆信息和该连续变道事件取证图发送给服务器。
可选地,该根据采集的变道过程图,确定目标车辆的连续变道事件取证图,包括:
从采集的变道过程图中选取第一过程图,第一过程图是采集的变道过程图中目标车辆所占的像素区域的尺寸最大的一张变道过程图;
从第一过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为目标车辆的车辆特写图,该车牌扩展区域是指根据车牌区域扩展后包括目标车辆的车头或车尾的区域;
将采集的变道过程图和该车辆特写图确定为目标车辆的连续变道事件取证图。
上述所有可选技术方案,均可按照任意结合形成本发明的可选实施例,本发明实施例对此不再一一赘述。
本发明实施例提供了一种车辆测速方法的流程图。本实施例将对图4所示的实施例进行展开说明,参见图5,该方法应用于多目摄像机,该多目摄像机包括的多个摄像头中相邻两个摄像头的监控范围沿道路的走向存在交叠部分,该方法包括:
步骤501:多目摄像机确定当前时刻目标车辆在拼接坐标系中的轨迹。
需要说明的是,多目摄像机包括多个摄像头,该多个摄像头中相邻两个摄像头的监控范围沿道路的走向存在交叠部分。另外,目标车辆为进行测速的任一车辆。再者,拼接坐标系为用于绘制目标车辆在多个摄像头的监控范围内的完整轨迹的坐标系。
具体地,步骤501的操作可以通过如下步骤5011-步骤5015来实现:
步骤5011:多目摄像机通过多个摄像头采集视频帧图像,以得到多个视频帧图像。
需要说明的是,视频帧图像是多个摄像头采集到的视频中的单帧图像。
可选地,在多目摄像机采集得到多个视频帧图像后,还可以对该多个视频帧图像进行预处理,得到预处理后的多个视频帧图像。
具体地,多目摄像机可以通过平滑、降噪、格式转换和降采样处理等预处理方式对得到的多个视频帧图像进行预处理。其中,由于该多个视频帧图像的锐度可能比较高,以及该多个视频帧图像在传输的过程中可能会受到噪声的干扰从而使该多个视频帧图像的视觉效果较差,因此,多目摄像机可以对该多个视频帧图像进行平滑和降噪等预处理来使该多个视频帧图像的视觉效果更好。另外,由于多目摄像机后续使用的视频帧图像的格式可能与该多个视频帧图像的格式不同,因此,多目摄像机可以对该多个视频帧图像的格式进行转换,从而转换为后续可以使用的格式。降采样处理是多目摄像机为了提高处理视频帧图像的效率而减少视频帧图像的采样点的处理方式。
需要说明的是,对采集得到的多个视频帧图像进行预处理是一个可选步骤,也即是,多目摄像机采集得到多个视频帧图像之后,可以直接从该多个视频帧图像中获取车辆信息,而无需进行预处理。接下来以没有进行预处理的多个视频帧图像为例来进行说明。
步骤5012:当该多个视频帧图像中的至少一个视频帧图像中包括目标车辆时,确定至少一个视频帧图像中目标车辆的车辆信息,以得到至少一个车辆信息。
需要说明的是,该至少一个车辆信息中的每个车辆信息中均包括目标车辆在标定坐标系中的标定坐标和目标车辆的车牌信息。
具体地,步骤5012的操作可以通过如下步骤(1)-步骤(4)来实现:
步骤(1):多目摄像机对该至少一个视频帧图像进行车辆检测,以确定每个视频帧图像中目标车辆的车辆位置。
需要说明的是,多目摄像机可以通过对至少一个视频帧图像进行前景提取和背景计算的方式,确定该至少一个视频帧图像中的前景信息和背景信息,从而根据该前景信息和背景信息对该至少一个视频帧图像进行车辆检测。
在该至少一个视频帧图像中,可以将目标车辆作为前景,将目标车辆以外的其他物体作为背景,前景和背景可以以两种对比度较强的颜色区分开,从而可以得到该至少一个视频帧图像的前景信息和背景信息。
其中,多目摄像机可以采用深度学习的方法检测目标车辆的车辆位置。
在一种可能的实现方式中,多目摄像机还可以采用深度学习的方法从该至少一个视频帧图像中检测出目标车辆的车辆类型。
步骤(2):多目摄像机根据确定出的目标车辆的车辆位置,从该至少一个视频帧图像包括的每个视频帧图像中确定目标车辆的车牌信息。
其中,车牌信息包括车牌位置和车牌号码。可选地,车牌信息中还可以包括车牌类型。多目摄像机可以采用深度学习的方法,从该至少一个视频帧图像包括的每个视频帧图像中确定目标车辆的车牌位置和车牌号码,并采用基于颜色的车牌识别算法确定得到车牌类型。
需要说明的是,多目摄像机在确定车牌类型时,可以采用基于颜色的车牌识别算法对车牌底色和车牌号码的颜色进行识别,并将识别出的车牌底色和车牌号码的颜色与车牌类型规则进行匹配,匹配的结果即为该车辆的车牌类型。该车牌类型规则包括车牌底色和车牌号码的颜色与车牌类型之间的对应关系。例如,识别出的车牌底色和车牌号码的颜色分别为蓝色和白色,即蓝牌白字,则对应的车牌类型为普通小型车的车牌。识别出的车牌底色和车牌号码的颜色分别为黄色和黑色,即黄牌黑字,则对应的车牌类型为大型车的车牌。
另外,在一种可能的实现方式中,多目摄像机通过步骤(1)在检测出车辆位置的同时还可以检测出车辆类型,此时,由于已经确定了车辆类型,所以在确定车牌信息时,车牌信息可以只包括车牌位置和车牌号码。在另一种可能的实现方式中,多目摄像机可以在步骤(1)中只检测车辆位置,不检测车辆类型,此时,由于还未确定车辆类型,所以在确定车牌信息时,车牌信息可以包括车牌位置、车牌号码和车牌类型,进而通过该车牌类型确定车辆类型。本发明实施例对此不做限定。其中,在通过该车牌类型确定车辆类型时,可以通过车牌类型与车辆类型之间的对应关系确定车牌类型对应的车辆类型,例如可以是普通小型车的车牌对应普通小型车,大型车的车牌对应大型车。
步骤(3):多目摄像机根据确定出的目标车辆的车辆位置,确定目标车辆在该至少一个视频帧图像包括的每个视频帧图像的图像坐标系中的图像坐标,以得到至少一个图像坐标。
在一种可能的实现方式中,可以根据多目摄像机中每个摄像头采集的视频帧图像建立图像坐标系,也即是,不同摄像头采集的视频帧图像对应不同的图像坐标系。然后,根据目标车辆的车辆位置,确定目标车辆在该至少一个视频帧图像包括的每个视频帧图像中所处的像素点,并将该像素点在每个视频帧图像的图像坐标系中的坐标,确定为目标车辆在每个视频帧图像中的图像坐标。
其中,可以以每个摄像头采集的视频帧图像的左下角为坐标原点,以每个摄像头采集的视频帧图像最下边的边缘为横轴,以每个摄像头采集的视频帧图像最左边的边缘为纵轴,建立图像坐标系。这样,对于同一个摄像头,该摄像头采集得到的视频帧图像对应同一图像坐标系。当然,这种图像坐标系只是一种实现方式,实际应用中,还可以以每个摄像头采集的视频帧图像中其他的点为原点,以其他的边缘为横轴和纵轴建立图像坐标系,本发明实施例对此不进行一一举例。
需要说明的是,由于目标车辆的车身存在一定的面积,所以,目标车辆在每个视频帧图像中一般会占用多个像素点。为了便于计算,本发明实施例可以将该多个像素点中的中心位置处的像素点确定为目标车辆在每个视频帧图像中所处的像素点。当然,也可以将该多个像素点中的其他任意一个像素点作为目标车辆在每个视频帧图像中所处的像素点。
步骤(4):将该至少一个图像坐标转换至标定坐标系中,以得到目标车辆在标定坐标系中的标定坐标。
需要说明的是,在建立标定坐标系时,多目摄像机可以从采集得到的多个视频帧图像中随机选择一个视频帧图像作为参考图像,该参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线;然后将以垂直向上为方向的最左边的车道线作为标定坐标系的纵轴,将以水平向右为方向的最下边的标定线作为横轴;并根据两条标定线之间的距离和相邻两条车道线之间的距离,建立标定坐标系。
值得注意的是,在建立标定坐标系之后,该标定坐标系不仅可以用于确定目标车辆的标定坐标,还可以用于确定该视频帧图像中的其他车辆的标定坐标。
下面对建立标定坐标系的过程和确定目标车辆在标定坐标系中的标定坐标的过程进行说明。
如图6所示,图6为建立标定坐标系的示意图,该图以两条标定线和三条车道线为例,且两条标定线分别为标定线1和标定线2,三条车道线分别为车道线1、车道线2和车道线3,车道线1与车道线2之间的宽度为第一车道的宽度,车道线2与车道线3之间的宽度为第二车道的宽度。在该标定坐标系中,标定坐标系的横轴与标定坐标系的纵轴之间的交点坐标为(0,0),车道线3与标定坐标系的横轴的交点坐标为(1,0),标定线2与标定坐标系的纵轴的交点坐标为(0,1),车道线3与标定线2的交点坐标为(1,1)。虚线为车道线2,边界框用于表示多个不同的车辆,该多个不同的车辆中包括目标车辆。
在建立好标定坐标系后,多目摄像机可以以目标车辆的边界框的下边界中心点来表示目标车辆,并通过如下几个步骤确定目标车辆的标定坐标:
1、确定目标车辆在标定坐标系中的横坐标。
多目摄像机可以根据车道总数、目标车辆所在车道的左边车道线与目标车辆之间的距离,以及目标车辆所在车道的宽度来确定目标车辆的横坐标,通过如下公式一确定目标车辆的横坐标:
公式一:
Figure BDA0001953714780000221
其中,x为目标车辆的横坐标,n为车道总数,i为不大于n的整数,a为目标车辆所在车道的左边车道线与目标车辆之间的距离,b为目标车辆所在车道的宽度。
2、确定目标车辆在标定坐标系中的纵坐标。
如图7所示,图7为多目摄像机架设的示意图,图7与图6对应,即图7的视角是从图6的右侧观看的视角。并且,图7以确定目标车辆在车道线1与车道线2之间的纵坐标为例进行说明。在图7中,O点为多目摄像机的位置,A点为多目摄像机立杆在地面上的点,OA为多目摄像机立杆的长度,C点相当于图6中车道线2与标定线1的交点,G点相当于是图6中车道线2与标定线2的交点,D点相当于是图6中目标车辆所在的水平线与车道线2的交点,且目标车辆位于车道线1和车道线2之间。L1为AC的距离,L2为AG的距离,L为AD的距离,d为CG的距离。
根据图7,多目摄像机可以根据如下三个步骤确定目标车辆在标定坐标系中的纵坐标:
(1):根据标定线1与多目摄像机立杆之间的垂直距离,以及标定线1与标定线2之间的距离,通过如下公式二确定第一参数:
公式二:
Figure BDA0001953714780000222
其中,k为第一参数,L1为标定线1与多目摄像机立杆之间的垂直距离,d为标定线1与标定线2之间的距离。
(2):根据第一交点和第二交点之间的距离的成像宽度、第三交点和第四交点之间的距离的成像宽度,以及第五交点和第六交点之间的距离的成像宽度,通过如下公式三确定第二参数:
公式三:
Figure BDA0001953714780000231
其中,m为第二参数,p为第一交点和第二交点之间的距离的成像宽度,q为第三交点和第四交点之间的距离的成像宽度,r为第五交点和第六交点之间的距离的成像宽度。其中,第一交点为标定线1与车道线1的交点,第二交点为标定线1与车道线2的交点。第三交点为标定线2与车道线1的交点,第四交点为标定线2与车道线2的交点。第五交点为目标车辆所在水平线与车道线1的交点,第六交点为目标车辆所在水平线与车道线2的交点。
需要说明的是,第一交点和第二交点之间的距离、第三交点和第四交点之间的距离,以及第五交点和第六交点之间的距离在实际测量时是相同的,但由于标定线1、标定线2和目标车辆与多目摄像机之间的距离均不同,所以在多目摄像机中,第一交点和第二交点之间的距离的成像宽度、第三交点和第四交点之间的距离的成像宽度,以及第五交点和第六交点之间的距离的成像宽度是不相同的。
还需要说明的是,在通过步骤(2)确定第二参数之前,多目摄像机还可以通过如下公式四-公式九确定p、q和r的值:
公式四:OC*p=OG*q=OD*r
其中,OC为多目摄像机的位置到C点之间的距离,OG为多目摄像机的位置到G点之间的距离,OD为多目摄像机的位置到D点之间的距离。
公式五:
Figure BDA0001953714780000232
公式六:
Figure BDA0001953714780000233
公式七:
Figure BDA0001953714780000234
公式八:L2=L1+d=kd+d
公式九:L=L1+CD=kd+yd
其中,CD为C点到D点之间的距离,y为目标车辆在标定坐标系中的纵坐标。
需要说明的是,公式四可以根据摄像头的成像原理得到。如图8所示,图8为摄像头成像原理的示意图。在图8中,W为被拍摄物体的实际宽度,f为多目摄像机的镜头焦距,S为摄像头的镜头中心到被摄物体之间的距离,z为被摄物体在摄像头中的成像宽度,且满足W*f=S*z。
(3):根据第一参数和第二参数,通过如下公式十,确定目标车辆在标定坐标系中的纵坐标:
公式十:
Figure BDA0001953714780000241
其中,y为目标车辆在标定坐标系中的纵坐标。
至此,将目标车辆的标定坐标确定完毕。
步骤5013:多目摄像机根据至少一个摄像头的编号,将至少一个车辆信息中目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标。
其中,多个摄像头的编号从0开始逐个增加。
需要说明的是,至少一个摄像头为用于采集至少一个视频帧图像的摄像头。
另外,多个摄像头中每个摄像头均设置有唯一的编号。每个摄像头唯一的编号可以携带在每个摄像头拍摄的视频帧图像中,以在多目摄像机获取视频帧图像时可以同时获取拍摄该视频帧图像的摄像头的编号,当然多目摄像机也可以通过其他方式获取每个摄像头的编号,本发明实施例对此不做限定。
其中,将至少一个车辆信息中目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标的过程可以是:先将至少一个车辆信息中目标车辆的标定坐标的横坐标作为目标车辆在拼接坐标系中的横坐标,然后将该至少一个车辆信息中目标车辆的标定坐标的纵坐标与至少一个摄像头的编号对应相加,最后得到目标车辆在拼接坐标系中的纵坐标。
例如,0号摄像头采集的视频帧图像中的目标车辆的标定坐标为(0.5,0.6),则转换到拼接坐标系中的拼接坐标为(0.5,0.6)。1号摄像头采集的视频帧图像中的目标车辆的标定坐标为(0.5,0.6),则转换到拼接坐标系中的拼接坐标为(0.5,1.6)。2号摄像头采集的视频帧图像中的目标车辆的标定坐标为(0.5,0.6),则转换到拼接坐标系中的拼接坐标为(0.5,2.6),以此类推。
步骤5014:多目摄像机根据该至少一个车辆信息中目标车辆的车牌信息和至少一个拼接坐标,确定目标车辆在拼接坐标系中的当前拼接坐标。
需要说明的是,目标车辆可能处于多目摄像机中相邻的两个摄像头的监控范围中的交叠部分,也即多目摄像机中相邻的两个摄像头能够同时拍摄到处于交叠部分的目标车辆,此时,至少一个拼接坐标的数量可能为一个,也可能为两个。当该至少一个拼接坐标为一个时,可以直接将该拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标。当该至少一个拼接坐标为两个时,需要根据至少一个车辆信息中目标车辆的车牌信息和至少一个拼接坐标,确定目标车辆在拼接坐标系中的当前拼接坐标。
当至少一个拼接坐标的数量为两个时,这两个拼接坐标可能是两个不同的车辆的坐标,也可能是同一个车辆的坐标,该同一车辆即为目标车辆。此时,多目摄像机可以根据车牌信息和至少一个拼接坐标之间的距离进行判断。当多目摄像机判断至少一个拼接坐标是两个不同的车辆的两个坐标时,将至少一个拼接坐标存储。当多目摄像机判断至少一个拼接坐标是目标车辆的两个坐标时,多目摄像机可以将其中一个拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标。
具体地,步骤5014的操作可以通过如下步骤(1)-步骤(4)来实现:
步骤(1):当该至少一个拼接坐标的数量为两个,且该至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像头对应的拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标,相比于至少一个摄像头中的其他摄像头,第一摄像头拍摄出的视频帧图像中目标车辆所占的像素区域的尺寸最大。
由于当至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,可以说明该至少一个拼接坐标是目标车辆的拼接坐标。因此,多目摄像机可以从该至少一个拼接坐标中选取一个拼接坐标作为目标车辆在拼接坐标系中的当前拼接坐标。
需要说明的是,视频帧图像中目标车辆所占的像素区域的尺寸越大,目标车辆的车牌号码的区域也就越大,目标车辆的车牌号码也就越清楚。因此,多目摄像机可以选取第一摄像头对应的拼接坐标作为目标车辆在拼接坐标系中的当前拼接坐标。
步骤(2):当该至少一个拼接坐标的数量为两个,且该至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定该至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度。
至少一个摄像头可能存在拍摄不到车牌、拍摄的车牌倾斜严重或者车牌较小等情况。在这些情况下,至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符可能不完全相同,也即是,多目摄像机无法根据车牌号码的字符确定目标车辆在拼接坐标系中的当前拼接坐标。因此,此时多目摄像机可以确定目标车辆的车牌信息中的车牌号码之间的匹配度,进而通过确定的车牌号码之间的匹配度来确定目标车辆在拼接坐标系中的当前拼接坐标。
步骤(3):当确定出的匹配度位于预设匹配度范围内时,确定该至少一个拼接坐标之间的距离。
多目摄像机可以预先设置一个预设匹配度范围,当确定出的匹配度位于预设匹配度范围内时,为了进一步确定目标车辆在拼接坐标系中的当前拼接坐标,多目摄像机还可以确定至少一个拼接坐标之间的距离。
需要说明的是,当确定出的匹配度位于预设匹配度范围外时,说明至少一个拼接坐标对应的目标车辆的车牌信息中的车牌号码之间的匹配度较小,此时,可以确定该至少一个拼接坐标是两个不同的车辆的拼接坐标,进而将该至少一个拼接坐标进行存储。
步骤(4):当该至少一个拼接坐标之间的距离小于预设距离时,将第一摄像头对应的拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标。
当至少一个拼接坐标之间的距离小于预设距离时,可以说明至少一个拼接坐标是目标车辆的拼接坐标。因此,多目摄像机可以将第一摄像头对应的拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标。
需要说明的是,当至少一个拼接坐标之间的距离大于或等于预设距离时,可以说明该至少一个拼接坐标是两个不同的车辆的拼接坐标。此时,多目摄像机可以将该至少一个拼接坐标进行存储。
另外,相邻两个摄像头的参数会影响到目标车辆在交叠部分的两个拼接坐标是否相同。如果相邻两个摄像头的参数完全一致,那么目标车辆在交叠部分的两个拼接坐标是相同的。如果相邻两个摄像头的参数不完全一致,那么目标车辆在交叠部分的两个拼接坐标是不完全相同的,此时,多目摄像机可以按照本步骤中的方法,也即根据至少一个车辆信息中目标车辆的车牌信息和至少一个拼接坐标,确定目标车辆在拼接坐标系中的当前拼接坐标。
步骤5015:当目标车辆在拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在拼接坐标系中的前一拼接坐标与当前拼接坐标之间连线,以得到当前时刻目标车辆在拼接坐标系中的轨迹。
需要说明的是,当目标车辆在拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,说明目标车辆还处于行驶中,因此,将前一拼接坐标与当前拼接坐标之间连线可以得到当前时刻目标车辆在拼接坐标系中的轨迹。
进一步地,在步骤501之前还可以通过步骤A-步骤B来建立拼接坐标系:
步骤A:多目摄像机通过多个摄像头中每个摄像头采集一张参考图像。
需要说明的是,参考图像是由摄像头随机采集到的一张图像,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像头拍摄的参考图像中有一条相同的标定线。
步骤B:根据多个摄像头的编号,以及采集到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立拼接坐标系。
具体地,多目摄像机可以按照多个摄像头的编号,将多个摄像头中相邻两个摄像头拍摄的参考图像中相同的标定线重合,并将多张参考图像中最左边的车道线连接,得到一条竖直连接线。将多个摄像头的编号从小到大的方向确定为竖直连接线的方向。获取编号最小的摄像头拍摄的参考图像中最下边的标定线,将水平向右的方向确定为最下边的标定线的方向。将有方向的竖直连接线作为拼接坐标系的纵轴,将有方向的最下边的标定线作为拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立拼接坐标系。
由于相邻的两个摄像头拍摄的参考图像中有一条相同的标定线,该相同的标定线对应的区域可以同时被这两个摄像头拍摄到,也即是,该相同的标定线对应的区域即为相邻的两个摄像头的监控范围的交叠部分。因此,为了避免在建立拼接坐标系时由于交叠部分导致拼接坐标系建立不准确的问题,本发明实施例将多目摄像机中相邻两个摄像头拍摄的参考图像中相同的标定线重合。
需要说明的是,多目摄像机在确定拼接坐标系的横轴和纵轴后,还可以保留参考图像中未作为拼接坐标系的纵轴的其他车道线,以及参考图像中未作为拼接坐标系的横轴的其他标定线。
如图9所示,图9为建立拼接坐标系的示意图。图9是根据两个相邻的摄像头拍摄的参考图像(图中未示出)建立的拼接坐标系,这两个相邻的摄像头分别为0号摄像头和1号摄像头(图中未示出)。标定线3为0号摄像头拍摄的参考图像中的一条标定线,水平向右的方向为该标定线3的方向,标定线4为0号摄像头和1号摄像头拍摄的参考图像中相同的一条标定线,标定线5为1号摄像头拍摄的参考图像中的一条标定线。车道线4为将这两张参考图像中最左边的车道线连接得到的竖直连接线,从0号摄像头到1号摄像头的方向为该竖直连接线的方向。车道线5为将这两张参考图像中各自的中间车道线连接后的车道线,车道线6为将这两张参考图像中各自最右边的车道线连接后的车道线。
在图9中,有方向的车道线4为该拼接坐标系的纵轴,有方向的标定线3为该拼接坐标系的横轴。标定线4与拼接坐标系的纵轴的交点坐标为(0,1),标定线5与拼接坐标系的纵轴的交点坐标为(0,2)。车道线6与拼接坐标系的横轴的交点坐标为(1,0),车道线6与标定线4的交点坐标为(1,1),车道线6与标定线5的交点坐标为(1,2)。虚线为车道线5,边界框用于表示多个不同的车辆。
步骤502:从当前时刻目标车辆在该拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点。
需要说明的是,相比于同一监控画面中的两个测速基准点,属于不同摄像头的监控画面的两个测速基准点之间的距离一般较远,通过距离较远的两个测速基准点确定目标车辆的行驶速度时,可以提高行驶速度的确定准确性。因此,本发明实施例可以从当前时刻目标车辆在该拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点。
由于目标车辆在拼接坐标系中的轨迹是通过多个离散的点连接后形成的,该多个离散的点是通过多个摄像头采集的视频帧图像中目标车辆的位置确定得到。为了便于描述,将该多个离散的点称为轨迹点。因此,示例性地,在一种可能的实现方式中,可以确定当前时刻目标车辆在该拼接坐标系中的轨迹分别与第一直线和第二直线之间的交点,当这两个交点均为轨迹点时,可以将这两个交点确定为两个测速基准点。当这两个交点中的一个交点不是轨迹点,而另一个交点是轨迹点时,假设,当前时刻目标车辆在该拼接坐标系中的轨迹与第一直线的交点不是轨迹点,与第二直线的交点是轨迹点,这样的条件下,可以将该轨迹与第二直线的交点确定为一个测速基准点,将该轨迹上与第一直线的交点距离最近且与第二直线之间的距离大于参考距离阈值的轨迹点确定为另一个测速基准点。当这两个交点都不是轨迹点时,这样的条件下,可以从该轨迹上选择分别与这两个交点的距离最近的两个轨迹点,且选择的两个轨迹点之间的距离大于或等于参考距离阈值,然后,将选择的两个轨迹点确定为两个测速基准点。其中,第一直线和第二直线均与拼接坐标系的横轴平行,且第一直线和第二直线处于不同摄像头的监控画面中,第一直线和第二直线之间的距离大于或等于参考距离阈值。
当然,本发明实施例还可以通过其他方式选取属于不同摄像头的监控画面的两个测速基准点,本发明实施例对此不做限定。
例如,0号摄像头和1号摄像头是相邻的两个摄像头,第一直线位于0号摄像头的监控范围内,第二直线位于1号摄像头的监控范围内。假设,参考距离阈值为1,第一直线是指过(0,0.75)且平行于横轴的一条直线,第二直线是指过(0,1.75)且平行于横轴的一条直线。此时,可以确定目标车辆在拼接坐标系上的轨迹与这两条直线的两个交点是否均为轨迹点,如果这两个交点均为轨迹点,则可以将这两个交点确定为两个测速基准点。
步骤503:多目摄像机根据这两个测速基准点在拼接坐标系中的拼接坐标,确定两个测速基准点之间的实际距离。
具体地,步骤503的操作可以通过如下步骤5031-步骤5033来实现:
步骤5031:多目摄像机根据这两个测速基准点在拼接坐标系中的横坐标、道路上相邻两条车道线的实际距离和拼接坐标系中相邻两条车道线之间的距离,确定第一距离。
先确定道路上相邻两条车道线的实际距离和拼接坐标系中相邻两条车道线之间的距离,然后将道路上相邻两条车道线的实际距离除以拼接坐标系中相邻两条车道线之间的距离,可以得到第一比例,再将这两个测速基准点在拼接坐标系中的横坐标相减可以得到第一数值,再将第一数值乘以第一比例,可以得到第一距离。
步骤5032:多目摄像机根据这两个测速基准点在拼接坐标系中的纵坐标、道路上相邻两条标定线的实际距离和拼接坐标系中相邻两条标定线之间的距离,确定第二距离。
先确定道路上相邻两条标定线的实际距离和拼接坐标系中相邻两条标定线之间的距离,然后将道路上相邻两条标定线的实际距离除以拼接坐标系中相邻两条标定线之间的距离,可以得到第二比例,再将这两个测速基准点在拼接坐标系中的纵坐标相减可以得到第二数值,再将第二数值乘以第二比例,可以得到第二距离。
步骤5033:多目摄像机根据第一距离和第二距离,确定这两个测速基准点之间的实际距离。
由于第一距离是这两个测速基准点之间的实际距离在道路上的车道线上的投影距离,第二距离是这两个测速基准点之间的实际距离在道路上的标定线上的投影距离,因此,可以根据勾股定理,将第一距离的平方加上第二距离的平方再开平方可以计算出这两个测速基准点之间的实际距离。
例如,若拼接坐标系中相邻两条车道线的距离为0.5,拼接坐标系中相邻两条标定线之间的距离为1,道路上相邻两条车道线的实际距离为3m,道路上相邻两条标定线之间的实际距离为50m。则道路上相邻两条车道线的实际距离除以拼接坐标系中相邻两条车道线的距离,即3m除以0.5,可以得到道路上相邻两条车道线的实际距离与拼接坐标系中相邻两条车道线的距离之间的比例为6,并将6记为第一比例。另外,道路上相邻两条标定线的实际距离除以拼接坐标系中相邻两条标定线的距离,即50m除以1,可以得到道路上相邻两条标定线的实际距离与拼接坐标系中相邻两条标定线的距离之间的比例为50,并将50记为第二比例。此时,若两个测速基准点中第一个测速基准点在拼接坐标系中的坐标为(0.7,1.6),两个测速基准点中第二个测速基准点在拼接坐标系中的坐标为(0.2,0.8),将第一个测速基准点的横坐标减去第二个测速基准点的横坐标,即0.7减去0.2,可以得到0.5,将0.5乘以第一比例,即0.5乘以6,可以得到这两个测速基准点之间的实际距离在道路上的车道线上的投影距离为3m,并将第一个测速基准点的纵坐标减去第二个测速基准点的纵坐标,即1.6减去0.8,可以得到0.8,将0.8乘以第二比例,即0.8乘以50,可以得到这两个测速基准点之间的实际距离在道路上的标定线上的投影距离为40m,根据勾股定理,将3m的平方加上40m的平方再开平方可以得到这两个测速基准点之间的实际距离约为40.11m。
步骤504:多目摄像机根据该实际距离与第一时间差,确定目标车辆的行驶速度。
需要说明的是,第一时间差为这两个测速基准点分别所属的视频帧图像的采集时间之间的差值。
由于距离除以时间可以得到速度,所以根据实际距离与第一时间差之间的商值即可得到目标车辆的行驶速度。
进一步地,在确定目标车辆的行驶速度后,多目摄像机还可以抓拍目标车辆行驶在道路上的车辆图像,并将目标车辆的车辆图像、目标车辆的行驶速度和目标车辆的车辆信息发送给服务器,以便服务器对目标车辆是否超速违规进行判断以及对超速违规的目标车辆进行取证。也即是,在步骤504之后,还可以执行步骤505-步骤506:
步骤505:多目摄像机抓拍目标车辆行驶在道路上的车辆图像。
步骤506:多目摄像机将目标车辆的车辆图像、目标车辆的行驶速度和目标车辆的车辆信息发送给服务器。
值得说明的是,多目摄像机将目标车辆的车辆图像、目标车辆的行驶速度和目标车辆的车辆信息发送给服务器,这样的条件下,服务器可以将目标车辆的行驶速度与预设数值进行比较,若目标车辆的行驶速度大于预设数值,则可以判断目标车辆超速违规行驶,并可以以目标车辆的车辆图像和目标车辆的车辆信息作为目标车辆超速违规行驶的证据。
在本发明实施例中,先确定当前时刻目标车辆在拼接坐标系中的轨迹,然后从当前时刻目标车辆在拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点。然后根据这两个测速基准点在该拼接坐标系中的拼接坐标,确定这两个基准点之间的实际距离,最后根据该实际距离和这两个测速基准点分别所属的视频帧图像的采集时间之间的差值,即可确定出目标车辆的行驶速度。由于选取的两个测速基准点属于不同摄像头的监控画面,且相比于同一监控画面中的两个测速基准点,本发明实施例选取的两个测速基准点之间的距离一般较远,且这两个测速基准点所属的视频帧图像的采集时间之间的差值也较大,从而不会因为这两个测速基准点之间的距离较小和这两个测速基准点所属的视频帧图像的采集时间之间的差值较小而引起误差放大的问题,进而会大大减小图像坐标上的距离转换成道路上的实际距离的误差,继而使确定出的目标车辆的行驶速度的误差较小,准确性较高。另外,本发明实施例中,这两个测速基准点所对应的两个摄像头均属于同一个多目摄像机,所以这两个摄像头采用的是同一时间***,可以实现时间上的同步,进而不会因为时间不同步而使确定出的目标车辆的行驶速度存在误差。
在本发明实施例中,在步骤501之后,不仅可以通过步骤502-步骤506来确定目标车辆的行驶速度,以及抓拍目标车辆行驶在道路上的车辆图像,还可以参见图10,通过如下步骤1001-步骤1006来对车辆的连续变道行为进行检测。
步骤1001:多目摄像机确定当前时刻目标车辆在拼接坐标系中的轨迹。
需要说明的是,由于步骤1001与上述实施例中步骤501相同,所以本发明实施例对此不再赘述。
步骤1002:当多目摄像机根据当前时刻目标车辆在拼接坐标系中的轨迹,以及道路上的车道线在拼接坐标系中的位置,确定目标车辆存在变道行为时,采集目标车辆的变道过程图。
根据道路上的车道线在拼接坐标系中的位置,在拼接坐标系中绘制对应的车道线。如果当前时刻目标车辆在拼接坐标系中的轨迹与拼接坐标系中绘制的车道线存在交点,那么,可以表明目标车辆有过从一个车道行驶到另一个车道上的行为,即可以确定目标车辆存在变道行为。此时,可以采集目标车道的变道过程图。
需要说明的是,变道过程图可以是目标车辆行驶在上一车道时多目摄像机采集到的视频帧图像、目标车辆行驶在上一车道和当前车道之间的至少一条车道线上时多目摄像机采集到的视频帧图像和目标车辆行驶在当前车道时多目摄像机采集到的视频帧图像等,也即是,变道过程图是指能够表明目标车辆存在变道行为的视频帧图像。
步骤1003:当多目摄像机根据当前时刻目标车辆在拼接坐标系中的轨迹,以及道路上的车道线在拼接坐标系中的位置,确定目标车辆结束变道行为时,确定目标车辆的变道行为的持续时长。
如果当前时刻目标车辆在拼接坐标系中的轨迹与拼接坐标系中绘制的车道线不再有交点,那么,可以确定目标车辆已经结束变道行为。此时,可以将目标车辆的变道行为开始时刻与结束时刻之间的时长确定为目标车辆的变道行为的持续时长。
步骤1004:当该持续时长小于参考时长,且目标车辆在持续时长内行驶在至少三个不同车道时,多目摄像机确定目标车辆的变道行为为连续变道行为。
需要说明的是,连续变道行为是指车辆在短时间内,从一条车道连续变更到与该车道间隔一条车道的车道上的行为。
值得注意的是,当持续时长大于参考时长,且目标车辆在持续时长内行使在至少三个不同车道时,则确定目标车辆的变道行为不是连续变道行为,此时,多目摄像机可以将采集的目标车辆的变道过程图删除。
步骤1005:在确定目标车辆的变道行为为连续变道行为之后,多目摄像机根据采集的变道过程图,确定目标车辆的连续变道事件取证图。
需要说明的是,目标车辆的连续变道事件取证图可以是采集的变道过程图中目标车辆位于第一条车道上的视频帧图像、目标车辆位于第一条车道和第二条车道之间的车道线上的视频帧图像、目标车辆位于第二条车道上的视频帧图像、目标车辆位于第二条车道和第三条车道之间的车道线上的视频帧图像和目标车辆位于第三条车道上的视频帧图像等,也即是,连续变道事件取证图是指能够表明目标车辆存在连续变道行为的视频帧图像。
具体地,步骤1005的操作可以通过如下步骤(1)-步骤(3)来实现:
步骤(1):多目摄像机从采集的变道过程图中选取第一过程图。
需要说明的是,第一过程图是采集的变道过程图中目标车辆所占的像素区域的尺寸最大的一张变道过程图。
另外,目标车辆所占的像素区域的尺寸越大,目标车辆的车牌号码的区域也就越大,目标车辆的车牌号码也就越清楚。
步骤(2):多目摄像机从第一过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为目标车辆的车辆特写图。
需要说明的是,车牌扩展区域是指根据车牌区域扩展后包括目标车辆的车头或车尾的区域。
其中,多目摄像机可以先从第一过程图中确定出车牌区域,并在车牌区域的周围检测目标车辆的特征。当检测出的特征符合目标车辆车头的特征时,确定该车牌区域为目标车辆车头处车牌的区域,并截取包括车牌和车头的区域,然后将该包括车牌和车头的区域作为车牌扩展区域。或者,当检测出的特征符合目标车辆车尾的特征时,确定该车牌区域为目标车辆车尾处车牌的区域,并截取包括车牌和车尾的区域,然后将该包括车牌和车尾的区域作为车牌扩展区域。
步骤(3):多目摄像机将采集的变道过程图和车辆特写图确定为目标车辆的连续变道事件取证图。
其中,多目摄像机可以将采集的变道过程图和车辆特写图合成为一张图像,将合成后的图像作为目标车辆的连续变道事件取证图。在一种可能的实现方式中,多目摄像机可以对采集的变道过程图进行缩放处理,并将缩放处理后的采集的变道过程图和车辆特写图合成为一张图像,将合成后的图像作为目标车辆的连续变道事件取证图。在另一种可能的实现方式中,多目摄像机还可以对采集的变道过程图和车辆特写图都进行缩放处理,并将缩放处理后图像合成为一张图像,将合成后的图像作为目标车辆的连续变道事件取证图。本发明实施例对此不做限定。
步骤1006:多目摄像机将目标车辆的车辆信息和该连续变道事件取证图发送给服务器。
在本发明实施例中,先确定当前时刻目标车辆在拼接坐标系中的轨迹,然后根据该轨迹和道路上的车道线在拼接坐标系中的位置,确定目标车辆存在变道行为时,采集目标车辆的变道过程图,之后当确定目标车辆结束变道行为时,确定目标车辆的变道行为的持续时长,当持续时长小于参考时长,且目标车辆在持续时长内行驶在至少三个不同车道时,确定目标车辆的变道行为为连续变道行为,然后再根据采集的变道过程图,确定目标车辆的连续变道事件取证图,最后将目标车辆的车辆信息和该连续变道事件取证图发送给服务器。由于当前时刻目标车辆在拼接坐标系中的轨迹是对多个摄像头的监控画面中的轨迹拼接得到,位于多个摄像头的监控画面中的车道线的长度一般较长,而且目标车辆的变道行为的持续时长一般较长,所以采集的变道过程图可以较为完整的指示目标车辆在该多个摄像头的监控画面内是否存在连续变道行为,从而可以较为准确的确定出目标车辆的连续变道事件取证图并发送给服务器,以便服务器对目标车辆的连续变道行为进行取证。
图11是本发明实施例提供的一种车辆测速装置框图。应用于多目摄像机,该多目摄像机包括的多个摄像头中相邻两个摄像头的监控范围沿道路的走向存在交叠部分,参见图11,该装置包括第一确定模块1101、选取模块1102、第二确定模块1103和第三确定模块1104。
第一确定模块1101,用于确定当前时刻目标车辆在拼接坐标系中的轨迹,目标车辆为进行测速的任一车辆,该拼接坐标系为用于绘制目标车辆在该多个摄像头的监控范围内的完整轨迹的坐标系;
选取模块1102,用于从当前时刻目标车辆在该拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点;
第二确定模块1103,用于根据这两个测速基准点在该拼接坐标系中的拼接坐标,确定这两个测速基准点之间的实际距离;
第三确定模块1104,用于根据该实际距离与第一时间差,确定目标车辆的行驶速度,第一时间差为两个测速基准点分别所属的视频帧图像的采集时间之间的差值。
可选地,第二确定模块1103包括:
第一确定子模块,用于根据这两个测速基准点在该拼接坐标系中的横坐标、该道路上相邻两条车道线的实际距离和该拼接坐标系中相邻两条车道线之间的距离,确定第一距离;
第二确定子模块,用于根据这两个测速基准点在该拼接坐标系中的纵坐标、该道路上相邻两条标定线的实际距离和该拼接坐标系中相邻两条标定线之间的距离,确定第二距离;
第三确定子模块,用于根据第一距离和第二距离,确定这两个测速基准点之间的实际距离。
可选地,第一确定模块1101包括:
采集子模块,用于通过该多个摄像头采集视频帧图像,以得到多个视频帧图像;
第四确定子模块,用于当该多个视频帧图像中的至少一个视频帧图像中包括目标车辆时,确定该至少一个视频帧图像中目标车辆的车辆信息,以得到至少一个车辆信息,每个车辆信息中均包括目标车辆在标定坐标系中的标定坐标和目标车辆的车牌信息;
转换子模块,用于根据至少一个摄像头的编号,将该至少一个车辆信息中目标车辆的标定坐标转换为该拼接坐标系中对应的至少一个拼接坐标,该至少一个摄像头为用于采集该至少一个视频帧图像的摄像头;
第五确定子模块,用于根据该至少一个车辆信息中目标车辆的车牌信息和该至少一个拼接坐标,确定目标车辆在该拼接坐标系中的当前拼接坐标;
轨迹绘制子模块,用于当目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在该拼接坐标系中的该前一拼接坐标与该当前拼接坐标之间连线,以得到当前时刻目标车辆在该拼接坐标系中的轨迹。
可选地,第四确定子模块包括:
车辆检测单元,用于对该至少一个视频帧图像进行车辆检测,以确定每个视频帧图像中目标车辆的车辆位置;
第一确定单元,用于根据确定出的目标车辆的车辆位置,从该至少一个视频帧图像包括的每个视频帧图像中确定目标车辆的车牌信息;
第二确定单元,用于根据确定出的目标车辆的车辆位置,确定目标车辆在该至少一个视频帧图像包括的每个视频帧图像的图像坐标系中的图像坐标,以得到至少一个图像坐标;
转换单元,用于将该至少一个图像坐标转换至该标定坐标系中,以得到目标车辆在该标定坐标系中的标定坐标。
可选地,多个摄像头的编号从0开始逐个增加;
该转换子模块,还用于将该至少一个车辆信息中目标车辆的标定坐标的横坐标作为目标车辆在该拼接坐标系中的横坐标,将该至少一个车辆信息中目标车辆的标定坐标的纵坐标与该至少一个摄像头的编号对应相加,得到目标车辆在该拼接坐标系中的纵坐标。
可选地,第五确定子模块包括:
第三确定单元,用于当该至少一个拼接坐标的数量为两个,且该至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像头对应的拼接坐标确定为目标车辆在该拼接坐标系中的当前拼接坐标,相比于该至少一个摄像头中的其他摄像头,第一摄像头拍摄出的视频帧图像中目标车辆所占的像素区域的尺寸最大;
第四确定单元,用于当该至少一个拼接坐标的数量为两个,且该至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定该至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
第五确定单元,用于当确定出的匹配度位于预设匹配度范围内时,确定该至少一个拼接坐标之间的距离;
第六确定单元,用于当该至少一个拼接坐标之间的距离小于预设距离时,将第一摄像头对应的拼接坐标确定为目标车辆在该拼接坐标系中的当前拼接坐标。
可选地,该装置还包括:
第一采集模块,用于通过该多个摄像头中每个摄像头采集一张参考图像,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像头拍摄的参考图像中有一条相同的标定线;
建立模块,用于根据该多个摄像头的编号,以及采集到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立该拼接坐标系。
可选地,该建立模块包括:
标定线重合子模块,用于按照该多个摄像头的编号,将该多个摄像头中相邻两个摄像头拍摄的参考图像中相同的标定线重合,并将该多张参考图像中最左边的车道线连接,得到一条竖直连接线;
第六确定子模块,用于将该多个摄像头的编号从小到大的方向确定为该竖直连接线的方向;
第七确定子模块,用于获取编号最小的摄像头拍摄的参考图像中最下边的标定线,将水平向右的方向确定为该最下边的标定线的方向;
建立子模块,用于将有方向的该竖直连接线作为该拼接坐标系的纵轴,将有方向的该最下边的标定线作为该拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立该拼接坐标系。
可选地,该装置还包括:
抓拍模块,用于抓拍目标车辆行驶在该道路上的车辆图像;
第一发送模块,用于将目标车辆的车辆图像、目标车辆的行驶速度和目标车辆的车辆信息发送给服务器。
可选地,该装置还包括:
第二采集模块,用于当根据当前时刻目标车辆在该拼接坐标系中的轨迹,以及该道路上的车道线在该拼接坐标系中的位置,确定目标车辆存在变道行为时,采集目标车辆的变道过程图;
第四确定模块,用于当根据当前时刻目标车辆在该拼接坐标系中的轨迹,以及该道路上的车道线在该拼接坐标系中的位置,确定目标车辆结束变道行为时,确定目标车辆的变道行为的持续时长;
第五确定模块,用于当该持续时长小于参考时长,且目标车辆在该持续时长内行驶在至少三个不同车道时,确定目标车辆的变道行为为连续变道行为;
第六确定模块,用于在确定目标车辆的变道行为为连续变道行为之后,根据采集的变道过程图,确定目标车辆的连续变道事件取证图;
第二发送模块,用于将目标车辆的车辆信息和该连续变道事件取证图发送给服务器。
可选地,第六确定模块包括:
选取子模块,用于从采集的变道过程图中选取第一过程图,第一过程图是采集的变道过程图中目标车辆所占的像素区域的尺寸最大的一张变道过程图;
第八确定子模块,用于从第一过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为目标车辆的车辆特写图,该车牌扩展区域是指根据车牌区域扩展后包括目标车辆的车头或车尾的区域;
第九确定子模块,用于将采集的变道过程图和该车辆特写图确定为目标车辆的连续变道事件取证图。
在本发明实施例中,先确定当前时刻目标车辆在拼接坐标系中的轨迹,然后从当前时刻目标车辆在拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点。然后根据这两个测速基准点在该拼接坐标系中的拼接坐标,确定这两个基准点之间的实际距离,最后根据该实际距离和这两个测速基准点分别所属的视频帧图像的采集时间之间的差值,即可确定出目标车辆的行驶速度。由于选取的两个测速基准点属于不同摄像头的监控画面,且相比于同一监控画面中的两个测速基准点,本发明实施例选取的两个测速基准点之间的距离一般较远,且这两个测速基准点所属的视频帧图像的采集时间之间的差值也较大,从而不会因为这两个测速基准点之间的距离较小和这两个测速基准点所属的视频帧图像的采集时间之间的差值较小而引起误差放大的问题,进而会大大减小图像坐标上的距离转换成道路上的实际距离的误差,继而使确定出的目标车辆的行驶速度的误差较小,准确性较高。
需要说明的是:上述实施例提供的车辆测速装置在进行车辆测速时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将车辆测速装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的车辆测速装置与车辆测速方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图12是本发明实施例提供的一种车辆测速装置的结构示意图,该车辆测速装置1200可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)1201和一个或一个以上的存储器1202,其中,所述存储器1202中存储有至少一条指令,所述至少一条指令由该处理器1201加载并执行。当然,该车辆测速装置1200还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该车辆测速装置1200还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由多目摄像机中的处理器执行以完成上述实施例中车辆测速方法。例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (24)

1.一种车辆测速方法,其特征在于,应用于多目摄像机,所述多目摄像机包括的多个摄像头中相邻两个摄像头的监控范围沿道路的走向存在交叠部分,所述方法包括:
确定当前时刻目标车辆在拼接坐标系中的轨迹,所述目标车辆为进行测速的任一车辆,所述拼接坐标系为用于绘制所述目标车辆在所述多个摄像头的监控范围内的完整轨迹的坐标系;
从当前时刻所述目标车辆在所述拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点;
根据所述两个测速基准点在所述拼接坐标系中的拼接坐标,确定所述两个测速基准点之间的实际距离;
根据所述实际距离与第一时间差,确定所述目标车辆的行驶速度,所述第一时间差为所述两个测速基准点分别所属的视频帧图像的采集时间之间的差值。
2.如权利要求1所述的方法,其特征在于,所述根据所述两个测速基准点在所述拼接坐标系中的拼接坐标,确定所述两个测速基准点之间的实际距离,包括:
根据所述两个测速基准点在所述拼接坐标系中的横坐标、所述道路上相邻两条车道线的实际距离和所述拼接坐标系中相邻两条车道线之间的距离,确定第一距离;
根据所述两个测速基准点在所述拼接坐标系中的纵坐标、所述道路上相邻两条标定线的实际距离和所述拼接坐标系中相邻两条标定线之间的距离,确定第二距离;
根据所述第一距离和所述第二距离,确定所述两个测速基准点之间的实际距离。
3.如权利要求1所述的方法,其特征在于,所述确定当前时刻目标车辆在拼接坐标系中的轨迹,包括:
通过所述多个摄像头采集视频帧图像,以得到多个视频帧图像;
当所述多个视频帧图像中的至少一个视频帧图像中包括所述目标车辆时,确定所述至少一个视频帧图像中所述目标车辆的车辆信息,以得到至少一个车辆信息,每个车辆信息中均包括所述目标车辆在标定坐标系中的标定坐标和所述目标车辆的车牌信息;
根据至少一个摄像头的编号,将所述至少一个车辆信息中所述目标车辆的标定坐标转换为所述拼接坐标系中对应的至少一个拼接坐标,所述至少一个摄像头为用于采集所述至少一个视频帧图像的摄像头;
根据所述至少一个车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标;
当所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在所述拼接坐标系中的所述前一拼接坐标与所述当前拼接坐标之间连线,以得到当前时刻所述目标车辆在所述拼接坐标系中的轨迹。
4.如权利要求3所述的方法,其特征在于,所述确定所述至少一个视频帧图像中所述目标车辆的车辆信息,以得到至少一个车辆信息,包括:
对所述至少一个视频帧图像进行车辆检测,以确定每个视频帧图像中所述目标车辆的车辆位置;
根据确定出的所述目标车辆的车辆位置,从所述至少一个视频帧图像包括的每个视频帧图像中确定所述目标车辆的车牌信息;
根据确定出的所述目标车辆的车辆位置,确定所述目标车辆在所述至少一个视频帧图像包括的每个视频帧图像的图像坐标系中的图像坐标,以得到至少一个图像坐标;
将所述至少一个图像坐标转换至所述标定坐标系中,以得到所述目标车辆在所述标定坐标系中的标定坐标。
5.如权利要求3所述的方法,其特征在于,所述多个摄像头的编号从0开始逐个增加;
所述根据至少一个摄像头的编号,将所述至少一个车辆信息中所述目标车辆的标定坐标转换为所述拼接坐标系中对应的至少一个拼接坐标,包括:
将所述至少一个车辆信息中所述目标车辆的标定坐标的横坐标作为所述目标车辆在所述拼接坐标系中的横坐标,将所述至少一个车辆信息中所述目标车辆的标定坐标的纵坐标与所述至少一个摄像头的编号对应相加,得到所述目标车辆在所述拼接坐标系中的纵坐标。
6.如权利要求3所述的方法,其特征在于,所述根据所述至少一个车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标,包括:
当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像头对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标,相比于所述至少一个摄像头中的其他摄像头,所述第一摄像头拍摄出的视频帧图像中所述目标车辆所占的像素区域的尺寸最大;
当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
当确定出的匹配度位于预设匹配度范围内时,确定所述至少一个拼接坐标之间的距离;
当所述至少一个拼接坐标之间的距离小于预设距离时,将所述第一摄像头对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标。
7.如权利要求1所述的方法,其特征在于,所述确定当前时刻目标车辆在拼接坐标系中的轨迹之前,还包括:
通过所述多个摄像头中每个摄像头采集一张参考图像,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像头拍摄的参考图像中有一条相同的标定线;
根据所述多个摄像头的编号,以及采集到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系。
8.如权利要求7所述的方法,其特征在于,所述根据所述多个摄像头的编号,以及采集到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系,包括:
按照所述多个摄像头的编号,将所述多个摄像头中相邻两个摄像头拍摄的参考图像中相同的标定线重合,并将所述多张参考图像中最左边的车道线连接,得到一条竖直连接线;
将所述多个摄像头的编号从小到大的方向确定为所述竖直连接线的方向;
获取编号最小的摄像头拍摄的参考图像中最下边的标定线,将水平向右的方向确定为所述最下边的标定线的方向;
将有方向的所述竖直连接线作为所述拼接坐标系的纵轴,将有方向的所述最下边的标定线作为所述拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立所述拼接坐标系。
9.如权利要求1所述的方法,其特征在于,所述根据所述实际距离与第一时间差,确定所述目标车辆的行驶速度之后,还包括:
抓拍所述目标车辆行驶在所述道路上的车辆图像;
将所述目标车辆的车辆图像、所述目标车辆的行驶速度和所述目标车辆的车辆信息发送给服务器。
10.如权利要求1所述的方法,其特征在于,所述确定当前时刻目标车辆在拼接坐标系中的轨迹之后,还包括:
当根据当前时刻所述目标车辆在所述拼接坐标系中的轨迹,以及所述道路上的车道线在所述拼接坐标系中的位置,确定所述目标车辆存在变道行为时,采集所述目标车辆的变道过程图;
当根据当前时刻所述目标车辆在所述拼接坐标系中的轨迹,以及所述道路上的车道线在所述拼接坐标系中的位置,确定所述目标车辆结束变道行为时,确定所述目标车辆的变道行为的持续时长;
当所述持续时长小于参考时长,且所述目标车辆在所述持续时长内行驶在至少三个不同车道时,确定所述目标车辆的变道行为为连续变道行为;
在确定所述目标车辆的变道行为为连续变道行为之后,根据采集的变道过程图,确定所述目标车辆的连续变道事件取证图;
将所述目标车辆的车辆信息和所述连续变道事件取证图发送给服务器。
11.如权利要求10所述的方法,其特征在于,所述根据采集的变道过程图,确定所述目标车辆的连续变道事件取证图,包括:
从采集的变道过程图中选取第一过程图,所述第一过程图是采集的变道过程图中所述目标车辆所占的像素区域的尺寸最大的一张变道过程图;
从所述第一过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为所述目标车辆的车辆特写图,所述车牌扩展区域是指根据车牌区域扩展后包括所述目标车辆的车头或车尾的区域;
将采集的变道过程图和所述车辆特写图确定为所述目标车辆的连续变道事件取证图。
12.一种车辆测速装置,其特征在于,应用于多目摄像机,所述多目摄像机包括的多个摄像头中相邻两个摄像头的监控范围沿道路的走向存在交叠部分,所述装置包括:
第一确定模块,用于确定当前时刻目标车辆在拼接坐标系中的轨迹,所述目标车辆为进行测速的任一车辆,所述拼接坐标系为用于绘制所述目标车辆在所述多个摄像头的监控范围内的完整轨迹的坐标系;
选取模块,用于从当前时刻所述目标车辆在所述拼接坐标系中的轨迹上,选取属于不同摄像头的监控画面的两个测速基准点;
第二确定模块,用于根据所述两个测速基准点在所述拼接坐标系中的拼接坐标,确定所述两个测速基准点之间的实际距离;
第三确定模块,用于根据所述实际距离与第一时间差,确定所述目标车辆的行驶速度,所述第一时间差为所述两个测速基准点分别所属的视频帧图像的采集时间之间的差值。
13.如权利要求12所述的装置,其特征在于,所述第二确定模块包括:
第一确定子模块,用于根据所述两个测速基准点在所述拼接坐标系中的横坐标、所述道路上相邻两条车道线的实际距离和所述拼接坐标系中相邻两条车道线之间的距离,确定第一距离;
第二确定子模块,用于根据所述两个测速基准点在所述拼接坐标系中的纵坐标、所述道路上相邻两条标定线的实际距离和所述拼接坐标系中相邻两条标定线之间的距离,确定第二距离;
第三确定子模块,用于根据所述第一距离和所述第二距离,确定所述两个测速基准点之间的实际距离。
14.如权利要求12所述的装置,其特征在于,所述第一确定模块包括:
采集子模块,用于通过所述多个摄像头采集视频帧图像,以得到多个视频帧图像;
第四确定子模块,用于当所述多个视频帧图像中的至少一个视频帧图像中包括所述目标车辆时,确定所述至少一个视频帧图像中所述目标车辆的车辆信息,以得到至少一个车辆信息,每个车辆信息中均包括所述目标车辆在标定坐标系中的标定坐标和所述目标车辆的车牌信息;
转换子模块,用于根据至少一个摄像头的编号,将所述至少一个车辆信息中所述目标车辆的标定坐标转换为所述拼接坐标系中对应的至少一个拼接坐标,所述至少一个摄像头为用于采集所述至少一个视频帧图像的摄像头;
第五确定子模块,用于根据所述至少一个车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标;
轨迹绘制子模块,用于当所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在所述拼接坐标系中的所述前一拼接坐标与所述当前拼接坐标之间连线,以得到当前时刻所述目标车辆在所述拼接坐标系中的轨迹。
15.如权利要求14所述的装置,其特征在于,所述第四确定子模块包括:
车辆检测单元,用于对所述至少一个视频帧图像进行车辆检测,以确定每个视频帧图像中所述目标车辆的车辆位置;
第一确定单元,用于根据确定出的所述目标车辆的车辆位置,从所述至少一个视频帧图像包括的每个视频帧图像中确定所述目标车辆的车牌信息;
第二确定单元,用于根据确定出的所述目标车辆的车辆位置,确定所述目标车辆在所述至少一个视频帧图像包括的每个视频帧图像的图像坐标系中的图像坐标,以得到至少一个图像坐标;
转换单元,用于将所述至少一个图像坐标转换至所述标定坐标系中,以得到所述目标车辆在所述标定坐标系中的标定坐标。
16.如权利要求14所述的装置,其特征在于,所述多个摄像头的编号从0开始逐个增加;
所述转换子模块,还用于将所述至少一个车辆信息中所述目标车辆的标定坐标的横坐标作为所述目标车辆在所述拼接坐标系中的横坐标,将所述至少一个车辆信息中所述目标车辆的标定坐标的纵坐标与所述至少一个摄像头的编号对应相加,得到所述目标车辆在所述拼接坐标系中的纵坐标。
17.如权利要求14所述的装置,其特征在于,所述第五确定子模块包括:
第三确定单元,用于当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像头对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标,相比于所述至少一个摄像头中的其他摄像头,所述第一摄像头拍摄出的视频帧图像中所述目标车辆所占的像素区域的尺寸最大;
第四确定单元,用于当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
第五确定单元,用于当确定出的匹配度位于预设匹配度范围内时,确定所述至少一个拼接坐标之间的距离;
第六确定单元,用于当所述至少一个拼接坐标之间的距离小于预设距离时,将所述第一摄像头对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标。
18.如权利要求12所述的装置,其特征在于,所述装置还包括:
第一采集模块,用于通过所述多个摄像头中每个摄像头采集一张参考图像,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像头拍摄的参考图像中有一条相同的标定线;
建立模块,用于根据所述多个摄像头的编号,以及采集到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系。
19.如权利要求18所述的装置,其特征在于,所述建立模块包括:
标定线重合子模块,用于按照所述多个摄像头的编号,将所述多个摄像头中相邻两个摄像头拍摄的参考图像中相同的标定线重合,并将所述多张参考图像中最左边的车道线连接,得到一条竖直连接线;
第六确定子模块,用于将所述多个摄像头的编号从小到大的方向确定为所述竖直连接线的方向;
第七确定子模块,用于获取编号最小的摄像头拍摄的参考图像中最下边的标定线,将水平向右的方向确定为所述最下边的标定线的方向;
建立子模块,用于将有方向的所述竖直连接线作为所述拼接坐标系的纵轴,将有方向的所述最下边的标定线作为所述拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立所述拼接坐标系。
20.如权利要求12所述的装置,其特征在于,所述装置还包括:
抓拍模块,用于抓拍所述目标车辆行驶在所述道路上的车辆图像;
第一发送模块,用于将所述目标车辆的车辆图像、所述目标车辆的行驶速度和所述目标车辆的车辆信息发送给服务器。
21.如权利要求12所述的装置,其特征在于,所述装置还包括:
第二采集模块,用于当根据当前时刻所述目标车辆在所述拼接坐标系中的轨迹,以及所述道路上的车道线在所述拼接坐标系中的位置,确定所述目标车辆存在变道行为时,采集所述目标车辆的变道过程图;
第四确定模块,用于当根据当前时刻所述目标车辆在所述拼接坐标系中的轨迹,以及所述道路上的车道线在所述拼接坐标系中的位置,确定所述目标车辆结束变道行为时,确定所述目标车辆的变道行为的持续时长;
第五确定模块,用于当所述持续时长小于参考时长,且所述目标车辆在所述持续时长内行驶在至少三个不同车道时,确定所述目标车辆的变道行为为连续变道行为;
第六确定模块,用于在确定所述目标车辆的变道行为为连续变道行为之后,根据采集的变道过程图,确定所述目标车辆的连续变道事件取证图;
第二发送模块,用于将所述目标车辆的车辆信息和所述连续变道事件取证图发送给服务器。
22.如权利要求21所述的装置,其特征在于,所述第六确定模块包括:
选取子模块,用于从采集的变道过程图中选取第一过程图,所述第一过程图是采集的变道过程图中所述目标车辆所占的像素区域的尺寸最大的一张变道过程图;
第八确定子模块,用于从所述第一过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为所述目标车辆的车辆特写图,所述车牌扩展区域是指根据车牌区域扩展后包括所述目标车辆的车头或车尾的区域;
第九确定子模块,用于将采集的变道过程图和所述车辆特写图确定为所述目标车辆的连续变道事件取证图。
23.一种车辆测速装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-11所述的任一项方法的步骤。
24.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现权利要求1-11所述的任一项方法的步骤。
CN201910059660.XA 2019-01-22 2019-01-22 车辆测速方法、装置及计算机可读存储介质 Active CN111462503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910059660.XA CN111462503B (zh) 2019-01-22 2019-01-22 车辆测速方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910059660.XA CN111462503B (zh) 2019-01-22 2019-01-22 车辆测速方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111462503A true CN111462503A (zh) 2020-07-28
CN111462503B CN111462503B (zh) 2021-06-08

Family

ID=71682222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910059660.XA Active CN111462503B (zh) 2019-01-22 2019-01-22 车辆测速方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111462503B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686806A (zh) * 2021-01-08 2021-04-20 腾讯科技(深圳)有限公司 图像拼接方法及装置、电子设备、存储介质
CN112798811A (zh) * 2020-12-30 2021-05-14 杭州海康威视数字技术股份有限公司 速度测量方法、装置和设备
CN112949470A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆变道转向灯识别方法、装置、设备及存储介质
CN113075716A (zh) * 2021-03-19 2021-07-06 地平线(上海)人工智能技术有限公司 基于图像的车辆定位方法和装置、存储介质以及电子设备
CN114820819A (zh) * 2022-05-26 2022-07-29 广东机电职业技术学院 快速路自动驾驶方法及***
US20220324448A1 (en) * 2021-04-08 2022-10-13 Ford Global Technologies, Llc Enhanced adaptive cruise control
CN116542858A (zh) * 2023-07-03 2023-08-04 众芯汉创(江苏)科技有限公司 一种基于空间轨迹的数据拼接分析***
CN116884235A (zh) * 2023-08-09 2023-10-13 广东省交通运输规划研究中心 基于撞线的视频车速检测方法、装置、设备以及存储介质
CN118015850A (zh) * 2024-04-08 2024-05-10 云南省公路科学技术研究院 一种多目标车辆车速同步估算方法、***、终端及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187671A (zh) * 2007-12-27 2008-05-28 北京中星微电子有限公司 一种确定汽车行驶速度的方法及装置
CN101777263A (zh) * 2010-02-08 2010-07-14 长安大学 一种基于视频的交通车流量检测方法
US8294595B1 (en) * 2009-09-21 2012-10-23 The Boeing Company Speed detector for moving vehicles
WO2014186642A2 (en) * 2013-05-17 2014-11-20 International Electronic Machines Corporation Operations monitoring in an area
CN107507298A (zh) * 2017-08-11 2017-12-22 南京阿尔特交通科技有限公司 一种多机位视频车辆行驶数据采集方法及装置
CN108806269A (zh) * 2018-06-22 2018-11-13 安徽科力信息产业有限责任公司 一种记录机动车连续变换车道违法行为的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187671A (zh) * 2007-12-27 2008-05-28 北京中星微电子有限公司 一种确定汽车行驶速度的方法及装置
US8294595B1 (en) * 2009-09-21 2012-10-23 The Boeing Company Speed detector for moving vehicles
CN101777263A (zh) * 2010-02-08 2010-07-14 长安大学 一种基于视频的交通车流量检测方法
WO2014186642A2 (en) * 2013-05-17 2014-11-20 International Electronic Machines Corporation Operations monitoring in an area
CN107507298A (zh) * 2017-08-11 2017-12-22 南京阿尔特交通科技有限公司 一种多机位视频车辆行驶数据采集方法及装置
CN108806269A (zh) * 2018-06-22 2018-11-13 安徽科力信息产业有限责任公司 一种记录机动车连续变换车道违法行为的方法及装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112798811A (zh) * 2020-12-30 2021-05-14 杭州海康威视数字技术股份有限公司 速度测量方法、装置和设备
CN112686806A (zh) * 2021-01-08 2021-04-20 腾讯科技(深圳)有限公司 图像拼接方法及装置、电子设备、存储介质
CN112949470A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆变道转向灯识别方法、装置、设备及存储介质
CN113075716A (zh) * 2021-03-19 2021-07-06 地平线(上海)人工智能技术有限公司 基于图像的车辆定位方法和装置、存储介质以及电子设备
US11708075B2 (en) * 2021-04-08 2023-07-25 Ford Global Technologies, Llc Enhanced adaptive cruise control
US20220324448A1 (en) * 2021-04-08 2022-10-13 Ford Global Technologies, Llc Enhanced adaptive cruise control
CN114820819B (zh) * 2022-05-26 2023-03-31 广东机电职业技术学院 快速路自动驾驶方法及***
CN114820819A (zh) * 2022-05-26 2022-07-29 广东机电职业技术学院 快速路自动驾驶方法及***
CN116542858A (zh) * 2023-07-03 2023-08-04 众芯汉创(江苏)科技有限公司 一种基于空间轨迹的数据拼接分析***
CN116542858B (zh) * 2023-07-03 2023-09-05 众芯汉创(江苏)科技有限公司 一种基于空间轨迹的数据拼接分析***
CN116884235A (zh) * 2023-08-09 2023-10-13 广东省交通运输规划研究中心 基于撞线的视频车速检测方法、装置、设备以及存储介质
CN116884235B (zh) * 2023-08-09 2024-01-30 广东省交通运输规划研究中心 基于撞线的视频车速检测方法、装置、设备以及存储介质
CN118015850A (zh) * 2024-04-08 2024-05-10 云南省公路科学技术研究院 一种多目标车辆车速同步估算方法、***、终端及介质

Also Published As

Publication number Publication date
CN111462503B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
JP5792157B2 (ja) 画像処理装置、方法、プログラム及び記録媒体
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
CN106878687A (zh) 一种基于多传感器的车载环境识别***及全方位视觉模块
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
CN206611521U (zh) 一种基于多传感器的车载环境识别***及全方位视觉模块
JP2008064628A (ja) 物体検出装置および物体検出方法
CN104700355A (zh) 室内二维平面图的生成方法、装置和***
CN112172797B (zh) 泊车控制方法、装置、设备和存储介质
US20100253682A1 (en) Image generating apparatus and computer program
US20230394832A1 (en) Method, system and computer readable media for object detection coverage estimation
CN110120012B (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN114120254A (zh) 道路信息识别方法、装置及存储介质
CN116105721B (zh) 地图构建的回环优化方法、装置、设备及存储介质
Petrovai et al. Obstacle detection using stereovision for Android-based mobile devices
CN104252707B (zh) 对象检测方法和装置
KR102065337B1 (ko) 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법
CN111462502B (zh) 车辆管理的方法、装置及计算机可读存储介质
CN111862206A (zh) 一种视觉定位方法、装置、电子设备及可读存储介质
CN113674361B (zh) 一种车载环视校准实现方法及***
CN109328373B (zh) 图像处理方法及其相关设备、存储介质
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN110796596A (zh) 图像拼接方法、成像装置及全景成像***
CN115836322A (zh) 图像裁剪方法与装置、电子设备及存储介质
CN112215048A (zh) 一种3d目标检测方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant