CN111462502B - 车辆管理的方法、装置及计算机可读存储介质 - Google Patents

车辆管理的方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111462502B
CN111462502B CN201910059669.0A CN201910059669A CN111462502B CN 111462502 B CN111462502 B CN 111462502B CN 201910059669 A CN201910059669 A CN 201910059669A CN 111462502 B CN111462502 B CN 111462502B
Authority
CN
China
Prior art keywords
vehicle
target vehicle
license plate
camera
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910059669.0A
Other languages
English (en)
Other versions
CN111462502A (zh
Inventor
罗义平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910059669.0A priority Critical patent/CN111462502B/zh
Publication of CN111462502A publication Critical patent/CN111462502A/zh
Application granted granted Critical
Publication of CN111462502B publication Critical patent/CN111462502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆管理的方法、装置及计算机可读存储介质,属于智能交通领域。该方法包括:接收多个摄像机中每个摄像机发送的车辆信息和自身的机器编号,当该多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,根据目标车辆的车辆信息和至少一个摄像机的机器编号,确定目标车辆在道路的直线段部分的完整轨迹。并且,获取目标车辆的至少一张事件发生过程图,并根据完整轨迹和该至少一张事件发生过程图确定目标车辆的事件取证图,然后将目标车辆的事件取证图与目标车辆的车牌信息对应存储。这样,可以根据事件取证图和车辆信息中的车牌信息有效地管理目标车辆。

Description

车辆管理的方法、装置及计算机可读存储介质
技术领域
本发明涉及智能交通领域,特别涉及一种车辆管理的方法、装置及计算机可读存储介质。
背景技术
随着我国车辆数量的不断上涨,停车难、违法停车的问题日益突出,为了缓解该问题,亟需一种车辆管理方法,以实现对车辆的自动管理。
目前,通常会在道路侧边划分出多个停车位,并在停车位附近设置多个摄像机,通过这些摄像机对位于停车位和停车位附近的车辆进行监控,以识别车辆的车牌号码,以及确定车辆是否发生车辆入库事件、车辆出库事件或者车辆违停事件,从而根据车辆的车牌号码和车辆发生的事件进行车辆管理。比如,以摄像机A和处于摄像机A的监控范围内的车辆B为例,摄像机A可以对车辆B进行监控。然后,根据监控视频,确定车辆B是否发生车辆入库事件、车辆出库事件或者车辆违停事件,并从监控视频中获取包括车辆B的视频帧图像,从获取的视频帧图像中识别车辆B的车牌号码。
然而,对于某个摄像机来说,如果处于该摄像机监控范围内的车辆被遮挡、车牌倾斜严重或者因距离较远造成车牌较小,会导致车牌无法识别,这样就很难对车辆进行有效地管理。
发明内容
本发明提供一种车辆管理的方法、装置及计算机可读存储介质,可以解决对于某个摄像机来说,如果处于该摄像机监控范围内的车辆被遮挡或者因距离较远而导致车牌较小无法识别,导致很难对车辆进行有效地管理的问题。
第一方面,提供一种车辆管理的方法,所述方法包括:
接收多个摄像机中每个摄像机发送的车辆信息和自身的机器编号,所述车辆信息至少包括车牌信息,所述多个摄像机沿道路的走向设置在所述道路的直线段部分,所述多个摄像机中相邻的两个摄像机的监控范围存在交叠部分,且每个摄像机设置有唯一的机器编号;
当所述多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,根据所述至少一个摄像机发送的车辆信息中所述目标车辆的车辆信息和所述至少一个摄像机的机器编号,确定所述目标车辆在所述道路的所述直线段部分的完整轨迹,所述目标车辆为当前进行车辆管理的任一车辆;
获取所述目标车辆的至少一张事件发生过程图,所述至少一张事件发生过程图是所述多个摄像机中的任一摄像机在检测到所述目标车辆在所述道路的所述直线段部分发生车辆入库事件、车辆出库事件或车辆违停事件时拍摄得到;
根据所述完整轨迹和所述至少一张事件发生过程图,确定所述目标车辆的事件取证图,并将所述目标车辆的事件取证图与所述目标车辆的车牌信息对应存储。
在一个可能的实现方式中,所述目标车辆的车辆信息中还包括所述目标车辆在标定坐标系中的标定坐标;
所述根据所述至少一个摄像机发送的车辆信息中所述目标车辆的车辆信息和所述至少一个摄像机的机器编号,确定所述目标车辆在所述道路的所述直线段部分的完整轨迹,包括:
根据所述至少一个摄像机的机器编号,将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标,所述拼接坐标系为用于绘制所述完整轨迹的坐标系;
根据所述至少一个摄像机发送的车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标;
当所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在所述拼接坐标系中的所述前一拼接坐标与所述当前拼接坐标之间连线,返回接收所述多个摄像机中每个摄像机发送的车辆信息和自身的机器编号的步骤,直至所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标相同时,将所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标之间连线后得到所述目标车辆的所述完整轨迹。
在一个可能的实现方式中,所述多个摄像机的机器编号从0开始逐个增加;
所述根据所述至少一个摄像机的机器编号,将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标,包括:
将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标的横坐标作为所述目标车辆在所述拼接坐标系中的横坐标,将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标的纵坐标与所述至少一个摄像机的机器编号对应相加,得到所述目标车辆在所述拼接坐标系中的纵坐标。
在一个可能的实现方式中,所述根据所述至少一个摄像机发送的车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标,包括:
当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像机对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标,相比于所述至少一个摄像机中的其他摄像机,所述第一摄像机拍摄出的视频帧图像中所述目标车辆所占的像素区域的尺寸最大;
当所述至少一个拼接坐标的数量为两个、所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
当确定出的匹配度位于预设匹配度范围内时,确定所述至少一个拼接坐标之间的距离;
当所述至少一个拼接坐标之间的距离小于预设距离时,将所述第一摄像机对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标。
在一个可能的实现方式中,所述根据所述至少一个摄像机的机器编号,将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标之前,还包括:
接收所述多个摄像机中每个摄像机拍摄的一张参考图像和自身的机器编号,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像机拍摄的参考图像中有一条相同的标定线;
根据所述多个摄像机的机器编号,以及接收到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系。
在一个可能的实现方式中,所述根据所述多个摄像机的机器编号,以及接收到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系,包括:
按照所述多个摄像机的机器编号,将所述多个摄像机中相邻两个摄像机拍摄的参考图像中相同的标定线重合,并将所述多张参考图像中最左边的车道线连接,得到一条竖直连接线;
将所述多个摄像机的机器编号从小到大的方向确定为所述竖直连接线的方向;
获取机器编号最小的摄像机拍摄的参考图像中最下边的标定线,将水平向右的方向确定为所述最下边的标定线的方向;
将有方向的所述竖直连接线作为所述拼接坐标系的纵轴,将有方向的所述最下边的标定线作为所述拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立所述拼接坐标系。
在一个可能的实现方式中,所述根据所述完整轨迹和所述至少一张事件发生过程图,确定所述目标车辆的事件取证图,包括:
从所述至少一张事件发生过程图中选取第一事件发生过程图,所述第一事件发生过程图是所述至少一张事件发生过程图中所述目标车辆所占的像素区域的尺寸最大的一张事件发生过程图;
从所述第一事件发生过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为所述目标车辆的车辆特写图,所述车牌扩展区域是指根据车牌区域扩展后包括所述目标车辆的车头或车尾的区域;
获取所述目标车辆的车牌识别图和交叠区域图,所述车牌识别图是指所述目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成所述完整轨迹之前最后一次能够识别出所述车牌号码的图像,所述交叠区域图是指所述目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成所述完整轨迹之前所述目标车辆最后一次位于相邻两个摄像机的监控范围的交叠部分时拍摄到的视频帧图像;
将所述至少一张事件发生过程图、所述车辆特写图、所述车牌识别图和所述交叠区域图确定为所述事件取证图。
在一个可能的实现方式中,所述获取所述目标车辆的车牌识别图和交叠区域图,包括:
确定形成所述完整轨迹之前最后一次能够监控到所述目标车辆的摄像机数量;
当所述摄像机数量为一个时,从所述最后一次能够监控到所述目标车辆的摄像机拍摄的视频帧图像中提取所述车牌识别图和所述交叠区域图;
当所述摄像机数量为两个时,从最后一次能够监控到所述目标车辆的任意一个摄像机拍摄的视频帧图像中提取所述车牌识别图和所述交叠区域图。
在一个可能的实现方式中,所述将所述至少一张事件发生过程图、所述车辆特写图、所述车牌识别图和所述交叠区域图确定为所述事件取证图,包括:
将所述至少一张事件发生过程图、所述车辆特写图、所述车牌识别图和所述交叠区域图合成为一张图像,将合成后的图像作为所述事件取证图。
第二方面,提供一种车辆管理的装置,所述装置包括:
接收模块,用于接收多个摄像机中每个摄像机发送的车辆信息和自身的机器编号,所述车辆信息至少包括车牌信息,所述多个摄像机沿道路的走向设置在所述道路的直线段部分,所述多个摄像机中相邻的两个摄像机的监控范围存在交叠部分,且每个摄像机设置有唯一的机器编号;
确定模块,用于当所述多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,根据所述至少一个摄像机发送的车辆信息中所述目标车辆的车辆信息和所述至少一个摄像机的机器编号,确定所述目标车辆在所述道路的所述直线段部分的完整轨迹,所述目标车辆为当前进行车辆管理的任一车辆;
获取模块,用于获取所述目标车辆的至少一张事件发生过程图,所述至少一张事件发生过程图是所述多个摄像机中的任一摄像机在检测到所述目标车辆在所述道路的所述直线段部分发生车辆入库事件、车辆出库事件或车辆违停事件时拍摄得到;
存储模块,用于根据所述完整轨迹和所述至少一张事件发生过程图,确定所述目标车辆的事件取证图,并将所述目标车辆的事件取证图与所述目标车辆的车牌信息对应存储。
在一个可能的实现方式中,所述目标车辆的车辆信息中还包括所述目标车辆在标定坐标系中的标定坐标,所述确定模块包括:
转换子模块,用于根据所述至少一个摄像机的机器编号,将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标,所述拼接坐标系为用于绘制所述完整轨迹的坐标系;
第一确定子模块,用于根据所述至少一个摄像机发送的车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标;
连接子模块,用于当所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在所述拼接坐标系中的所述前一拼接坐标与所述当前拼接坐标之间连线,返回接收所述多个摄像机中每个摄像机发送的车辆信息和自身的机器编号的步骤,直至所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标相同时,将所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标之间连线后得到所述目标车辆的所述完整轨迹。
在一个可能的实现方式中,所述多个摄像机的机器编号从0开始逐个增加;
所述转换子模块,还用于将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标的横坐标作为所述目标车辆在所述拼接坐标系中的横坐标,将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标的纵坐标与所述至少一个摄像机的机器编号对应相加,得到所述目标车辆在所述拼接坐标系中的纵坐标。
在一个可能的实现方式中,所述第一确定子模块包括:
第一确定单元,用于当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像机对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标,相比于所述至少一个摄像机中的其他摄像机,所述第一摄像机拍摄出的视频帧图像中所述目标车辆所占的像素区域的尺寸最大;
第二确定单元,当所述至少一个拼接坐标的数量为两个、所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
第三确定单元,当确定出的匹配度位于预设匹配度范围内时,确定所述至少一个拼接坐标之间的距离;
第四确定单元,当所述至少一个拼接坐标之间的距离小于预设距离时,将所述第一摄像机对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标。
在一个可能的实现方式中,所述确定模块还包括:
接收子模块,用于接收所述多个摄像机中每个摄像机拍摄的一张参考图像和自身的机器编号,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像机拍摄的参考图像中有一条相同的标定线;
建立子模块,用于根据所述多个摄像机的机器编号,以及接收到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系。
在一个可能的实现方式中,所述建立子模块包括:
连接单元,用于按照所述多个摄像机的机器编号,将所述多个摄像机中相邻两个摄像机拍摄的参考图像中相同的标定线重合,并将所述多张参考图像中最左边的车道线连接,得到一条竖直连接线;
第五确定单元,用于将所述多个摄像机的机器编号从小到大的方向确定为所述竖直连接线的方向;
第六确定单元,用于获取机器编号最小的摄像机拍摄的参考图像中最下边的标定线,将水平向右的方向确定为所述最下边的标定线的方向;
建立单元,用于将有方向的所述竖直连接线作为所述拼接坐标系的纵轴,将有方向的所述最下边的标定线作为所述拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立所述拼接坐标系。
在一个可能的实现方式中,所述存储模块包括:
选取子模块,用于从所述至少一张事件发生过程图中选取第一事件发生过程图,所述第一事件发生过程图是所述至少一张事件发生过程图中所述目标车辆所占的像素区域的尺寸最大的一张事件发生过程图;
截取子模块,用于从所述第一事件发生过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为所述目标车辆的车辆特写图,所述车牌扩展区域是指根据车牌区域扩展后包括所述目标车辆的车头或车尾的区域;
获取子模块,用于获取所述目标车辆的车牌识别图和交叠区域图,所述车牌识别图是指所述目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成所述完整轨迹之前最后一次能够识别出所述车牌号码的图像,所述交叠区域图是指所述目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成所述完整轨迹之前所述目标车辆最后一次位于相邻两个摄像机的监控范围的交叠部分时拍摄到的视频帧图像;
第二确定子模块,用于将所述至少一张事件发生过程图、所述车辆特写图、所述车牌识别图和所述交叠区域图确定为所述事件取证图。
在一个可能的实现方式中,所述获取子模块包括:
第七确定单元,用于确定形成所述完整轨迹之前最后一次能够监控到所述目标车辆的摄像机数量;
第一提取单元,用于当所述摄像机数量为一个时,从所述最后一次能够监控到所述目标车辆的摄像机拍摄的视频帧图像中提取所述车牌识别图和所述交叠区域图;
第二提取单元,用于当所述摄像机数量为两个时,从最后一次能够监控到所述目标车辆的任意一个摄像机拍摄的视频帧图像中提取所述车牌识别图和所述交叠区域图。
在一个可能的实现方式中,所述第二确定子模块包括:
合成单元,用于将所述至少一张事件发生过程图、所述车辆特写图、所述车牌识别图和所述交叠区域图合成为一张图像,将合成后的图像作为所述事件取证图。
第三方面,提供一种车辆管理的装置,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述第一方面所述的任一项方法的步骤。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。
第五方面,提供了一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面任一项所述方法的步骤。
本发明的实施例提供的技术方案至少可以包括以下有益效果:
由于多个摄像机中相邻两个摄像机的监控范围存在交叠部分,且每个摄像机发送的车辆信息中至少包括车辆的车牌信息,所以,当该多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,可以结合至少一个摄像机发送的车辆信息来确定目标车辆的车牌号码,从而避免单个摄像机拍摄到的车牌被遮挡、车牌倾斜严重或者因距离较远造成车牌较小而无法识别车牌的问题。并且还可以根据至少一个摄像机发送的车辆信息中目标车辆的车辆信息和至少一个摄像机的机器编号,确定目标车辆在道路的直线段部分的完整轨迹。获取目标车辆的至少一张事件发生过程图,并根据完整轨迹和至少一张事件发生过程图确定目标车辆的事件取证图,然后将目标车辆的事件取证图与目标车辆的车牌信息对应存储。也即是,将能够监控到目标车辆的所有摄像机发送的目标车辆的车辆信息结合起来,共同形成目标车辆在道路的直线段部分上的完整轨迹,进而确定目标车辆的事件取证图。这样,在管理目标车辆时,既可以根据事件取证图来证实目标车辆发生了车辆入库事件、车辆出库事件或者车辆违停事件,也可以清楚地知道目标车辆的车牌信息,大大提高了对目标车辆进行管理的有效性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的一种实施环境的示意图。
图2是本发明提供的多个摄像机101中每个摄像机101的结构示意图。
图3是本发明提供的服务器102的结构示意图。
图4是本发明实施例一提供的一种车辆管理的方法的流程图。
图5是本发明实施例二提供的一种车辆管理的方法的流程图。
图6是本发明实施例二提供的建立标定坐标系的示意图。
图7是本发明实施例二提供的摄像机架设的示意图。
图8是本发明实施例二提供的摄像机成像原理的示意图。
图9是本发明实施例二提供的建立拼接坐标系的示意图。
图10是本发明实施例三提供的一种车辆管理的装置框图。
图11是本发明提供的一种服务器的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与本发明的一些方面相一致的装置和方法的例子。
在对本发明实施例进行详细的解释说明之前,先对本发明实施例的实施环境进行介绍:
图1是本发明实施例提供的一种实施环境的示意图,参见图1,该实施环境包括多个摄像机101和服务器102。多个摄像机101和服务器102之间通过网络连接,多个摄像机101包括摄像机1,…,摄像机i,…,摄像机n。
图2是多个摄像机101中每个摄像机101的结构示意图。参见图2,多个摄像机101可以为智能摄像机,每个摄像机包括CCD(Charge-coupled Device,电荷耦合元件)(图中未示出)、GPU(Graphics Processing Unit,图像处理器)、CPU(Central Processing Unit,中央处理器)和DDR(Double Data Rate,双倍速率)存储模块。
CCD用于采集视频帧图像,并将采集的视频帧图像存储至DDR存储模块。
GPU包括图像预处理模块、车辆检测模块和车牌识别模块。
图像预处理模块可以从DDR存储模块中获取视频帧图像,并对该视频帧图像进行预处理,然后将预处理后的图像存储至DDR存储模块中。
车辆检测模块可以从DDR存储模块中获取预处理后的图像,并在预处理后的图像中检测出车辆所在的车辆位置和/或车辆类型,然后将车辆位置和/或车辆类型存储至DDR存储模块中。另外,车辆检测模块在检测出车辆位置后,还可以为该车辆位置处的车辆建立一个ID-sc(Identity-smart camera,智能摄像机标识),以和其他车辆进行区分。
车牌识别模块可以从DDR存储模块中获取预处理后的图像和车辆位置,并对预处理后的图像中车辆位置处车辆的车牌进行识别,得到车牌信息,并将车牌信息存储至DDR存储模块中。
CPU包括车辆跟踪模块和事件分析模块。
车辆跟踪模块可以从DDR存储模块中获取预处理后的图像、车辆位置和车牌信息,并将预处理后的图像、车辆位置和车牌信息作为每个车辆的属性信息。并形成该车辆的轨迹,然后将轨迹存储至DDR存储模块中。另外,车辆跟踪模块还可以将该车辆在当前视频帧图像中的ID-sc确定为该车辆在下一帧视频帧图像中的ID-sc。
事件分析模块可以从DDR存储模块中获取车辆的轨迹,并根据轨迹将该车辆的事件发生过程图发送至服务器102。另外,事件分析模块还可以将车辆在标定坐标系中的标定坐标发送至服务器102。
图3是服务器102的结构示意图。服务器102是指为摄像机101提供后台服务的服务器102,可以为一台服务器102,或者由若干台服务器102组成的服务器102集群,或者是一个云计算服务器102中心,本发明实施例对此不做限定。本发明实施例中以一台服务器102举例说明。服务器102包括CPU、DDR存储模块和用户数据存储区。
其中,CPU包括数据接收模块、轨迹拼接模块和数据管理模块。
数据接收模块用于接收每个摄像机101发送的车辆信息和视频帧图像,并将该车辆信息和视频帧图像存储至DDR存储模块。
轨迹拼接模块用于形成目标车辆的完整轨迹,并存储至DDR存储模块。
数据管理模块用于确定目标车辆的事件取证图,并将目标车辆的事件取证图与目标车辆的车牌信息对应存储至用户数据存储区。
本发明实施例提供了一种车辆管理的方法流程图,参见图4,该方法应用于服务器中,该方法包括:
步骤401:接收多个摄像机中每个摄像机发送的车辆信息和自身的机器编号,该车辆信息至少包括车牌信息,该多个摄像机沿道路的走向设置在该道路的直线段部分,该多个摄像机中相邻的两个摄像机的监控范围存在交叠部分,且每个摄像机设置有唯一的机器编号。
步骤402:当该多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,根据该至少一个摄像机发送的车辆信息中目标车辆的车辆信息和该至少一个摄像机的机器编号,确定目标车辆在该道路的该直线段部分的完整轨迹,目标车辆为当前进行车辆管理的任一车辆。
步骤403:获取目标车辆的至少一张事件发生过程图,该至少一张事件发生过程图是该多个摄像机中的任一摄像机在检测到目标车辆在该道路的该直线段部分发生车辆入库事件、车辆出库事件或车辆违停事件时拍摄得到。
步骤404:根据该完整轨迹和该至少一张事件发生过程图,确定目标车辆的事件取证图,并将目标车辆的事件取证图与目标车辆的车牌信息对应存储。
在一个可能的实现方式中,目标车辆的车辆信息中还包括目标车辆在标定坐标系中的标定坐标;
根据该至少一个摄像机发送的车辆信息中目标车辆的车辆信息和该至少一个摄像机的机器编号,确定目标车辆在该道路的该直线段部分的完整轨迹,包括:
根据至少一个摄像机的机器编号,将该至少一个摄像机发送的车辆信息中目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标,该拼接坐标系为用于绘制该完整轨迹的坐标系;
根据至少一个摄像机发送的车辆信息中所述目标车辆的车牌信息和至少一个拼接坐标,确定目标车辆在该拼接坐标系中的当前拼接坐标;
当目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在该拼接坐标系中的该前一拼接坐标与该当前拼接坐标之间连线,返回接收该多个摄像机中每个摄像机发送的车辆信息和自身的机器编号的步骤,直至目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标相同时,将目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标之间连线后得到目标车辆的该完整轨迹。
在一个可能的实现方式中,该多个摄像机的机器编号从0开始逐个增加;
该根据该至少一个摄像机的机器编号,将该至少一个摄像机发送的车辆信息中目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标,包括:
将该至少一个摄像机发送的车辆信息中目标车辆的标定坐标的横坐标作为目标车辆在该拼接坐标系中的横坐标,将该至少一个摄像机发送的车辆信息中目标车辆的标定坐标的纵坐标与该至少一个摄像机的机器编号对应相加,得到目标车辆在该拼接坐标系中的纵坐标。
在一个可能的实现方式中,根据至少一个摄像机发送的车辆信息中目标车辆的车牌信息和至少一个拼接坐标,确定目标车辆在该拼接坐标系中的当前拼接坐标,包括:
当至少一个拼接坐标的数量为两个,且至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像机对应的拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标,相比于至少一个摄像机中的其他摄像机,第一摄像机拍摄出的视频帧图像中目标车辆所占的像素区域的尺寸最大;
当至少一个拼接坐标的数量为两个、至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
当确定出的匹配度位于预设匹配度范围内时,确定至少一个拼接坐标之间的距离;
当至少一个拼接坐标之间的距离小于预设距离时,将第一摄像机对应的拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标。
在一个可能的实现方式中,该根据该至少一个摄像机的机器编号,将该至少一个摄像机发送的车辆信息中目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标之前,还包括:
接收该多个摄像机中每个摄像机拍摄的一张参考图像和自身的机器编号,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像机拍摄的参考图像中有一条相同的标定线;
根据该多个摄像机的机器编号,以及接收到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立该拼接坐标系。
在一个可能的实现方式中,该根据该多个摄像机的机器编号,以及接收到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立该拼接坐标系,包括:
按照该多个摄像机的机器编号,将该多个摄像机中相邻两个摄像机拍摄的参考图像中相同的标定线重合,并将该多张参考图像中最左边的车道线连接,得到一条竖直连接线;
将该多个摄像机的机器编号从小到大的方向确定为该竖直连接线的方向;
获取机器编号最小的摄像机拍摄的参考图像中最下边的标定线,将水平向右的方向确定为该最下边的标定线的方向;
将有方向的该竖直连接线作为该拼接坐标系的纵轴,将有方向的该最下边的标定线作为该拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立该拼接坐标系。
在一个可能的实现方式中,根据该完整轨迹和该至少一张事件发生过程图,确定目标车辆的事件取证图,包括:
从该至少一张事件发生过程图中选取第一事件发生过程图,该第一事件发生过程图是该至少一张事件发生过程图中目标车辆所占的像素区域的尺寸最大的一张事件发生过程图;
从该第一事件发生过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为目标车辆的车辆特写图,该车牌扩展区域是指根据车牌区域扩展后包括目标车辆的车头或车尾的区域;
获取目标车辆的车牌识别图和交叠区域图,该车牌识别图是指目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成该完整轨迹之前最后一次能够识别出该车牌号码的图像,该交叠区域图是指目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成该完整轨迹之前目标车辆最后一次位于相邻两个摄像机的监控范围的交叠部分时拍摄到的视频帧图像;
将该至少一张事件发生过程图、该车辆特写图、该车牌识别图和该交叠区域图确定为该事件取证图。
在一个可能的实现方式中,该获取目标车辆的车牌识别图和交叠区域图,包括:
确定形成该完整轨迹之前最后一次能够监控到目标车辆的摄像机数量;
当该摄像机数量为一个时,从该最后一次能够监控到目标车辆的摄像机拍摄的视频帧图像中提取该车牌识别图和该交叠区域图;
当该摄像机数量为两个时,从最后一次能够监控到所述目标车辆的任意一个摄像机拍摄的视频帧图像中提取所述车牌识别图和所述交叠区域图。
在一个可能的实现方式中,该将该至少一张事件发生过程图、该车辆特写图、该车牌识别图和该交叠区域图确定为该事件取证图,包括:
将该至少一张事件发生过程图、该车辆特写图、该车牌识别图和该交叠区域图合成为一张图像,将合成后的图像作为该事件取证图。
在本发明实施例中,由于多个摄像机中相邻两个摄像机的监控范围存在交叠部分,且每个摄像机发送的车辆信息中至少包括车辆的车牌信息,所以,当该多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,可以结合该至少一个摄像机发送的车辆信息来确定目标车辆的车牌号码,从而避免单个摄像机拍摄到的车牌被遮挡、车牌倾斜严重或者因距离较远造成车牌较小而无法识别车牌的问题。并且还可以根据该至少一个摄像机发送的车辆信息中目标车辆的车辆信息和少一个摄像机的机器编号,确定目标车辆在道路的直线段部分的完整轨迹。获取目标车辆的至少一张事件发生过程图,并根据完整轨迹和该至少一张事件发生过程图确定目标车辆的事件取证图,然后将目标车辆的事件取证图与目标车辆的车牌信息对应存储。也即是,将能够监控到目标车辆的所有摄像机发送的目标车辆的车辆信息结合起来,共同形成目标车辆在道路的直线段部分上的完整轨迹,进而确定目标车辆的事件取证图。这样,在管理目标车辆时,既可以根据事件取证图来证实目标车辆发生了车辆入库事件、车辆出库事件或者车辆违停事件,也可以清楚地知道目标车辆的车牌信息,大大提高了对目标车辆进行管理的有效性。
上述所有可选技术方案,均可按照任意结合形成本发明的可选实施例,本发明实施例对此不再一一赘述。
本发明实施例提供了一种车辆管理的方法的流程图。本实施例将对图4所示的实施例进行展开说明,参见图5,该方法应用于服务器中,该方法包括:
步骤501:服务器接收多个摄像机中每个摄像机发送的车辆信息和自身的机器编号,该车辆信息至少包括车牌信息。
其中,该多个摄像机沿道路的走向设置在道路的直线段部分,该多个摄像机中相邻的两个摄像机的监控范围存在交叠部分。另外,每个摄像机设置有唯一的机器编号。每个摄像机唯一的机器编号可以预先由每个摄像机分别通过各自与服务器之间的专用通道发送给服务器,也可以在每个摄像机拍摄的视频帧图像中携带机器编号,以在将视频帧图像发送给服务器的同时,将每个摄像机的机器编号也发送给服务器,本发明实施例对此不做限定。
另外,对于多个摄像机中的每个摄像机来说,该摄像机在对监控范围内的车辆进行监控的过程中,可以获取车辆的车牌信息,进而将车牌信息作为车辆信息发送给服务器,以下为摄像机获取车牌信息详细步骤:
步骤5011、摄像机采集视频帧图像,并对该视频帧图像进行预处理,得到预处理后的图像。
摄像机可以通过格式转换和降采样处理等预处理方式对采集到的视频帧图像进行预处理。其中,由于摄像机后续使用的视频帧图像的格式可能与刚开始采集的原始视频帧图像的格式不同,因此,摄像机可以对采集的原始视频帧图像的格式进行转换,从而转换为后续可以使用的格式。降采样处理是摄像机为了提高处理视频帧图像的效率而减少视频帧图像的采样点的处理方式。
需要说明的是,对视频帧图像进行预处理是一个可选步骤,也即是,摄像机采集到视频帧图像之后,可以直接从采集的视频帧图像中检测车辆位置,而无需进行预处理。
步骤5012、摄像机对预处理后的图像进行车辆检测,以确定预处理后的图像中每个车辆的车辆位置。
其中,摄像机可以采用深度学习的方法检测车辆位置。
在一种可能的实现方式中,摄像机还可以采用深度学习的方法从预处理后的图像中检测出车辆的车辆类型。
步骤5013、摄像机根据车辆位置,对预处理后的图像进行车牌识别,以得到初始车牌信息。
其中,初始车牌信息包括车牌位置、车牌号码和可信度。可选地,初始车牌信息中还可以包括车牌类型。摄像机可以采用深度学习的方法,对预处理后的图像进行车牌识别,得到车牌位置、车牌号码和可信度,并采用基于颜色的车牌识别算法确定得到车牌类型。
需要说明的是,可信度是摄像机用来衡量车牌识别得到的初始车牌信息中的车牌号码的可信程度,进而根据可信度确定最终可信的车牌号码。因此,摄像机进行车牌识别得到的初始车牌信息中包括可信度,但向服务器发送的车牌信息中可以不包括可信度。也即是,摄像机向服务器发送的车牌信息中包括车牌位置和车牌号码,可选地,车牌信息中还可以包括车牌类型。
其中,摄像机根据可信度确定最终可信的车牌号码时,可以预先设置一个可信度阈值。当初始车牌信息中的可信度大于可信度阈值时,摄像机将大于可信度阈值的可信度对应的车牌号码确定为最终可信的车牌号码,并将最终可信的车牌号码与车辆的ID-sc建立对应关系。当车牌识别得到的可信度小于或等于可信度阈值时,摄像机将小于或等于可信度阈值的可信度对应的车牌号码删除,并确定小于或等于可信度阈值的可信度对应的车辆的ID-sc。然后,根据该车辆的ID-sc,以及最终可信的车牌号码与车辆的ID-sc的对应关系,确定出该车辆最终可信的车牌号码。其中,可信度可以用0-100之间的数字表示。例如,当可信度处于0-50之间时,可表示车牌号码不可信;当可信度处于50-100之间时,可表示车牌号码可信。当然还可以用百分比来表示可信度,本发明实施例对此不做限定。
需要说明的是,摄像机在确定车牌类型时,可以采用基于颜色的车牌识别算法对车牌底色和车牌号码的颜色进行识别,并将识别出的车牌底色和车牌号码的颜色与车牌类型规则进行匹配,匹配的结果即为该车牌的车牌类型。该车牌类型规则包括车牌底色和车牌号码的颜色与车牌类型之间的对应关系。例如,识别出的车牌底色和车牌号码的颜色分别为蓝色和白色,即蓝牌白字,则对应的车牌类型为普通小型车的车牌。识别出的车牌底色和车牌号码的颜色分别为黄色和黑色,即黄牌黑字,则对应的车牌类型为大型车的车牌。
另外,在一种可能的实现方式中,摄像机通过步骤5012在检测出车辆位置的同时还检测出车辆类型,此时,由于已经确定了车辆类型,所以在对车牌识别时,初始车牌信息可以只包括车牌位置、车牌号码和可信度。在另一种可能的实现方式中,摄像机可以在步骤5012中只检测车辆位置,不检测车辆类型,此时,由于还未确定车辆类型,所以在对车牌识别时,初始车牌信息可以包括车牌位置、车牌号码、可信度和车牌类型,进而通过该车牌类型确定车辆类型。本发明实施例对此不做限定。其中,在通过该车牌类型确定车辆类型时,可以通过车牌类型与车辆类型之间的对应关系确定车牌类型对应的车辆类型,例如可以是普通小型车的车牌对应普通小型车,大型车的车牌对应大型车。
步骤502:当多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,服务器根据至少一个摄像机的机器编号,将至少一个摄像机发送的车辆信息中目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标。
其中,目标车辆的车辆信息中还包括目标车辆在标定坐标系中的标定坐标,拼接坐标系为用于绘制该完整轨迹的坐标系,目标车辆为当前进行车辆管理的任一车辆。
在进行车辆管理时,多个摄像机向服务器发送的车辆信息中可能有目标车辆的车辆信息,也可能没有目标车辆的车辆信息。因此,服务器可以从该多个摄像机发送的车辆信息中检测目标车辆的车辆信息,并确定发送目标车辆的车辆信息的至少一个摄像机的机器编号。
在一种可能的实现方式中,服务器在将该至少一个摄像机发送的车辆信息中目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标时,可以将至少一个摄像机发送的车辆信息中目标车辆的标定坐标的横坐标作为目标车辆在拼接坐标系中的横坐标,将至少一个摄像机发送的车辆信息中目标车辆的标定坐标的纵坐标与至少一个摄像机的机器编号对应相加,得到目标车辆在拼接坐标系中的纵坐标。其中,多个摄像机的机器编号从0开始逐个增加。
例如,0号摄像机发送的目标车辆的标定坐标为(0.5,0.6),则转换到拼接坐标系中的拼接坐标为(0.5,0.6)。1号摄像机发送的目标车辆的标定坐标为(0.5,0.6),则转换到拼接坐标系中的拼接坐标为(0.5,1.6)。2号摄像机发送的目标车辆的标定坐标为(0.5,0.6),则转换到拼接坐标系中的拼接坐标为(0.5,2.6),以此类推。
需要说明的是,至少一个摄像机在对目标车辆进行监控的过程中,还可以获取目标车辆的标定坐标,进而将标定坐标也作为车辆信息发送给服务器。
其中,至少一个摄像机可以将预处理后的图像中的车辆位置从图像坐标系转换至标定坐标系,以得到目标车辆在标定坐标系中的标定坐标。可选的,至少一个摄像机可以先在预处理后的图像中建立图像坐标系和标定坐标系,根据预处理后的图像中的目标车辆的车辆位置,确定目标车辆在图像坐标系中的图像坐标,然后将目标车辆的图像坐标转换至标定坐标系中,以得到目标车辆在标定坐标中的标定坐标。
在建立标定坐标系时,摄像机可以随机选择一帧预处理后的图像作为参考图像,该参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线;然后将以垂直向上为方向的最左边的车道线作为标定坐标系的纵轴,将以水平向右为方向的最下边的标定线作为横轴;并根据两条标定线之间的距离和相邻两条车道线之间的距离,建立标定坐标系。
如图6所示,图6为建立标定坐标系的示意图,该图以两条标定线和三条车道线为例,且两条标定线分别为标定线1和标定线2,三条车道线分别为车道线1、车道线2和车道线3,车道线1与车道线2之间的宽度为第一车道的宽度,车道线2与车道线3之间的宽度为第二车道的宽度。在该标定坐标系中,标定坐标系的横轴与标定坐标系的纵轴之间的交点坐标为(0,0),车道线3与标定坐标系的横轴的交点坐标为(1,0),标定线2与标定坐标系的纵轴的交点坐标为(0,1),车道线3与标定线2的交点坐标为(1,1)。虚线为车道线2,边界框用于表示多个不同的车辆,该多个不同的车辆中包括目标车辆。
在建立好标定坐标系后,摄像机可以以目标车辆的边界框的下边界中心点来表示目标车辆,并通过如下几个步骤确定目标车辆的标定坐标:
1、确定目标车辆在标定坐标系中的横坐标。
摄像机可以根据车道总数、目标车辆所在车道的左边车道线与目标车辆之间的距离,以及目标车辆所在车道的宽度来确定目标车辆的横坐标,通过如下公式一确定目标车辆的横坐标:
公式一:
Figure BDA0001953714920000191
其中,x为目标车辆的横坐标,n为车道总数,i为不大于n的整数,a为目标车辆所在车道的左边车道线与目标车辆之间的距离,b为目标车辆所在车道的宽度。
2、确定目标车辆在标定坐标系中的纵坐标。
如图7所示,图7为摄像机架设的示意图,图7与图6对应,即图7的视角是从图6的右侧观看的视角。并且,图7以确定目标车辆在车道线1与车道线2之间的纵坐标为例进行说明。在图7中,O点为摄像机的位置,A点为摄像机立杆在地面上的点,OA为摄像机立杆的长度,C点相当于图6中车道线2与标定线1的交点,G点相当于是图6中车道线2与标定线2的交点,D点相当于是图6中目标车辆所在的水平线与车道线2的交点,且目标车辆位于车道线1和车道线2之间。L1为AC的距离,L2为AG的距离,L为AD的距离,d为CG的距离。
根据图7,摄像机可以根据如下三个步骤确定目标车辆在标定坐标系中的纵坐标:
(1):根据标定线1与摄像机立杆之间的垂直距离,以及标定线1与标定线2之间的距离,通过如下公式二确定第一参数:
公式二:
Figure BDA0001953714920000201
其中,k为第一参数,L1为标定线1与摄像机立杆之间的垂直距离,d为标定线1与标定线2之间的距离。
(2):根据第一交点和第二交点之间的距离的成像宽度、第三交点和第四交点之间的距离的成像宽度,以及第五交点和第六交点之间的距离的成像宽度,通过如下公式三确定第二参数:
公式三:
Figure BDA0001953714920000202
其中,m为第二参数,p为第一交点和第二交点之间的距离的成像宽度,q为第三交点和第四交点之间的距离的成像宽度,r为第五交点和第六交点之间的距离的成像宽度。其中,第一交点为标定线1与车道线1的交点,第二交点为标定线1与车道线2的交点。第三交点为标定线2与车道线1的交点,第四交点为标定线2与车道线2的交点。第五交点为目标车辆所在水平线与车道线1的交点,第六交点为目标车辆所在水平线与车道线2的交点。
需要说明的是,第一交点和第二交点之间的距离、第三交点和第四交点之间的距离,以及第五交点和第六交点之间的距离在实际测量时是相同的,但由于标定线1、标定线2和目标车辆与摄像机之间的距离均不同,所以在摄像机中,第一交点和第二交点之间的距离的成像宽度、第三交点和第四交点之间的距离的成像宽度,以及第五交点和第六交点之间的距离的成像宽度是不相同的。
还需要说明的是,在通过步骤(2)确定第二参数之前,摄像机还可以通过如下公式四-公式九确定p、q和r的值:
公式四:OC*p=OG*q=OD*r
其中,OC为摄像机的位置到C点之间的距离,OG为摄像机的位置到G点之间的距离,OD为摄像机的位置到D点之间的距离。
公式五:
Figure BDA0001953714920000203
公式六:
Figure BDA0001953714920000211
公式七:
Figure BDA0001953714920000212
公式八:L2=L1+d=kd+d
公式九:L=L1+CD=kd+yd
其中,CD为C点到D点之间的距离,y为目标车辆在标定坐标系中的纵坐标。
需要说明的是,公式四可以根据摄像机的成像原理得到。如图8所示,图8为摄像机成像原理的示意图。在图8中,W为被拍摄物体的实际宽度,f为摄像机的镜头焦距,S为摄像机的镜头中心到被摄物体之间的距离,z为被摄物体在摄像机中的成像宽度,且满足W*f=S*z。
(3):根据第一参数和第二参数,通过如下公式十,确定目标车辆在标定坐标系中的纵坐标:
公式十:
Figure BDA0001953714920000213
其中,y为目标车辆在标定坐标系中的纵坐标。
至此,将目标车辆的标定坐标确定完毕。
另外,服务器在将至少一个摄像机发送的目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标之前,还可以建立拼接坐标系。可选的,服务器可以接收多个摄像机中每个摄像机拍摄的一张参考图像和自身的机器编号。并且,根据多个摄像机的机器编号,以及接收到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立拼接坐标系。
其中,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像机拍摄的参考图像中有一条相同的标定线。以下通过三个步骤说明服务器建立拼接坐标系的过程:
1、服务器按照多个摄像机的机器编号,将多个摄像机中相邻两个摄像机拍摄的参考图像中相同的标定线重合,并将多张参考图像中最左边的车道线连接,得到一条竖直连接线,并且,将多个摄像机的机器编号从小到大的方向确定为竖直连接线的方向。
由于相邻的两个摄像机拍摄的参考图像中有一条相同的标定线,该相同的标定线对应的区域可以同时被这两个摄像机拍摄到,也即是,该相同的标定线对应的区域即为相邻的两个摄像机的监控范围的交叠部分。因此,为了避免在建立拼接坐标系时由于交叠部分导致拼接坐标系建立不准确的问题,本发明实施例将多个摄像机中相邻两个摄像机拍摄的参考图像中相同的标定线重合。
2、服务器获取机器编号最小的摄像机拍摄的参考图像中最下边的标定线,将水平向右的方向确定为该最下边的标定线的方向。
3、服务器将有方向的竖直连接线作为拼接坐标系的纵轴,将有方向的最下边的标定线作为拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立拼接坐标系。
需要说明的是,服务器在确定拼接坐标系的横轴和纵轴后,还可以保留参考图像中未作为拼接坐标系的纵轴的其他车道线,以及参考图像中未作为拼接坐标系的横轴的其他标定线。
如图9所示,图9为建立拼接坐标系的示意图。图9是根据两个相邻的摄像机拍摄的参考图像(图中未示出)建立的拼接坐标系,这两个相邻的摄像机分别为0号摄像机和1号摄像机(图中未示出)。标定线3为0号摄像机拍摄的参考图像中的一条标定线,水平向右的方向为该标定线3的方向,标定线4为0号摄像机和1号摄像机拍摄的参考图像中相同的一条标定线,标定线5为1号摄像机拍摄的参考图像中的一条标定线。车道线4为将这两张参考图像中最左边的车道线连接得到的竖直连接线,从0号摄像机到1号摄像机的方向为该竖直连接线的方向。车道线5为将这两张参考图像中各自的中间车道线连接后的车道线,车道线6为将这两张参考图像中各自最右边的车道线连接后的车道线。
在图9中,有方向的车道线4为该拼接坐标系的纵轴,有方向的标定线3为该拼接坐标系的横轴。标定线4与拼接坐标系的纵轴的交点坐标为(0,1),标定线5与拼接坐标系的纵轴的交点坐标为(0,2)。车道线6与拼接坐标系的横轴的交点坐标为(1,0),车道线6与标定线4的交点坐标为(1,1),车道线6与标定线5的交点坐标为(1,2)。虚线为车道线5,边界框用于表示多个不同的车辆。
步骤503:服务器根据至少一个摄像机发送的车辆信息中目标车辆的车牌信息和至少一个拼接坐标,确定目标车辆在该拼接坐标系中的当前拼接坐标;当目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在该拼接坐标系中的前一拼接坐标与当前拼接坐标之间连线,返回步骤501,直至目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标相同时,将目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标之间连线后得到目标车辆的完整轨迹。
其中,该完整轨迹是目标车辆在道路的直线段部分的完整轨迹。
需要说明的是,车辆可能处于相邻的两个摄像机的监控范围中的交叠部分,也即相邻的两个摄像机能够同时拍摄到处于交叠部分的车辆,并向服务器发送处于交叠部分的车辆的标定坐标,进而转换为拼接坐标。
当至少一个拼接坐标的数量为两个时,这两个拼接坐标可能是两个不同的车辆的坐标,也可能是同一个车辆的坐标,该同一车辆即为目标车辆。此时,服务器可以根据车牌信息和至少一个拼接坐标之间的距离进行判断。当服务器判断至少一个拼接坐标是两个不同的车辆的两个坐标时,将至少一个拼接坐标存储。当服务器判断至少一个拼接坐标是目标车辆的两个坐标时,服务器可以将其中一个拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标,确定方式可以通过如下几个步骤实现:
1、当至少一个拼接坐标的数量为两个,且至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,服务器将第一摄像机对应的拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标。其中,相比于至少一个摄像机中的其他摄像机,第一摄像机拍摄出的视频帧图像中目标车辆所占的像素区域的尺寸最大。
由于当至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,可以说明至少一个拼接坐标是目标车辆的拼接坐标。因此,服务器可以从至少一个拼接坐标中选取一个拼接坐标作为目标车辆在拼接坐标系中的当前拼接坐标。
需要说明的是,视频帧图像中目标车辆所占的像素区域的尺寸越大,目标车辆的车牌号码的区域也就越大,目标车辆的车牌号码也就越清楚。因此,服务器可以选取第一摄像机对应的拼接坐标作为目标车辆在拼接坐标系中的当前拼接坐标。
2、当至少一个拼接坐标的数量为两个、至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,服务器确定至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度。
至少一个摄像机可能存在拍摄不到车牌、拍摄的车牌倾斜严重或者车牌较小等情况。在这些情况下,至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符可能不完全相同,也即是,服务器无法根据车牌号码的字符确定目标车辆在拼接坐标系中的当前拼接坐标。因此,此时服务器可以确定目标车辆的车牌信息中的车牌号码之间的匹配度,进而通过确定的车牌号码之间的匹配度来确定目标车辆在拼接坐标系中的当前拼接坐标。
3、当确定出的匹配度位于预设匹配度范围内时,服务器确定至少一个拼接坐标之间的距离。
服务器可以预先设置一个预设匹配度范围,当确定出的匹配度位于预设匹配度范围内时,为了进一步确定目标车辆在拼接坐标系中的当前拼接坐标,服务器还可以确定至少一个拼接坐标之间的距离。
需要说明的是,当确定出的匹配度位于预设匹配度范围外时,说明至少一个拼接坐标对应的目标车辆的车牌信息中的车牌号码之间的匹配度较小,此时,可以确定至少一个拼接坐标是两个不同的车辆的拼接坐标,进而将至少一个拼接坐标进行存储。
4、当至少一个拼接坐标之间的距离小于预设距离时,服务器将第一摄像机对应的拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标。
当至少一个拼接坐标之间的距离小于预设距离时,可以说明至少一个拼接坐标是目标车辆的拼接坐标。因此,服务器可以将第一摄像机对应的拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标。
需要说明的是,当至少一个拼接坐标之间的距离大于或等于预设距离时,可以说明至少一个拼接坐标是两个不同的车辆的拼接坐标。此时,服务器可以将至少一个拼接坐标进行存储。
另外,相邻两个摄像机的架设条件会影响到目标车辆在交叠部分的两个拼接坐标是否相同。如果相邻两个摄像机的架设条件完全一致,那么目标车辆在交叠部分的两个拼接坐标是相同的。如果相邻两个摄像机的架设条件不完全一致,那么目标车辆在交叠部分的两个拼接坐标是不完全相同的,此时,服务器可以按照本步骤中的方法,也即根据至少一个摄像机发送的车辆信息中目标车辆的车牌信息和至少一个拼接坐标,确定目标车辆在该拼接坐标系中的当前拼接坐标的方法,将这两个不完全相同的拼接坐标进行合并,也即确定出目标车辆在拼接坐标系中的当前拼接坐标。
还需要说明的是,当目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,说明目标车辆还处于行驶中,因此,在将前一拼接坐标与当前拼接坐标之间连线后,仍然可以继续返回步骤301,接收每个摄像机发送的车辆信息和自身的机器编号。直至目标车辆在拼接坐标系中的当前拼接坐标与前一拼接坐标相同时,说明目标车辆行驶停止,此时可以将目标车辆在拼接坐标系中的当前拼接坐标与前一拼接坐标之间连线后得到目标车辆的完整轨迹。
步骤504:服务器获取目标车辆的至少一张事件发生过程图。
其中,该至少一张事件发生过程图是多个摄像机中的任一摄像机在检测到目标车辆在道路的直线段部分发生车辆入库事件、车辆出库事件或车辆违停事件时拍摄得到。
对于任一摄像机,当目标车辆处于这个摄像机的监控范围内时,这个摄像机可以对目标车辆的位置进行追踪,从而形成目标车辆的轨迹,并通过该轨迹分析目标车辆在道路的直线段部分是否发生车辆入库事件、车辆出库事件或车辆违停事件。当检测到目标车辆发生车辆入库事件、车辆出库事件或车辆违停事件时,向服务器发送目标车辆的至少一张事件发生过程图。
需要说明的是,摄像机可以将目标车辆的轨迹与事件规则,以及预先设置的规则线进行比较分析,进而确定目标车辆是否发生车辆入库事件、车辆出库事件或车辆违停事件。当确定目标车辆发生车辆入库事件、车辆出库事件或车辆违停事件时,拍摄至少一张事件发生过程图并发送给服务器。其中,当目标车辆发生车辆入库事件或车辆出库事件时,该预先设置的规则线可以为车位边界线。当目标车辆发生车辆违停事件时,该预先设置的规则线可以为违停区域的边界线。以下本发明实施例将以摄像机拍摄3张事件发生过程图为例进行说明:
1、当检测到目标车辆的轨迹符合车辆入库事件的事件规则时,确定目标车辆有入库的趋势,此时拍摄第一张事件发生过程图。继续获取目标车辆的轨迹,当检测到目标车辆的轨迹与车位边界线有交点时,确定目标车辆正在入库,此时拍摄第二张事件发生过程图。继续获取目标车辆的轨迹,当检测到目标车辆的轨迹经过与车位边界线的交点之后继续延伸,并且第一预设时长后轨迹没有变化时,确定目标车辆已经入库完毕,此时拍摄第三张事件发生过程图。
2、当检测到目标车辆的轨迹符合车辆出库事件的事件规则时,确定目标车辆有出库的趋势,此时拍摄第一张事件发生过程图。继续获取目标车辆的轨迹,当检测到目标车辆的轨迹与车位边界线有交点时,确定目标车辆正在出库,此时拍摄第二张事件发生过程图。继续获取目标车辆的轨迹,当检测到目标车辆的轨迹经过与车位边界线的交点之后继续延伸,并且一直延伸到图像边界处时,确定该车辆已经出库完毕,此时拍摄第三张事件发生过程图。
3、当检测到目标车辆的轨迹与违停区域的一个边界线有交点,并且,在当前时刻后的第二预设时长内获取的目标车辆的轨迹未与违停区域的对边边界线有交点时,确定目标车辆有违停的趋势,此时拍摄第一张事件发生过程图。继续获取目标车辆的轨迹,当检测到第三预设时长后目标车辆的轨迹不变化时,确定该车辆正处于违停的状态,此时拍摄第二张事件发生过程图。继续获取目标车辆的轨迹,当检测到第四预设时长后目标车辆的轨迹仍然不变化时,确定目标车辆仍然处于违停的状态中,此时拍摄第三张事件发生过程图。
另外,需要说明一点的是,摄像机形成目标车辆的轨迹的方法可以参考现有技术,本发明实施例在此不再赘述。
步骤505:服务器根据该完整轨迹和该至少一张事件发生过程图,确定目标车辆的事件取证图,并将目标车辆的事件取证图与目标车辆的车牌信息对应存储。
服务器可以根据该至少一张事件发生过程图确定目标车辆的车辆特写图,并且,根据该完整轨迹确定目标车辆的车牌识别图和交叠区域图,然后将该至少一张事件发生过程图、车辆特写图、车牌识别图和交叠区域图确定为事件取证图。其中,该车牌识别图是指目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成该完整轨迹之前最后一次能够识别出车牌号码的图像,该交叠区域图是指目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成完整轨迹之前目标车辆最后一次位于相邻两个摄像机的监控范围的交叠部分时拍摄到的视频帧图像。
需要说明的是,服务器在确定目标车辆的车辆特写图时,可以从该至少一张事件发生过程图中选取第一事件发生过程图,并从第一事件发生过程图中截取车牌扩展区域,将截取的车牌扩展区域确定为目标车辆的车辆特写图。其中,车牌扩展区域是指根据车牌区域扩展后包括目标车辆的车头或车尾的区域,第一事件发生过程图是至少一张事件发生过程图中目标车辆所占的像素区域的尺寸最大的一张事件发生过程图。
其中,服务器可以先从第一事件发生过程图中确定出车牌区域,并在车牌区域的周围检测目标车辆的特征。当检测出的特征符合目标车辆车头的特征时,确定该车牌区域为目标车辆车头处车牌的区域,并截取包括车牌和车头的区域,然后将该包括车牌和车头的区域作为车牌扩展区域。或者,当检测出的特征符合目标车辆车尾的特征时,确定该车牌区域为目标车辆车尾处车牌的区域,并截取包括车牌和车尾的区域,然后将该包括车牌和车尾的区域作为车牌扩展区域。
还需要说明的是,服务器在根据完整轨迹确定目标车辆的车牌识别图和交叠区域图时,可以先确定目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成该完整轨迹之前最后一次能够监控到目标车辆的摄像机数量。当该摄像机数量为一个时,从最后一次能够监控到目标车辆的摄像机拍摄的视频帧图像中提取车牌识别图和交叠区域图。当摄像机数量为两个时,从最后一次能够监控到目标车辆的任意一个摄像机拍摄的视频帧图像中提取车牌识别图和交叠区域图。
另外,服务器可以将至少一张事件发生过程图、车辆特写图、车牌识别图和交叠区域图合成为一张图像,将合成后的图像作为事件取证图。在一种可能的实现方式中,服务器可以对至少一张事件发生过程图进行缩放处理,并将缩放处理后的至少一张事件发生过程图、车辆特写图、车牌识别图和交叠区域图合成为一张图像,将合成后的图像作为事件取证图。在另一种可能的实现方式中,服务器还可以对至少一张事件发生过程图、车辆特写图、车牌识别图和交叠区域图都进行缩放处理,并将缩放处理后图像合成为一张图像,将合成后的图像作为事件取证图。本发明实施例对此不做限定。
在本发明实施例中,由于多个摄像机中相邻两个摄像机的监控范围存在交叠部分,且每个摄像机发送的车辆信息中至少包括车辆的车牌信息,所以,当该多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,可以结合该至少一个摄像机发送的车辆信息来确定目标车辆的车牌号码,从而避免单个摄像机拍摄到的车牌被遮挡、车牌倾斜严重或者因距离较远造成车牌较小而无法识别车牌的问题。并且还可以根据该至少一个摄像机发送的车辆信息中目标车辆的车辆信息和至少一个摄像机的机器编号,确定目标车辆在道路的直线段部分的完整轨迹。获取目标车辆的至少一张事件发生过程图,并根据完整轨迹和该至少一张事件发生过程图确定目标车辆的事件取证图,然后将目标车辆的事件取证图与目标车辆的车牌信息对应存储。也即是,将能够监控到目标车辆的所有摄像机发送的目标车辆的车辆信息结合起来,共同形成目标车辆在道路的直线段部分上的完整轨迹,进而确定目标车辆的事件取证图。这样,在管理目标车辆时,既可以根据事件取证图来证实目标车辆发生了车辆入库事件、车辆出库事件或者车辆违停事件,也可以清楚地知道目标车辆的车牌信息,大大提高了对目标车辆进行管理的有效性。
本发明实施例提供了一种车辆管理的装置,参见图10,该装置包括接收模块1001、确定模块1002、获取模块1003和存储模块1004。
接收模块1001,用于接收多个摄像机中每个摄像机发送的车辆信息和自身的机器编号,该车辆信息至少包括车牌信息,该多个摄像机沿道路的走向设置在该道路的直线段部分,该多个摄像机中相邻的两个摄像机的监控范围存在交叠部分,且每个摄像机设置有唯一的机器编号。
确定模块1002,用于当该多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,根据该至少一个摄像机发送的车辆信息中目标车辆的车辆信息和该至少一个摄像机的机器编号,确定目标车辆在该道路的该直线段部分的完整轨迹,目标车辆为当前进行车辆管理的任一车辆。
获取模块1003,用于获取目标车辆的至少一张事件发生过程图,该至少一张事件发生过程图是该多个摄像机中的任一摄像机在检测到目标车辆在该道路的该直线段部分发生车辆入库事件、车辆出库事件或车辆违停事件时拍摄得到。
存储模块1004根据该完整轨迹和该至少一张事件发生过程图,确定目标车辆的事件取证图,并将目标车辆的事件取证图与目标车辆的车牌信息对应存储。
在一个可能的实现方式中,目标车辆的车辆信息中还包括目标车辆在标定坐标系中的标定坐标,该确定模块1002包括:
转换子模块,用于根据该至少一个摄像机的机器编号,将该至少一个摄像机发送的车辆信息中目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标,该拼接坐标系为用于绘制该完整轨迹的坐标系;
第一确定子模块,用于根据至少一个摄像机发送的车辆信息中目标车辆的车牌信息和该至少一个拼接坐标,确定目标车辆在该拼接坐标系中的当前拼接坐标;
连接子模块,用于当目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在该拼接坐标系中的该前一拼接坐标与该当前拼接坐标之间连线,返回接收该多个摄像机中每个摄像机发送的车辆信息和自身的机器编号的步骤,直至目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标相同时,将目标车辆在该拼接坐标系中的当前拼接坐标与前一拼接坐标之间连线后得到目标车辆的该完整轨迹。
在一个可能的实现方式中,该多个摄像机的机器编号从0开始逐个增加;
该转换子模块,还用于将该至少一个摄像机发送的车辆信息中目标车辆的标定坐标的横坐标作为目标车辆在该拼接坐标系中的横坐标,将该至少一个摄像机发送的车辆信息中目标车辆的标定坐标的纵坐标与该至少一个摄像机的机器编号对应相加,得到目标车辆在该拼接坐标系中的纵坐标。
在一个可能的实现方式中,该第一确定子模块包括:
第一确定单元,用于当至少一个拼接坐标的数量为两个,且至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像机对应的拼接坐标确定为目标车辆在所述拼接坐标系中的当前拼接坐标,相比于至少一个摄像机中的其他摄像机,第一摄像机拍摄出的视频帧图像中目标车辆所占的像素区域的尺寸最大;
第二确定单元,当至少一个拼接坐标的数量为两个、至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
第三确定单元,当确定出的匹配度位于预设匹配度范围内时,确定至少一个拼接坐标之间的距离;
第四确定单元,当至少一个拼接坐标之间的距离小于预设距离时,将第一摄像机对应的拼接坐标确定为目标车辆在拼接坐标系中的当前拼接坐标。
在一个可能的实现方式中,该确定模块1002还包括:
接收子模块,用于接收该多个摄像机中每个摄像机拍摄的一张参考图像和自身的机器编号,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像机拍摄的参考图像中有一条相同的标定线;
建立子模块,用于根据该多个摄像机的机器编号,以及接收到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立该拼接坐标系。
在一个可能的实现方式中,该建立子模块包括:
连接单元,用于按照该多个摄像机的机器编号,将该多个摄像机中相邻两个摄像机拍摄的参考图像中相同的标定线重合,并将该多张参考图像中最左边的车道线连接,得到一条竖直连接线;
第五确定单元,用于将该多个摄像机的机器编号从小到大的方向确定为该竖直连接线的方向;
第六确定单元,用于获取机器编号最小的摄像机拍摄的参考图像中最下边的标定线,将水平向右的方向确定为该最下边的标定线的方向;
建立单元,用于将有方向的该竖直连接线作为该拼接坐标系的纵轴,将有方向的该最下边的标定线作为该拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立该拼接坐标系。
在一个可能的实现方式中,该存储模块1004包括:
选取子模块,用于从该至少一张事件发生过程图中选取第一事件发生过程图,该第一事件发生过程图是该至少一张事件发生过程图中目标车辆所占的像素区域的尺寸最大的一张事件发生过程图;
截取子模块,用于从该第一事件发生过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为所述目标车辆的车辆特写图,所述车牌扩展区域是指根据车牌区域扩展后包括所述目标车辆的车头或车尾的区域;
获取子模块,用于获取目标车辆的车牌识别图和交叠区域图,该车牌识别图是指目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成该完整轨迹之前最后一次能够识别出该车牌号码的图像,该交叠区域图是指目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成该完整轨迹之前目标车辆最后一次位于相邻两个摄像机的监控范围的交叠部分时拍摄到的视频帧图像;
第二确定子模块,用于将该至少一张事件发生过程图、该车辆特写图、该车牌识别图和该交叠区域图确定为该事件取证图。
在一个可能的实现方式中,该获取子模块包括:
第七确定单元,用于确定形成该完整轨迹之前最后一次能够监控到目标车辆的摄像机数量;
第一提取单元,用于当该摄像机数量为一个时,从该最后一次能够监控到目标车辆的摄像机拍摄的视频帧图像中提取该车牌识别图和该交叠区域图;
第二提取单元,用于当该摄像机数量为两个时,从最后一次能够监控到所述目标车辆的任意一个摄像机拍摄的视频帧图像中提取所述车牌识别图和所述交叠区域图。
在一个可能的实现方式中,该第二确定子模块包括:
合成单元,用于将该至少一张事件发生过程图、该车辆特写图、该车牌识别图和该交叠区域图合成为一张图像,将合成后的图像作为该事件取证图。
在本发明实施例中,由于多个摄像机中相邻两个摄像机的监控范围存在交叠部分,且每个摄像机发送的车辆信息中至少包括车辆的车牌信息,所以,当该多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,可以结合该至少一个摄像机发送的车辆信息来确定目标车辆的车牌号码,从而避免单个摄像机拍摄到的车牌被遮挡、车牌倾斜严重或者因距离较远造成车牌较小而无法识别车牌的问题。并且还可以根据该至少一个摄像机发送的车辆信息中目标车辆的车辆信息和至少一个摄像机的机器编号,确定目标车辆在道路的直线段部分的完整轨迹。获取目标车辆的至少一张事件发生过程图,并根据完整轨迹和该至少一张事件发生过程图确定目标车辆的事件取证图,然后将目标车辆的事件取证图与目标车辆的车牌信息对应存储。也即是,将能够监控到目标车辆的所有摄像机发送的目标车辆的车辆信息结合起来,共同形成目标车辆在道路的直线段部分上的完整轨迹,进而确定目标车辆的事件取证图。这样,在管理目标车辆时,既可以根据事件取证图来证实目标车辆发生了车辆入库事件、车辆出库事件或者车辆违停事件,也可以清楚地知道目标车辆的车牌信息,大大提高了对目标车辆进行管理的有效性。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图11是本发明实施例提供的一种服务器的结构示意图;该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器(centralprocessing units,CPU)1122(例如,一个或一个以上处理器)和存储器1132,一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中,存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1122可以设置为与存储介质1130通信,在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1158,一个或一个以上键盘1156,和/或,一个或一个以上操作***1141,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
该服务器1100可以用于执行上述实施例提供的车辆管理的方法中服务器所执行的步骤。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质应用于终端,该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,该指令、该程序、该代码集或该指令集由处理器加载并执行以实现上述实施例的车辆管理的方法中服务器所执行的操作。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。本发明
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。

Claims (16)

1.一种车辆管理的方法,其特征在于,所述方法包括:
接收多个摄像机中每个摄像机发送的车辆信息和自身的机器编号,所述车辆信息至少包括车牌信息,所述多个摄像机沿道路的走向设置在所述道路的直线段部分,所述多个摄像机中相邻的两个摄像机的监控范围存在交叠部分,且每个摄像机设置有唯一的机器编号;
当所述多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,根据所述至少一个摄像机的机器编号,将所述至少一个摄像机发送的车辆信息中包括的所述目标车辆的在标定坐标系的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标,根据所述至少一个摄像机发送的车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标;
当所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在所述拼接坐标系中的所述前一拼接坐标与所述当前拼接坐标之间连线,返回接收所述多个摄像机中每个摄像机发送的车辆信息和自身的机器编号的步骤,直至所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标相同时,将所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标之间连线后得到所述目标车辆在所述道路的所述直线段部分的完整轨迹,所述目标车辆为当前进行车辆管理的任一车辆,所述拼接坐标系为用于绘制所述完整轨迹的坐标系;
获取所述目标车辆的至少一张事件发生过程图,所述至少一张事件发生过程图是所述多个摄像机中的任一摄像机在检测到所述目标车辆在所述道路的所述直线段部分发生车辆入库事件、车辆出库事件或车辆违停事件时拍摄得到;根据所述完整轨迹和所述至少一张事件发生过程图,确定所述目标车辆的事件取证图,并将所述目标车辆的事件取证图与所述目标车辆的车牌信息对应存储;
所述多个摄像机的机器编号从0开始逐个增加;所述根据所述至少一个摄像机的机器编号,将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标,包括:
将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标的横坐标作为所述目标车辆在所述拼接坐标系中的横坐标,将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标的纵坐标与所述至少一个摄像机的机器编号对应相加,得到所述目标车辆在所述拼接坐标系中的纵坐标。
2.如权利要求1所述的方法,其特征在于,所述根据所述至少一个摄像机发送的车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标,包括:
当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像机对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标,相比于所述至少一个摄像机中的其他摄像机,所述第一摄像机拍摄出的视频帧图像中所述目标车辆所占的像素区域的尺寸最大;
当所述至少一个拼接坐标的数量为两个、所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
当确定出的匹配度位于预设匹配度范围内时,确定所述至少一个拼接坐标之间的距离;
当所述至少一个拼接坐标之间的距离小于预设距离时,将所述第一摄像机对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标。
3.如权利要求1所述的方法,其特征在于,所述根据所述至少一个摄像机的机器编号,将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标之前,还包括:
接收所述多个摄像机中每个摄像机拍摄的一张参考图像和自身的机器编号,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像机拍摄的参考图像中有一条相同的标定线;
根据所述多个摄像机的机器编号,以及接收到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系。
4.如权利要求3所述的方法,其特征在于,所述根据所述多个摄像机的机器编号,以及接收到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系,包括:
按照所述多个摄像机的机器编号,将所述多个摄像机中相邻两个摄像机拍摄的参考图像中相同的标定线重合,并将所述多张参考图像中最左边的车道线连接,得到一条竖直连接线;
将所述多个摄像机的机器编号从小到大的方向确定为所述竖直连接线的方向;
获取机器编号最小的摄像机拍摄的参考图像中最下边的标定线,将水平向右的方向确定为所述最下边的标定线的方向;
将有方向的所述竖直连接线作为所述拼接坐标系的纵轴,将有方向的所述最下边的标定线作为所述拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立所述拼接坐标系。
5.如权利要求1所述的方法,其特征在于,所述根据所述完整轨迹和所述至少一张事件发生过程图,确定所述目标车辆的事件取证图,包括:
从所述至少一张事件发生过程图中选取第一事件发生过程图,所述第一事件发生过程图是所述至少一张事件发生过程图中所述目标车辆所占的像素区域的尺寸最大的一张事件发生过程图;
从所述第一事件发生过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为所述目标车辆的车辆特写图,所述车牌扩展区域是指根据车牌区域扩展后包括所述目标车辆的车头或车尾的区域;
获取所述目标车辆的车牌识别图和交叠区域图,所述车牌识别图是指所述目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成所述完整轨迹之前最后一次能够识别出所述车牌号码的图像,所述交叠区域图是指述目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成所述完整轨迹之前所述目标车辆最后一次位于相邻两个摄像机的监控范围的交叠部分时拍摄到的视频帧图像;
将所述至少一张事件发生过程图、所述车辆特写图、所述车牌识别图和所述交叠区域图确定为所述事件取证图。
6.如权利要求5所述的方法,其特征在于,所述获取所述目标车辆的车牌识别图和交叠区域图,包括:
确定形成所述完整轨迹之前最后一次能够监控到所述目标车辆的摄像机数量;
当所述摄像机数量为一个时,从所述最后一次能够监控到所述目标车辆的摄像机拍摄的视频帧图像中提取所述车牌识别图和所述交叠区域图;
当所述摄像机数量为两个时,从最后一次能够监控到所述目标车辆的任意一个摄像机拍摄的视频帧图像中提取所述车牌识别图和所述交叠区域图。
7.如权利要求5所述的方法,其特征在于,所述将所述至少一张事件发生过程图、所述车辆特写图、所述车牌识别图和所述交叠区域图确定为所述事件取证图,包括:
将所述至少一张事件发生过程图、所述车辆特写图、所述车牌识别图和所述交叠区域图合成为一张图像,将合成后的图像作为所述事件取证图。
8.一种车辆管理的装置,其特征在于,所述装置包括:
接收模块,用于接收多个摄像机中每个摄像机发送的车辆信息和自身的机器编号,所述车辆信息至少包括车牌信息,所述多个摄像机沿道路的走向设置在所述道路的直线段部分,所述多个摄像机中相邻的两个摄像机的监控范围存在交叠部分,且每个摄像机设置有唯一的机器编号;
确定模块,用于当所述多个摄像机中的至少一个摄像机发送的车辆信息中包括目标车辆的车辆信息时,根据所述至少一个摄像机发送的车辆信息中所述目标车辆的车辆信息和所述至少一个摄像机的机器编号,确定所述目标车辆在所述道路的所述直线段部分的完整轨迹,所述目标车辆为当前进行车辆管理的任一车辆;
获取模块,用于获取所述目标车辆的至少一张事件发生过程图,所述至少一张事件发生过程图是所述多个摄像机中的任一摄像机在检测到所述目标车辆在所述道路的所述直线段部分发生车辆入库事件、车辆出库事件或车辆违停事件时拍摄得到;
存储模块,用于根据所述完整轨迹和所述至少一张事件发生过程图,确定所述目标车辆的事件取证图,并将所述目标车辆的事件取证图与所述目标车辆的车牌信息对应存储;
所述目标车辆的车辆信息中还包括所述目标车辆在标定坐标系中的标定坐标,所述确定模块包括:
转换子模块,用于根据所述至少一个摄像机的机器编号,将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标转换为拼接坐标系中对应的至少一个拼接坐标,所述拼接坐标系为用于绘制所述完整轨迹的坐标系;
第一确定子模块,用于根据所述至少一个摄像机发送的车辆信息中所述目标车辆的车牌信息和所述至少一个拼接坐标,确定所述目标车辆在所述拼接坐标系中的当前拼接坐标;
连接子模块,用于当所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标不同时,在所述拼接坐标系中的所述前一拼接坐标与所述当前拼接坐标之间连线,返回接收所述多个摄像机中每个摄像机发送的车辆信息和自身的机器编号的步骤,直至所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标相同时,将所述目标车辆在所述拼接坐标系中的当前拼接坐标与前一拼接坐标之间连线后得到所述目标车辆的所述完整轨迹;
所述多个摄像机的机器编号从0开始逐个增加;所述转换子模块,还用于将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标的横坐标作为所述目标车辆在所述拼接坐标系中的横坐标,将所述至少一个摄像机发送的车辆信息中所述目标车辆的标定坐标的纵坐标与所述至少一个摄像机的机器编号对应相加,得到所述目标车辆在所述拼接坐标系中的纵坐标。
9.如权利要求8所述的装置,其特征在于,所述第一确定子模块包括:
第一确定单元,用于当所述至少一个拼接坐标的数量为两个,且所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符完全相同时,将第一摄像机对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标,相比于所述至少一个摄像机中的其他摄像机,所述第一摄像机拍摄出的视频帧图像中所述目标车辆所占的像素区域的尺寸最大;
第二确定单元,当所述至少一个拼接坐标的数量为两个、所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码的字符不完全相同时,确定所述至少一个拼接坐标对应的目标车辆的车牌信息中包括的车牌号码之间的匹配度;
第三确定单元,当确定出的匹配度位于预设匹配度范围内时,确定所述至少一个拼接坐标之间的距离;
第四确定单元,当所述至少一个拼接坐标之间的距离小于预设距离时,将所述第一摄像机对应的拼接坐标确定为所述目标车辆在所述拼接坐标系中的当前拼接坐标。
10.如权利要求8所述的装置,其特征在于,所述确定模块还包括:
接收子模块,用于接收所述多个摄像机中每个摄像机拍摄的一张参考图像和自身的机器编号,每张参考图像中包括上下分布的两条标定线和左右分布的至少两条车道线,且相邻的两个摄像机拍摄的参考图像中有一条相同的标定线;
建立子模块,用于根据所述多个摄像机的机器编号,以及接收到的多张参考图像中每张参考图像包括的两条标定线和至少两条车道线,建立所述拼接坐标系。
11.如权利要求10所述的装置,其特征在于,所述建立子模块包括:
连接单元,用于按照所述多个摄像机的机器编号,将所述多个摄像机中相邻两个摄像机拍摄的参考图像中相同的标定线重合,并将所述多张参考图像中最左边的车道线连接,得到一条竖直连接线;
第五确定单元,用于将所述多个摄像机的机器编号从小到大的方向确定为所述竖直连接线的方向;
第六确定单元,用于获取机器编号最小的摄像机拍摄的参考图像中最下边的标定线,将水平向右的方向确定为所述最下边的标定线的方向;
建立单元,用于将有方向的所述竖直连接线作为所述拼接坐标系的纵轴,将有方向的所述最下边的标定线作为所述拼接坐标系的横轴,并根据相邻两条标定线之间的距离和相邻两条车道线之间的距离,建立所述拼接坐标系。
12.如权利要求8所述的装置,其特征在于,所述存储模块包括:
选取子模块,用于从所述至少一张事件发生过程图中选取第一事件发生过程图,所述第一事件发生过程图是所述至少一张事件发生过程图中所述目标车辆所占的像素区域的尺寸最大的一张事件发生过程图;
截取子模块,用于从所述第一事件发生过程图中截取车牌扩展区域,并将截取的车牌扩展区域确定为所述目标车辆的车辆特写图,所述车牌扩展区域是指根据车牌区域扩展后包括所述目标车辆的车头或车尾的区域;
获取子模块,用于获取所述目标车辆的车牌识别图和交叠区域图,所述车牌识别图是指所述目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成所述完整轨迹之前最后一次能够识别出所述车牌号码的图像,所述交叠区域图是指所述目标车辆在发生车辆入库事件、车辆出库事件或车辆违停事件时,形成所述完整轨迹之前所述目标车辆最后一次位于相邻两个摄像机的监控范围的交叠部分时拍摄到的视频帧图像;
第二确定子模块,用于将所述至少一张事件发生过程图、所述车辆特写图、所述车牌识别图和所述交叠区域图确定为所述事件取证图。
13.如权利要求12所述的装置,其特征在于,所述获取子模块包括:
第七确定单元,用于确定形成所述完整轨迹之前最后一次能够监控到所述目标车辆的摄像机数量;
第一提取单元,用于当所述摄像机数量为一个时,从所述最后一次能够监控到所述目标车辆的摄像机拍摄的视频帧图像中提取所述车牌识别图和所述交叠区域图;
第二提取单元,用于当所述摄像机数量为两个时,从最后一次能够监控到所述目标车辆的任意一个摄像机拍摄的视频帧图像中提取所述车牌识别图和所述交叠区域图。
14.如权利要求12所述的装置,其特征在于,所述第二确定子模块包括:
合成单元,用于将所述至少一张事件发生过程图、所述车辆特写图、所述车牌识别图和所述交叠区域图合成为一张图像,将合成后的图像作为所述事件取证图。
15.一种车辆管理的装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-7任一项所述的方法的步骤。
16.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现权利要求1-7任一项所述的方法的步骤。
CN201910059669.0A 2019-01-22 2019-01-22 车辆管理的方法、装置及计算机可读存储介质 Active CN111462502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910059669.0A CN111462502B (zh) 2019-01-22 2019-01-22 车辆管理的方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910059669.0A CN111462502B (zh) 2019-01-22 2019-01-22 车辆管理的方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111462502A CN111462502A (zh) 2020-07-28
CN111462502B true CN111462502B (zh) 2021-06-08

Family

ID=71683073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910059669.0A Active CN111462502B (zh) 2019-01-22 2019-01-22 车辆管理的方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111462502B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112002128A (zh) * 2020-09-03 2020-11-27 东来智慧交通科技(深圳)有限公司 车辆轨迹追踪方法及车辆轨迹追踪***
CN113436436A (zh) * 2021-05-20 2021-09-24 鄂尔多斯市龙腾捷通科技有限公司 一种用于交通违法数据处理的智能ai***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777263A (zh) * 2010-02-08 2010-07-14 长安大学 一种基于视频的交通车流量检测方法
CN107134145A (zh) * 2017-06-10 2017-09-05 智慧互通科技有限公司 基于多类型图像采集的路侧停车管理装置、***及方法
CN107507298A (zh) * 2017-08-11 2017-12-22 南京阿尔特交通科技有限公司 一种多机位视频车辆行驶数据采集方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8698896B2 (en) * 2012-08-06 2014-04-15 Cloudparc, Inc. Controlling vehicle use of parking spaces and parking violations within the parking spaces using multiple cameras
US9171382B2 (en) * 2012-08-06 2015-10-27 Cloudparc, Inc. Tracking speeding violations and controlling use of parking spaces using cameras

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777263A (zh) * 2010-02-08 2010-07-14 长安大学 一种基于视频的交通车流量检测方法
CN107134145A (zh) * 2017-06-10 2017-09-05 智慧互通科技有限公司 基于多类型图像采集的路侧停车管理装置、***及方法
CN107507298A (zh) * 2017-08-11 2017-12-22 南京阿尔特交通科技有限公司 一种多机位视频车辆行驶数据采集方法及装置

Also Published As

Publication number Publication date
CN111462502A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN104685513B (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
US10867166B2 (en) Image processing apparatus, image processing system, and image processing method
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
US20140022394A1 (en) Apparatus and method for tracking object
US11132538B2 (en) Image processing apparatus, image processing system, and image processing method
CN104966063A (zh) 基于gpu与cpu协同计算的矿井多摄像机视频融合方法
WO2020233397A1 (zh) 在视频中对目标进行检测的方法、装置、计算设备和存储介质
US9747507B2 (en) Ground plane detection
CN111462502B (zh) 车辆管理的方法、装置及计算机可读存储介质
CN104392416A (zh) 一种运动场景的视频拼接方法
CN110008771B (zh) 一种扫码***及扫码方法
Wanchaitanawong et al. Multi-modal pedestrian detection with large misalignment based on modal-wise regression and multi-modal IoU
US20200302155A1 (en) Face detection and recognition method using light field camera system
Li et al. Panoramic image mosaic technology based on sift algorithm in power monitoring
CN103733225A (zh) 特征点对等***、特征点对等方法、以及记录介质
CN113139419B (zh) 一种无人机检测方法及装置
Thomas et al. Recent advances towards a robust, automated hurricane damage assessment from high-resolution images
CN111932590B (zh) 对象跟踪方法、装置、电子设备及可读存储介质
CN112241982A (zh) 一种图像处理方法、装置及机器可读存储介质
US20160188967A1 (en) Pedestrian detecting system
KR101717140B1 (ko) 단일카메라를 이용한 다차로상의 차량검지 및 차량번호인식 시스템 및 방법
CN109726684B (zh) 一种地标元素获取方法和地标元素获取***
US8433139B2 (en) Image processing apparatus, image processing method and program for segmentation based on a degree of dispersion of pixels with a same characteristic quality
CN111583341A (zh) 云台像机移位检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant