CN114118238A - 基于激光与视频技术时间序列及特征融合的车型分析方法 - Google Patents

基于激光与视频技术时间序列及特征融合的车型分析方法 Download PDF

Info

Publication number
CN114118238A
CN114118238A CN202111335287.XA CN202111335287A CN114118238A CN 114118238 A CN114118238 A CN 114118238A CN 202111335287 A CN202111335287 A CN 202111335287A CN 114118238 A CN114118238 A CN 114118238A
Authority
CN
China
Prior art keywords
laser
vehicle
video
vehicle type
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111335287.XA
Other languages
English (en)
Other versions
CN114118238B (zh
Inventor
袁彬
王军群
杨东烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cosco Shipping Technology Co Ltd
Original Assignee
Cosco Shipping Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cosco Shipping Technology Co Ltd filed Critical Cosco Shipping Technology Co Ltd
Priority to CN202111335287.XA priority Critical patent/CN114118238B/zh
Publication of CN114118238A publication Critical patent/CN114118238A/zh
Application granted granted Critical
Publication of CN114118238B publication Critical patent/CN114118238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G01B11/043—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring length
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G01B11/046—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring width
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0691—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of objects while moving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种基于激光与视频技术时间序列及特征融合的车型分析方法，基于激光的车型分析方法，需要安装两个激光器，其中一个激光器垂直于地面安装，用于通过扫描车辆，测量计算车辆长度、宽度及高度，构建车辆三维模型，另外一个激光器与地面呈一定角度架设，用于计算车辆速度，为防止激光检测方法存在漏车的情况，需保证两激光器扫描线之间距离不超过一辆小轿车距离。基于视频的车型分析方法，通过对检测场景车辆进行训练，生成检测权重，采用深度学习方法实现车型分析。由于两种检测结果触发位置不同，需根据两种方法触发距离以及时间，对两检测结果进行融合，最终实现车型分类检测。

Description

基于激光与视频技术时间序列及特征融合的车型分析方法
技术领域
本发明涉及车型分类技术领域，尤其涉及一种基于激光与视频技术时间序列及特征融合的车型分析方法。
背景技术
作为智能交通***(ITS)的重要组成部分，车型分类算法是目前的研究热点和难点之一。对车辆进行自动识别实现车型分类，可以为交通管理、收费、调度、统计提供数据。目前，车型分类算法主要采用基于视频或者激光的车型分类检测方法，但这两种方法都在各自领域存在一定的问题，无法适应所有环境，实现车型分类实时检测。通过传统的视频图像处理方法分析图像数据，实现车型分类，视频图像的质量直接影响到检测效果，在实际应用场景中，由于存在雨雪、雾霾等天气干扰以及夜晚某些路段能见度较低等情况，这对视频图像的获取带来巨大干扰，从而导致无法对视频图像进行后续处理，达到车型分类的效果。基于激光的车型分类方法弥补了视频获取不足的缺点，激光依赖于主动发射信号的反射接收，克服了被动接收信号的缺陷，能够很好地适应于能见度低以及不易作业的测量场景。激光成像技术通过对主动发射信号的发射信息接收，利用计算机***中数字化处理方法，得到车辆在空间坐标中的具体信息，然后再利用获取到的车辆信息进行车型分类。使用激光的车型分类算法虽然弥补了部分视频方法的不足，但对于雨天等情况，激光数据存在缺失，亦无法实现车型的准确分类。
因此，亟需一种新的车型分析方法。
发明内容
有鉴于此，本发明提供一种基于激光与视频技术时间序列及特征融合的车型分析方法，其特征在于：所述方法包括如下步骤：
S1：构建采集单元，所述采集单元包括激光器采集单元I和视频采集单元II；
S2：基于所述采集单元采集的信息，通过车辆类型识别方法确定车辆类型识别结果，所述车辆类型识别方法包括激光识别和视频识别；
所述激光识别包括获取所述激光采集单元数据，并根据所述数据确定车型分类识别结果I，并将识别结果I和所述识别结果I对应的触发时间作为单元数据I，并将所述单元数据I按触发时间先后顺序进行存储，即获得激光识别结果队列I；
所述视频识别包括获取所述视频采集单元视频信息，并根据所述视频信息确定车型分类识别结果II，并将识别结果II和所述识别结果II对应的触发时间作为单元数据II，并将所述单元数据II按触发时间先后顺序进行存储，即获得视频识别结果队列II；
S3：判断是否雨天，若是，则以视频识别结果为检测结果，若否，进入下一步；
S4：对激光识别结果队列I和视频识别结果队列II采用如下方法进行匹配，并根据匹配结果输出检测结果；
其中，匹配方法如下：
S41：在激光识别结果队列I中获取某一辆车的车型分类识别结果I，同时获取当前车辆触发时间后预设时间段内的车型分类识别结果I，确定当前车辆的激光器触发时间t激光；
S42：根据触发线间的时间差Δt和激光器触发时间t激光，确定视频触发时间t视频；
S42：判断预设时间段内的车型分类识别结果I是否为空，若是，则进入步骤S43，若否，则进入步骤S44；
S43：根据视频触发时间t视频在视频识别结果队列II中获取当前车辆的车型分类识别结果II；
判断当前车辆的车型分类识别结果I和车型分类识别结果II是否一致，若是，则匹配成功，输出检测结果，反之，进入步骤S45；
S44：根据视频触发时间t视频在视频识别结果队列II中获取当前车辆的车型分类识别结果II，同时，获取当前车辆视频触发时间t视频后预设时间段内的车型分类识别结果II；
判断当前车辆的车型分类识别结果I和车型分类识别结果II是否一致，若是，进一步判断预设时间段内的车型分类识别结果I和预设时间段内的车型分类识别结果II的分布是否一致，若是，则匹配成功，输出检测结果，反之，进入步骤S45；
S45：根据视频测速和激光扫描时长确定当前车辆的车长，根据车长判断车辆类型，则匹配结果为与所述车辆类型最为接近的识别结果。
进一步，步骤S4还包括：若根据视频触发时间t视频在视频识别结果队列II中无法获取当前车辆的车型分类识别结果II，当前辆车的车型分类识别结果I为检测结果，并退出匹配。
进一步，在步骤S43和步骤S44的匹配过程中，若连续出现M次无法匹配的想看，则将所有数据清零，重新匹配。
进一步，所述触发线间的时间差Δt采用如下方法确定：
Figure BDA0003350282850000031
其中，Δt表示触发线间的时间差，D表示触发线之间的距离，v视频表示视频测速，v激光表示激光测速；
D＝(t激光-t视频)*V视频 (2)
其中，D表示触发线之间的距离，t激光表示在激光器触发时间，t视频表示视频触发时间，v视频表示视频测速。
进一步，所述视频测速v视频采用如下方法确定：
Figure BDA0003350282850000041
其中，v视频表示视频测速，vx表示X方向测速，vy表示y方向测速，Δv表示车速实际差；
其中，X方向测速vx和y方向测速vy采用如下方法确定：
Figure BDA0003350282850000042
其中，vx表示X方向测速，vy表示y方向测速，f表示采样频率，XA表示A点在实际场景中对应的X方向距离，XB表示B点在实际场景中对应的X方向距离，YA表示A点在实际场景中对应的Y方向距离，YB表示B点在实际场景中对应的Y方向距离，FA表示A点对应的帧号，FB表示B点对应的帧号，t表示从A点到B点的追踪时长；
所述激光测速v激光采用如下方法确定：
Figure BDA0003350282850000051
其中，v激光表示激光测速，p1表示激光器I扫描的当个截面上的数据点，t1表示激光器I第一次扫描到当前车辆的时间，t2表示激光器II第一次扫描到当前车辆的时间，d1j表示当前车辆经过激光器I和激光器II的距离。
进一步，所述激光器采集单元I包括按照预设高度架设的激光器I和激光器II，其中，激光器I垂直于地面，激光器II与激光器I呈预设角度α架设，所述预设角度需满足二者的扫描距离小于一辆小轿车长度。
进一步，所述预设角度α采用如下方法确定：
α＝arctan H/L (6)
其中，α表示激光器I和激光器II的夹角，H表示激光器I和激光器II的预设架设高度，L表示一辆小轿车长度。
进一步，所述激光识别采用如下方法确定车辆的长度、车辆的宽度和车辆的高度；
所述车辆的宽度采用如下方法确定：
Figure BDA0003350282850000052
其中，Wi表示车辆的宽度，l1表示某个截面上第一个扫描到车辆上的对应的距离，l2表示最后一个扫描到车辆上的点对应的距离，θk表示激光器旋转角度；
所述车辆的高度采用如下方法确定：
hij＝{H-lijcosθj},i＝1,2,3,...,m,j＝1,2,3,...,pn (8)
其中，hij表示车辆的高度，H表示激光器I的架设高度，lij表示车辆的数据点阵列，θj表示某一时刻激光器I的激光头与中轴线夹角；
所述车辆的长度采用如下方法：
Figure BDA0003350282850000061
其中，L表示车辆的长度，m表示激光器I对当前车辆扫描的截面数量，j表示变量，f表示激光器扫描频率，p1表示激光器I扫描的当个截面上的数据点，t1表示激光器I第一次扫描到当前车辆的时间，t2表示激光器II第一次扫描到当前车辆的时间，d1j表示当前车辆经过激光器I和激光器II的距离。
本发明的有益技术效果：本申请采用基于深度学习的视频技术与激光技术融合的方法实现车型分类，弥补单一方法带来的问题，同时将深度学习方法引入到车型分类方法钟，克服传统视频图像处理受光线、天气、环境等因素的影响，实现车型分类的准确检测。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1为本申请的车型分类标准。
图2为本申请的坐标系建立方式。
具体实施方式
以下结合说明书附图对本发明做出进一步的说明：
本发明提供一种基于激光与视频技术时间序列及特征融合的车型分析方法，其特征在于：所述方法包括如下步骤：
S1：构建采集单元，所述采集单元包括激光器采集单元I和视频采集单元II；由于应用本方法的产品多在已有龙门架、路灯位置安装激光器，因此，激光器高度基本在6-8米之间，其中，激光器I垂直于地面安装，用于通过扫描车辆，确定车辆长度、宽度及高度，构建车辆三维模型，激光器II与地面呈一定角度架设，用于确定车辆速度，为保证激光器计数准确，防止漏车情况发生，两激光器夹角需根据激光器架设高度，保证两激光器扫描距离小于一辆小轿车距离。视频采集单元包括摄像机，摄像机的架设高度根据距离地面6-8米之间，即在已有龙门架、路灯位置安装摄像机。
S2：基于所述采集单元采集的信息，通过车辆类型识别方法确定车辆类型识别结果，所述车辆类型识别方法包括激光识别和视频识别；
所述激光识别包括获取所述激光采集单元数据，并根据所述数据确定车型分类识别结果I，并将识别结果I和所述识别结果I对应的触发时间作为单元数据I，并将所述单元数据I按触发时间先后顺序进行存储，即获得激光识别结果队列I；
所述视频识别包括获取所述视频采集单元视频信息，并根据所述视频信息确定车型分类识别结果II，并将识别结果II和所述识别结果II对应的触发时间作为单元数据II，并将所述单元数据II按触发时间先后顺序进行存储，即获得视频识别结果队列II；
S3：判断是否雨天，若是，则以视频识别结果为检测结果，若否，进入下一步；由于激光器扫描原理为激光束扫描物体，将反射光束反射回来而成像，在雨天，激光束碰到雨滴即反射回来，无法扫描到车辆，给雨天检测结果带来误差，因此，可通过激光器扫描结果的数据变化情况，对天气情况进行判断，当激光器数据出现不规则杂乱无章的扫描结果时，则判断此时为雨天。由于摄像机安装具有一定的安装角度，而两个激光器中有一个激光器是垂直安装，为防止出现遮挡的情况，故在未下雨天气，以激光器检测结果为主，在激光器检测结果队列中，寻找视频结果队列中的同一个检测数据。
S4：对激光识别结果队列I和视频识别结果队列II采用如下方法进行匹配，并根据匹配结果输出检测结果；
其中，匹配方法如下：
S41：在激光识别结果队列I中获取某一辆车的车型分类识别结果I，同时获取当前车辆触发时间后预设时间段内的车型分类识别结果I，确定当前车辆的激光器触发时间t激光；
S42：根据触发线间的时间差Δt和激光器触发时间t激光，确定视频触发时间t视频；
S42：判断预设时间段内的车型分类识别结果I是否为空，若是，则进入步骤S43，若否，则进入步骤S44；
S43：根据视频触发时间t视频在视频识别结果队列II中获取当前车辆的车型分类识别结果II；
判断当前车辆的车型分类识别结果I和车型分类识别结果II是否一致，若是，则匹配成功，输出检测结果，反之，进入步骤S45；
S44：根据视频触发时间t视频在视频识别结果队列II中获取当前车辆的车型分类识别结果II，同时，获取当前车辆视频触发时间t视频后预设时间段内的车型分类识别结果II；
判断当前车辆的车型分类识别结果I和车型分类识别结果II是否一致，若是，进一步判断预设时间段内的车型分类识别结果I和预设时间段内的车型分类识别结果II的分布是否一致，若是，则匹配成功，输出检测结果，反之，进入步骤S45；
S45：根据视频测速和激光扫描时长确定当前车辆的车长，根据车长判断车辆类型，则匹配结果为与所述车辆类型最为接近的识别结果。本申请采用基于深度学习的视频技术与激光技术融合的方法实现车型分类，弥补单一方法带来的问题，同时将深度学习方法引入到车型分类方法钟，克服传统视频图像处理受光线、天气、环境等因素的影响，实现车型分类的准确检测。激光扫描时长为激光器II的对一辆车开始扫描到结束扫描的耗时。
在本实施例中，步骤S4还包括：若根据视频触发时间t视频在视频识别结果队列II中无法获取当前车辆的车型分类识别结果II，当前辆车的车型分类识别结果I为检测结果，并退出匹配。如果在视频队列中，未查询到匹配结果，则可能视频结果存在漏检，此时输出激光器检测结果；上述技术方案，使存在漏检时仍可输出检测结果，确保本方法的稳定性。
在本实施例中，在步骤S43和步骤S44的匹配过程中，若连续出现M次无法匹配的想看，则将所有数据清零，重新匹配。M次为预设次数，根据经验值来设定，如3次，5次，本领域技术人员可根据实际需要来设定M的取值。若多次匹配不成功，则重启本方法。上述技术方案可有效避免多次匹配的无效，提高本方法的准确性。
在本实施例中，所述触发线间的时间差Δt采用如下方法确定：
Figure BDA0003350282850000091
其中，Δt表示触发线间的时间差，D表示触发线之间的距离，v视频表示视频测速，v激光表示激光测速；
D＝(t激光-t视频)*V视频 (2)
其中，D表示触发线之间的距离，t激光表示在激光器触发时间，t视频表示视频触发时间，v视频表示视频测速。
由于视频触发先于激光器触发，因此可根据激光器与视频触发的时间差,激光器触发的时间即为车辆完全通过激光器的时间，视频触发时间即为车辆轨迹跟踪结束的时间，结合视频测速结果，通过式子(2)确定两种方法触发线之间的距离。在确定触发线之间的距离过程中要注意如下问题：由于摄像机及激光器架设角度关系，在计算两触发线距离时，要分车道分别计算距离；选择车辆较少的时间，即两种触发方法在匹配过程中无外界干扰条件下，计算各车道两触发线间距离。具体确定步骤如下：标定车道范围。视频检测方法标定可通过车道线位置进行标定，将实际坐标中车道线位置转化为像素坐标位置，获取结果时结合车道线位置确定所在车道；激光方法的车道线位置确定是根据车道宽度，结合扫描数据，确定各车道的扫描范围，以此确定所在车道；通过式子(1)确定两触发线间距离为保证触发线间距离的准确性，可采用多次测量，不断修正的方法，逐步减少测量误差。在本实施例中，采用的方法是：在每次计算获取到触发线间距离后，去除最大及最小计算结果，对其余几次检测结果取平均值，以此作为当前触发线间距离，以提高计算结果的准确性。
在获取到两触发线距离后，需根据检测路段的速度要求情况，确定车辆两触发线的时间差。作为后续需匹配的依据。由于车辆在运行过程中可能存在加速、减速等情况，因此在计算触发线间的时间差时，速度选择视频测速结果与激光测速结果的均值。确定式子如式子(1)所示。
在本实施例中，所述视频测速v视频采用如下方法确定：
Figure BDA0003350282850000101
其中，v视频表示视频测速，vx表示X方向测速，vy表示y方向测速，Δv表示车速实际差；
其中，X方向测速vx和y方向测速vy采用如下方法确定：
Figure BDA0003350282850000111
其中，vx表示X方向测速，vy表示y方向测速，f表示采样频率，XA表示A点在实际场景中对应的X方向距离，XB表示B点在实际场景中对应的X方向距离，YA表示A点在实际场景中对应的Y方向距离，YB表示B点在实际场景中对应的Y方向距离，FA表示A点对应的帧号，FB表示B点对应的帧号，t表示从A点到B点的追踪时长；
基于视频车型分类方法工作流程
基于视频的车型分类方法，其基本流程为：映射点标定、创建映射表、目标识别及车型分类、目标跟踪、确定车速，具体实现如下：
由于车道分隔线长度及间隔为已知参数，对车道分割线起始点和终止点作为基准点，进行多点标定；
根据摄像机映射关系，推导出图像坐标系与实际坐标系的转换关系，便于车速的计算；
所述的建立映射关系步骤包括标定映射点和建立映射表步骤，
所述的标定映射点，是通过确定摄像机的位置、内外参数和建立成像模型，来确定世界坐标系中的物体和它在图像平面上的成像之间的对应关系，
在实际应用场景中，由于车道分割线间距离已知，因此可通过对已知点进行标定，结合摄像机成像原理，进而获得所需映射关系；
所述的建立映射表，即
设某点在世界坐标系中的坐标为W(X,Y,Z)，由于相似三角形的比例关系可得其投影点I(x,y)，其中
Figure BDA0003350282850000121
f为投影点与世界坐标系的交点坐标；
式(4-1)中包含了变量的除法运算，属于非线性变换，当引入齐次坐标将其转换成线性矩阵进行计算，由此得出齐次坐标矩阵如式(4-2)，其中Z、K为比例因子，
Figure BDA0003350282850000122
在车辆速度计算过程中，不需要知道车辆的高度信息，故将式(4-2)简化，得到如下的变换矩阵
Figure BDA0003350282850000123
通过式(4-3)可获得世界坐标系中点(X,Y)的坐标表达式为
Figure BDA0003350282850000124
将已知距离点在图像坐标系中像素坐标及世界坐标系中的实际距离代入式(4-4)，求出像素距离与实际距离的映射关系，由此建立两坐标系对应关系表，即映射表MapTable[IMAGE_SIZE]，其中IMAGE_SIZE为图像宽度与高度的乘积，在后续计算过程中，当输入需要查询的目标点的像素坐标即可获得该点对应的实际距离；
所述的速度计算步骤是将运动车辆目标轨迹中各点空间位置代入所述的映射关系表，获得轨迹中各目标质心特征点代表的实际距离，
Figure BDA0003350282850000131
其中，Disi[i].x、Disi[i].y为某点横向及纵向对应的实际距离，MapTable即为所述建立的映射表,position[i].x为某像素点的X坐标，position[i].y为某像素点的Y坐标，width为图像宽度；
在直角坐标系中，用(x,y)描述跟踪点的空间位置，则通过运动车辆目标跟踪轨迹起点及终点相关信息获取目标运动轨迹，设某目标起点为A,终点为B则可得如下信息：
Figure BDA0003350282850000132
式(16)中，X及Y的值通过查找映射表获得，F为某点对应的帧号，f为采样频率即为25帧/s，XA为A点在实际场景中对应的X方向距离，XB为B点在实际场景中对应的X方向距离，YA为A点在实际场景中对应的Y方向距离，YB为B点在实际场景中对应的Y方向距离。FA为A点对应的帧号，
由式(4-6)获得运动车辆目标的运动速度
Figure BDA0003350282850000133
所述的速度校正步骤是当在某场景中如果计算出的车速普遍偏大或普遍偏小(高速公路中对车速的规定为车速最高不得超过每小时120公里，最低不得低于每小时60公里，如在此范围外则认定为偏大或偏小)，则可能由于映射关系在计算过程中存在偏差，最终造成车辆速度不准确，故可根据实际情况对测得的速度进行校正，即
Figure BDA0003350282850000134
Δv为车速实际差。
所述激光测速v激光采用如下方法确定：
Figure BDA0003350282850000141
其中，v激光表示激光测速，p1表示激光器I扫描的当个截面上的数据点，t1表示激光器I第一次扫描到当前车辆的时间，t2表示激光器II第一次扫描到当前车辆的时间，d1j表示当前车辆经过激光器I和激光器II的距离。
在本实施例中，所述激光器采集单元I包括按照预设高度架设的激光器I和激光器II，其中，激光器I垂直于地面，激光器II与激光器I呈预设角度α架设，所述预设角度需满足二者的扫描距离小于一辆小轿车长度。
所述预设角度α采用如下方法确定：
α＝arctan H/L (6)
其中，α表示激光器I和激光器II的夹角，H表示激光器I和激光器II的预设架设高度，L表示一辆小轿车长度。
在本实施例中，所述激光识别采用如下方法确定车辆的长度、车辆的宽度和车辆的高度；
所述车辆的宽度采用如下方法确定：
Figure BDA0003350282850000142
其中，Wi表示车辆的宽度，l1表示某个截面上第一个扫描到车辆上的对应的距离，l2表示最后一个扫描到车辆上的点对应的距离，θk表示激光器旋转角度；
所述车辆的高度采用如下方法确定：
hij＝{H-lijcosθj},i＝1,2,3,...,m,j＝1,2,3,...,pn (8)
其中，hij表示车辆的高度，H表示激光器I的架设高度，lij表示车辆的数据点阵列，θj表示某一时刻激光器I的激光头与中轴线夹角；
所述车辆的长度采用如下方法：
Figure BDA0003350282850000151
其中，L表示车辆的长度，m表示激光器I对当前车辆扫描的截面数量，j表示变量，f表示激光器扫描频率，p1表示激光器I扫描的当个截面上的数据点，t1表示激光器I第一次扫描到当前车辆的时间，t2表示激光器II第一次扫描到当前车辆的时间，d1j表示当前车辆经过激光器I和激光器II的距离。
车辆长度、宽度、高度计算方法如下。
根据激光器的安装方式，建立坐标系，其中以安装激光传感器的立杆的底端为原点，与车辆行驶方向垂直的方向为x轴，沿立杆方向向上为y轴正方向建立坐标系，坐标系实例如图2所示。
假定路面为水平面且在路面上的点，其y＝0恒成立,在此条件下，当激光器扫描到路面，即没有车辆经过时，则y＝0。激光头在一个扫描周期内得到的离散点在同一个平面，且该平面与激光器安装所形成的xoy面平行，该平面称为激光器扫描界面，在车辆行驶过程中，激光头的旋转周期在车上形成的界面与静止时形成的界面会成根据车速不同，形成一定角度，当激光器扫描频率为50HZ时，其旋转周期为：
Figure BDA0003350282850000152
由于其周期极短，课假设该截面与xoy面平行。
当激光头扫描的同一个截面的高度数据始终为0时，即
Figure BDA0003350282850000161
n为一个周期内得到的点数，即可认为激光的反射点始终位于路面；当出现Y≠0的截面时，即对截面进行计数，再次出现Y＝0的截面即停止计数，则可获得行进车辆的截面数m。
在任意t时刻，激光头旋转的角度为
θ＝θ0+Δθ*t (7-3)
Δθ为激光器旋转的步进角度，θ0为激光头开始旋转的初始角度，设某个截面上第一个扫描到车辆上的点对应的距离为l1，最后一个扫描到车辆上的点对应的距离为l2，再此过程中激光器旋转角度为θk，则车辆宽度为如式子(7)
对于垂直放置的激光器，激光头对某一行进车辆共扫描了m个截面，单个截面上数据点的个数为pn，故对每一辆车的数据点可构成m*pn矩阵，即为
Figure BDA0003350282850000163
根据每一个lij，则扫描高度为汽车高度，汽车高度的确定方法如式子(8)
假设两激光器第一次扫到同一辆车的时间分别为t1、t2，两激光器间角度为α，激光器架设高度为H，激光器扫描频率为f，则车辆经过两激光器距离为
d1j＝{l1jcosθjtanα},j＝1,2,…,pn (7-4)
取其距离为
Figure BDA0003350282850000162
则车辆速度为如式子(5)。假设车辆以该速度匀速行驶，由此可得车长如式子(9)。
由此即实现了车辆的三维信息构建。
过车车辆的三维信息后，在预设车型对照表中确定，通过车辆三维信息确定车辆类型，对照表如图1所示。
在本实施例中，所述视频识别采用yolov5网络架构。该方法需要安装一台摄像机，用于获取车辆实时视频，为防止夜间照明不足，无法获取清晰视频，可增加补光灯。算法基本原理为采用yolov5网络架构，对各种车型样本进行打标、训练，得到深度学习权重，深度学习方法获取目标及车型分类结果，采用视频跟踪算法对检测目标进行跟踪，以此获得车辆速度，便于后续与激光检测方法进行融合。为保证视频测速的准确性，摄像机监测距离应至少为100米。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于激光与视频技术时间序列及特征融合的车型分析方法，其特征在于：所述方法包括如下步骤：
S1：构建采集单元，所述采集单元包括激光器采集单元I和视频采集单元II；
S2：基于所述采集单元采集的信息，通过车辆类型识别方法确定车辆类型识别结果，所述车辆类型识别方法包括激光识别和视频识别；
所述激光识别包括获取所述激光采集单元数据，并根据所述数据确定车型分类识别结果I，并将识别结果I和所述识别结果I对应的触发时间作为单元数据I，并将所述单元数据I按触发时间先后顺序进行存储，即获得激光识别结果队列I；
所述视频识别包括获取所述视频采集单元视频信息，并根据所述视频信息确定车型分类识别结果II，并将识别结果II和所述识别结果II对应的触发时间作为单元数据II，并将所述单元数据II按触发时间先后顺序进行存储，即获得视频识别结果队列II；
S3：判断是否雨天，若是，则以视频识别结果为检测结果，若否，进入下一步；
S4：对激光识别结果队列I和视频识别结果队列II采用如下方法进行匹配，并根据匹配结果输出检测结果；
其中，匹配方法如下：
S41：在激光识别结果队列I中获取某一辆车的车型分类识别结果I，同时获取当前车辆触发时间后预设时间段内的车型分类识别结果I，确定当前车辆的激光器触发时间t激光；
S42：根据触发线间的时间差Δt和激光器触发时间t激光，确定视频触发时间t视频；
S42：判断预设时间段内的车型分类识别结果I是否为空，若是，则进入步骤S43，若否，则进入步骤S44；
S43：根据视频触发时间t视频在视频识别结果队列II中获取当前车辆的车型分类识别结果II；
判断当前车辆的车型分类识别结果I和车型分类识别结果II是否一致，若是，则匹配成功，输出检测结果，反之，进入步骤S45；
S44：根据视频触发时间t视频在视频识别结果队列II中获取当前车辆的车型分类识别结果II，同时，获取当前车辆视频触发时间t视频后预设时间段内的车型分类识别结果II；
判断当前车辆的车型分类识别结果I和车型分类识别结果II是否一致，若是，进一步判断预设时间段内的车型分类识别结果I和预设时间段内的车型分类识别结果II的分布是否一致，若是，则匹配成功，输出检测结果，反之，进入步骤S45；
S45：根据视频测速和激光扫描时长确定当前车辆的车长，根据车长判断车辆类型，则匹配结果为与所述车辆类型最为接近的识别结果。
2.根据权利要求1所述基于激光与视频技术时间序列及特征融合的车型分析方法，其特征在于：步骤S4还包括：若根据视频触发时间t视频在视频识别结果队列II中无法获取当前车辆的车型分类识别结果II，当前辆车的车型分类识别结果I为检测结果，并退出匹配。
3.根据权利要求2所述基于激光与视频技术时间序列及特征融合的车型分析方法，其特征在于：在步骤S43和步骤S44的匹配过程中，若连续出现M次无法匹配的想看，则将所有数据清零，重新匹配。
4.根据权利要求1所述基于激光与视频技术时间序列及特征融合的车型分析方法，其特征在于：所述触发线间的时间差Δt采用如下方法确定：
Figure FDA0003350282840000031
其中，Δt表示触发线间的时间差，D表示触发线之间的距离，v视频表示视频测速，v激光表示激光测速；
D＝(t激光-t视频)*V视频 (2)
其中，D表示触发线之间的距离，t激光表示在激光器触发时间，t视频表示视频触发时间，v视频表示视频测速。
5.根据权利要求1所述基于激光与视频技术时间序列及特征融合的车型分析方法，其特征在于：所述视频测速v视频采用如下方法确定：
Figure FDA0003350282840000032
其中，v视频表示视频测速，vx表示X方向测速，vy表示y方向测速，Δv表示车速实际差；
其中，X方向测速vx和y方向测速vy采用如下方法确定：
Figure FDA0003350282840000041
其中，vx表示X方向测速，vy表示y方向测速，f表示采样频率，XA表示A点在实际场景中对应的X方向距离，XB表示B点在实际场景中对应的X方向距离，YA表示A点在实际场景中对应的Y方向距离，YB表示B点在实际场景中对应的Y方向距离，FA表示A点对应的帧号，FB表示B点对应的帧号，t表示从A点到B点的追踪时长；
所述激光测速v激光采用如下方法确定：
Figure FDA0003350282840000042
其中，v激光表示激光测速，p1表示激光器I扫描的当个截面上的数据点，t1表示激光器I第一次扫描到当前车辆的时间，t2表示激光器II第一次扫描到当前车辆的时间，d1j表示当前车辆经过激光器I和激光器II的距离。
6.根据权利要求1所述基于激光与视频技术时间序列及特征融合的车型分析方法，其特征在于：所述激光器采集单元I包括按照预设高度架设的激光器I和激光器II，其中，激光器I垂直于地面，激光器II与激光器I呈预设角度α架设，所述预设角度需满足二者的扫描距离小于一辆小轿车长度。
7.根据权利要求6所述基于激光与视频技术时间序列及特征融合的车型分析方法，其特征在于：所述预设角度α采用如下方法确定：
α＝arctan H/L (6)
其中，α表示激光器I和激光器II的夹角，H表示激光器I和激光器II的预设架设高度，L表示一辆小轿车长度。
8.根据权利要求7所述基于激光与视频技术时间序列及特征融合的车型分析方法，其特征在于：所述激光识别采用如下方法确定车辆的长度、车辆的宽度和车辆的高度；
所述车辆的宽度采用如下方法确定：
Figure FDA0003350282840000051
其中，Wi表示车辆的宽度，l1表示某个截面上第一个扫描到车辆上的对应的距离，l2表示最后一个扫描到车辆上的点对应的距离，θk表示激光器旋转角度；
所述车辆的高度采用如下方法确定：
hij＝{H-lij cosθj},i＝1,2,3,...,m,j＝1,2,3,...,pn (8)
其中，hij表示车辆的高度，H表示激光器I的架设高度，lij表示车辆的数据点阵列，θj表示某一时刻激光器I的激光头与中轴线夹角；
所述车辆的长度采用如下方法：
Figure FDA0003350282840000052
其中，L表示车辆的长度，m表示激光器I对当前车辆扫描的截面数量，j表示变量，f表示激光器扫描频率，p1表示激光器I扫描的当个截面上的数据点，t1表示激光器I第一次扫描到当前车辆的时间，t2表示激光器II第一次扫描到当前车辆的时间，d1j表示当前车辆经过激光器I和激光器II的距离。
CN202111335287.XA 2021-11-11 2021-11-11 基于激光与视频技术时间序列及特征融合的车型分析方法 Active CN114118238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111335287.XA CN114118238B (zh) 2021-11-11 2021-11-11 基于激光与视频技术时间序列及特征融合的车型分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111335287.XA CN114118238B (zh) 2021-11-11 2021-11-11 基于激光与视频技术时间序列及特征融合的车型分析方法

Publications (2)

Publication Number Publication Date
CN114118238A true CN114118238A (zh) 2022-03-01
CN114118238B CN114118238B (zh) 2024-03-22

Family

ID=80378633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111335287.XA Active CN114118238B (zh) 2021-11-11 2021-11-11 基于激光与视频技术时间序列及特征融合的车型分析方法

Country Status (1)

Country Link
CN (1) CN114118238B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11185195A (ja) * 1997-12-19 1999-07-09 Hitachi Zosen Corp 車種判別方法および装置
JPH11203588A (ja) * 1998-01-20 1999-07-30 Denso Corp 車種判別装置
CN104183133A (zh) * 2014-08-11 2014-12-03 广州普勒仕交通科技有限公司 一种采集和传输道路交通流动态信息的方法
CN104361752A (zh) * 2014-10-27 2015-02-18 北京握奇智能科技有限公司 一种自由流收费的激光扫描车型识别方法
CN105427614A (zh) * 2015-08-28 2016-03-23 北京动视元科技有限公司 一种车型分类***及其方法
JP2016164756A (ja) * 2015-03-06 2016-09-08 三菱重工メカトロシステムズ株式会社 車種判別装置、車種判別方法及びプログラム
CN107256636A (zh) * 2017-06-29 2017-10-17 段晓辉 一种融合激光扫描与视频技术的交通流获取方法
CN107945518A (zh) * 2017-12-20 2018-04-20 武汉万集信息技术有限公司 无队列的激光式车型识别装置和识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11185195A (ja) * 1997-12-19 1999-07-09 Hitachi Zosen Corp 車種判別方法および装置
JPH11203588A (ja) * 1998-01-20 1999-07-30 Denso Corp 車種判別装置
CN104183133A (zh) * 2014-08-11 2014-12-03 广州普勒仕交通科技有限公司 一种采集和传输道路交通流动态信息的方法
CN104361752A (zh) * 2014-10-27 2015-02-18 北京握奇智能科技有限公司 一种自由流收费的激光扫描车型识别方法
JP2016164756A (ja) * 2015-03-06 2016-09-08 三菱重工メカトロシステムズ株式会社 車種判別装置、車種判別方法及びプログラム
CN105427614A (zh) * 2015-08-28 2016-03-23 北京动视元科技有限公司 一种车型分类***及其方法
CN107256636A (zh) * 2017-06-29 2017-10-17 段晓辉 一种融合激光扫描与视频技术的交通流获取方法
CN107945518A (zh) * 2017-12-20 2018-04-20 武汉万集信息技术有限公司 无队列的激光式车型识别装置和识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
兰晓晨;宋飞;: "车辆类型与数量的自动检测建模方法", 南方农机, no. 14, 28 July 2018 (2018-07-28) *
刘伟铭;王超;梁雪;刘一霄;: "基于激光扫描仪的ETC车道***探析", 中国交通信息化, no. 1, 3 April 2018 (2018-04-03) *
段发阶;吴冰颖;梁春疆;傅骁;蒋佳佳;: "基于激光阵列的运行车辆宽度投影轮廓在线测量方法", 测控技术, no. 08, 18 August 2020 (2020-08-18) *

Also Published As

Publication number Publication date
CN114118238B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN111352112B (zh) 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN113359097B (zh) 一种毫米波雷达和相机联合标定的方法
US20220383484A1 (en) Tunnel defect detecting method and system using unmanned aerial vehicle
CN112417926B (zh) 车位识别方法、装置、计算机设备及可读存储介质
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
CN115407357B (zh) 基于大场景的低线束激光雷达-imu-rtk定位建图算法
CN104766058A (zh) 一种获取车道线的方法和装置
CN109931939A (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN112346463B (zh) 一种基于速度采样的无人车路径规划方法
CN109272482B (zh) 一种基于序列图像的城市路口车辆排队检测***
CN115943439A (zh) 一种基于雷视融合的多目标车辆检测及重识别方法
Zhang et al. Background filtering and vehicle detection with roadside lidar based on point association
CN111815717A (zh) 一种多传感器融合外参联合半自主标定方法
CN110443819A (zh) 一种单轨列车的轨道检测方法和装置
CN114758504A (zh) 一种基于滤波校正的网联车超速预警方法及***
CN114821526A (zh) 基于4d毫米波雷达点云的障碍物三维边框检测方法
CN113494915A (zh) 一种车辆横向定位方法、装置及***
CN108596117A (zh) 一种基于二维激光测距仪阵列的场景监控方法
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN107621229A (zh) 基于面阵黑白相机的实时铁路轨道宽度测量***及方法
CN115457780B (zh) 一种基于先验知识集合的车流量流速自动测算方法及***
CN114118238B (zh) 基于激光与视频技术时间序列及特征融合的车型分析方法
CN116977806A (zh) 一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及***
CN114783181A (zh) 一种基于路侧感知的交通流量统计方法和装置
CN207456388U (zh) 基于面阵黑白相机的实时铁路轨道宽度测量装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant