CN111950478B - 一种动态平板秤称重区域汽车s型行驶行为检测方法 - Google Patents

一种动态平板秤称重区域汽车s型行驶行为检测方法 Download PDF

Info

Publication number
CN111950478B
CN111950478B CN202010825107.5A CN202010825107A CN111950478B CN 111950478 B CN111950478 B CN 111950478B CN 202010825107 A CN202010825107 A CN 202010825107A CN 111950478 B CN111950478 B CN 111950478B
Authority
CN
China
Prior art keywords
flat
edge
plate scale
scale
wheel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010825107.5A
Other languages
English (en)
Other versions
CN111950478A (zh
Inventor
冯骥良
姜俊
祝顺飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dong Ding Electronic Ltd By Share Ltd
Original Assignee
Zhejiang Dong Ding Electronic Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dong Ding Electronic Ltd By Share Ltd filed Critical Zhejiang Dong Ding Electronic Ltd By Share Ltd
Priority to CN202010825107.5A priority Critical patent/CN111950478B/zh
Publication of CN111950478A publication Critical patent/CN111950478A/zh
Application granted granted Critical
Publication of CN111950478B publication Critical patent/CN111950478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种动态平板秤称重区域汽车S型行驶行为检测方法。包括:利用道路一侧的摄像头采集平板秤区域图像,输入轮廓异常检测神经网络进行分析;当轮廓正常时,将平板秤区域图像输入平板秤感知神经网络得到平板秤语义分割图;利用边缘轮廓图以及平板秤边缘感知神经网络对平板秤语义分割图进行边缘感知,得到平板秤边缘点分布图;对边缘点进行直线拟合,并进行透视变换,得到平板秤边缘线俯视图;检测采集的汽车图像中的车轮着地点;将检测得到的车轮着地点坐标与平板秤边缘线俯视图变换到同一坐标系,根据车轮着地点与平板秤边缘线的位置关系,判断汽车是否存在S型行驶行为。利用本发明,能准确识别称重汽车的S型行驶行为。

Description

一种动态平板秤称重区域汽车S型行驶行为检测方法
技术领域
本发明涉及人工智能、汽车动态称重领域,具体涉及一种动态平板秤称重区域汽车S型行驶行为检测方法。
背景技术
汽车动态称重,即汽车无需停车直接从平板秤上行驶,便可得到汽车的重量。由于视觉误差,司磅员不能准确观察到汽车在电子秤上的位置,司机利用这一点,在窄条式平板秤上称重时,汽车拐S弯道,走S型路线,让汽车一个车轮处于路面上,只有一个车轮处于平板秤上,从而减轻称重时汽车实际重量。一些方法通过红外线对射器检测汽车位置来判断汽车是否存在S型行驶行为,红外线对射器易受环境影响,检测精度低,而且维护困难。
发明内容
本发明提供了一种动态平板秤称重区域汽车S型行驶行为检测方法,用于检测动态称重时汽车的S型行驶作弊行为。
一种动态平板秤称重区域汽车S型行驶行为检测方法,该方法包括:
步骤1,道路上铺设与地面相平的窄条式平板秤,道路两侧分别设置摄像头;
步骤2,对道路一侧摄像头采集的平板秤区域图像进行边缘提取,得到边缘轮廓图;
步骤3,将边缘轮廓图输入轮廓异常检测神经网络,经轮廓异常检测编码器提取特征得到第一特征图,分类模块对第一特征图进行分析,输出轮廓是否异常的检测结果,若轮廓异常则返回步骤2继续进行轮廓检测,若轮廓正常则取边缘轮廓图对应的平板秤区域图像转至步骤4进行分析;
步骤4,将平板秤区域图像输入平板秤感知神经网络分析,经平板秤感知编码器提取特征,提取的特征经平板秤感知解码器上采样还原,输出平板秤语义分割图,用于区分平板秤、道路与其他无关元素的语义;
步骤5,将平板秤语义分割图输入平板秤边缘感知神经网络,经边缘感知编码器提取特征得到第二特征图,将第二特征图与第一特征图联合得到第三特征图,多个全连接网络对第三特征图进行加权分类,将多个全连接网络的输出拼接整合,得到平板秤边缘点分布图;
步骤6,对平板秤边缘点分布图上的边缘点进行直线拟合,并进行透视变换,得到平板秤边缘线俯视图;
步骤7,利用道路两侧的摄像头采集汽车图像,检测采集的汽车图像中的车轮着地点;
步骤8,将检测得到的车轮着地点坐标与平板秤边缘线俯视图变换到同一坐标系,根据车轮着地点与平板秤边缘线的位置关系,判断汽车是否存在S型行驶行为。
进一步地,所述对平板秤边缘点分布图上的边缘点进行直线拟合包括:
设平板秤边缘点分布图包括2N个边缘点,N为整数,执行以下步骤:
步骤a,随机取N个边缘点进行直线拟合得到直线L1
步骤b,计算选取的N个边缘点到直线L1的距离,若距离之和小于第一阈值,则判定L1为有效直线,转至步骤c,否则返回步骤a;
步骤c,利用剩余的N个边缘点进行直线拟合直线L2,计算N个边缘点到直线L2的距离,若距离之和小于第一阈值,则判定L2为有效直线;否则,返回步骤a;
步骤d,计算L1与L2的斜率差值,若差值小于第二阈值,则将得到的两条直线作为平板秤边缘线,否则返回步骤a。
进一步地,道路两侧摄像头的光轴与平板秤边缘线平行。
进一步地,该方法还包括训练所述平板秤边缘感知神经网络:
构建平板秤语义分割图训练集,将平板秤语义分割图沿道路方向划分为多个语义分割子图;
边缘感知编码器与每一个全连接网络构成一个平板秤边缘感知分支,每一分支的标签数据为语义分割子图上与道路方向垂直的两条平板秤边缘线的边缘点的置信度标注;
将平板秤语义分割图训练集以及标签数据输入平板秤边缘感知神经网络,采用交叉熵损失函数对其进行训练,每一个平板秤边缘感知分支输出对应的平板秤边缘线的边缘点置信度图。
进一步地,所述平板秤边缘线的边缘点的宽度具体为1像素。
进一步地,该方法还包括训练所述平板秤感知神经网络:
构建称重区域包含平板秤的图像作为样本集,分别对样本集图像上的道路、平板秤、其他无关元素进行标注;
将样本集图像数据和标注数据输入平板秤感知神经网络,平板秤感知编码器对图像进行特征提取,输出特征图,平板秤感知解码器对特征图进行上采样还原,输出平板秤语义分割图,采用交叉熵损失函数进行训练。
进一步地,所述检测采集的汽车图像中的车轮着地点具体为:
基于车轮关键点检测神经网络检测车轮着地点;其中,车轮关键点检测神经网络包括:
车轮关键点检测编码器,用于对图像进行编码提取特征,得到车轮着地点特征图;
车轮关键点检测解码器,用于对车轮着地点特征图进行上采样还原,得到车轮着地点热力图。
进一步地,该方法还包括训练所述车轮关键点检测神经网络:
采集汽车图像构建样本集,对样本集中的图像进行车轮着地点标注,将标注的关键点图经高斯核卷积处理,得到车轮着地点热力图标签数据;
采用均方误差损失函数,端到端地训练车轮关键点检测编码器、车轮关键点检测解码器。
进一步地,该方法还包括:
设同一坐标系下平板秤两条边缘线的纵坐标分别为y0、y1,y0<y1,汽车同一轴承上的左右两轮着地点坐标分别为yL、yr,若y0<yL<y1且y0<yr<y1,则汽车称重时车轮全部处于平板秤上,判定正常称重;
若y0<yL<y1、yr>y1,或y0<yL<y1、yr<y0,或y0<yr<y1、yL>y1,或y0<yr<y1、yL<y0则判定汽车存在走S型作弊。
本发明的有益效果在于:
1.本发明对摄像头采集的图像分析出平板秤边缘线位置与车轮着地点位置关系,判断汽车是否存在走S型行为,相比于传统的利用红外线对射装置,维护成本低,不易受环境因素影响,检测结果更加准确。
2.本发明设计了轮廓异常检测神经网络首先对摄像头采集的图像进行轮廓分析,当轮廓正常即不存在汽车、行人等遮挡因素时才进行后续的平板秤边缘感知,一方面能够避免无效的边缘感知,另一方面,无需人工对摄像头采集的图像进行筛选,提高了方法的智能程度和便捷性。
3.本发明基于深度学***板秤感知神经网络、平板秤边缘感知神经网络来检测平板秤边缘线,一方面,无需人工标定平板秤区域,在各种工况下都能自动获得平板秤边缘信息;另一方面,平板秤边缘感知神经网络采用多个分支结构感知平板秤边缘,并且结合了边缘轮廓图的特征,相比于仅利用语义分割得到边缘的方法,能够更准确地检测得到平板秤边缘。
4.本发明考虑平板秤的特殊性设计了相应的直线拟合方法,提高了平板秤边缘线拟合的准确度。
5.本发明利用道路两侧摄像头采集汽车图像,检测车轮着地点,相比于利用车牌、汽车中心点等位置确定汽车位置,能够准确反映汽车在平板秤上的移动轨迹,提高S型行驶行为的检测准确率。而且,车轮关键点检测神经网络不仅能够提高车轮着地点检测效率,而且能够提高检测准确率。
6.本发明根据汽车轮胎与平板秤边缘的坐标位置关系判断车辆的S型行驶行为,无需对汽车的整体行驶路径进行分析,仅通过少数几帧图像即可得到检测结果,提高了S型行驶行为的检测效率。
附图说明
图1为本发明流程图;
图2为汽车正常称重时以及汽车S型行驶时平板秤重量直线对比图;图2(a)为汽车正常称重时平板秤重量直线示意图;图2(b)为汽车S型行驶时平板秤重量直线示意图;
图3为动态称重区域场景示意图;
图4为平板秤结构图;
图5为同一坐标系下平板秤边缘与汽车轮胎位置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明提供一种动态平板秤称重区域汽车S型行驶行为检测方法。主要目的是采用平板秤两旁的摄像机对汽车称重转S弯道、走S型路线时的车轮姿态作弊行为进行实时监测。本发明流程图如图1所示。下面通过具体实施例来进行说明。
汽车正常称重时以及S型行驶时平板秤重量直线变化对比如图2所示。图2(a)中,汽车正常称重,得到轴重m。在图2(b)中,汽车呈现S型行驶,t0时刻之前,汽车只有一个车轮驶入平板秤上,在t0到t1时刻,汽车的另一个车轮驶入,在t1到t2时刻两个车轮均在秤台上,称重结果不准确,得到轴重m’,m’<m。由此可见,S型行驶会影响称重结果,因此,设计一种能够识别汽车S型行驶行为的方法十分必要。
实施例1:
动态平板秤称重区域汽车S型行驶行为检测方法:
步骤1,道路上铺设与地面相平的窄条式平板秤,道路两侧分别设置摄像头。
动态平板秤称重区域汽车S型行驶行为检测,首先在道路上铺设与地面相平的窄条式平板秤,道路两侧分别设置摄像头。图3为动态称重区域场景示意图。道路两侧摄像头的光轴应与平板秤边缘线平行。
本实施例采用平板秤结构如图4所示。平板式动态汽车衡采用电阻应变式传感器,通过传感器检测台板主梁的微变形来检测轮轴荷载工作原理的动态称重装置。这个微变形在刚梁允许变形的弹性范围内,是可恢复的。它的工作原理、测力结构和外观完全区别于传统的弯板式和称台式动态称重设备。设备无缝安装,与道路完全融为一体,车辆通过时完全不会下沉和晃动,如履平地。适应高速、中速、低速车辆通行检测。
步骤2,对道路一侧摄像头采集的平板秤区域图像进行边缘提取,得到边缘轮廓图。
为获取更丰富的特征信息,对于摄像头所采集图像,采用边缘提取的机器视觉方法获得图像的边缘轮廓图,该图与原图等大,实施者可根据情况自行选择边缘提取方法,建议采用sobel、canny算子对图像进行处理。然后,对所得边缘轮廓图进行图像分类。
步骤3,将边缘轮廓图输入轮廓异常检测神经网络,经轮廓异常检测编码器提取特征得到第一特征图,分类模块对第一特征图进行分析,输出轮廓是否异常的检测结果,若轮廓异常则返回步骤2继续进行轮廓检测,若轮廓正常则取边缘轮廓图对应的平板秤区域图像转至步骤4进行分析。本实施例中,分类模块采用全连接层。
轮廓异常检测神经网络的训练过程如下:训练集选择多帧摄像头采集图像经边缘检测得到的边缘轮廓图,标注为图像类别,具体为两类,轮廓正常和轮廓异常,异常主要指车辆、行人等不可控因素遮挡称台线。损失函数采用交叉熵损失函数。网络输入为边缘轮廓图,通过轮廓异常检测编码器提取特征,输出第一特征图,第一特征图经Flatten操作后,送入全连接层,接分类函数输出图像分类结果。当类别为轮廓异常时,不进行后续称台直线拟合;当类别为轮廓正常时,进行后续称台直线拟合。步骤3的主要目的为减少计算量,一方面能够避免无效的边缘感知,防止拟合出错误的平板秤直线;另一方面,无需人工对摄像头采集的图像进行筛选,提高了方法的智能程度和便捷性。
步骤4,将平板秤区域图像输入平板秤感知神经网络分析,经平板秤感知编码器提取特征,提取的特征经平板秤感知解码器上采样还原,输出平板秤语义分割图,用于区分平板秤、道路与其他无关元素的语义。
平板秤感知神经网络的训练内容如下:选择称重区域中包含平板秤的图像作为训练数据集,对数据集进行标注,道路标注为1,平板秤标注为2,其他标注为3。其中随机选择数据集的80%作为训练集,剩余的20%作为验证集。将图像数据和标签数据输入平板秤感知神经网络中,平板秤感知编码器进行特征提取,输出为平板秤感知特征图;然后通过平板秤感知解码器对平板秤感知特征图进行上采样重构,得到与原图大小相同的平板秤语义分割图。loss函数使用交叉熵损失函数进行训练。平板秤感知神经网络基于语义分割神经网络。需要说明的是,神经网络中编码器和解码器的特点在于,编码器对特征图的通道扩增,而图像大小减少,即降低了空域的精度而提升了特征强度的类型数,反之,解码器降低通道数并提高特征图的空域精度。编码器、解码器可以包括多个卷积模块(即CNN Block)或ResBlock。在卷积模块或ResBlock之间,实施者可以根据需求设置池化、采样层。实施者应结合硬件的计算能力和精度做出权衡,从而采用合适的编码器、解码器内部结构。
步骤5,将平板秤语义分割图输入平板秤边缘感知神经网络,经边缘感知编码器提取特征得到第二特征图,将第二特征图与第一特征图联合得到第三特征图,多个全连接网络对第三特征图进行加权分类,将多个全连接网络的输出拼接整合,得到平板秤边缘点分布图。
在平板秤边缘感知神经网络投入使用之前需要对其进行训练:构建平板秤语义分割图样本集,平板秤语义分割图应包含平板秤、道路。随机选择样本集的80%作为训练集,剩余的20%作为验证集。
将平板秤语义分割图沿道路方向划分为多个语义分割子图。实施者可以根据实际情况划分,划分个数可以比图像的纵向像素数小,也可以相同,纵向即与道路垂直方向。边缘感知编码器与每一个全连接网络构成一个平板秤边缘感知分支,每一分支的标签数据为语义分割子图上与道路方向垂直的两条平板秤边缘线(即前后边缘线,前后是相对于汽车行驶方向而定)的边缘点位置的置信度标注,具体地,语义分割子图中平板秤前后边缘线的边缘点像素标注为1,其他标注为0。应对两条边缘线进行对称标注,实施者可以不用标注边缘线的所有像素,可以降低标注工作量。
将平板秤语义分割图训练集以及标签数据输入平板秤边缘感知神经网络,边缘感知编码器是对语义分割图像进行下采样特征提取得到第二特征图,将第二特征图与第一特征图联合得到第三特征图,将第三特征图展开送入多个全连接网络中进行平板秤边缘点提取。全连接网络个数与语义分割子图个数相等。每一个平板秤边缘感知分支输出对应的平板秤边缘线的边缘点位置置信度图。利用argmax即可得到边缘点位置。采用交叉熵损失函数对平板秤边缘感知神经网络进行训练。多个全连接网络的输出垂直平板秤前后边缘线方向依次排列,将全连接网络的输出拼接整合,即可得到平板秤边缘点分布图。
步骤6,对平板秤边缘点分布图上的边缘点进行直线拟合,并进行透视变换,得到平板秤边缘线俯视图。
本实施例考虑到平板秤的特殊性设计了相应的直线拟合方法,对得到的边缘点进行直线拟合,获得平板秤前后边缘的准确直线。平板秤边缘点分布图是前后两条边缘线的边缘点分布,因此,边缘点为偶数。设平板秤边缘点分布图包括2N个边缘点,N为整数,执行以下步骤:
步骤a,从2N个边缘点中随机取N个边缘点进行直线拟合得到直线L1
步骤b,计算选取的N个边缘点到直线L1的距离,若距离之和小于第一阈值,则判定L1为有效直线,转至步骤c,否则返回步骤a。
步骤c,利用剩余的N个边缘点进行直线拟合直线L2,计算N个边缘点到直线L2的距离,若距离之和小于第一阈值,则判定L2为有效直线;否则,返回步骤a。剩余N个边缘点通过最小二乘法拟合出第二条直线,同样计算该N个边缘点到直线的距离,距离之和小于第一阈值时,判定为有效直线L2;若距离之和大于等于阈值,则返回步骤a。
步骤d,计算L1与L2的斜率差值,若差值小于第二阈值,则将得到的两条直线作为平板秤边缘线,否则返回步骤a。由于称台的平行性质,因此所拟合出的直线斜率应当相同,因此,当获得有效直线L1和有效直线L2,对直线斜率对比,设置一个阈值M,M值设置时应设置为非常小,仅用作克服微小的误差。斜率之差小于M时,即斜率相差及其小,判断该两条有效直线为平行,满足场景的特殊性,作为直线拟合结果;斜率之差大于等于M时,即斜率相差较大,判断该两条直线不平行,不满足称台边缘平行的性质,返回步骤a。
为了更准确地反映平板秤与汽车的位置关系,需要进行透视变换,得到平板秤边缘线俯视图。透视变换的方法是公知的,基于四点法计算单应矩阵,根据单应矩阵完成俯视图变换。
步骤7,利用道路两侧的摄像头采集汽车图像,检测采集的汽车图像中的车轮着地点。
本发明采用道路两侧的摄像头采集汽车称重时的汽车图像。道路两侧左右摄像头采集称重汽车的图像,送入车轮关键点检测神经网络中得到左右车轮关键点,经后处理得到关键点坐标。两侧的摄像头用于拍摄汽车的侧面,获得汽车的车轮与地面接触位置的关键点。该位置能保证投影时产生的误差最小。车轮关键点检测神经网络包括:车轮关键点检测编码器,用于对图像进行编码提取特征,得到车轮着地点特征图;车轮关键点检测解码器,用于对车轮着地点特征图进行上采样还原,得到车轮着地点热力图。
车轮关键点检测神经网络需要经过训练。首先,构建图像样本集。样本集构建完成后,对数据进行标注,将车轮与地面接触的点作为关键点。标注过程分为两步,第一步先对图像内车轮关键点进行标注,即X,Y的坐标;第二步,将标注的关键点图与高斯核卷积形成车轮着地点热力图标签。然后训练车轮关键点检测编码器、车轮关键点检测解码器,其中图像数据及标签数据要进行归一化,以便模型更快地收敛。通过采集的图像样本集和标注的热力图标签数据,端到端地训练车轮关键点检测编码器、车轮关键点检测解码器。车轮关键点检测编码器对图像进行特征提取,输入为经过归一化处理的图像数据,输出为车轮着地点热力图;车轮关键点检测解码器是对车轮着地点热力图进行上采样与特征提取,并最终生成车轮着地点热力图(heatmap),Loss函数采用均方误差损失函数。最终,神经网络输出的热力图再经过后处理,即可得到车轮关键点位置。热力图的后处理方法为周知的,即通过寻找局部最大值的方式进行关键点坐标回归,例如使用NMS或者softargmax。
车轮关键点检测的编码器解码器,推荐采用沙漏神经网络的结构,并结合GhostNet、MobileNetV3、ThunderNet等轻量级神经网络的block设计,以便更快速、更准确地对车轮关键点进行检测。实施者也可套用Hourglass、HRNet等预训练神经网络来执行车轮的关键点检测,可以更快地收敛。
步骤8,将检测得到的车轮着地点坐标与平板秤边缘线俯视图变换到同一坐标系,根据车轮着地点与平板秤边缘线的位置关系,判断汽车是否存在S型行驶行为。
本发明需要在同一平面中观察车轮与平板秤边缘的关系,并以此判断汽车称重是否存在S弯作弊行为。但是由于汽车的左右车轮是通过两个摄像机拍摄的,故其坐标不在同一坐标下,需要将其变换到同一平面,即同一坐标系下。
由于车轮的左右关键点不在同一图像中,在实际情况中,汽车是三维立体的,如果直接对左右摄像机拍摄的图像进行拼接,拼接的汽车就会出现畸变,不能得到准确的车轮信息,所以不能直接采用图像拼接的方法。本发明不直接利用图像拼接,通过车轮关键点检测神经网络已经得到左右车轮与地面接触的关键点坐标,把这两个关键点作为投影的目标,将其都投影在平板秤边缘线所在的平面上。本实施例通过RANSAC方法求解图像投影变换所需的单应性矩阵。然后通过单应矩阵将左右车轮关键点全部投影到平板秤边缘线所在的平面中。透视变换及变换矩阵的求解方法有很多,不在本发明讨论范围内,不一一列举。
全部投影之后,左右车轮的关键点以及平板秤边缘线全部都位于同一平面的同一坐标下。在同一坐标下就能直观的呈现出左右车轮关键点坐标与平板秤上下边缘的关系。同一坐标系下平板秤边缘与汽车轮胎位置示意图如图5所示,平板秤上下边缘线的纵坐标分别为y0、y1,y0<y1。对于左右车轮的纵坐标yL、yr,如果有y0<yL<y1且y0<yr<y1,则认为汽车称重时车轮全部处于平板秤上,可以正常称重;如果y0<yL<y1,又有yr<y0或yr>y1时,认为汽车称重时右前车轮未处于平板秤上,汽车称重存在走S型路线作弊行为;同理y0<yr<y1又有yL>y1或yL<y0时,汽车称重时左前车轮未处于平板秤上,因此汽车称重存在走S型弯道作弊行为。
以上实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种动态平板秤称重区域汽车S型行驶行为检测方法,其特征在于,该方法包括:
步骤1,道路上铺设与地面相平的窄条式平板秤,道路两侧分别设置摄像头;
步骤2,对道路一侧摄像头采集的平板秤区域图像进行边缘提取,得到边缘轮廓图;
步骤3,将边缘轮廓图输入轮廓异常检测神经网络,经轮廓异常检测编码器提取特征得到第一特征图,分类模块对第一特征图进行分析,输出轮廓是否异常的检测结果,若轮廓异常则返回步骤2继续进行轮廓检测,若轮廓正常则取边缘轮廓图对应的平板秤区域图像转至步骤4进行分析;
步骤4,将平板秤区域图像输入平板秤感知神经网络分析,经平板秤感知编码器提取特征,提取的特征经平板秤感知解码器上采样还原,输出平板秤语义分割图,用于区分平板秤、道路与其他无关元素的语义;
步骤5,将平板秤语义分割图输入平板秤边缘感知神经网络,经边缘感知编码器提取特征得到第二特征图,将第二特征图与第一特征图联合得到第三特征图,多个全连接网络对第三特征图进行加权分类,将多个全连接网络的输出拼接整合,得到平板秤边缘点分布图;
步骤6,对平板秤边缘点分布图上的边缘点进行直线拟合,并进行透视变换,得到平板秤边缘线俯视图;
步骤7,利用道路两侧的摄像头采集汽车图像,检测采集的汽车图像中的车轮着地点;
步骤8,将检测得到的车轮着地点坐标与平板秤边缘线俯视图变换到同一坐标系,根据车轮着地点与平板秤边缘线的位置关系,判断汽车是否存在S型行驶行为。
2.如权利要求1所述的方法,其特征在于,所述对平板秤边缘点分布图上的边缘点进行直线拟合包括:
设平板秤边缘点分布图包括2N个边缘点,N为整数,执行以下步骤:
步骤a,随机取N个边缘点进行直线拟合得到直线L1
步骤b,计算选取的N个边缘点到直线L1的距离,若距离之和小于第一阈值,则判定L1为有效直线,转至步骤c,否则返回步骤a;
步骤c,利用剩余的N个边缘点进行直线拟合直线L2,计算N个边缘点到直线L2的距离,若距离之和小于第一阈值,则判定L2为有效直线;否则,返回步骤a;
步骤d,计算L1与L2的斜率差值,若差值小于第二阈值,则将得到的两条直线作为平板秤边缘线,否则返回步骤a。
3.如权利要求1所述的方法,其特征在于,道路两侧摄像头的光轴与平板秤边缘线平行。
4.如权利要求1所述的方法,其特征在于,该方法还包括训练所述平板秤边缘感知神经网络:
构建平板秤语义分割图训练集,将平板秤语义分割图沿道路方向划分为多个语义分割子图;
边缘感知编码器与每一个全连接网络构成一个平板秤边缘感知分支,每一分支的标签数据为语义分割子图上与道路方向垂直的两条平板秤边缘线的边缘点的置信度标注;
将平板秤语义分割图训练集以及标签数据输入平板秤边缘感知神经网络,采用交叉熵损失函数对其进行训练,每一个平板秤边缘感知分支输出对应的平板秤边缘线的边缘点置信度图。
5.如权利要求4所述的方法,其特征在于,所述平板秤边缘线的边缘点的宽度具体为1像素。
6.如权利要求1所述的方法,其特征在于,该方法还包括训练所述平板秤感知神经网络:
构建称重区域包含平板秤的图像作为样本集,分别对样本集图像上的道路、平板秤、其他无关元素进行标注;
将样本集图像数据和标注数据输入平板秤感知神经网络,平板秤感知编码器对图像进行特征提取,输出特征图,平板秤感知解码器对特征图进行上采样还原,输出平板秤语义分割图,采用交叉熵损失函数进行训练。
7.如权利要求1所述的方法,其特征在于,所述检测采集的汽车图像中的车轮着地点具体为:
基于车轮关键点检测神经网络检测车轮着地点;其中,车轮关键点检测神经网络包括:
车轮关键点检测编码器,用于对图像进行编码提取特征,得到车轮着地点特征图;
车轮关键点检测解码器,用于对车轮着地点特征图进行上采样还原,得到车轮着地点热力图。
8.如权利要求7所述的方法,其特征在于,该方法还包括训练所述车轮关键点检测神经网络:
采集汽车图像构建样本集,对样本集中的图像进行车轮着地点标注,将标注的关键点图经高斯核卷积处理,得到车轮着地点热力图标签数据;
采用均方误差损失函数,端到端地训练车轮关键点检测编码器、车轮关键点检测解码器。
9.如权利要求1所述的方法,其特征在于,该方法还包括:
设同一坐标系下平板秤两条边缘线的纵坐标分别为y0、y1,y0<y1,汽车同一轴承上的左右两轮着地点坐标分别为yL、yr,若y0<yL<y1且y0<yr<y1,则汽车称重时车轮全部处于平板秤上,判定正常称重;
若y0<yL<y1、yr>y1,或y0<yL<y1、yr<y0,或y0<yr<y1、yL>y1,或y0<yr<y1、yL<y0则判定汽车存在走S型作弊。
CN202010825107.5A 2020-08-17 2020-08-17 一种动态平板秤称重区域汽车s型行驶行为检测方法 Active CN111950478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010825107.5A CN111950478B (zh) 2020-08-17 2020-08-17 一种动态平板秤称重区域汽车s型行驶行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010825107.5A CN111950478B (zh) 2020-08-17 2020-08-17 一种动态平板秤称重区域汽车s型行驶行为检测方法

Publications (2)

Publication Number Publication Date
CN111950478A CN111950478A (zh) 2020-11-17
CN111950478B true CN111950478B (zh) 2021-07-23

Family

ID=73343292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010825107.5A Active CN111950478B (zh) 2020-08-17 2020-08-17 一种动态平板秤称重区域汽车s型行驶行为检测方法

Country Status (1)

Country Link
CN (1) CN111950478B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332437B (zh) * 2021-12-28 2022-10-18 埃洛克航空科技(北京)有限公司 车辆区域修复方法、装置、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704862A (zh) * 2017-11-06 2018-02-16 深圳市唯特视科技有限公司 一种基于语义实例分割算法的视频对象分割方法
CN110008932A (zh) * 2019-04-17 2019-07-12 四川九洲视讯科技有限责任公司 一种基于计算机视觉的车辆违章压线检测方法
CN110348384A (zh) * 2019-07-12 2019-10-18 沈阳理工大学 一种基于特征融合的小目标车辆属性识别方法
CN110428522A (zh) * 2019-07-24 2019-11-08 青岛联合创智科技有限公司 一种智慧新城的智能安防***
CN110490032A (zh) * 2018-05-15 2019-11-22 武汉小狮科技有限公司 一种基于深度学习的路面环境感知方法及装置
CN111127429A (zh) * 2019-12-24 2020-05-08 魏志康 基于自训练深度神经网络的水利***管螺纹缺陷检测方法
CN111242015A (zh) * 2020-01-10 2020-06-05 同济大学 一种基于运动轮廓语义图预测行车危险场景的方法
CN111439259A (zh) * 2020-03-23 2020-07-24 成都睿芯行科技有限公司 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726627B (zh) * 2018-09-29 2021-03-23 初速度(苏州)科技有限公司 一种神经网络模型训练及通用接地线的检测方法
CN111310582A (zh) * 2020-01-19 2020-06-19 北京航空航天大学 基于边界感知和对抗学习的湍流退化图像语义分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704862A (zh) * 2017-11-06 2018-02-16 深圳市唯特视科技有限公司 一种基于语义实例分割算法的视频对象分割方法
CN110490032A (zh) * 2018-05-15 2019-11-22 武汉小狮科技有限公司 一种基于深度学习的路面环境感知方法及装置
CN110008932A (zh) * 2019-04-17 2019-07-12 四川九洲视讯科技有限责任公司 一种基于计算机视觉的车辆违章压线检测方法
CN110348384A (zh) * 2019-07-12 2019-10-18 沈阳理工大学 一种基于特征融合的小目标车辆属性识别方法
CN110428522A (zh) * 2019-07-24 2019-11-08 青岛联合创智科技有限公司 一种智慧新城的智能安防***
CN111127429A (zh) * 2019-12-24 2020-05-08 魏志康 基于自训练深度神经网络的水利***管螺纹缺陷检测方法
CN111242015A (zh) * 2020-01-10 2020-06-05 同济大学 一种基于运动轮廓语义图预测行车危险场景的方法
CN111439259A (zh) * 2020-03-23 2020-07-24 成都睿芯行科技有限公司 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及***

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Densely Based Multi-Scale and Multi-Modal Fully Convolutional Networks for High-Resolution Remote-Sensing Image Semantic Segmentation;Cheng Peng等;《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 》;20190409;第12卷(第8期);第2612-2626页 *
Efficient Rail Area Detection Using Convolutional Neural Network;Zhangyu Wang等;《IEEE Access》;20181228;第6卷;第77656-77664页 *
Implementation of semantic segmentation for road and lane detection on an autonomous ground vehicle with LIDAR;Kai Li Lim等;《2017 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI)》;20171211;第429-434页 *
基于全卷积递归网络的弱小目标检测方法;杨其利等;《光学学报》;20200731;第40卷(第13期);第1310002-1到1310002-13页 *
多类别的边缘感知方法在图像分割中的应用;董子昊等;《计算机辅助设计与图形学学报》;20190731;第31卷(第7期);第1075-1085页 *
智能汽车个性化辅助驾驶策略研究;蒋渊德;《中国博士学位论文全文数据库 工程科技II辑》;20200215;第2020年卷(第2期);C035-15 *

Also Published As

Publication number Publication date
CN111950478A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN106919915B (zh) 基于adas***的地图道路标记及道路质量采集装置及方法
Luo et al. Edge‐enhanced matching for gradient‐based computer vision displacement measurement
Kim et al. Robust lane detection based on convolutional neural network and random sample consensus
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN111563469A (zh) 一种不规范停车行为识别方法及装置
Shim et al. Road surface damage detection based on hierarchical architecture using lightweight auto-encoder network
CN111291676A (zh) 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
CN111179300A (zh) 障碍物检测的方法、装置、***、设备以及存储介质
Zhu et al. An accurate approach for obtaining spatiotemporal information of vehicle loads on bridges based on 3D bounding box reconstruction with computer vision
Kim Multiple vehicle tracking and classification system with a convolutional neural network
CN110991264A (zh) 前方车辆检测方法和装置
Demonceaux et al. Obstacle detection in a road scene based on motion analysis
CN111046723B (zh) 一种基于深度学习的车道线检测方法
CN111950478B (zh) 一种动态平板秤称重区域汽车s型行驶行为检测方法
Kotha et al. Potsense: Pothole detection on Indian roads using smartphone sensors
Wu et al. Design and implementation of vehicle speed estimation using road marking-based perspective transformation
CN114663859A (zh) 灵敏准确的复杂路况车道偏移实时预警***
Xuan et al. Robust lane-mark extraction for autonomous driving under complex real conditions
CN105825215A (zh) 一种基于局部近邻嵌入核函数的仪表定位方法及其使用载体
Liu et al. Research on security of key algorithms in intelligent driving system
Li et al. Road Damage Evaluation via Stereo Camera and Deep Learning Neural Network
CN116740657A (zh) 一种基于相似三角形的目标检测以及测距方法
CN110942024A (zh) 一种基于深度学习的无人车路牙检测方法
Kanitkar et al. Vision based preceding vehicle detection using self shadows and structural edge features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant