CN115482474A - 一种基于高空航拍图像的桥面车辆荷载识别方法和*** - Google Patents
一种基于高空航拍图像的桥面车辆荷载识别方法和*** Download PDFInfo
- Publication number
- CN115482474A CN115482474A CN202211021016.1A CN202211021016A CN115482474A CN 115482474 A CN115482474 A CN 115482474A CN 202211021016 A CN202211021016 A CN 202211021016A CN 115482474 A CN115482474 A CN 115482474A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- bridge deck
- image
- bridge
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于高空航拍图像的桥面车辆荷载识别方法和***,属于桥面运营安全领域。所述方法采集高空航拍的桥面车辆图像,并构建并标定车型与车重比对数据库;对桥面车辆图像预处理后,进行车辆阴影过滤,并将过滤后的图像输入车辆识别模型;通过车辆识别模型,对车辆进行识别,并输出所识别的车辆参数;所述车辆参数包括:车型、车向、车数和车间距;根据所构建的车辆比对数据库及所识别的车辆参数,通过统计学的方法得到桥面车辆荷载分布。本发明不仅降低了桥面车辆荷载识别的计算量,同时提高了识别效率及识别准确率,适用于各种类型桥梁的瞬时/长期车辆荷载监测。
Description
技术领域
本发明属于桥梁运营安全领域,具体涉及一种基于高空航拍图像的桥面车辆荷载识别方法和***。
背景技术
桥面的车辆荷载分布是评估桥梁运营期间安全等级的一个重要影响因素,也是桥梁设计、状态评估、维护和加固的重要依据。
现有技术中,桥面车辆荷载统计分析主要是以人工统计的方式和在监控杆上安装摄像头的视频采集方式进行。其中,基于人工统计的方法存在耗时长、工作量大、工作效率低等不足;而传统的视频采集方式通常是通过在监控杆或桥梁立杆上安装多组摄像头采集车辆的三维数据,由于交通辅助设施高度的限制,摄像头在桥长方向上的观察视野有限,很难获取某一时刻桥面车辆的整体分布情况,且无法获取车辆的车重信息,对于桥面车辆的分布情况以及车辆的速度等参数无法准确测量。此外,交通监测任务通常是由多组摄像头协同完成,一旦其中一个摄像头出现故障,可能会造成车辆信息的缺失,影响交通量的统计结果。
发明内容
有鉴于此,本发明实施例提供一种基于高空航拍图像的桥面车辆荷载识别方法和***,降低计算量,同时提高识别效率及识别准确率。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本发明实施例提供了一种基于高空航拍图像的桥面车辆荷载识别方法,包括如下步骤:
一种基于高空航拍图像的桥面车辆荷载识别方法,其特征在于,包括如下步骤:
构建车型与车重比对数据库;
采集高空航拍的桥面车辆图像;
对所接收的桥面车辆图像进行预处理后,进行车辆阴影过滤,得到干净的桥面车辆图像;
构建车辆识别模型,将所述干净的桥面车辆图像输入所述车辆识别模型对桥面车辆进行识别,并输出所识别的车辆参数;所述车辆参数包括:车型及车向、车数和车间距;
根据所构建的车辆比对数据库及所识别的车辆参数,通过统计学的方法得到桥面车辆荷载分布。
作为本发明的一个优选实施例,所述采集高空航拍的桥面车辆图像,包括
步骤S21,在桥面上空布设无人机,且无人机通过云台携带有摄像装置,所述摄像装置的视野范围为整个桥面;
步骤S22,调整飞行参数,使得摄像装置对桥面进行俯拍,采集整个桥面的每一个车辆图像,并将桥面车辆图像传输给上位机。
作为本发明的一个优选实施例,所述俯拍的高度为50~200m。
作为本发明的一个优选实施例,所述车辆阴影过滤,包括:
步骤S31,根据桥面车辆图像获得图像的三色通道红R、绿G、蓝B亮度值矩阵,其中第m行数,第n列像素点的三色通道亮度值表示为R(m,n),G(m,n),B(m,n);
作为本发明的一个优选实施例,所述车辆识别模型,采用YOLO-V3网络结构进行构建。
作为本发明的一个优选实施例,所述YOLO-V3网络结构不存在池化层,且在输出张量方面,输出3个不同尺度的特征图。
作为本发明的一个优选实施例,所述3个不同尺度的特征图,采用3种不同的网格来对原始图像进行划分来实现,包括针对大物体的16*16网格,针对中等物体的26*26网格,和针对细小物体的52*52网格。
作为本发明的一个优选实施例,所述对桥面车辆进行识别,包括如下步骤:
步骤S411,提取基于车辆外观和轮廓的第一特征,基于第一特征对图像中的车辆进行初分类,采用特征明显且数量较少的车辆类型,对短时差内该车辆所处的位置进行识读,根据车辆所在照片中所处位置判断车流行进方向;
步骤S412,针对每一个车流行进方向,通过距离最远的两辆车辆确定车道的宽度,根据车道宽度对不同车道进行相应的划分,将每辆车划分至各自车道,识别每个车道中的车间距;
步骤S413,提取基于车辆长宽比的第二特征,识别出图像中每辆车的车型,并计算每种车型的车数。
作为本发明的一个优选实施例,所述车间距参数,根据小孔成像的原理,相机的成像V大小与物体U的大小、小孔的大小Φ物体距摄像头的距离W及象离摄像头的距离X有关,其关系如下式:
所述车辆识别模型根据上述原理及所接收的桥面车辆图像,得出图像中车辆间的车间距。
第二方面,本发明实施例还提供了一种基于高空航拍图像的桥面车辆荷载识别***,所述***包括:车辆比对数据库模块、图像采集模块、图像处理模块、车辆识别模块和车辆数据分析模块;其中,
所述图像采集模块用于采集高空航拍的桥面车辆图像;
所述车辆比对数据库模块用于构建车型与车重比对数据库;
所述图像处理模块用于对所接收的桥面车辆图像进行预处理后,进行车辆阴影过滤,得到干净的桥面车辆图像;
所述车辆识别模块用于构建通过车辆识别模型,将所述干净的桥面车辆图像输入所述车辆识别模型对桥面车辆进行识别,并输出所识别的车辆参数;所述车辆参数包括:车型及车向、车数和车间距;
所述车辆数据分析模块用于根据所构建的车辆比对数据库及所识别的车辆参数,通过统计学的方法得到桥面车辆荷载分布。
本发明实施例所提供的技术方案具有如下有益效果:
本发明实施例所提供的基于高空航拍图像的桥面车辆荷载识别方法及***,首先对采集的高空航拍的桥面车辆图像进行阴影过滤,在忽略了车辆本身的高度的前提下消除车辆阴影引起的车辆识别误差,不仅降低了计算量,同时提高了识别效率及识别准确率,适用于各种类型桥梁的瞬时/长期车辆荷载监测。相比于固定摄像头,本发明提出的基于高空航拍图像的车辆荷载识别方法具有更高的灵活性,能观察到整个桥面在某一时刻所有车辆的分布情况。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例的基于高空航拍图像的桥面车辆荷载识别方法流程图;
图2为本发明实施例的基于高空航拍图像的桥面车辆荷载识别***结构示意图;
图3为本发明实施例中阴影区域RGB值统计图;
图4为本发明实施例中桥面背景区域RGB值统计图;
图5为本发明实施例中车型识别训练结果;
图6为本发明实施例中第一时段车数统计结果图;
图7为本发明实施例中第二时段车数统计结果图;
图8为本发明实施例中第三时段车数统计结果图;
图9为本发明实施例中不同车型车辆间距对比图;
具体实施方式
本申请发明人在发现上述问题后,对现有技术中桥面车辆荷载分布统计方法进行了深入研究。研究发现,机器视觉统计方法具有远远超过人工统计方法的诸多优势,且随着机器视觉技术的快速发展与应用,已有许多基于图像处理技术的交通量识别成果,但是基于桥面摄像的图像无法满足桥面车辆荷载分析的需要。
无人机因其具有体积小和机动性强等优势,可以克服传统图像采集***的缺陷,越来越多的被应用到智能交通***中。交通量监测的主要任务是车辆数量的识别,车辆的高度信息可以忽略,通过航拍图像得到的车辆二维特征信息可以满***通量监测的任务需求,极大地降低运算量,提高车辆识别模型的工作效率。然而,在自然光照条件下,高空采集的航拍图像中,部分车辆的阴影图像与车辆图像粘结在一起,车辆阴影可能会被当作车辆进行识别,降低模型识别的准确率,使得交通量统计的误差变大。
应注意的是,以上现有技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案,都应该是发明人在本发明过程中对本发明做出的贡献。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征也可以相互组合。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中,术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
经过上述深入分析后,本发明实施例提供了一种基于高空航拍图像的桥面车辆荷载识别方法和***,基于所采集的航拍俯视图图像,忽略了车辆本身的高度,在满足识别要求的前提下降低了计算量,克服传统识别手段中视野高度受限的问题,提高了识别效率;在识别过程中,通过利用车辆阴影和车辆以及桥面背景色素值之间的差异,消除车辆阴影识别的误差,实现桥面车辆荷载的快速识别,且有效地提高其检测识别准确率,且适用于各种类型桥梁的瞬时/长期车辆荷载监测。
参见图1,本发明实施例所提供的基于高空航拍图像的桥面车辆荷载识别方法,包括如下步骤:
步骤S1,构建车型与车重比对数据库。
本步骤中,所述构建车型与车重比对数据库,将车型与车重进行一一配对。所述车型,通过车辆的长宽比进行分类。优选地,所述的车型与车重对比数据库共包含七类车型,车型如表1所示,车辆轴重分布如表2所示。
表1
表2
车型代号 | 轴数 | 总重/KN | 轴重/kN | 轴距/mm |
V1 | 2 | 19 | 9+10 | 2749 |
V2 | 2 | 60 | 21+39 | 4320 |
V3 | 2 | 130 | 60+70 | 4000 |
V4 | 2 | 140 | 65+75 | 4300 |
V5 | 2 | 160 | 55+105 | 4000 |
V6 | 3 | 250 | 50+100+100 | 4100+1360 |
V7 | 4 | 310 | 45+95+85+85 | 1860+3560+1350 |
V8 | 5 | 420 | 40+125+85+85+85 | 3600+5010+1310+1310 |
V9 | 6 | 490 | 30+95+95+90+90+90 | 3270+1350+6230+1310+1310 |
步骤S2,采集高空航拍的桥面车辆图像。
本步骤中,具体包括:
步骤S21,在桥面上空布设无人机,且无人机通过云台携带有摄像装置,所述摄像装置的视野范围为整个桥面。
本步骤中,无人机所携带的云台和摄像装置可以对整个桥面进行俯拍。通过同时调整无人机的点位及摄像装置的角度,无论无人机处于桥面上空的哪个点位,都可以实现对整个桥面的拍摄。
步骤S22,调整飞行参数,使得摄像装置对桥面进行俯拍,采集整个桥面的每一个车辆图像,并将桥面车辆图像传输给上位机。
本步骤中,摄像装置可以忽略车辆本身的细节,但需对车辆的轮廓线进行完整拍摄;同时需同时采集到实时的车辆阴影。所述调整飞行参数,以车辆长度与飞行高度的比值表示,通过调整飞行参数获取清晰、包含全桥车辆的图像。所述俯拍高度为50~200m。通过无人机的高空拍摄,忽略车辆高度的影响,只包含车辆的长度和宽度信息,在满足检测要求的前提下可以减少计算量,提高检测效率。
步骤S3,对所接收的桥面车辆图像进行预处理后,进行车辆阴影过滤,得到干净的桥面车辆图像。
本步骤中,所述车辆阴影过滤,包括阴影的检测与消除两个步骤,车辆的阴影检测通过桥面、车辆和车辆阴影RGB值的差异实现。通过车辆阴影过滤,降低车辆阴影对识别结果的影响,提高车辆识别准确率。具体包括:
步骤S31,根据桥面车辆图像获得图像的三色通道红(R)、绿(G)、蓝(B) 亮度值矩阵,其中第m行数,第n列像素点的三色通道亮度值表示为R(m,n),G(m,n),B(m,n);
本步骤中,所述各颜色车辆的三色通道亮度值均设置有阈值,所述阈值列入表3。
表3
步骤S4,构建车辆识别模型,将所述干净的桥面车辆图像输入所述车辆识别模型对桥面车辆进行识别,并输出所识别的车辆参数;所述车辆参数包括:车型及车向、车数和车间距。
本步骤中,所述车辆识别模型,采用YOLO-V3网络结构进行构建。优选地,所述YOLO-V3网络结构不存在池化层,所述YOLO-V3网络结构在输出张量方面,输出了3个不同尺度的特征图,分别为y1、y2和y3。本实施例中采用了多尺度对不同的目标进行检测,栅格单元越精细,可以检测出的物体就越精细。优选地,本实施例中采用3种不同的网格来实现对原始图像的划分,16*16针对的是对大物体,26*26针对的是中等物体,52*52是三种网格中划分最细的,针对的是小物体。
YOLO模型损失函数要由各自的特点来确定,通过一个损失函数得到端对端的训练。
其中,所述车型及车向参数,对于桥面车辆图像首先要进行车流行进方向的识别,所述车辆识别模型采用对车辆长宽比进行分析,从而达到识别车流行进方向的目的,这是模型识别的第一步,这样就可以避免图像因为方向的不同而导致的识别效果达不到要求的问题。不同车道以及单个车道的区分通过距离不同的车辆来确定,通过距离最远的两辆车辆确定车道的宽度,根据车道宽度对不同车道进行相应的划分,进而达到将每辆车划分至各自车道的目的。车型参数包括车辆的长宽比(L/B)。对图像中车辆的类型根据图片中每辆车的长宽比,通过训练之后实现对不同车型的区分。
具体地,所述对桥面车辆进行识别,包括如下步骤:
步骤S411,提取基于车辆外观和轮廓的第一特征,基于第一特征对图像中的车辆进行初分类,采用特征明显且数量较少的车辆类型,对短时差内该车辆所处的位置进行识读,根据车辆所在照片中所处位置判断车流行进方向;
步骤S412,针对每一个车流行进方向,通过距离最远的两辆车辆确定车道的宽度,根据车道宽度对不同车道进行相应的划分,将每辆车划分至各自车道,识别每个车道中的车间距,所识别的参数还可以包括车速;
步骤S413,提取基于车辆长宽比的第二特征,识别出图像中每辆车的车型,并计算每种车型的车数。
所述车辆数量参数,YOLO采用的是基于回归方法的深度学习检测算法,对图像中车数识别。车数识别是调用detector中的test-detector函数,修改批处理,统计返回每张图片的检测目标数量,增加返回值,最后重新编译darknet,测试的图像就会显示检测的物体分类和数量。YOLO算法主题思想是利用网络结构中优秀的分类器,对图片中的目标物体范围进行获取,然后通过上采样及损失函数不断迭代,将目标精确至某个位置。对于车数检测比较简单,根据每个判断目标与检测线的位置关系来完成计数。
所述车间距参数,根据小孔成像的原理,相机的成像(V)大小与物体(U) 的大小、小孔的大小(Φ)物体距摄像头的距离(W)及象离摄像头的距离(X) 有关,其关系如下式:
所述车辆识别模型根据上述原理及所接收的桥面车辆图像,得出图像中车辆间的车间距。
本实施例中,采用了间隔时刻固定的图像集,通过对其中固定某一辆车辆采取时间间隔相同、拍摄高度相同进行拍摄,并对拍摄所得的图像进行识别,通过两张图像车辆所在位置,标定车辆中心为特征点,通过这个特征点的位置差值,再加上时间间隔,从而得到车辆在行使时的车速。
步骤S5,根据所构建的车辆比对数据库及所识别的车辆参数,通过统计学的方法得到桥面车辆荷载分布。
本步骤中,将所识别的车辆参数,与已经标定的车型与车重比对数据库进行匹配,将识别出来的车辆转换成对应的车辆荷载,并结合车数、车间距等车辆特征信息,通过统计学的方法得到桥面车辆荷载分布情况。
基于同样的思想,本发明实施例还提供了一种基于高空航拍图像的桥面车辆荷载识别***,如图2所示,所述***包括:车辆比对数据库模块、图像采集模块、图像处理模块、车辆识别模块和车辆数据分析模块。
其中,所述图像采集模块用于采集高空航拍的桥面车辆图像。优选地,所述图像采集模块包括:无人机、云台和摄像装置;
所述车辆比对数据库模块用于构建车型与车重比对数据库;
所述图像处理模块用于对对所接收的桥面车辆图像进行预处理后,进行车辆阴影过滤,得到干净的桥面车辆图像并发送给所述车辆识别模块;
所述车辆识别模块用于构建车辆识别模型,将所述干净的桥面车辆图像输入所述车辆识别模型对桥面车辆进行识别,并输出所识别的车辆参数;所述车辆参数包括:车型及车向、车数和车间距;
所述车辆数据分析模块用于根据所构建的车辆比对数据库及所识别的车辆参数,通过统计学的方法得到桥面车辆荷载分布。
本实施例中各模块通过处理器实现,当需要存储时适当增加存储器。其中,所述处理器可以是但不限于微处理器MPU、中央处理器(Central Processing Unit, CPU)、网络处理器(Network Processor,NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件等。所述存储器可以包括随机存取存储器 (Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
需要说明的是,本实施例所述基于高空航拍图像的桥面车辆荷载识别***与方法是对应的,对所述***的描述与限定,同样适用于所述方法,在此不再赘述。
为便于对本发明实施方式的理解,下面将结合附图以具体实施例为例做进一步的解释说明,且实施例并不构成对本发明技术方案的限定。
以湘潭四桥为工程背景,针对湘潭四桥使用无人机获取相关图像信息并分析桥面车辆的荷载分布。步骤如下:
步骤S1,构建车型与车重比对数据库,本实施例中采用表1和表2的数据。
步骤S2,在湘潭四桥上空布设无人机,无人机通过云台携带有摄像机。摄像机及云台参数分别如表4和表5所示。
表4
表5
调整飞行参数,将无人飞机高度提升至200m飞行高度,进行不同时段 (7:30-7:50、8:00-8:20、9:30-9:50、10:00-10:20、11:30-11:50、12:00-12:20、 14:30-14:50、16:30-16:50、17:00-17:20、18:30-18:50和19:00-19:20)的桥面航拍采集桥面车辆图像。
需要说明的是,本实施例中分别对50m、100m、150m、200m和300m飞行高度的图片进行测试,各飞行高度下识别率如表6所示。
表6
飞行高度/m | 识别率 |
50 | 99% |
100 | 97% |
150 | 90% |
200 | 89% |
300 | 5% |
对50m、100m、150m、200m以及300m的不同飞行高度拍摄的图像的识别结果进行分析,可以看出当飞行高度达到300m时,拍摄的图像识别基本无效。对于300m以下拍摄的图像识别效果基本可以达到研究要求,且最低准确率也达到了89%,并且模型也具有很好的鲁棒性。考虑到都桥梁整体研究以及图像在图像广度和在模型识别准确率的原因,通过对不同飞行高度拍摄的图像的对比,本文对图像的采集均在200m高度来进行。
步骤S3,对所接收的桥面车辆图像预处理后,进行车辆阴影过滤,在有阴影的图像中选择35个阴影区域作为阴影RGB值样本,每个区域随机选取3个点作为样本,取每个区域内3个点的平均值作为该区域的代表值进行统计,统计结果如图3所示。同样的,对桥面RGB值进行统计分析,其结果如图4所示。
从图3中可知,桥面车辆阴影区域的R值的取值范围为80-100,G值的取值范围为105-125,B值的取值范围为125-145。图4的结果表明,桥面背景区域在不同亮度条件下,其R值、G值、B值基本在160-185的范围内波动,对桥面背景区域的R值、G值、B值分别计算其均值得到R值均值为169,G值均值为172,B值均值为168。
对常见的不同颜色车辆进行取点识别,各种颜色车辆R值、G值和B值取值区间如表7所示。
从图3-4和表7的中的统计结果可知,车辆阴影在靠近车辆的位置相比于车辆的位置的色度值更小,图像显示为颜色越深,反之颜色越浅,即阴影的梯度变化。根据阴影梯度原理,对阴影的检测就是对区域中的R值、G值、B值进行检测,图像中某个区域的R值、G值、B值的取值只有符合阴影部分的R值、 G值、B值的取值范围,才能识别出阴影。编制相应的MATLAB程序实现阴影的识别与替换过程,其阴影识别与替换伪代码如表7所示。
表7
步骤S4,构建通过车辆识别模型,将所述干净的桥面车辆图像输入所述车辆识别模型对桥面车辆进行识别,并输出所识别的车辆参数;所述车辆参数包括:车型及车向、车数和车间距。
其中,车型识别如下:
将采集到的航拍图像作为识别模型的输入端输入,利用YOLO V3网络进行桥面车辆车型识别,车型识别训练效果如附图5所示。
车数识别如下:
由于无人机单次巡航时间为20分钟,飞行时间有限,选取9:40-9:50、 11:50-12:00和18:50-19:00几个时段采集的图像为基础,通过YOLO模型识别得到的车型、车数的数据,将模型检测的数据与同时段人工采集的数据进行对比分析,验证基于航拍图像识别车流量的可行性,实验结果如图6-8所示。
从图6-8中可以看出,对于每一个时段车数统计,与基于人工统计的方法相比,基于无人机的车数统计值均小于基于人工统计的值,最小的误差为2.96%, 最大的误差为5.11%,但总体车数统计误差为3.86%,在误差允许范围内。
车间距识别如下:
对200m桥长内的车辆数据进行分析,通过对采集图片中车流较为密集的图像作为研究数据集,利用YOLO模型识别得到的车间距信息,采集的数据为5 天采集周期的数据,对采集的数据取3000张图像作为研究样本,对各时段分别采取600张来进行检测,时段为7:30-8:30、9:30-10:30、11:30-12:30、16:30-17:30 和18:30-19:30,对这几个时段的选取原则上其包括了桥梁运营期间的早高峰、晚高峰以及正常运行状态下的车流,因此对样本的分析比较合理。对于图像中车辆间距的均值处理按照公式(1)进行。
平均间距:
对于湘潭四桥,通过此方法得到各个时段不同车道间的车数、车型以及车间距数据,对总体数据进行统计。对采集得到的3000张图像中车间距信息统计分析,通过单张图像的车间距求取平均间距,得到单张图像中的平均车间距,对样本中3000张图像采用相同的方法进行数据处理,对于每个车道的3000组数据在进行均值处理,保证95%置信度得到各个车道间距的均值,其结果如附图9所示。
车速识别如下:
在对湘潭四桥高峰时段车辆时速采集的时间段取早上7:30至9:30时段,晚上5:30至7:30时段,通过对采集的图像进行处理,建立速度识别的数据集,列入表8中,通过图像识别模型识别200m飞行高度以及固定时间段的图像,进而得到同一辆车的时速。
表8
车型 | 一型车 | 二型车 | 三型车 | 四型车 | 五型车 | 六型车 | 七型车 |
车辆数/辆 | 2368 | 97 | 261 | 71 | 24 | 4 | 94 |
平均车速km/h | 79.5 | 66.5 | 70.2 | 63.4 | 70.6 | 68.3 | 69.4 |
步骤S5,车辆荷载分布统计:由于车流拥堵运行状态对桥梁结构所产生的作用最不利,因此后续的分析均为密集运行状态下车流。对于桥梁的汽车荷载研究采用回归分析法,通过模型识别出此时刻图像中各种车辆的车型、车数和车间距,车型与车重对比数据库中各类车辆的车重信息,通过对不同时段采集图像中进行分析研究,建立样本容量为1500张图像的样本,对荷载计算采取计算荷载集度的方法来进行研究,主要公式如下:
各车型占比可按下式计算:
荷载集度计算公式如下:
式(2)和(3)中:ti为各车型的车重均值;l为图像采集长度;z为样本数量;m 为车辆总数。
对于各车型的车重和分布进行拟合,其服从正态分布的形式,因此对于各车型车重和的分布函数为:
对1500张样本进行分车道统计,得到各车道的车型及车数数据,以此为依托计算得到各个桥梁的车型占比。对各桥荷载集度计算建立样本容量相对较小的样本,此目的主要是选取桥梁运营期间的密集状态来进行分析,对小样本的选取需要遵循车辆居多的原则,并对不同采集长度的工况进行分析,从而得到在桥梁运营期间的荷载集度。
在对四桥集度进行计算时,由于四桥车流组成包括一型车至七型车的多种车型,因此在参考车重数据后,对一型至四型车采用均布荷载计算其集度,而五型至七型等重车车辆作为集中荷载进行计算,采取小采集长度,车流密集的情况来进行,选取在固定采集长度下的密集状态车流进行集度计算。对四桥各车道荷载集度计算值如表9所示。
表9
对于重车荷载的研究以四桥重车为基础来进行对上一节对四桥建立的1500 样本为研究对象,对不同的采集长度下的重车进行荷载计算,对不同采集长度下密集车流进行统计并进行集中荷载换算。对1500张样本中各车道的重车车数、车型进行统计,如表10所示。
表10
对于重车荷载的研究为密集运行状态下的车流荷载效应,鉴于四桥属于大跨径桥梁,因此对于四桥重车荷载作为集中力进行加载研究。此方法对重车荷载研究需要根据重车的轴距及轴重分配进行单车的均布荷载拟合,因此对于各车型的轴距、轴重等数据需进行统计,重车车型轴距及轴重分配如表11所示。
表11
车型 | 总重/KN | 轴距/mm | 轴重/KN |
五型车 | 321 | 1860+3560+1350 | 49+100+86+86 |
六型车 | 439 | 3600+5010+1310+1310 | 43+132+88+88+88 |
七型车 | 495 | 3270+1350+6230+1310+1310 | 30+99+99+89+89+89 |
对统计得到的样本中重车分车道进行统计,对密集状态重车工况进行分析,在对数据进行整理之后,得到在单车道最密集重车流图像,其车数如表12所示。
表12
通过结合各车型轴距及轴重数据,得到各车型单车均布荷载值,如表13所示:
表13
由以上技术方案可以看出,本发明实施例所提供的基于高空航拍图像的桥面车辆荷载识别方法和***,首先对采集的高空航拍的桥面车辆图像进行阴影过滤,在忽略了车辆本身的高度的前提下消除车辆阴影识别的误差,不仅降低了计算量,同时提高了识别效率及识别准确率,适用于各种类型桥梁的瞬时/长期车辆荷载监测。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于高空航拍图像的桥面车辆荷载识别方法,其特征在于,包括如下步骤:
构建车型与车重比对数据库;
采集高空航拍的桥面车辆图像;
对所接收的桥面车辆图像进行预处理后,进行车辆阴影过滤,得到干净的桥面车辆图像;
构建车辆识别模型,将所述干净的桥面车辆图像输入所述车辆识别模型对桥面车辆进行识别,并输出所识别的车辆参数;所述车辆参数包括:车型及车向、车数和车间距;
根据所构建的车辆比对数据库及所识别的车辆参数,通过统计学的方法得到桥面车辆荷载分布。
2.根据权利要求1所述的基于高空航拍图像的桥面车辆荷载识别方法,其特征在于,所述采集高空航拍的桥面车辆图像,包括
步骤S21,在桥面上空布设无人机,且无人机通过云台携带有摄像装置,所述摄像装置的视野范围为整个桥面;
步骤S22,调整飞行参数,使得摄像装置对桥面进行俯拍,采集整个桥面的每一个车辆图像,并将桥面车辆图像传输给上位机。
3.根据权利要求2所述的基于高空航拍图像的桥面车辆荷载识别方法,其特征在于,所述俯拍的高度为50~200m。
4.根据权利要求1所述的基于高空航拍图像的桥面车辆荷载识别方法,其特征在于,所述车辆阴影过滤,包括:
步骤S31,根据桥面车辆图像获得图像的三色通道红R、绿G、蓝B亮度值矩阵,其中第m行数,第n列像素点的三色通道亮度值表示为R(m,n),G(m,n),B(m,n);
5.根据权利要求1所述的基于高空航拍图像的桥面车辆荷载识别方法,其特征在于,所述车辆识别模型,采用YOLO-V3网络结构进行构建。
6.根据权利要求5所述的基于高空航拍图像的桥面车辆荷载识别方法,其特征在于,所述YOLO-V3网络结构不存在池化层,且在输出张量方面,输出3个不同尺度的特征图。
7.根据权利要求5所述的基于高空航拍图像的桥面车辆荷载识别方法,其特征在于,所述3个不同尺度的特征图,采用3种不同的网格来对原始图像进行划分来实现,包括针对大物体的16*16网格,针对中等物体的26*26网格,和针对细小物体的52*52网格。
8.根据权利要求5所述的基于高空航拍图像的桥面车辆荷载识别方法,其特征在于,所述对桥面车辆进行识别,包括如下步骤:
步骤S411,提取基于车辆外观和轮廓的第一特征,基于第一特征对图像中的车辆进行初分类,采用特征明显且数量较少的车辆类型,对短时差内该车辆所处的位置进行识读,根据车辆所在照片中所处位置判断车流行进方向;
步骤S412,针对每一个车流行进方向,通过距离最远的两辆车辆确定车道的宽度,根据车道宽度对不同车道进行相应的划分,将每辆车划分至各自车道,识别每个车道中的车间距;
步骤S413,提取基于车辆长宽比的第二特征,识别出图像中每辆车的车型,并计算每种车型的车数。
10.一种基于高空航拍图像的桥面车辆荷载识别***,其特征在于,所述***包括:车辆比对数据库模块、图像采集模块、图像处理模块、车辆识别模块和车辆数据分析模块;其中,
所述图像采集模块用于采集高空航拍的桥面车辆图像;
所述车辆比对数据库模块用于构建车型与车重比对数据库;
所述图像处理模块用于对所接收的桥面车辆图像进行预处理后,进行车辆阴影过滤,得到干净的桥面车辆图像;
所述车辆识别模块用于构建通过车辆识别模型,将所述干净的桥面车辆图像输入所述车辆识别模型对桥面车辆进行识别,并输出所识别的车辆参数;所述车辆参数包括:车型及车向、车数和车间距;
所述车辆数据分析模块用于根据所构建的车辆比对数据库及所识别的车辆参数,通过统计学的方法得到桥面车辆荷载分布。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211021016.1A CN115482474B (zh) | 2022-08-24 | 2022-08-24 | 一种基于高空航拍图像的桥面车辆荷载识别方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211021016.1A CN115482474B (zh) | 2022-08-24 | 2022-08-24 | 一种基于高空航拍图像的桥面车辆荷载识别方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115482474A true CN115482474A (zh) | 2022-12-16 |
CN115482474B CN115482474B (zh) | 2023-07-04 |
Family
ID=84422516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211021016.1A Active CN115482474B (zh) | 2022-08-24 | 2022-08-24 | 一种基于高空航拍图像的桥面车辆荷载识别方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115482474B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115858831A (zh) * | 2023-02-22 | 2023-03-28 | 北京阿玛西换热设备制造有限公司 | 一种数据库用数据存储方法 |
CN116311150A (zh) * | 2023-01-03 | 2023-06-23 | 中设科欣设计集团有限公司 | 一种基于特定车辆挠度监测的桥梁损伤评定及预警方法 |
CN117058600A (zh) * | 2023-10-13 | 2023-11-14 | 宁波朗达工程科技有限公司 | 区域桥梁群车流荷载识别方法及*** |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102810250A (zh) * | 2012-07-31 | 2012-12-05 | 长安大学 | 基于视频的多车型交通信息检测方法 |
CN102842037A (zh) * | 2011-06-20 | 2012-12-26 | 东南大学 | 一种基于多特征融合的车辆阴影消除方法 |
CN103136537A (zh) * | 2012-12-12 | 2013-06-05 | 惠州学院 | 一种基于支持向量机的车型识别方法 |
CN104732013A (zh) * | 2015-02-12 | 2015-06-24 | 长安大学 | 一种单车通过多梁式桥梁的车辆荷载识别方法 |
CN105005766A (zh) * | 2015-07-01 | 2015-10-28 | 深圳市迈科龙电子有限公司 | 一种车身颜色识别方法 |
CN106408938A (zh) * | 2016-09-13 | 2017-02-15 | 天津工业大学 | 夜间城市交通监控中各类车辆轨迹的完整提取 |
CN107122758A (zh) * | 2017-05-11 | 2017-09-01 | 南宁市正祥科技有限公司 | 一种车型识别和车流量检测方法 |
CN107220949A (zh) * | 2017-05-27 | 2017-09-29 | 安徽大学 | 公路监控视频中运动车辆阴影的自适应消除方法 |
CN108710875A (zh) * | 2018-09-11 | 2018-10-26 | 湖南鲲鹏智汇无人机技术有限公司 | 一种基于深度学习的航拍公路车辆计数方法及装置 |
CN108914815A (zh) * | 2018-05-17 | 2018-11-30 | 中铁大桥科学研究院有限公司 | 桥面车辆荷载识别装置、桥梁及桥梁荷载分布识别方法 |
CN109118776A (zh) * | 2018-10-10 | 2019-01-01 | 中交基础设施养护集团有限公司 | 一种基于桥梁监测数据识别车辆荷载空间分布的方法 |
CN110060221A (zh) * | 2019-04-26 | 2019-07-26 | 长安大学 | 一种基于无人机航拍图像的桥梁车辆检测方法 |
CN111709332A (zh) * | 2020-06-04 | 2020-09-25 | 浙江大学 | 基于稠密卷积神经网络的桥梁车辆荷载时空分布识别方法 |
CN112906105A (zh) * | 2021-01-22 | 2021-06-04 | 中铁大桥局集团有限公司 | 社会车辆加载下的服役桥梁快速荷载试验方法 |
CN112906647A (zh) * | 2021-03-24 | 2021-06-04 | 杭州鲁尔物联科技有限公司 | 小跨径桥梁载重监测方法、装置、计算机设备及存储介质 |
CN113221682A (zh) * | 2021-04-27 | 2021-08-06 | 天津大学 | 基于计算机视觉的桥梁车辆荷载时空分布细粒度识别方法 |
CN113450573A (zh) * | 2020-03-25 | 2021-09-28 | 重庆翼动科技有限公司 | 基于无人机图像识别的交通监测方法和交通监测*** |
CN113837007A (zh) * | 2021-08-23 | 2021-12-24 | 哈尔滨工业大学 | 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法 |
CN114187219A (zh) * | 2021-12-06 | 2022-03-15 | 广西科技大学 | 基于红绿蓝二重差分的移动目标阴影实时消除方法 |
CN114822029A (zh) * | 2022-04-26 | 2022-07-29 | 广州大学 | 桥面车流荷载时空分布重构方法、***及装置 |
CN114936398A (zh) * | 2022-05-12 | 2022-08-23 | 石家庄铁道大学 | 一种基于车桥耦合及随机车辆荷载模型的荷载效应计算方法 |
-
2022
- 2022-08-24 CN CN202211021016.1A patent/CN115482474B/zh active Active
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102842037A (zh) * | 2011-06-20 | 2012-12-26 | 东南大学 | 一种基于多特征融合的车辆阴影消除方法 |
CN102810250A (zh) * | 2012-07-31 | 2012-12-05 | 长安大学 | 基于视频的多车型交通信息检测方法 |
CN103136537A (zh) * | 2012-12-12 | 2013-06-05 | 惠州学院 | 一种基于支持向量机的车型识别方法 |
CN104732013A (zh) * | 2015-02-12 | 2015-06-24 | 长安大学 | 一种单车通过多梁式桥梁的车辆荷载识别方法 |
CN105005766A (zh) * | 2015-07-01 | 2015-10-28 | 深圳市迈科龙电子有限公司 | 一种车身颜色识别方法 |
CN106408938A (zh) * | 2016-09-13 | 2017-02-15 | 天津工业大学 | 夜间城市交通监控中各类车辆轨迹的完整提取 |
CN107122758A (zh) * | 2017-05-11 | 2017-09-01 | 南宁市正祥科技有限公司 | 一种车型识别和车流量检测方法 |
CN107220949A (zh) * | 2017-05-27 | 2017-09-29 | 安徽大学 | 公路监控视频中运动车辆阴影的自适应消除方法 |
CN108914815A (zh) * | 2018-05-17 | 2018-11-30 | 中铁大桥科学研究院有限公司 | 桥面车辆荷载识别装置、桥梁及桥梁荷载分布识别方法 |
CN108710875A (zh) * | 2018-09-11 | 2018-10-26 | 湖南鲲鹏智汇无人机技术有限公司 | 一种基于深度学习的航拍公路车辆计数方法及装置 |
CN109118776A (zh) * | 2018-10-10 | 2019-01-01 | 中交基础设施养护集团有限公司 | 一种基于桥梁监测数据识别车辆荷载空间分布的方法 |
CN110060221A (zh) * | 2019-04-26 | 2019-07-26 | 长安大学 | 一种基于无人机航拍图像的桥梁车辆检测方法 |
CN113450573A (zh) * | 2020-03-25 | 2021-09-28 | 重庆翼动科技有限公司 | 基于无人机图像识别的交通监测方法和交通监测*** |
CN111709332A (zh) * | 2020-06-04 | 2020-09-25 | 浙江大学 | 基于稠密卷积神经网络的桥梁车辆荷载时空分布识别方法 |
CN112906105A (zh) * | 2021-01-22 | 2021-06-04 | 中铁大桥局集团有限公司 | 社会车辆加载下的服役桥梁快速荷载试验方法 |
CN112906647A (zh) * | 2021-03-24 | 2021-06-04 | 杭州鲁尔物联科技有限公司 | 小跨径桥梁载重监测方法、装置、计算机设备及存储介质 |
CN113221682A (zh) * | 2021-04-27 | 2021-08-06 | 天津大学 | 基于计算机视觉的桥梁车辆荷载时空分布细粒度识别方法 |
CN113837007A (zh) * | 2021-08-23 | 2021-12-24 | 哈尔滨工业大学 | 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法 |
CN114187219A (zh) * | 2021-12-06 | 2022-03-15 | 广西科技大学 | 基于红绿蓝二重差分的移动目标阴影实时消除方法 |
CN114822029A (zh) * | 2022-04-26 | 2022-07-29 | 广州大学 | 桥面车流荷载时空分布重构方法、***及装置 |
CN114936398A (zh) * | 2022-05-12 | 2022-08-23 | 石家庄铁道大学 | 一种基于车桥耦合及随机车辆荷载模型的荷载效应计算方法 |
Non-Patent Citations (5)
Title |
---|
JOSEPH REDMON等: "YOLOv3: An Incremental Improvement", 《ARXIV:1804.02767V1 [CS.CV]》, pages 1 - 5 * |
RITA CUCCHIARA等: "Improving Shadow Suppression in Moving Object Detection with HSV Color Information", 《2001 IEEE INTELLIGENT TRANSPORTATION SYSTEMS CONFERENCE PROCEEDINGS - OAKLAND (CA)》, pages 334 - 339 * |
冯文刚等: "多颜色空间中目标约束的车辆阴影分割研究", 《中国图象图形学报》, pages 1599 - 1606 * |
陈艾荣等: "苏通大桥运营阶段车辆荷载识别及其特性", 《重庆交通大学学报(自然科学版)》, pages 729 - 733 * |
陶兴旺: "基于监测响应的桥梁车辆荷载识别", 《万方》, pages 1 - 5 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116311150A (zh) * | 2023-01-03 | 2023-06-23 | 中设科欣设计集团有限公司 | 一种基于特定车辆挠度监测的桥梁损伤评定及预警方法 |
CN116311150B (zh) * | 2023-01-03 | 2023-11-14 | 中设科欣设计集团有限公司 | 一种基于特定车辆挠度监测的桥梁损伤评定及预警方法 |
CN115858831A (zh) * | 2023-02-22 | 2023-03-28 | 北京阿玛西换热设备制造有限公司 | 一种数据库用数据存储方法 |
CN117058600A (zh) * | 2023-10-13 | 2023-11-14 | 宁波朗达工程科技有限公司 | 区域桥梁群车流荷载识别方法及*** |
CN117058600B (zh) * | 2023-10-13 | 2024-01-26 | 宁波朗达工程科技有限公司 | 区域桥梁群车流荷载识别方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN115482474B (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115482474A (zh) | 一种基于高空航拍图像的桥面车辆荷载识别方法和*** | |
CN110135269B (zh) | 一种基于混合颜色模型与神经网络的火灾图像检测方法 | |
CN110175576A (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
CN109284786B (zh) | 基于分布和结构匹配生成对抗网络的sar图像地物分类方法 | |
CN110910378B (zh) | 一种基于深度融合网络的双模态图像能见度检测方法 | |
CN105469098B (zh) | 一种自适应特征权重合成的lidar数据地物精确分类方法 | |
CN109190444A (zh) | 一种基于视频的收费车道车辆特征识别***的实现方法 | |
CN110889398B (zh) | 一种基于相似度网络的多模态图像能见度检测方法 | |
CN108760740B (zh) | 一种基于机器视觉的路面抗滑性能快速检测方法 | |
CN109101924A (zh) | 一种基于机器学习的路面交通标志识别方法 | |
CN110796152A (zh) | 一种基于倾斜摄影的群体建筑物震害提取方法及*** | |
CN101799921A (zh) | 一种光学遥感图像云检测方法 | |
CN109034024B (zh) | 基于图像目标检测的物流车辆车型分类识别方法 | |
CN109978032A (zh) | 基于空间金字塔空洞卷积网络的桥梁裂缝检测方法 | |
CN104217217A (zh) | 一种基于两层分类的车辆标志物检测方法与*** | |
CN104298969A (zh) | 基于颜色与haar特征融合的人群规模统计方法 | |
CN106407951A (zh) | 一种基于单目视觉的夜间前方车辆检测方法 | |
CN113450573A (zh) | 基于无人机图像识别的交通监测方法和交通监测*** | |
CN113781537A (zh) | 一种轨道弹条扣件缺陷识别方法、装置和计算机设备 | |
CN113706496B (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
CN111259833A (zh) | 一种基于交通图像的车辆计数方法 | |
CN114494845A (zh) | 一种用于施工项目现场人工智能隐患排查***及其排查方法 | |
CN107273889A (zh) | 一种基于统计的车牌识别方法 | |
CN109325426A (zh) | 一种基于三正交平面时空特征的黑烟车检测方法 | |
CN106824826B (zh) | 一种玉米单倍体分拣*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |