CN108364466B - 一种基于无人机交通视频的车流量统计方法 - Google Patents

一种基于无人机交通视频的车流量统计方法 Download PDF

Info

Publication number
CN108364466B
CN108364466B CN201810142484.1A CN201810142484A CN108364466B CN 108364466 B CN108364466 B CN 108364466B CN 201810142484 A CN201810142484 A CN 201810142484A CN 108364466 B CN108364466 B CN 108364466B
Authority
CN
China
Prior art keywords
vehicle
traffic
video
reference object
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810142484.1A
Other languages
English (en)
Other versions
CN108364466A (zh
Inventor
单晓峰
祁磊
王池社
黄继鹏
于沛泽
高阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Jinling Institute of Technology
Original Assignee
Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd, Jinling Institute of Technology filed Critical Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Priority to CN201810142484.1A priority Critical patent/CN108364466B/zh
Publication of CN108364466A publication Critical patent/CN108364466A/zh
Application granted granted Critical
Publication of CN108364466B publication Critical patent/CN108364466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于无人机交通视频的车流量统计方法，包括如下步骤：在需要统计车流量的路口，画定标志线；选定一个与周围环境有差异的参照物；跟踪参照物，计算参照物的相对偏移量，并根据偏移量修正标志线的位置；运用深度学习技术对视频中的车辆目标进行检测；提取目标区域的HOG特征，并使用训练好的机器学习分类模型进行预测，判断出对应车辆的类别；通过前后帧匹配，建立前后帧运动区域之间的联系，判断前后两帧区域的中心点是否在标记线两侧，分别统计左转、直行、右转的车辆类型和车辆数量；将流量信息导出并存储。本发明能统计并高精度的分析视频中不同车型的流量，极大地减轻工作人员的工作负荷，并且将大大提高工作效率。

Description

一种基于无人机交通视频的车流量统计方法
技术领域
本发明涉及一种基于无人机交通视频的车流量统计方法，具体通过计算机视觉技术分析无人机拍摄的交通视频，对路口的不同车型进行流量统计，该方法在智能交通、城市规划和建设等领域有着广泛的应用需求。
背景技术
无人机交通视频指用无人机对道路交通进行航拍获得的视频，具备一般摄像头所不能轻易拥有的视角，是分析交通实时路况、规划和建设交通设施等任务的一个客观依据。
为了更好地分析交通路口的车流量变化情况，通过部署监控摄像头，经过车辆检测、车辆分类、流量统计等操作，可以帮助交通道路设计人员更好地分析优化路口的情况，设计出更加符合实际需求的道路。
由于拍摄人员以及部署位置等因素，目前现有的无人机交通路口视频包含着各种角度（0~90度），高度（从地面到空中几十米）。同时，不同型号的摄像机也导致拍摄视频的分辨率无法统一（720P~4K）。除此之外，由于风力等外部环境的影响以及拍摄人员录制视频时可能的行为变化，导致视频图像常常包含大量抖动（特指100像素以上的数量级）。由于拍摄目标较小，所以一般的车流量分析方法对这种变化非常敏感。
发明内容
本发明针对现有技术中的不足，提供一种基于无人机交通视频的车流量统计方法。
为实现上述目的，本发明采用以下技术方案：
一种基于无人机交通视频的车流量统计方法，其特征在于，包括以下步骤：
步骤1）：在需要统计车流量的路口，画定标志线；
步骤2）：选定一个静止的且与周围环境在颜色或几何形状上有差异的参照物；
步骤3）：跟踪参照物，计算参照物的相对偏移量，并根据偏移量修正标志线的位置；
步骤4）：运用深度学习技术对视频中的车辆目标进行检测；
步骤5）：提取目标区域的HOG特征，并使用训练好的机器学习分类模型进行预测，判断出对应车辆的类别；
步骤6）：通过前后帧匹配，建立前后帧运动区域之间的联系，判断前后两帧区域的中心点是否在标记线两侧，分别统计左转、直行、右转的车辆类型和车辆数量；
步骤7）：视频处理结束后，自动将流量信息导出并存储。
为优化上述技术方案，采取的具体措施还包括：
所述步骤1）中的路口为十字路口，在十字路口处画定四条标志线。
所述步骤3）中，通过核相关滤波的目标跟踪方法跟踪已标记的参照物，每一帧都对参照物计算相对偏移量，并以相对偏移量修正标志线因视频抖动造成偏移的目标位置。
所述步骤5）中的机器学习分类模型采用如下方式建立：采用标记数据集的交互式工具对给定图像进行标记车辆的操作，以获得包括车型的车辆数据集，用作车辆检测与分类学习任务中的训练数据集；提取训练数据集的HOG特征，并训练机器学习分类模型。
所述机器学习分类模型可采用随机森林或SVM。
所述步骤6）中，前后帧匹配指根据前两帧目标区域中心点位置的变化，估算出当前帧该区域中心点的位置，取离预测中心点最近的区域进行匹配。
本发明的有益效果是：全自动对车辆进行流量统计和分类，大大提高了工作效率；深度学习技术精度高，对视角变化鲁棒；较好地解决了视频抖动带来的影响，减少了统计的错误率；前后帧匹配减少了采用多目标跟踪算法的时间开销。
附图说明
图1是本发明的***流程图。
图2是本发明的数据标记交互式工具示意图。
图3是本发明的车辆检测效果示意图。
图4是本发明的流量统计效果示意图。
图5是本发明的视频抖动解决示意图。
图6是本发明的车辆分类解决示意图。
图7是本发明的用户图形界面示意图。
具体实施方式
本发明的***流程图见图1，以下结合附图，并以十字路口为例，详细说明本发明的实施方式。
第一步，开发一个标记数据集的交互式工具。
如图2所示，可以实现在给定图像上进行标记车辆的操作，以获得一个包括小汽车、大客车、卡车等各种车型的车辆数据集，用作后续车辆检测与分类等学习任务中的训练集。
第二步，提取训练数据集的HOG（Histogram of Oriented Gradient，方向梯度直方图）特征，并训练随机森林、SVM（Support Vector Machine，支持向量机）等机器学习分类模型。通过计算机程序，这些模型利用车辆数据集进行学习，进而在车辆分类任务上的获得了性能改善。
第三步，在需要统计车流量的路口，划定标志线，例如：统计十字路口的车流量需要手工画四条标志线；选定一个静止的、与周围环境有较显著区别的参照物，如楼房、广告牌等与周围环境有着颜色或几何形状上的差异的目标。
第四步，进行车辆检测。
如图3所示，本发明使用深度学习技术进行车辆检测。深度学习技术是基于人工神经网络，使用神经科学的表示方法，将图像表示为如像素强度值的向量等形式，从而更容易地从实例中进行学习任务，其优点为用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征，精度高，对视角变化鲁棒。
第五步，进行流量统计。
如图4所示，通过对视频前后帧的匹配，得到运动车辆的行驶轨迹。在每个方向上驶入和驶出的道路上各划一条线，运用前后帧匹配的方法，从而可以分别统计得到从某一方向驶来在该十字路口左转、直行、右转的车辆数量（即碰到两条线）。进一步参见图5，考虑到若发生视频抖动，图像中某一个不动点也必定跟随发生移动，因此在图像中标记某一个静止的参照物（如楼房），通过跟踪该参照物的移动情况，用偏差来修正视频的抖动，从而使得车辆的流量统计更加准确。
第六步，进行车辆分类。
如图6所示，运用HOG特征，随机森林，SVM集成等机器学习方法，对视频中来往的车辆进行分类，即分别完成对小汽车、大客车、卡车等车辆的流量统计任务。取出一个运动区域，判断其是否为背景，若为背景，则判断下一个运动区域，否则判断其车型。
最后，结合图1和图7，本发明将以上六步工作的实现构建成了一个图形界面，方便用户进行操作与查看结果。
本发明通过无人机在十字路口拍摄交通视频，运用计算机视觉及机器学习等技术对车辆目标进行检测，统计并高精度的分析视频中不同车型的流量，极大地减轻交通相关部门工作人员的工作负荷，并且将大大提高工作效率。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种基于无人机交通视频的车流量统计方法，其特征在于，包括以下步骤：
步骤1）：在需要统计车流量的十字路口处，画定四条标志线；
步骤2）：选定一个静止的且与周围环境在颜色或几何形状上有差异的参照物；
步骤3）：跟踪参照物，计算参照物的相对偏移量，并根据偏移量修正标志线的位置；
步骤4）：运用深度学习技术对视频中的车辆目标进行检测；
步骤5）：提取目标区域的HOG特征，并使用训练好的机器学习分类模型进行预测，判断出对应车辆的类别；
步骤6）：通过前后帧匹配，建立前后帧运动区域之间的联系，判断前后两帧区域的中心点是否在标记线两侧，分别统计左转、直行、右转的车辆类型和车辆数量；
步骤7）：视频处理结束后，自动将流量信息导出并存储。
2.如权利要求1所述的一种基于无人机交通视频的车流量统计方法，其特征在于：所述步骤3）中，通过核相关滤波的目标跟踪方法跟踪已标记的参照物，每一帧都对参照物计算相对偏移量，并以相对偏移量修正标志线因视频抖动造成偏移的目标位置。
3.如权利要求1所述的一种基于无人机交通视频的车流量统计方法，其特征在于：所述步骤5）中的机器学习分类模型采用如下方式建立：采用标记数据集的交互式工具对给定图像进行标记车辆的操作，以获得包括车型的车辆数据集，用作车辆检测与分类学习任务中的训练数据集；提取训练数据集的HOG特征，并训练机器学习分类模型。
4.如权利要求3所述的一种基于无人机交通视频的车流量统计方法，其特征在于：所述机器学习分类模型可采用随机森林或SVM。
5.如权利要求1所述的一种基于无人机交通视频的车流量统计方法，其特征在于：所述步骤6）中，前后帧匹配指根据前两帧目标区域中心点位置的变化，估算出当前帧该区域中心点的位置，取离预测中心点最近的区域进行匹配。
CN201810142484.1A 2018-02-11 2018-02-11 一种基于无人机交通视频的车流量统计方法 Active CN108364466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810142484.1A CN108364466B (zh) 2018-02-11 2018-02-11 一种基于无人机交通视频的车流量统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810142484.1A CN108364466B (zh) 2018-02-11 2018-02-11 一种基于无人机交通视频的车流量统计方法

Publications (2)

Publication Number Publication Date
CN108364466A CN108364466A (zh) 2018-08-03
CN108364466B true CN108364466B (zh) 2021-01-26

Family

ID=63005893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810142484.1A Active CN108364466B (zh) 2018-02-11 2018-02-11 一种基于无人机交通视频的车流量统计方法

Country Status (1)

Country Link
CN (1) CN108364466B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110021174A (zh) * 2019-04-02 2019-07-16 北京同方软件有限公司 一种基于视频图像的适用多场景的车流量计算方法
CN112037538A (zh) * 2019-06-04 2020-12-04 深圳市速腾聚创科技有限公司 交通信号灯控制方法、临时交通指挥***和装置
CN112085178B (zh) * 2019-06-13 2022-06-10 魔门塔(苏州)科技有限公司 一种车辆行为数据的标注方法及装置
CN110599781A (zh) * 2019-09-23 2019-12-20 潍坊畅讯交通设施工程有限公司 一种智慧化城市的车流统计识别***
CN111554105B (zh) * 2020-05-29 2021-08-03 浙江科技学院 一种复杂交通路口的智能流量识别与统计方法
CN111898501B (zh) * 2020-07-17 2022-04-05 东南大学 一种针对拥堵路段的无人机在线航拍车辆识别及统计方法
CN112215070A (zh) * 2020-09-10 2021-01-12 佛山聚卓科技有限公司 无人机航拍视频车流量统计方法、主机及***
CN112069224B (zh) * 2020-09-11 2023-11-17 重庆紫光华山智安科技有限公司 一种过车数量存储方法、装置、终端及计算机存储介质
TWI777620B (zh) * 2021-06-17 2022-09-11 訊力科技股份有限公司 自動化交通轉向量化調查報告產出系統及其方法
CN113257005B (zh) * 2021-06-25 2021-12-10 之江实验室 一种基于关联度量的车流量统计方法
CN114038193B (zh) * 2021-11-08 2023-07-18 华东师范大学 基于无人机和多目标追踪的智能交通流量数据统计方法及***
CN117392621B (zh) * 2023-11-07 2024-06-07 西南交通大学 一种机动车右转不礼让行人行为识别方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902983A (zh) * 2012-09-21 2013-01-30 博康智能网络科技股份有限公司 一种基于支持向量机的出租车识别方法
CN103413444A (zh) * 2013-08-26 2013-11-27 深圳市川大智胜科技发展有限公司 一种基于无人机高清视频的交通流调查处理方法
CN105261034A (zh) * 2015-09-15 2016-01-20 杭州中威电子股份有限公司 一种高速公路上车流量的统计方法及装置
CN105528891A (zh) * 2016-01-13 2016-04-27 深圳市中盟科技有限公司 基于无人机监控的交通流密度检测方法及***
CN105957341A (zh) * 2016-05-30 2016-09-21 重庆大学 一种基于无人机机载平台的广域交通拥堵检测方法
CN106327880A (zh) * 2016-09-09 2017-01-11 成都通甲优博科技有限责任公司 一种基于监控视频的车速识别方法及其***
CN107578048A (zh) * 2017-08-02 2018-01-12 浙江工业大学 一种基于车型粗分类的远视场景车辆检测方法
CN109190581A (zh) * 2018-09-17 2019-01-11 金陵科技学院 图像序列目标检测识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576484B2 (en) * 2012-03-02 2017-02-21 Laser Technology, Inc. System and method for monitoring vehicular traffic with a laser rangefinding and speed measurement device utilizing a shaped divergent laser beam pattern
TWI438728B (zh) * 2012-04-25 2014-05-21 Hon Hai Prec Ind Co Ltd 交通流量管控系統及方法
CN104332053A (zh) * 2014-11-13 2015-02-04 深圳大学 一种基于小型无人机的道路交通巡检***及其巡检方法
CN107409051B (zh) * 2015-03-31 2021-02-26 深圳市大疆创新科技有限公司 用于生成飞行管制的认证***和方法
EP3347886B1 (en) * 2015-09-09 2020-11-04 Telefonaktiebolaget LM Ericsson (publ) Methods and devices for requesting and providing information
US20170358222A1 (en) * 2016-06-14 2017-12-14 Denso International America, Inc. Navigation System for Unmanned Aerial Vehicle
CN107067752A (zh) * 2017-05-17 2017-08-18 北京联合大学 基于无人机航拍图像的车速估算***及方法
CN107248296B (zh) * 2017-07-13 2020-04-24 南京航空航天大学 一种基于无人机和时序特征的视频交通流量统计方法
CN107401659B (zh) * 2017-07-21 2019-01-18 金鹏电子信息机器有限公司 一种交通流量监测无人机摄像头防抖结构

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902983A (zh) * 2012-09-21 2013-01-30 博康智能网络科技股份有限公司 一种基于支持向量机的出租车识别方法
CN103413444A (zh) * 2013-08-26 2013-11-27 深圳市川大智胜科技发展有限公司 一种基于无人机高清视频的交通流调查处理方法
CN105261034A (zh) * 2015-09-15 2016-01-20 杭州中威电子股份有限公司 一种高速公路上车流量的统计方法及装置
CN105528891A (zh) * 2016-01-13 2016-04-27 深圳市中盟科技有限公司 基于无人机监控的交通流密度检测方法及***
CN105957341A (zh) * 2016-05-30 2016-09-21 重庆大学 一种基于无人机机载平台的广域交通拥堵检测方法
CN106327880A (zh) * 2016-09-09 2017-01-11 成都通甲优博科技有限责任公司 一种基于监控视频的车速识别方法及其***
CN107578048A (zh) * 2017-08-02 2018-01-12 浙江工业大学 一种基于车型粗分类的远视场景车辆检测方法
CN109190581A (zh) * 2018-09-17 2019-01-11 金陵科技学院 图像序列目标检测识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于无人机的交通监控研究现状与展望;彭博，张有节，蔡晓禹，李少博;《第十一届中国智能交通年会大会论文集 工程科技II》;20161116;全文 *

Also Published As

Publication number Publication date
CN108364466A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN108364466B (zh) 一种基于无人机交通视频的车流量统计方法
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN111429484B (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
Hadi et al. Vehicle detection and tracking techniques: a concise review
US9323991B2 (en) Method and system for video-based vehicle tracking adaptable to traffic conditions
CN105574543B (zh) 一种基于深度学习的车辆品牌型号识别方法和***
WO2020097840A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
CN102073846B (zh) 基于航拍图像的交通信息获取方法
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪***及方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN107808524B (zh) 一种基于无人机的道路交叉口车辆检测方法
Siogkas et al. Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection
CN113516853B (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN103810475A (zh) 一种目标物识别方法及装置
CN108133491A (zh) 一种实现动态目标跟踪的方法
CN106611147A (zh) 车辆追踪方法和装置
CN110705553A (zh) 一种适用于车辆远景图像的划痕检测方法
Yang et al. Finding physical adversarial examples for autonomous driving with fast and differentiable image compositing
CN113112479A (zh) 基于关键区块提取的渐进式目标检测方法和装置
Kini Real time moving vehicle congestion detection and tracking using OpenCV
CN116468796A (zh) 生成来自鸟瞰视角的表示的方法、车辆对象识别***及存储介质
KR20200077257A (ko) 기계학습을 위한 학습데이터 자동 생성 방법 및 장치
CN111640071A (zh) 基于卷积神经网络修复帧差法获取全景前景目标的方法
CN104657741A (zh) 一种基于视频图像的目标分类方法
Li et al. Automated region-based vehicle conflict detection using computer vision techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant