CN109615870A - 一种基于毫米波雷达和视频的交通检测*** - Google Patents

一种基于毫米波雷达和视频的交通检测*** Download PDF

Info

Publication number
CN109615870A
CN109615870A CN201811653251.4A CN201811653251A CN109615870A CN 109615870 A CN109615870 A CN 109615870A CN 201811653251 A CN201811653251 A CN 201811653251A CN 109615870 A CN109615870 A CN 109615870A
Authority
CN
China
Prior art keywords
target
millimetre
wave radar
data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811653251.4A
Other languages
English (en)
Inventor
陈焰中
章庆
陈俊德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hui Er Looks Intelligent Science And Technology Ltd
Original Assignee
Nanjing Hui Er Looks Intelligent Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hui Er Looks Intelligent Science And Technology Ltd filed Critical Nanjing Hui Er Looks Intelligent Science And Technology Ltd
Priority to CN201811653251.4A priority Critical patent/CN109615870A/zh
Publication of CN109615870A publication Critical patent/CN109615870A/zh
Priority to PCT/CN2019/113964 priority patent/WO2020134512A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于毫米波雷达和视频的交通检测***，属于智能交通中的数据采集和处理技术领域。本发明通过毫米波雷达传感器和视频传感器采集目标信息，进行世界坐标转换成图像平面坐标，确定出毫米波雷达传感器采集检测到的目标投影在图像平面上的位置，通过图像机器学***台，减轻了***的计算量，加快***的响应时间，提高了检测精度。

Description

一种基于毫米波雷达和视频的交通检测***
技术领域
本发明属于智能交通中的数据采集和处理技术领域，具体涉及一种基于毫米波雷达和视频的交通检测***。
背景技术
现有的交通检测***中大多都采用视频传感器，单个视频传感器在检测效果上精确度不高，图像处理的延时大，而且其精度容易受到雨、雾等环境的影响。后来交通检测***中逐渐加入其它类型的传感器，例如毫米波雷达、地磁、激光雷达等传感器，利用不同传感器的优势，进行多传感器数据融合，大大提高了***的检测性能。雷达传感器能够做到实时检测到目标的位置和速度信息，数据处理能达到每秒20次，环境适应性强，可全天候、全天时工作，其弊端是无法可视化。而视频传感器能够处理图像信息，如若对图像进行分析计算，需要花费很长时间经过转码，无法做到实时响应，且环境适应性不高。
利用这两种传感器的优势，可将雷达和视频作为检测前端进行数据融合处理。但由于这两种传感器各自独立进行数据采集且输出的数据格式不一致，***最终是将多个传感器采集到的同一目标的多种信息冗杂在一起，对原始数据的处理量巨大，加重了***平台的数据处理工作。而且目前的***中，雷达和摄像机由于其安装位置不同，信息融合时需要将两种传感器的坐标系进行关联，而两个传感器坐标关联与他们的相对位置有关，若其中一个传感器有了稍微的移动，需要重新关联坐标。由于两个传感器在使用中经常会受到抖动，一段时间后安装位置会有偏差，导致距离及角度的不固定，需要定期重新进行坐标匹配，所以安装调试难度大，经常需要维护。
发明内容
本发明提供针对现有技术机构复杂以及工作效率低的问题，提供一种基于毫米波雷达和视频的交通检测***。
具体地说，本发明是采用以下技术方案实现的：所述交通检测***包括数据采集单元、数据处理单元、数据存储单元、数据通信单元和***平台；
所述数据采集单元包括毫米波雷达传感器和视频传感器，毫米波雷达传感器实时采集目标的坐标位置、目标的速度、目标的长度发送给数据处理单元；视频传感器实时采集高清图像数据发送给数据处理单元；
所述数据处理单元包括微处理器和嵌入式神经网络处理器，对同一目标的来自毫米波雷达和视频传感器检测到的数据信息融合，最后将同一目标的完整信息按统一格式输出至***平台；
所述该交通检测***的实施包括以下步骤：
步骤一、毫米波雷达传感器采集目标信息，所述目标信息包括目标的标识符、速度、坐标、长度，视频传感器采集路面的图像信息，将所述毫米波雷达传感器和所述视频传感器采集到的原始数据发送至数据处理单元；
步骤二、世界坐标转换成图像平面坐标；毫米波雷达传感器采集到目标坐标，然后对视频传感器的相机的内参和外参的摄像头进行校正，得到目标坐标与图像平面坐标的转换矩阵，将路面世界坐标转换成图像平面坐标，确定出毫米波雷达传感器采集检测到的目标投影在图像平面上的位置；
步骤三、采用神经网络框架识别视频传感器所拍摄的图像中的目标类型；在嵌入式神经网络处理器中运行神经网络框架算法，通过图像机器学习，将路面的图像非结构化数据转换成目标类型和颜色的结构化数据；
步骤四、利用步骤二的坐标转换及步骤三的图像识别，将毫米波雷达传感器检测到的目标在相机拍摄到的图像中的目标进行对应，获取到每个目标的所有参数信息，在图像中叠加目标参数进行融合，所述参数信息包括每个目标的速度、坐标、目标类型；
步骤五、将融合后的所述目标参数发送至***平台。
进一步而言，步骤二中所述世界坐标转换成图像平面坐标，即将世界坐标系中目标的点到图像坐标系中的点的转换，分为两步实现：
(1)将毫米波雷达传感器检测到的目标在世界坐标系中的坐标(Xw，Yw，Zw)变换到相机坐标系(Xc，Yc，Zc)，变换公式为：
式中，为由世界坐标系到相机坐标系的旋转矩阵；
即
其中绕X轴旋转为α，绕Y轴旋转为β，绕Z轴旋转为θ；
为由世界坐标系到相机坐标系的平移矩阵，由于本装置中毫米波雷达传感器与视频传感器的距离很近，平移的长度相当于0，即
可求得：
可得目标由世界坐标系中的坐标(Xw，Yw，Zw)变换到相机坐标系(Xc，Yc，Zc)
XC＝cos(β)cos(θ)XW+cos(β)sin(θ)YW-sin(β)ZW
YC＝(-cos(α)sin(θ)+sin(α)sin(θ)cos(θ))XW+(cos(α)cos(θ)+sin(α)sin(β)sin(θ))YW
+sin(α)cos(β)ZW
ZC＝(sin(α)sin(θ)+cos(α)sin(β)cos(θ))XW+(-sin(α)cos(θ)+cos(α)sin(β)sin(θ))Yw+cos(α)cos(β)ZW
(2)再将检测到的目标由相机坐标系变换到图像坐标系，确定目标在所述视频传感器所拍摄的画面中的投影位置(XS，YS)，实现毫米波雷达传感器检测到的目标在图像上的定位：
ω为目标在相机中的水平视角，为目标在相机中的垂直视角，v为图像的横向尺寸，h为图像的垂向尺寸。
进一步而言，在步骤三中，视频传感器识别目标类型后的数据，在数据处理单元中进行交通流统计数据计算，统计并跟踪检测到的目标，计算得出某一指定区域内每个周期内的各车型的交通流统计数据。
进一步而言，所述数据处理单元根据毫米波雷达传感器检测到的目标速度、坐标判断目标是否存在超速、逆行、违停等交通事件；若发生交通事件，所述数据处理单元发送指令让视频传感器进行拍照、录取视频取证，并将事件的文本信息、图像数据、视频数据传至***平台。
本发明的有益效果如下：本发明基于毫米波雷达和视频的交通检测***，降低***的数据计算难度、简化***流程。视频传感器采集到的原始图像数据传送至数据处理单元，无需经过视频编码及解码操作，从而数据无延时现象，能够与毫米波雷达检测到的数据进行实时数据融合。在数据处理单元中进行两者数据的初步融合处理，将融合后的目标信息发送至***平台，减轻了***的计算量，加快***的响应时间，提高了检测精度。
附图说明
图1是本发明的***结构图。
图2是本发明的***流程图。
图3是本发明中视频传感器的相机校正示意图。
图4是本发明中目标从相机坐标系到图像坐标系投影关系的示意图。
具体实施方式
下面结合实施例并参照附图对本发明作进一步详细描述。
实施例1：
本发明的一个实施例，为一种基于毫米波雷达和视频的交通检测***，参照图1、图2、图3和图4，基于毫米波雷达和视频的交通检测***包括数据采集单元、数据处理单元、数据存储单元、数据通信单元和***平台。
数据采集单元：数据采集单元包括毫米波雷达传感器和视频传感器。毫米波雷达传感器实时采集目标信息，检测到的数据内容包括目标的坐标位置、目标的速度、目标的长度等，将采集到的目标信息发送给数据处理单元。视频传感器实时采集高清图像数据，将采集到的图像信息发送给数据处理单元。
数据处理单元：数据处理单元包含ARM微处理器和嵌入式神经网络处理器(NPU)。嵌入式神经网络处理器(NPU)负责图像数据的处理，识别目标的类型(行人、汽车、卡车等)，并将毫米波雷达采集到的目标信息的数据(目标的坐标位置、目标的速度、目标的长度等)叠加在视频图像中。ARM微处理器负责统计所有交通流的信息以及交通事件识别。数据处理单元中对实时接收到的目标信息进行同一目标的坐标转换，将同一目标的来自毫米波雷达和视频传感器检测到的数据信息融合，最后将同一目标的完整信息按统一格式输出至***平台。
数据存储单元：数据存储单元包括嵌入式多媒体存储卡(EMMC)和SD卡。包括嵌入式多媒体存储卡(EMMC)用于存储操作***，SD卡用于存储交通流数据库和交通事件信息。
数据通信单元：通信单元包括网络(ETH)接口和RS485接口，网络(ETH)接口用于向***平台传输交通流信息、交通事件信息、视频图像信息。RS485接口用于对接卡口相机及路***通控制信号机。
如图2所示，基于毫米波雷达和视频的交通检测***的实施包括以下步骤：
步骤一、毫米波雷达传感器和视频传感器作为环境感知前端进行目标和路面的信息采集，分别采集目标信息和路面图像信息，并将毫米波雷达传感器和视频传感器采集到的原始数据发送至数据处理单元。其中毫米波雷达传感器采集到的信息包括目标的标识符(ID)、速度、坐标、长度等，视频传感器采集到路面的图像信息。
步骤二、世界坐标转换成图像平面坐标。毫米波雷达传感器采集到目标坐标，然后对视频传感器的相机的内参和外参的摄像头进行校正，得到目标坐标与图像平面坐标的转换矩阵(即旋转矩阵和平移矩阵)，将路面世界坐标转换成图像平面坐标，从而可以确定出毫米波雷达传感器采集检测到的目标投影在图像平面上的位置。
世界坐标系中目标的点到图像坐标系中的点的转换过程分两步来实现：
(1)将毫米波雷达传感器检测到的目标在世界坐标系中的坐标(Xw，Yw，Zw)变换到相机坐标系(Xc，Yc，Zc)，变换公式为：
式中，为由世界坐标系到相机坐标系的旋转矩阵。
即
如图3所示，其中绕X轴旋转为α，绕Y轴旋转为β，绕Z轴旋转为θ。
为由世界坐标系到相机坐标系的平移矩阵，由于本装置中毫米波雷达传感器与视频传感器的距离很近，平移的长度相当于0，即
可求得：
可得目标由世界坐标系中的坐标(Xw，Yw，Zw)变换到相机坐标系(Xc，Yc，Zc)
XC＝cos(β)cos(θ)XW+cos(β)sin(θ)YW-sin(β)ZW
YC＝(-cos(α)sin(θ)+sin(α)sin(θ)cos(θ))XW+(cos(α)cos(θ)+sin(α)sin(β)sin(θ))YW
+sin(α)cos(β)ZW
ZC＝(sin(α)sin(θ)+cos(α)sin(β)cos(θ))XW+(-sin(α)cos(θ)+cos(α)sin(β)sin(θ))Yw+cos(α)cos(β)ZW
(2)再将检测到的目标由相机坐标系变换到图像坐标系，确定目标在视频传感器所拍摄的画面中的投影位置(XS，YS)，实现毫米波雷达传感器检测到的目标在图像上的定位。
如图4所示，ω为目标在相机中的水平视角，为目标在相机中的垂直视角，v为图像的横向尺寸，h为图像的垂向尺寸。
步骤三、采用神经网络框架YOLO识别视频传感器所拍摄的图像中的目标类型。视频检测器只需要识别出目标的类别，无需其他复杂的计算，降低转码的延时，加快了***的响应时间。在神经处理单元(NPU)中运行YOLO算法，神经处理单元(NPU)采用“数据驱动并行计算”的架构，通过图像机器学习，将路面的图像非结构化数据转换成目标类型和颜色的结构化数据。
步骤四、利用步骤二的坐标转换及步骤三的图像识别，可以将毫米波雷达传感器检测到的目标在相机拍摄到的图像中的目标进行对应，获取到每个目标的所有参数信息，在图像中叠加目标的参数，参数包括每个目标的速度、坐标、目标类型(包括车型，颜色等信息)。融合计算两个传感器检测到的目标数据，增加了可提供的目标参数类型，提高了***的检测精度。
步骤五、将融合后的目标参数(速度、坐标、类型等)发送至***平台。对两个传感器检测到的原始数据进行初步统计加工，无需将前端采集单元检测到的原始数据都传给***平台，大大减少了***的计算量。
利用视频传感器识别目标类型后的数据，在数据处理单元中还可以进一步交通流统计数据计算。统计并跟踪检测到的目标，计算得出某一指定区域内每个周期内的各车型(非机动车、小汽车、公交车、货车)的过车流量、平均速度、占有率、车头时距等交通流统计数据。
在数据处理单元还可以根据毫米波雷达传感器检测到的目标速度、坐标判断目标是否存在超速、逆行、违停等交通事件。若发生交通事件，数据处理单元发送指令让视频传感器进行拍照、录取视频取证，并将事件的文本信息、图像数据、视频数据传至***平台。
虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (4)

1.一种基于毫米波雷达和视频的交通检测***，其特征在于，所述交通检测***包括数据采集单元、数据处理单元、数据存储单元、数据通信单元和***平台；
所述数据采集单元包括毫米波雷达传感器和视频传感器，毫米波雷达传感器实时采集目标的坐标位置、目标的速度、目标的长度发送给数据处理单元；视频传感器实时采集高清图像数据发送给数据处理单元；
所述数据处理单元包括微处理器和嵌入式神经网络处理器，对同一目标的来自毫米波雷达和视频传感器检测到的数据信息融合，最后将同一目标的完整信息按统一格式输出至***平台；
所述交通检测***的实施包括以下步骤：
步骤一、毫米波雷达传感器采集目标信息，所述目标信息包括目标的标识符、速度、坐标、长度，视频传感器采集路面的图像信息，将所述毫米波雷达传感器和所述视频传感器采集到的原始数据发送至数据处理单元；
步骤二、世界坐标转换成图像平面坐标；毫米波雷达传感器采集到目标坐标，然后对视频传感器的相机的内参和外参的摄像头进行校正，得到目标坐标与图像平面坐标的转换矩阵，将路面世界坐标转换成图像平面坐标，确定出毫米波雷达传感器采集检测到的目标投影在图像平面上的位置；
步骤三、采用神经网络框架识别视频传感器所拍摄的图像中的目标类型；在嵌入式神经网络处理器中运行神经网络框架算法，通过图像机器学习，将路面的图像非结构化数据转换成目标类型和颜色的结构化数据；
步骤四、利用步骤二的坐标转换及步骤三的图像识别，将毫米波雷达传感器检测到的目标在相机拍摄到的图像中的目标进行对应，获取到每个目标的所有参数信息，在图像中叠加目标参数进行融合，所述参数信息包括每个目标的速度、坐标、目标类型；
步骤五、将融合后的所述目标参数发送至***平台。
2.根据权利要求1所述的基于毫米波雷达和视频的交通检测***，其特征在于：步骤二中所述世界坐标转换成图像平面坐标，即将世界坐标系中目标的点到图像坐标系中的点的转换，分为两步实现：
(1)将毫米波雷达传感器检测到的目标在世界坐标系中的坐标(Xw，Yw，Zw)变换到相机坐标系(Xc，Yc，Zc)，变换公式为：
式中，为由世界坐标系到相机坐标系的旋转矩阵；
即
其中绕X轴旋转为α，绕Y轴旋转为β，绕Z轴旋转为θ；
为由世界坐标系到相机坐标系的平移矩阵，由于本装置中毫米波雷达传感器与视频传感器的距离很近，平移的长度相当于0，即
可求得：
可得目标由世界坐标系中的坐标(Xw，Yw，Zw)变换到相机坐标系(Xc，Yc，Zc)
Xc＝cos(β)cos(θ)Xw+cos(β)sin(θ)Yw-sin(β)Zw
Yc＝(-cos(α)sin(θ)+sin(α)sin(θ)cos(θ))Xw+(cos(α)cos(θ)+sin(α)sin(β)sin(θ))Yw+sin(α)cos(β)Zw
Zc＝(sin(α)sin(θ)+cos(α)sin(β)cos(θ))Xw+(-sin(α)cos(θ)+cos(α)sin(β)sin(θ))Yw+cos(α)cos(β)Zw
(2)再将检测到的目标由相机坐标系变换到图像坐标系，确定目标在所述视频传感器所拍摄的画面中的投影位置(Xs，Ys)，实现毫米波雷达传感器检测到的目标在图像上的定位：
ω为目标在相机中的水平视角，为目标在相机中的垂直视角，v为图像的横向尺寸，h为图像的垂向尺寸。
3.根据权利要求1所述的基于毫米波雷达和视频的交通检测***，其特征在于：在步骤三中，视频传感器识别目标类型后的数据，在数据处理单元中进行交通流统计数据计算，统计并跟踪检测到的目标，计算得出某一指定区域内每个周期内的各车型的交通流统计数据。
4.根据权利要求1所述的基于毫米波雷达和视频的交通检测***，其特征在于：所述数据处理单元根据毫米波雷达传感器检测到的目标速度、坐标判断目标是否存在超速、逆行、违停等交通事件；若发生交通事件，所述数据处理单元发送指令让视频传感器进行拍照、录取视频取证，并将事件的文本信息、图像数据、视频数据传至***平台。
CN201811653251.4A 2018-12-29 2018-12-29 一种基于毫米波雷达和视频的交通检测*** Pending CN109615870A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811653251.4A CN109615870A (zh) 2018-12-29 2018-12-29 一种基于毫米波雷达和视频的交通检测***
PCT/CN2019/113964 WO2020134512A1 (zh) 2018-12-29 2019-10-29 一种基于毫米波雷达和视频的交通检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811653251.4A CN109615870A (zh) 2018-12-29 2018-12-29 一种基于毫米波雷达和视频的交通检测***

Publications (1)

Publication Number Publication Date
CN109615870A true CN109615870A (zh) 2019-04-12

Family

ID=66016540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811653251.4A Pending CN109615870A (zh) 2018-12-29 2018-12-29 一种基于毫米波雷达和视频的交通检测***

Country Status (2)

Country Link
CN (1) CN109615870A (zh)
WO (1) WO2020134512A1 (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109613537A (zh) * 2019-01-16 2019-04-12 南京奥杰智能科技有限公司 一种全息雷达
CN110288832A (zh) * 2019-07-10 2019-09-27 南京慧尔视智能科技有限公司 基于微波与视频的多目标信息融合及可视化展示方法
CN110341621A (zh) * 2019-07-10 2019-10-18 北京百度网讯科技有限公司 一种障碍物检测方法及装置
CN110428626A (zh) * 2019-08-13 2019-11-08 舟山千眼传感技术有限公司 一种微波与视频融合检测的车辆检测器及其安装方法
CN110515073A (zh) * 2019-08-19 2019-11-29 南京慧尔视智能科技有限公司 多雷达跨区域组网多目标跟踪识别方法及装置
CN110738846A (zh) * 2019-09-27 2020-01-31 同济大学 基于雷达与视频组群的车辆行为监测***及其实现方法
CN110796868A (zh) * 2019-12-02 2020-02-14 江苏中路工程技术研究院有限公司 一种视频与微波融合的交通事件监测***与方法
CN110794405A (zh) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达融合的目标检测方法及***
CN110865366A (zh) * 2019-10-12 2020-03-06 深圳市布谷鸟科技有限公司 一种智能驾驶雷达和图像融合的人机交互方法
CN111127877A (zh) * 2019-11-19 2020-05-08 华为技术有限公司 一种路况信息的监测方法及装置
CN111178215A (zh) * 2019-12-23 2020-05-19 深圳成谷科技有限公司 一种传感器数据融合处理的方法和装置
WO2020134512A1 (zh) * 2018-12-29 2020-07-02 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测***
CN111427038A (zh) * 2020-03-23 2020-07-17 厦门大学 车库环境下基于视觉与77GHz雷达的目标识别方法
CN111476099A (zh) * 2020-03-09 2020-07-31 深圳市人工智能与机器人研究院 一种目标检测方法、目标检测装置及终端设备
CN111753901A (zh) * 2020-06-23 2020-10-09 国汽(北京)智能网联汽车研究院有限公司 一种数据融合方法、装置、***及计算机设备
CN111830470A (zh) * 2019-04-16 2020-10-27 杭州海康威视数字技术股份有限公司 联合标定方法及装置、目标对象检测方法、***及装置
CN112115810A (zh) * 2020-08-31 2020-12-22 南京理工大学 基于信息融合的目标识别方法、***、计算机设备和存储介质
CN112150799A (zh) * 2020-08-19 2020-12-29 上海图丽信息技术有限公司 一种融合雷达视频的道路车辆交通大数据采集的方法
CN112258834A (zh) * 2020-09-29 2021-01-22 航天科工广信智能技术有限公司 基于多传感器数据融合技术的交通事件识别与处理***
CN112364678A (zh) * 2019-09-30 2021-02-12 山东省科学院海洋仪器仪表研究所 一种基于npu板卡的浮标识别定位方法及其船载装置
CN112379362A (zh) * 2020-10-23 2021-02-19 连云港杰瑞电子有限公司 一种基于多源数据融合的事件自适应采集设备及方法
CN112447058A (zh) * 2019-09-03 2021-03-05 比亚迪股份有限公司 泊车方法、装置、计算机设备及存储介质
CN112863183A (zh) * 2021-01-14 2021-05-28 深圳尚桥信息技术有限公司 一种交通流数据融合方法及***
CN113109805A (zh) * 2021-03-31 2021-07-13 中国船舶重工集团公司第七二三研究所 基于射光频回波信息的融合处理方法
CN113343849A (zh) * 2021-06-07 2021-09-03 西安恒盛安信智能技术有限公司 一种基于雷达和视频的融合感知设备
CN113359125A (zh) * 2020-03-05 2021-09-07 富士通株式会社 数据融合方法、装置和数据处理设备
CN113390429A (zh) * 2020-10-28 2021-09-14 腾讯科技（深圳）有限公司 一种导航方法及装置
CN113420805A (zh) * 2021-06-21 2021-09-21 车路通科技(成都)有限公司 视频和雷达的动态轨迹图像融合方法、装置、设备及介质
CN113705495A (zh) * 2021-09-01 2021-11-26 南京慧尔视智能科技有限公司 一种基于目标识别框的大小车分类方法及装置
CN114067594A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 行驶路径的规划方法、装置、计算机设备和存储介质
CN114202730A (zh) * 2022-01-08 2022-03-18 深圳安锐科技有限公司 一种基于深度学习和多传感器数据融合的高速列车车型动态识别控制***
CN114758511A (zh) * 2022-06-14 2022-07-15 深圳市城市交通规划设计研究中心股份有限公司 一种跑车超速检测***、方法、电子设备及存储介质
WO2022179197A1 (zh) * 2021-02-27 2022-09-01 华为技术有限公司 一种信息处理方法及相关设备
CN115440056A (zh) * 2022-08-02 2022-12-06 天津光电聚能专用通信设备有限公司 基于毫米波雷达与视觉融合的智能安全防护***
CN114078331B (zh) * 2020-08-19 2023-02-17 北京万集科技股份有限公司 超速检测方法、装置、视觉传感器和存储介质
CN116189116A (zh) * 2023-04-24 2023-05-30 江西方兴科技股份有限公司 一种交通状态感知方法及***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022093860A1 (en) 2020-10-26 2022-05-05 Mohammad Amin Arbabian Centralized tracking system with distributed fixed sensors
CN112866645A (zh) * 2021-01-12 2021-05-28 二连浩特赛乌素机场管理有限公司 一种防入侵人工智能雷达视频监控***
CN113189583B (zh) * 2021-04-26 2022-07-01 天津大学 一种时-空同步的毫米波雷达和视觉信息融合方法
CN113524198B (zh) * 2021-09-07 2021-12-14 广东新粤交通投资有限公司 一种道路施工主动智能防撞预警机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知***及方法
US20180218228A1 (en) * 2017-01-31 2018-08-02 Denso Corporation Apparatus and method for controlling vehicle
CN108648462A (zh) * 2018-05-10 2018-10-12 芜湖航飞科技股份有限公司 一种基于雷达和视觉信息相融合的车辆识别方法
CN108847026A (zh) * 2018-05-31 2018-11-20 安徽四创电子股份有限公司 一种基于矩阵坐标转换实现数据叠加显示的方法
CN108922188A (zh) * 2018-07-24 2018-11-30 河北德冠隆电子科技有限公司 雷达跟踪定位的四维实景交通路况感知预警监控管理***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5047515B2 (ja) * 2006-03-20 2012-10-10 株式会社ゼンリン 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置
CN106710240B (zh) * 2017-03-02 2019-09-27 公安部交通管理科学研究所 融合多目标雷达与视频信息的通行车辆跟踪测速方法
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知***及方法
US20180218228A1 (en) * 2017-01-31 2018-08-02 Denso Corporation Apparatus and method for controlling vehicle
CN108648462A (zh) * 2018-05-10 2018-10-12 芜湖航飞科技股份有限公司 一种基于雷达和视觉信息相融合的车辆识别方法
CN108847026A (zh) * 2018-05-31 2018-11-20 安徽四创电子股份有限公司 一种基于矩阵坐标转换实现数据叠加显示的方法
CN108922188A (zh) * 2018-07-24 2018-11-30 河北德冠隆电子科技有限公司 雷达跟踪定位的四维实景交通路况感知预警监控管理***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIA-PING LIN 等: "A YOLO-based Traffic Counting System", 《2018 CONFERENCE ON TECHNOLOGIES AND APPLICATIONS OF ARTIFICIAL INTELLIGENCE》 *

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020134512A1 (zh) * 2018-12-29 2020-07-02 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测***
CN109613537A (zh) * 2019-01-16 2019-04-12 南京奥杰智能科技有限公司 一种全息雷达
CN111830470A (zh) * 2019-04-16 2020-10-27 杭州海康威视数字技术股份有限公司 联合标定方法及装置、目标对象检测方法、***及装置
CN110288832A (zh) * 2019-07-10 2019-09-27 南京慧尔视智能科技有限公司 基于微波与视频的多目标信息融合及可视化展示方法
CN110341621A (zh) * 2019-07-10 2019-10-18 北京百度网讯科技有限公司 一种障碍物检测方法及装置
CN110428626A (zh) * 2019-08-13 2019-11-08 舟山千眼传感技术有限公司 一种微波与视频融合检测的车辆检测器及其安装方法
CN110515073A (zh) * 2019-08-19 2019-11-29 南京慧尔视智能科技有限公司 多雷达跨区域组网多目标跟踪识别方法及装置
CN112447058B (zh) * 2019-09-03 2022-09-06 比亚迪股份有限公司 泊车方法、装置、计算机设备及存储介质
CN112447058A (zh) * 2019-09-03 2021-03-05 比亚迪股份有限公司 泊车方法、装置、计算机设备及存储介质
CN110738846A (zh) * 2019-09-27 2020-01-31 同济大学 基于雷达与视频组群的车辆行为监测***及其实现方法
CN110738846B (zh) * 2019-09-27 2022-06-17 同济大学 基于雷达与视频组群的车辆行为监测***及其实现方法
CN112364678B (zh) * 2019-09-30 2023-04-07 山东省科学院海洋仪器仪表研究所 一种基于npu板卡的浮标识别定位方法及其船载装置
CN112364678A (zh) * 2019-09-30 2021-02-12 山东省科学院海洋仪器仪表研究所 一种基于npu板卡的浮标识别定位方法及其船载装置
CN110865366A (zh) * 2019-10-12 2020-03-06 深圳市布谷鸟科技有限公司 一种智能驾驶雷达和图像融合的人机交互方法
CN110865366B (zh) * 2019-10-12 2023-04-18 深圳市布谷鸟科技有限公司 一种智能驾驶雷达和图像融合的人机交互方法
CN110794405A (zh) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达融合的目标检测方法及***
CN110794405B (zh) * 2019-10-18 2022-06-10 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达融合的目标检测方法及***
CN111127877A (zh) * 2019-11-19 2020-05-08 华为技术有限公司 一种路况信息的监测方法及装置
CN110796868A (zh) * 2019-12-02 2020-02-14 江苏中路工程技术研究院有限公司 一种视频与微波融合的交通事件监测***与方法
CN111178215B (zh) * 2019-12-23 2024-03-08 深圳成谷科技有限公司 一种传感器数据融合处理的方法和装置
CN111178215A (zh) * 2019-12-23 2020-05-19 深圳成谷科技有限公司 一种传感器数据融合处理的方法和装置
CN113359125A (zh) * 2020-03-05 2021-09-07 富士通株式会社 数据融合方法、装置和数据处理设备
CN111476099A (zh) * 2020-03-09 2020-07-31 深圳市人工智能与机器人研究院 一种目标检测方法、目标检测装置及终端设备
CN111476099B (zh) * 2020-03-09 2024-04-16 深圳市人工智能与机器人研究院 一种目标检测方法、目标检测装置及终端设备
CN111427038A (zh) * 2020-03-23 2020-07-17 厦门大学 车库环境下基于视觉与77GHz雷达的目标识别方法
CN111753901A (zh) * 2020-06-23 2020-10-09 国汽(北京)智能网联汽车研究院有限公司 一种数据融合方法、装置、***及计算机设备
CN111753901B (zh) * 2020-06-23 2023-08-15 国汽(北京)智能网联汽车研究院有限公司 一种数据融合方法、装置、***及计算机设备
CN114067594A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 行驶路径的规划方法、装置、计算机设备和存储介质
CN114067594B (zh) * 2020-08-05 2023-02-17 北京万集科技股份有限公司 行驶路径的规划方法、装置、计算机设备和存储介质
CN112150799A (zh) * 2020-08-19 2020-12-29 上海图丽信息技术有限公司 一种融合雷达视频的道路车辆交通大数据采集的方法
CN114078331B (zh) * 2020-08-19 2023-02-17 北京万集科技股份有限公司 超速检测方法、装置、视觉传感器和存储介质
CN112115810A (zh) * 2020-08-31 2020-12-22 南京理工大学 基于信息融合的目标识别方法、***、计算机设备和存储介质
CN112258834A (zh) * 2020-09-29 2021-01-22 航天科工广信智能技术有限公司 基于多传感器数据融合技术的交通事件识别与处理***
CN112379362A (zh) * 2020-10-23 2021-02-19 连云港杰瑞电子有限公司 一种基于多源数据融合的事件自适应采集设备及方法
CN112379362B (zh) * 2020-10-23 2024-06-04 连云港杰瑞电子有限公司 一种基于多源数据融合的事件自适应采集设备及方法
CN113390429B (zh) * 2020-10-28 2024-01-26 腾讯科技（深圳）有限公司 一种导航方法及装置
CN113390429A (zh) * 2020-10-28 2021-09-14 腾讯科技（深圳）有限公司 一种导航方法及装置
CN112863183B (zh) * 2021-01-14 2022-04-08 深圳尚桥信息技术有限公司 一种交通流数据融合方法及***
CN112863183A (zh) * 2021-01-14 2021-05-28 深圳尚桥信息技术有限公司 一种交通流数据融合方法及***
WO2022179197A1 (zh) * 2021-02-27 2022-09-01 华为技术有限公司 一种信息处理方法及相关设备
CN113109805A (zh) * 2021-03-31 2021-07-13 中国船舶重工集团公司第七二三研究所 基于射光频回波信息的融合处理方法
CN113343849A (zh) * 2021-06-07 2021-09-03 西安恒盛安信智能技术有限公司 一种基于雷达和视频的融合感知设备
CN113420805A (zh) * 2021-06-21 2021-09-21 车路通科技(成都)有限公司 视频和雷达的动态轨迹图像融合方法、装置、设备及介质
CN113705495A (zh) * 2021-09-01 2021-11-26 南京慧尔视智能科技有限公司 一种基于目标识别框的大小车分类方法及装置
CN113705495B (zh) * 2021-09-01 2024-04-16 南京慧尔视智能科技有限公司 一种基于目标识别框的大小车分类方法及装置
CN114202730A (zh) * 2022-01-08 2022-03-18 深圳安锐科技有限公司 一种基于深度学习和多传感器数据融合的高速列车车型动态识别控制***
CN114758511A (zh) * 2022-06-14 2022-07-15 深圳市城市交通规划设计研究中心股份有限公司 一种跑车超速检测***、方法、电子设备及存储介质
CN115440056A (zh) * 2022-08-02 2022-12-06 天津光电聚能专用通信设备有限公司 基于毫米波雷达与视觉融合的智能安全防护***
CN116189116A (zh) * 2023-04-24 2023-05-30 江西方兴科技股份有限公司 一种交通状态感知方法及***
CN116189116B (zh) * 2023-04-24 2024-02-23 江西方兴科技股份有限公司 一种交通状态感知方法及***

Also Published As

Publication number Publication date
WO2020134512A1 (zh) 2020-07-02

Similar Documents

Publication Publication Date Title
CN109615870A (zh) 一种基于毫米波雷达和视频的交通检测***
CN111145545B (zh) 基于深度学习的道路交通行为无人机监测***及方法
CN105711597B (zh) 前方局部行驶环境感知***及方法
CN103559791B (zh) 一种融合雷达和ccd摄像机信号的车辆检测方法
US9292750B2 (en) Method and apparatus for detecting traffic monitoring video
WO2018177026A1 (zh) 确定道路边沿的装置和方法
CN110285793A (zh) 一种基于双目立体视觉***的车辆智能测轨迹方法
CN102013159A (zh) 基于高清视频检测数据的区域动态od矩阵获取方法
Nguyen et al. Compensating background for noise due to camera vibration in uncalibrated-camera-based vehicle speed measurement system
CN104280036A (zh) 一种交通信息的检测与定位方法、装置及电子设备
CN104751119A (zh) 基于信息融合的行人快速检测跟踪方法
Zhang et al. Background filtering and vehicle detection with roadside lidar based on point association
WO2023240805A1 (zh) 一种基于滤波校正的网联车超速预警方法及***
CN109427216A (zh) 待闸船只信息实时监控***
Qu et al. Improving maritime traffic surveillance in inland waterways using the robust fusion of AIS and visual data
CN111160132B (zh) 障碍物所在车道的确定方法、装置、电子设备和存储介质
CN110969864A (zh) 一种车速检测方法、车辆行驶事件检测方法及电子设备
CN110111018B (zh) 评估车辆感测能力的方法、装置、电子设备及存储介质
CN106960193A (zh) 一种车道线检测装置和方法
CN114067287A (zh) 一种基于车侧路侧数据感知融合的异物识别及预警***
CN105869413A (zh) 基于摄像头视频检测车流量和车速的方法
CN113468911B (zh) 一种车载闯红灯检测方法、装置、电子设备及存储介质
KR102256205B1 (ko) 영상 내 차량위치 산출 장치 및 그 방법, 이를 이용한 교통량 분석 시스템
CN113160299A (zh) 基于卡尔曼滤波的车辆视频测速方法和计算机可读存储介质
Horani et al. A framework for vision-based lane line detection in adverse weather conditions using vehicle-to-infrastructure (V2I) communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190412