CN113452952A - 一种数据处理方法、路况监测方法及装置和*** - Google Patents
一种数据处理方法、路况监测方法及装置和*** Download PDFInfo
- Publication number
- CN113452952A CN113452952A CN202010219534.9A CN202010219534A CN113452952A CN 113452952 A CN113452952 A CN 113452952A CN 202010219534 A CN202010219534 A CN 202010219534A CN 113452952 A CN113452952 A CN 113452952A
- Authority
- CN
- China
- Prior art keywords
- millimeter wave
- wave radar
- data
- video data
- radar data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000003672 processing method Methods 0.000 title abstract description 7
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 39
- 238000013507 mapping Methods 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005267 amalgamation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- UDHXJZHVNHGCEC-UHFFFAOYSA-N Chlorophacinone Chemical compound C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)C(=O)C1C(=O)C2=CC=CC=C2C1=O UDHXJZHVNHGCEC-UHFFFAOYSA-N 0.000 description 1
- 102100026933 Myelin-associated neurite-outgrowth inhibitor Human genes 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
- G01S13/92—Radar or analogous systems specially adapted for specific applications for traffic control for velocity measurement
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
- G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种数据处理方法、路况监测方法及装置，通过对视频数据与毫米波雷达数据的融合处理，使得被监测道路上的目标即可以被“看见”，而且也知道该目标的速度、距离等信息，这样，一方面，使得监测结果更加精准；另一方面，保证了本申请支持需要关联到具体目标的业务。同时，达到了更高的监控效果。
Description
技术领域
本申请涉及但不限于智能监控技术，尤指一种数据处理方法、路况监测方法及装置和***。
背景技术
目前，基于城市路况监控大多是基于视频的分析***，在目标测速、目标距离检测、全天候全天时等监控效果上都不理想。
发明内容
本申请提供一种数据处理方法、路况监测方法及装置和***，能够达到更高的监控效果。
本发明实施例提供了一种数据处理方法，包括：
获取图像数据和毫米波雷达数据；
对所述图像数据和毫米波雷达数据进行时间域对齐，得到第一中间结果；
利用单应性矩阵对所述第一中间结果进行空间域对齐，获取所述图像数据和雷达数据的映射关系。
本申请还提供了一种路况监测方法，包括：
对视频数据和毫米波雷达数据进行对齐处理；
对对齐处理后的视频数据和毫米波雷达数据进行特征处理，获取路况监测结果。
在一种示例性实例中，所述对视频数据和毫米波雷达数据进行融合处理，包括：
对所述视频数据和所述毫米波雷达数据进行时间域对齐；
对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐。
在一种示例性实例中，所述对视频数据和毫米波雷达数据进行时间域对齐，包括：
根据所述毫米波雷达数据、所述视频数据中携带的时间戳信息，获取在时间上同步的毫米波雷达数据与视频数据对。
在一种示例性实例中，所述对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐，包括：
分别获取预设时间段内的毫米波雷达数据和视频数据，计算毫米波雷达数据中目标的坐标信息、视频数据中目标的坐标信息；
利用单应性矩阵构建毫米波雷达数据中目标的坐标信息和视频数据中目标的坐标信息之间的目标坐标的映射关系。
在一种示例性实例中，所述获取路况监测结果，包括：
将所述对齐处理后的视频数据输入图像特征层提取基础图像特征，将所述对齐处理后的毫米波雷达数据输入雷达特征层提取基础毫米波雷达特征；
根据所述映射关系叠加提取的基础图像特征和基础毫米波雷达特征后输入融合层以提取融合特征信息；
将融合特征信息输入检测层以检测出所述路况监测结果。
在一种示例性实例中，所述毫米波雷达数据还包括：毫米波雷达数据适配的权重图。
本申请还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的路况监测方法。
本申请又提供了一种实现路况监测的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的路况监测方法的步骤。
本申请再提供了一种路况监测***，包括：多个摄像装置、多个毫米波雷达、融合处理装置、深度学习装置；其中，
摄像装置，用于采集获得视频数据；
毫米波雷达，用于采集获得毫米波雷达数据；
第一处理装置，用于对视频数据和毫米波雷达数据进行对齐处理系；
第二处理装置，用于对对齐处理后的视频数据和毫米波雷达数据进行特征处理，获取路况监测结果。
在一种示例性实例中，所述第一处理装置用于：
对所述视频数据和所述毫米波雷达数据进行时间域对齐；
对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐，获取所述毫米波雷达数据与视频数据的映射关系。
本申请实施例通过对视频数据与雷达数据的融合处理，使得被监测道路上的目标即可以被“看见”，而且也知道该目标的速度、距离等信息，这样，一方面，使得监测结果更加精准；另一方面，保证了本申请支持需要关联到具体目标的业务。同时，达到了更高的监控效果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请路况监测方法的流程示意图；
图2为本申请路况监测所涉及不同平面之间的关系示意图；
图3为本申请路况监测中的深度学习架构示意图；
图4为本申请路况监测***的应用场景示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在本申请一个典型的配置中，计算设备包括一个或多个处理器、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
目前工业界另外一个接近的产品是基于毫米波雷达的城市路况实时分析***，这个***由于没有融合视频信息，在目标类别判断、目标特征信息提取上有天然的缺陷。
图1为本申请路况监测方法的流程示意图，如图1所示，包括：
步骤100：对视频数据和毫米波雷达数据进行对齐处理。
在一种示例性实例中，本步骤之前还包括：获取视频数据和毫米波雷达数据。
在一种示例性实例中，步骤100可以包括：
对视频数据和毫米波雷达数据进行时间域对齐；
对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐。
在一种示例性实例中，对视频数据和毫米波雷达数据进行时间域对齐，可以包括：
根据每帧毫米波雷达数据、每帧视频数据中携带的时间戳信息，获取在时间上同步的毫米波雷达数据与视频数据对。
在一种示例性实例中，对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐，可以包括：
分别获取预设时间段内的毫米波雷达数据和视频数据，利用各自的目标检测算法计算以分别获取毫米波雷达数据中目标的坐标信息、视频数据中目标的坐标信息；
利用单应性矩阵(homography matrix)构建毫米波雷达数据中目标的坐标信息和视频数据中目标的坐标信息之间的目标坐标的映射关系。
其中，目标可以包括如：车辆、非机动车、行人等等。
在一种示例性实例中，预设时间段用于约束目标数量，比如100个以上目标等。举个例子来看，假设每秒过车数量为5辆，那么，预设时间段至少为100/5＝20秒(s)。
在一种示例性实例中，利用单应性矩阵(homography matrix)构建毫米波雷达数据中目标的坐标信息和视频数据中目标的坐标信息之间的目标坐标的映射关系，可以如公式(1)所示：
公式(1)中的H矩阵为单应性矩阵。在一种示例性实例中，可以通过如最小二乘法或者随机采样一致性(Ransac)等方法，估计得到单应性矩阵H。公式(1)中的(u，v)为视频信息所呈现的平面(camera plane)上的坐标值，(xw，yw)为毫米波雷达信息所呈现的平面(radar plane)上的坐标值。本申请实施例涉及的不同平面之间的关系如图2所示，共有3个平面，其中，radar plane为雷达信息所呈现的平面(通常为其天线阵列平面)，cameraplane为视频信息所呈现的平面(通常为感光传感器平面)，road plane为道路所在的空间平面。不同视角的平面上的点对可以用一个射影变换(projective transformation)表述，2个平面上的点对之间的映射关系矩阵称为单应性矩阵(homography matrix)。
通过本步骤的对齐处理，将离散的毫米波雷达数据与图像数据表明的明确目标对应上，将毫米波雷达数据采用与图像数据相同的方式表示，对于后续基于融合数据的目标特征检测，会得到更为精准的速度信息，更为精准的距离信息，对于夜间、异常天气下也会有更好的检测效果，而且，本申请实施例提供的融合方法不需要特殊工具辅助、也不需要获取摄像装置如摄像头的内参，这样，使得本申请非常利于快速推广、部署。
本申请还提供一种数据处理方法，包括：
获取图像数据和毫米波雷达数据；
对获得的图像数据和毫米波雷达数据进行时间域对齐，得到第一中间结果；
利用单应性矩阵对得到的第一中间结果进行空间域对齐，获取所述图像数据和雷达数据的映射关系。
步骤101：对对齐处理后的视频数据和毫米波雷达数据进行特征处理，获取路况监测结果。
在一种示例性实例中，可以通过深度学习来实现对对齐处理后的视频数据和毫米波雷达数据进行特征处理。需要说明的是，本申请并不强调深度学习网络的具体实现，而强调的是引入毫米波雷达信息对路况监测的作用，只要深度学习网络可以合理的引入毫米波雷达信息即可。
在一种示例性实例中，本申请发明人分析认为：图像数据和毫米波雷达数据属于不同模态，因此，在本申请深度学习中，如图3所示，使用各自独立的特征层获取基础特征，而仅针对高维特征融合。在一种示例性实例中，步骤101可以包括：
将对齐处理后的视频数据输入图像特征层提取图像基础特征，将对齐处理后的毫米波雷达数据输入雷达特征层提取毫米波雷达基础特征；
根据对齐处理后得到的映射关系叠加提取的图像基础特征和毫米波雷达基础特征后输入融合层以提取融合特征信息；
将融合特征信息输入检测层以检测出路况监测结果。
在一种示例性实例中，毫米波雷达数据中还包括：与毫米波雷达数据适配的权重图，权重图就是毫米波雷达信号强度值，经过融合处理后形成的图像即为权重图；本申请还可以包括：
与毫米波雷达数据适配的权重图同步参与到深度学习中的卷积处理。这样，通过在深度学习的卷积处理中加入毫米波雷达数据适配的权重图，更好地保证了经过多次卷积后具有稀疏性特征的毫米波雷达信号对监测结果影响的正确性。
在一种示例性实例中，深度学习网络架构包括但不限于如caffe、pytorch、Tensorflow等，其中，Caffe是第一个主流的工业级深度学习工具，开始于2013年底，由UCBerkely的Yangqing Jia编写和维护的具有出色的卷积神经网络实现，在计算机视觉领域Caffe依然是最流行的工具包。Python在科学计算和数据挖掘领域独领风骚。TensorFlow是相对高阶的机器学习库，用户可以方便地用它设计神经网络结构。
在一种示例性实例中，视频数据包括如：图像RGB数据；毫米波雷达数据包括如：距离、速度、权重图、方位角等。
本申请路况监测方法中，通过视频数据与毫米波雷达数据的时间域和空间域的对齐的融合处理，使得被监测道路上的目标即可以被“看见”，而且也知道该目标的速度、距离等信息，这样，一方面，对于那些依赖速度、距离等信息的业务(如车流量监测、车辆超速监测等)的监测结果更加精准；另一方面，视频可以提供更为丰富的目标特征信息，比如车牌、车辆型号、目标颜色等，保证了本申请支持违法判罚等需要关联到具体目标的业务。同时，毫米波雷达天然具有全天候全天时的检测能力，基于融合后的数据的监测结果，在夜间、复杂天气等情况下具有更优秀的监测结果。
本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项的路况监测方法。
本申请再提供一种实现路况监测的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上任一项所述的路况监测方法的步骤。
在一种示例性实例中，在检测到路况监测结果之后，还可以包括：
根据获得的目标车辆的路况监测结果显示不满足公路行驶要求，嘛呢，进行提示或处理。比如根据获得的目标车辆的路况监测结果确定出车辆超速，会进行相应提示或处理，降低了交通事故风险。
在一种示例性实例中，在检测到路况监测结果之后，还可以包括：
比如在机场、自动驾驶等场景中。可以根据获得的路况监测结果中的车流量信息、车辆型号、车牌等信息，进行收费、或选择更合适的行驶路线等。
图4为本申请路况监测***的应用场景示意图，如图4所示，包括：多个摄像装置、多个雷达、融合处理装置、深度学习装置；其中，
摄像装置，用于采集获得视频数据；
毫米波雷达，用于采集获得毫米波雷达数据；
第一处理装置，用于对视频数据和毫米波雷达数据进行对齐处理；
第二处理装置，用于对对齐处理后的视频数据和毫米波雷达数据进行特征处理，获取路况监测结果。
在一种示例性实例中，第一处理装置具体用于：
对视频数据和毫米波雷达数据进行时间域对齐；
对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐，获取毫米波雷达数据与视频数据的映射关系。
具体来讲，图4所示的***处理过程包括：首先，通过摄像装置如摄像头的采集获得视频数据，通过毫米波雷达的采集获得毫米波雷达数据；接着，对获得的视频数据和毫米波雷达数据进行时间域对齐，对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐，获取毫米波雷达数据与视频数据的映射关系，将毫米波雷达数据采用与图像数据相同的方式表示；然后，对融合处理后的视频数据和毫米波雷达数据进行深度学习，其中，使用各自独立的特征层获取基础特征，针对高维特征融合，深度学习中的卷积处理包括毫米波雷达数据适配的权重图；最后，可以得到如包括汽车、非机动车、行人等目标的监测信息，得到目标的计数信息，得到目标的距离、速度、运行轨迹等监测信息，得到目标的特征信息，还可以根据这些监控信息实现实时交通态势监测、违法或不文明行为等的监测等等业务。
虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (11)
1.一种数据处理方法，包括：
获取图像数据和毫米波雷达数据；
对所述图像数据和毫米波雷达数据进行时间域对齐，得到第一中间结果；
利用单应性矩阵对所述第一中间结果进行空间域对齐，获取所述图像数据和雷达数据的映射关系。
2.一种路况监测方法，包括：
对视频数据和毫米波雷达数据进行对齐处理；
对对齐处理后的视频数据和毫米波雷达数据进行特征处理，获取路况监测结果。
3.根据权利要求2所述的路况监测方法，其中，所述对视频数据和毫米波雷达数据进行融合处理，包括：
对所述视频数据和所述毫米波雷达数据进行时间域对齐；
对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐。
4.根据权利要求3所述的路况监测方法，其中，所述对视频数据和毫米波雷达数据进行时间域对齐，包括：
根据所述毫米波雷达数据、所述视频数据中携带的时间戳信息，获取在时间上同步的毫米波雷达数据与视频数据对。
5.根据权利要求3所述的路况监测方法，其中，所述对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐，包括：
分别获取预设时间段内的毫米波雷达数据和视频数据，计算毫米波雷达数据中目标的坐标信息、视频数据中目标的坐标信息；
利用单应性矩阵构建毫米波雷达数据中目标的坐标信息和视频数据中目标的坐标信息之间的目标坐标的映射关系。
6.根据权利要求5所述的路况监测方法，其中，所述获取路况监测结果，包括：
将所述对齐处理后的视频数据输入图像特征层提取基础图像特征，将所述对齐处理后的毫米波雷达数据输入雷达特征层提取基础毫米波雷达特征；
根据所述映射关系叠加提取的基础图像特征和基础毫米波雷达特征后输入融合层以提取融合特征信息；
将融合特征信息输入检测层以检测出所述路况监测结果。
7.根据权利要求2～6任一项所述的路况监测方法，其中，所述毫米波雷达数据还包括：毫米波雷达数据适配的权重图。
8.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求2～权利要求7任一项所述的路况监测方法。
9.一种实现路况监测的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行权利要求2～权利要求7任一项所述的路况监测方法的步骤。
10.一种路况监测***，包括：多个摄像装置、多个毫米波雷达、融合处理装置、深度学习装置；其中，
摄像装置，用于采集获得视频数据；
毫米波雷达，用于采集获得毫米波雷达数据；
第一处理装置，用于对视频数据和毫米波雷达数据进行对齐处理系；
第二处理装置，用于对对齐处理后的视频数据和毫米波雷达数据进行特征处理，获取路况监测结果。
11.根据权利要求10所述的路况监测***，其中，所述第一处理装置用于：
对所述视频数据和所述毫米波雷达数据进行时间域对齐；
对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐，获取所述毫米波雷达数据与视频数据的映射关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010219534.9A CN113452952B (zh) | 2020-03-25 | 2020-03-25 | 一种路况监测方法及装置和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010219534.9A CN113452952B (zh) | 2020-03-25 | 2020-03-25 | 一种路况监测方法及装置和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113452952A true CN113452952A (zh) | 2021-09-28 |
| CN113452952B CN113452952B (zh) | 2023-08-18 |
Family
ID=77806970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010219534.9A Active CN113452952B (zh) | 2020-03-25 | 2020-03-25 | 一种路况监测方法及装置和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113452952B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107590433A (zh) * | 2017-08-04 | 2018-01-16 | 湖南星云智能科技有限公司 | 一种基于毫米波雷达和车载摄像头的行人检测方法 |
| CN107607953A (zh) * | 2017-06-01 | 2018-01-19 | 王玲 | 一种侧向车辆防碰撞***及其方法 |
| US20180365503A1 (en) * | 2017-06-16 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium |
| CN110135485A (zh) * | 2019-05-05 | 2019-08-16 | 浙江大学 | 单目相机与毫米波雷达融合的物体识别与定位方法和*** |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN110850413A (zh) * | 2019-11-26 | 2020-02-28 | 奇瑞汽车股份有限公司 | 一种汽车前方障碍物检测方法和*** |
-
2020
- 2020-03-25 CN CN202010219534.9A patent/CN113452952B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107607953A (zh) * | 2017-06-01 | 2018-01-19 | 王玲 | 一种侧向车辆防碰撞***及其方法 |
| US20180365503A1 (en) * | 2017-06-16 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium |
| CN107590433A (zh) * | 2017-08-04 | 2018-01-16 | 湖南星云智能科技有限公司 | 一种基于毫米波雷达和车载摄像头的行人检测方法 |
| CN110135485A (zh) * | 2019-05-05 | 2019-08-16 | 浙江大学 | 单目相机与毫米波雷达融合的物体识别与定位方法和*** |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN110850413A (zh) * | 2019-11-26 | 2020-02-28 | 奇瑞汽车股份有限公司 | 一种汽车前方障碍物检测方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113452952B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Extracting vehicle trajectories using unmanned aerial vehicles in congested traffic conditions | |
| Zang et al. | Land-use mapping for high-spatial resolution remote sensing image via deep learning: A review | |
| KC | Enhanced pothole detection system using YOLOX algorithm | |
| Yuan et al. | Image feature based GPS trace filtering for road network generation and road segmentation | |
| Iftikhar et al. | Advance generalization technique through 3D CNN to overcome the false positives pedestrian in autonomous vehicles | |
| Yang et al. | Vehicle counting method based on attention mechanism SSD and state detection | |
| You et al. | Unsupervised adaptation from repeated traversals for autonomous driving | |
| Meng et al. | A block object detection method based on feature fusion networks for autonomous vehicles | |
| Liang et al. | Car detection and classification using cascade model | |
| Dimitrievski et al. | Semantically aware multilateral filter for depth upsampling in automotive lidar point clouds | |
| Engelhardt et al. | Occupancy grids generation using deep radar network for autonomous driving | |
| Dalbah et al. | RadarFormer: Lightweight and accurate real-time radar object detection model | |
| Stäcker et al. | RC-BEVFusion: A plug-in module for radar-camera bird’s eye view feature fusion | |
| CN113452952B (zh) | 一种路况监测方法及装置和*** | |
| Wang et al. | [Retracted] InSAR Phase Unwrapping Algorithm Based on Deep GAN | |
| Anandhalli et al. | An approach to detect vehicles in multiple climatic conditions using the corner point approach | |
| CN115830073A (zh) | 地图要素重建方法、装置、计算机设备和存储介质 | |
| CN111489398B (zh) | 一种成像设备标定方法以及装置 | |
| Chen et al. | Object counting in remote sensing via selective spatial‐frequency pyramid network | |
| CN111238524B (zh) | 视觉定位方法以及装置 | |
| Liu et al. | The Robust Semantic SLAM System for Texture‐Less Underground Parking Lot | |
| CN117437523B (zh) | 联合sar ccd和全局信息捕获的微弱痕迹检测方法 | |
| CN114549593B (zh) | 一种多目标多摄像头的目标追踪方法及*** | |
| CN117649777B (zh) | 目标匹配方法、装置和计算机设备 | |
| CN117893990B (zh) | 道路标志检测方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |