CN111582256B - 一种基于雷达和视觉信息的停车管理方法及装置 - Google Patents
一种基于雷达和视觉信息的停车管理方法及装置 Download PDFInfo
- Publication number
- CN111582256B CN111582256B CN202010572561.4A CN202010572561A CN111582256B CN 111582256 B CN111582256 B CN 111582256B CN 202010572561 A CN202010572561 A CN 202010572561A CN 111582256 B CN111582256 B CN 111582256B
- Authority
- CN
- China
- Prior art keywords
- radar
- target
- image
- coordinate system
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 43
- 230000000007 visual effect Effects 0.000 title claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000001360 synchronised effect Effects 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000001131 transforming effect Effects 0.000 claims description 10
- 230000006399 behavior Effects 0.000 description 13
- 238000012806 monitoring device Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供了一种基于雷达和视觉信息的停车管理方法及装置，该方法包括：获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据；确定所述雷达数据中的雷达目标，得到所述雷达目标在图像二维坐标系上的雷达目标框；确定所述图像数据中是否包含车辆目标，若包含，确定所述车辆目标在图像二维坐标系上的图像检测框；计算所述雷达目标框与所述图像检测框的交并比值，基于所述交并比值确定候选目标；计算所述候选目标的置信度，若所述候选目标的置信度大于预定置信度阈值，对预定监控区域内车辆进行停车管理。通过本发明，提高了车辆目标识别的精确率；能够显著降低停车事件误判概率，从而实现了对车辆目标的精确识别。
Description
技术领域
本发明涉及智能停车管理技术领域，尤其涉及一种基于雷达和视觉信息的停车管理方法及装置。
背景技术
在经济快速发展的今天，人民的生活水平和收入都在不断的提高，城市机动车保有量也急速增长，但随之而来，城市停车位缺口也不断扩大，停车位远远无法满足巨大的停车需求，停车位与停车需求之间的矛盾也日益尖锐，尤其在城市道路两侧，由于路侧停车位的稀缺以及较多机动车驾驶人的交通安全意识淡薄，城市路侧停车和路侧违法停车已成为城市管理的痼疾之一，由此带来交通拥堵、车辆乱停乱放等问题严重制约着城市的快速发展，同时，严重影响城市的市容市貌以及居民生活环境，因此，对于城市路侧停车和路侧违法停车的治理，已到刻不容缓的程度。
在路侧停车管理中，通常使用图像监控设备监测目标停车区域，再利用目标检测及识别算法确定目标车辆，对车辆进行停车管理。然而，单纯利用摄像机拍摄的视觉信息易受到环境干扰，强光、大雾、雨雪等都会使得在视频图像中无法准确获得到车辆目标特征，导致停车管理的精度较低。由此，通常引入其他传感器辅助停车管理，如毫米波雷达等。如果使用毫米波雷达对目标区域的车辆进行监测，虽然抗环境干扰能力强，但对于多车辆目标的识别和分割，容易出现误判；且缺乏获取车辆关键身份信息的能力。
发明内容
本发明实施例提供一种基于雷达和视觉信息的停车管理方法及装置，实现了对车辆目标的精确识别。
本发明实施例提供了一种基于雷达和视觉信息的停车管理方法，包括：
获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据；
确定所述雷达数据中的雷达目标，将所述雷达数据通过坐标系变换，获得雷达目标在图像二维坐标系上的映射，并根据所述映射得到所述雷达目标在图像二维坐标系上的雷达目标框；
确定所述图像数据中是否包含车辆目标，若包含，确定所述车辆目标在图像二维坐标系上的图像检测框；
计算所述雷达目标框与所述图像检测框的交并比值，基于所述交并比值确定候选目标；
分别基于在预定时间内获取的雷达数据和图像数据对所述候选目标进行行为分析，计算所述候选目标的置信度，若所述候选目标的置信度大于预定置信度阈值，对预定监控区域内车辆进行停车管理。
本发明实施例还提供了一种基于雷达和视觉信息的停车管理装置，包括：
第一获取模块，用于获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据；
变换模块，用于确定所述雷达数据中的雷达目标，将所述雷达数据通过坐标系变换，获得雷达目标在图像二维坐标系上的映射，并根据所述映射得到所述雷达目标在图像二维坐标系上的雷达目标框；
第一确定模块，用于确定所述图像数据中是否包含车辆目标，若包含，确定所述车辆目标在图像二维坐标系上的图像检测框；
第一计算模块，用于计算所述雷达目标框与所述图像检测框的交并比值，基于所述交并比值确定候选目标；
第二计算模块，用于分别基于在预定时间内获取的雷达数据和图像数据对所述候选目标进行行为分析，计算所述候选目标的置信度，若所述候选目标的置信度大于预定置信度阈值，对预定监控区域内车辆进行停车管理。
上述技术方案具有如下有益效果：通过本发明，基于对同步采集频率在预定监控区域内采集的雷达数据与图像数据的融合，能够精确地确定车辆目标在图像中的位置；同时通过对雷达数据与图像数据的计算处理，能够及时地判断预定监控区域内车辆目标的停车行为，提高了车辆停车事件判断的精确率；避免了因使用单一的图像监控设备在停车管理中对监控区域进行监测时，容易受环境影响而无法准确识别车辆目标的问题，减少了停车事件的误判概率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于雷达和视觉信息的停车管理方法流程图；
图2为本发明一实施例中基于雷达和视觉信息的停车管理装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例中一种基于雷达和视觉信息的停车管理方法流程图，包括：
101、获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据；
102、确定所述雷达数据中的雷达目标，将所述雷达数据通过坐标系变换，获得雷达目标在图像二维坐标系上的映射，并根据所述映射得到所述雷达目标在图像二维坐标系上的雷达目标框；
103、确定所述图像数据中是否包含车辆目标，若包含，确定所述车辆目标在图像二维坐标系上的图像检测框；
104、计算所述雷达目标框与所述图像检测框的交并比值，基于所述交并比值确定候选目标；
105、分别基于在预定时间内获取的雷达数据和图像数据对所述候选目标进行行为分析，计算所述候选目标的置信度，若所述候选目标的置信度大于预定置信度阈值，对预定监控区域内车辆进行停车管理。
进一步地，在所述获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据的步骤之前，包括：
获取雷达数据采集频率与图像数据采集频率；
将雷达数据采集频率的倒数值与图像数据采集频率的倒数值的最小公倍数的倒数值确定为同步采集频率；
其中，所述获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，包括：
同步雷达数据与图像数据采集的起始采集点。
进一步地，所述确定所述雷达数据中的雷达目标，将所述雷达数据通过坐标系变换，获得雷达目标在图像二维坐标系上的映射，并根据所述映射得到所述雷达目标在图像二维坐标系上的雷达目标框，具体包括：
确定所述雷达数据中的雷达目标，将所述雷达目标通过坐标系变换，得到变换前坐标系与变换后坐标系间的数据的映射关系；
根据所述映射关系，得到雷达目标在图像二维坐标系上的映射；
基于所述映射及预置雷达目标框生成算法，获得雷达目标在图像二维坐标系上的雷达目标框。
进一步地，所述确定所述图像数据中是否包含车辆目标，若包含，确定所述车辆目标在图像二维坐标系上的图像检测框，具体包括：
基于目标检测算法，确定所述图像数据中是否包含车辆目标，若包含，确定所述车辆目标在图像二维坐标系上的图像检测框。
进一步地，所述计算所述雷达目标框与所述图像检测框的交并比值，基于所述交并比值确定候选目标，包括：
计算所述雷达目标框与所述图像检测框的交集面积与并集面积；
根据所述交集面积与并集面积，计算得到所述雷达目标框与所述图像检测框的交并比值；
若所述交并比值大于预定交并比值，将所述雷达目标框与所述图像检测框内目标确定为候选目标。
进一步地，所述分别基于在预定时间内获取的雷达数据和图像数据对所述候选目标进行行为分析，计算所述候选目标的置信度，若所述候选目标的置信度大于预定置信度阈值，对预定监控区域内车辆进行停车管理，具体包括：
分别基于在预定时间内获取的雷达数据和图像数据对所述候选目标进行行为分析，并根据计算参数，计算所述候选目标的置信度；
若候选目标的置信度大于预定置信度阈值，确定预定监控区域内存在车辆，并对车辆进行停车管理；
其中，所述计算参数包括位姿、速度、轮廓匹配程度中的至少一项。
如图2所示，为本发明一实施例中基于雷达和视觉信息的停车管理装置结构示意图，包括：
第一获取模块21，用于获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据；
变换模块22，用于确定所述雷达数据中的雷达目标，将所述雷达数据通过坐标系变换，获得雷达目标在图像二维坐标系上的映射，并根据所述映射得到所述雷达目标在图像二维坐标系上的雷达目标框；
第一确定模块23，用于确定所述图像数据中是否包含车辆目标，若包含，确定所述车辆目标在图像二维坐标系上的图像检测框；
第一计算模块24，用于计算所述雷达目标框与所述图像检测框的交并比值，基于所述交并比值确定候选目标；
第二计算模块25，用于分别基于在预定时间内获取的雷达数据和图像数据对所述候选目标进行行为分析，计算所述候选目标的置信度，若所述候选目标的置信度大于预定置信度阈值，对预定监控区域内车辆进行停车管理。
进一步地，包括：
第二获取模块，用于获取雷达数据采集频率与图像数据采集频率；
第二确定模块，用于将雷达数据采集频率的倒数值与图像数据采集频率的倒数值的最小公倍数的倒数值确定为同步采集频率；
其中，所述第一获取模块还用于
同步雷达数据与图像数据采集的起始采集点。
进一步地，所述变换模块，具体用于
确定所述雷达数据中的雷达目标，将所述雷达目标通过坐标系变换，得到变换前坐标系与变换后坐标系间的数据的映射关系；
根据所述映射关系，得到雷达目标在图像二维坐标系上的映射；
基于所述映射及预置雷达目标框生成算法，获得雷达目标在图像二维坐标系上的雷达目标框。
进一步地，所述第一确定模块，具体用于
基于目标检测算法，确定所述图像数据中是否包含车辆目标，若包含，确定所述车辆目标在图像二维坐标系上的图像检测框。
进一步地，所述第一计算模块，包括：
第一计算单元，用于计算所述雷达目标框与所述图像检测框的交集面积与并集面积；
第二计算单元，用于根据所述交集面积与并集面积，计算得到所述雷达目标框与所述图像检测框的交并比值；
确定单元，用于若所述交并比值大于预定交并比值，将所述雷达目标框与所述图像检测框内目标确定为候选目标。
进一步地，所述第二计算模块，具体用于
分别基于在预定时间内获取的雷达数据和图像数据对所述候选目标进行行为分析，并根据计算参数，计算所述候选目标的置信度；
若候选目标的置信度大于预定置信度阈值，确定预定监控区域内存在车辆，并对车辆进行停车管理；
其中，所述计算参数包括位姿、速度、轮廓匹配程度中的至少一项。
本发明实施例上述技术方案具有如下有益效果：通过本发明，基于对同步采集频率在预定监控区域内采集的雷达数据与图像数据的融合，能够精确地确定车辆目标在图像中的位置；同时通过对雷达数据与图像数据的计算处理，能够及时地判断预定监控区域内车辆目标的停车行为，提高了车辆停车事件判断的精确率；避免了因使用单一的图像监控设备在停车管理中对监控区域进行监测时，容易受环境影响而无法准确识别车辆目标的问题，减少了停车事件的误判概率。
以下结合应用实例对本发明实施例上述技术方案进行详细说明：
本发明应用实例旨在精确地识别车辆目标。
如图1所示，例如，在路侧停车管理***中，配置有至少一个图像监控设备与至少一个雷达监控设备，雷达监控设备通常使用毫米波雷达，首先实时获取通过同步采集频率在预定监控区域内同一时刻，同构雷达监控设备采集的雷达数据与图像监控设备采集的图像数据；当确定雷达数据中存在雷达目标，将该雷达目标数据通过坐标系变换，得到雷达目标在图像二维坐标系上的雷达目标框；随后，确定该图像数据中是否包含车辆目标，若包含，确定该车辆目标在图像二维坐标系上的图像检测框；计算雷达目标框与图像检测框的交并比值，基于该交并比值确定预定监控区域内是否有车辆驶入。
需要说明的是，本发明实施例中，预定监控区域可以是待监控的路侧停车场的全部区域，也可以是待监控的路侧停车场内的部分区域，若预定监控区域为待监控的路侧停车场内的部分区域时，将在对应的预定监控区域内配置至少一个图像监控设备与至少一个雷达监控设备，本发明实施例中虽会以特定预定监控区域为例说明，但在此不做限定。
在一种可能的实现方式中，在所述步骤101获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据的步骤之前，包括：获取雷达数据采集频率与图像数据采集频率；将雷达数据采集频率的倒数值与图像数据采集频率的倒数值的最小公倍数的倒数值确定为同步采集频率。
其中，所述获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，包括：同步雷达数据与图像数据采集的起始采集点。
例如，在路侧停车管理***中，配置有至少一个图像监控设备与至少一个雷达监控设备；获取雷达数据采集频率，如为25Hz，与图像数据采集频率，如为30Hz；将雷达数据采集频率的倒数值即1/25与图像数据采集频率的倒数值即1/30的最小公倍数1/5的倒数值即5确定为同步采集频率，则同步采集频率为即5Hz；随后同步雷达数据与图像数据采集的起始采集点，同步起始采集点后，获取通过同步采集频率5Hz在预定监控区域内采集的雷达数据与图像数据。
通过本实施例，实现了对雷达数据与图像数据在时间采集上的同步，从而能够保证在单位时间内获取到最大数量的同步点，即能够在最短的时间间隔内判断预定监控区域内是否有车辆目标，极大地提高了车辆目标识别的效率。
在一种可能的实现方式中，步骤102确定所述雷达数据中的雷达目标，将所述雷达数据通过坐标系变换，获得雷达目标在图像二维坐标系上的映射，并根据所述映射得到所述雷达目标在图像二维坐标系上的雷达目标框，具体包括：确定所述雷达数据中的雷达目标，将所述雷达目标通过坐标系变换，得到变换前坐标系与变换后坐标系间的数据的映射关系；根据所述映射关系，得到雷达目标在图像二维坐标系上的映射；基于所述映射及预置雷达目标框生成算法，获得雷达目标在图像二维坐标系上的雷达目标框。
例如，接上例，在路侧停车管理***中，获取通过同步采集频率5Hz在预定监控区域内采集的雷达数据与图像数据后，确定获取到的雷达数据中的雷达目标数据，并将该雷达目标数据通过坐标系变换，具体地，根据雷达与图像监控设备，如摄像机，的安装位置求取雷达坐标系转换至图像坐标系的变换矩阵，摄像机通过标定可以求得其外参旋转矩阵及平移向量，通过对雷达与摄像机的联合标定可以求取由雷达坐标系至图像坐标系的变换矩阵，即：
雷达坐标系P(R，α)，相机坐标系P(X，Y，Z)，
两坐标系的变换关系有，
将相机坐标系转换到未校正图像坐标系P(x，y)的变换过程有，
得到变换前的坐标系与变换后的坐标系间的数据的映射关系；由于相机存在一定的枕型、桶型畸变，一般通过张正友相机标定法测定相机内参、外参，经过计算可得校正后的图像坐标系P(x′，y′)，矫正方法为公开技术，本发明实施例中亦不展开说明；
由以上得到校正后的图像坐标系P(x′，y′)至图像坐标点P(u，v)的变换，
由以上推导，可以得到雷达坐标系到图像坐标点的变换，最终得到雷达目标在图像二维坐标系上的雷达目标框。
通过本实施例，能够将雷达数据与图像数据精确地融合，为后续精确地判断车辆目标提供了必要的前提保障。
在一种可能的实现方式中，在获得雷达目标在图像二维坐标系上的雷达目标框的步骤之后包括：通过对雷达数据的预处理，基于毫米波雷达的目标检测算法，获取雷达目标在图像二维坐标系上的雷达目标框。
通过本实施例，根据预定监控区域对于雷达和摄像头的角度和距离，得到最准确的雷达目标框，从而为后续精确地判断车辆目标提供了重要的前提保障。
在一种可能的实现方式中，步骤103确定所述图像数据中是否包含车辆目标，若包含，确定所述车辆目标在图像二维坐标系上的图像检测框，具体包括：使用训练好的YOLOv3目标检测模型获取图像中车辆的图像检测框。
在一种可能的实现方式中，所述计算所述雷达目标框与所述图像检测框的交并比值，基于所述交并比值确定候选目标，包括：计算所述雷达目标框与所述图像检测框的交集面积与并集面积；根据所述交集面积与并集面积，计算得到所述计算所述雷达目标框与所述图像检测框的交并比值；若所述交并比值大于预定交并比值，将所述雷达目标框与所述图像检测框内目标确定为候选目标。
例如，接上例，在路侧停车管理***中，根据雷达目标框bbox2，计算雷达目标框bbox2与原始图像bbox1的矩形边界框的交集面积与并集面积；根据该交集面积与并集面积，计算得到计算雷达目标框bbox2与原始图像bbox1的矩形边界框的交并比值IoU(Intersection over Union)，IoU＝雷达目标框与图像二维坐标系的图像检测框的交集面积/雷达目标框与图像二维坐标系的图像检测框的边界框的并集面积；若该交并比值IoU大于预定交并比值，将该雷达目标框与该图像检测框内目标确定为候选目标。其中，预定交并比值通常根据预定监控区域对于雷达和摄像头的角度和距离而定。
通过本实施例，能够精确地确定候选目标在图像中的位置，从而确保了候选目标的精确识别。
在一种可能的实现方式中，步骤105分别基于在预定时间内获取的雷达数据和图像数据对所述候选目标进行行为分析，计算所述候选目标的置信度，若所述候选目标的置信度大于预定置信度阈值，对预定监控区域内车辆进行停车管理，具体包括：分别基于在预定时间内获取的雷达数据和图像数据对所述候选目标进行行为分析，并根据计算参数，计算所述候选目标的置信度；若候选目标的置信度大于预定置信度阈值，确定预定监控区域内存在车辆，并对车辆进行停车管理。
其中，计算参数包括但不限于位姿、速度、轮廓匹配程度中的至少一项。
例如，在路侧停车管理***中，分别基于在预定时间内获取的雷达数据和图像数据对已确定的候选目标进行行为分析，并根据位姿、速度、轮廓匹配程度等计算参数，计算候选目标的置信度；若候选目标的置信度大于预定置信度阈值，确定预定监控区域内存在车辆，并对车辆进行停车管理。
通过本实施例，能够及时地通过雷达数据和图像数据多维度地对已确定的候选目标进行行为跟踪分析，并通过精确的计算确定预定监控区域内是否存在车辆目标，从而实现了对车辆目标的精确识别。
在一种可能的实现方式中，该方法还包括：若确定实时采集的雷达数据中所述车辆目标消失，确定与所述雷达数据根据同步采集频率采集的图像数据中所述车辆目标是否消失；若消失，确定所述目标车辆驶出所述预定监控区域。
例如，在路侧停车管理***中，若确定实时采集的雷达数据中车辆目标，如车辆car，消失，确定与该雷达数据根据同步采集频率同步采集的图像数据中车辆car是否消失；若消失，确定车辆car驶出该预定监控区域。
通过本实施例，实现了对车辆目标的跟踪，精确及时地识别出车辆目标驶出预定监控区域的情况，为路侧停车管理提供了必要的车辆目标驶离数据，进一步地，提高了路侧停车的管理效率。
本发明实施例提供了一种基于雷达和视觉信息的停车管理装置，可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个***的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于雷达和视觉信息的停车管理方法，其特征在于，包括：
获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据；
确定所述雷达数据中的雷达目标，将所述雷达目标通过坐标系变换，得到变换前坐标系与变换后坐标系间的数据的映射关系；
根据所述映射关系，得到雷达目标在图像二维坐标系上的映射；
基于映射及预置雷达目标框生成算法，获得雷达目标在图像二维坐标系上的雷达目标框；
基于目标检测算法，确定所述图像数据中是否包含车辆目标，若包含，确定所述车辆目标在图像二维坐标系上的图像检测框；
计算所述雷达目标框与所述图像检测框的交集面积与并集面积；
根据所述交集面积与并集面积，计算得到所述雷达目标框与所述图像检测框的交并比值；
若所述交并比值大于预定交并比值，将所述雷达目标框与所述图像检测框内目标确定为候选目标；
分别基于在预定时间内获取的雷达数据和图像数据对所述候选目标进行行为分析，并根据计算参数，计算所述候选目标的置信度；
若候选目标的置信度大于预定置信度阈值，确定预定监控区域内存在车辆，并对车辆进行停车管理；
其中，所述计算参数包括位姿、速度、轮廓匹配程度中的至少一项。
2.根据权利要求1所述的方法，其特征在于，在所述获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据的步骤之前，包括：
获取雷达数据采集频率与图像数据采集频率；
将雷达数据采集频率的倒数值与图像数据采集频率的倒数值的最小公倍数的倒数值确定为同步采集频率；
其中，所述获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，包括：
同步雷达数据与图像数据采集的起始采集点。
3.一种基于雷达和视觉信息的停车管理装置，其特征在于，包括：
第一获取模块，用于获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据；
变换模块，用于确定所述雷达数据中的雷达目标，将所述雷达目标通过坐标系变换，得到变换前坐标系与变换后坐标系间的数据的映射关系；根据所述映射关系，得到雷达目标在图像二维坐标系上的映射；基于映射及预置雷达目标框生成算法，获得雷达目标在图像二维坐标系上的雷达目标框；
第一确定模块，用于基于目标检测算法，确定所述图像数据中是否包含车辆目标，若包含，确定所述车辆目标在图像二维坐标系上的图像检测框；
第一计算模块，包括第一计算单元、第二计算单元以及确定单元，所述第一计算单元用于计算所述雷达目标框与所述图像检测框的交集面积与并集面积，所述第二计算单元用于根据所述交集面积与并集面积，计算得到所述雷达目标框与所述图像检测框的交并比值，所述确定单元用于若所述交并比值大于预定交并比值，将所述雷达目标框与所述图像检测框内目标确定为候选目标；
第二计算模块，用于分别基于在预定时间内获取的雷达数据和图像数据对所述候选目标进行行为分析，并根据计算参数，计算所述候选目标的置信度；若候选目标的置信度大于预定置信度阈值，确定预定监控区域内存在车辆，并对车辆进行停车管理；其中，所述计算参数包括位姿、速度、轮廓匹配程度中的至少一项。
4.根据权利要求3所述的装置，其特征在于，包括：
第二获取模块，用于获取雷达数据采集频率与图像数据采集频率；
第二确定模块，用于将雷达数据采集频率的倒数值与图像数据采集频率的倒数值的最小公倍数的倒数值确定为同步采集频率；
其中，所述第一获取模块还用于同步雷达数据与图像数据采集的起始采集点。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020103376676 | 2020-04-26 | ||
| CN202010337667 | 2020-04-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582256A CN111582256A (zh) | 2020-08-25 |
| CN111582256B true CN111582256B (zh) | 2024-05-14 |
Family
ID=72122060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010572561.4A Active CN111582256B (zh) | 2020-04-26 | 2020-06-22 | 一种基于雷达和视觉信息的停车管理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582256B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528771A (zh) * | 2020-11-27 | 2021-03-19 | 深兰科技（上海）有限公司 | 障碍物检测方法、装置、电子设备及存储介质 |
| CN112738394B (zh) * | 2020-12-25 | 2023-04-18 | 浙江大华技术股份有限公司 | 雷达与摄相机设备的联动方法和装置、存储介质 |
| CN112859006B (zh) * | 2021-01-11 | 2023-08-29 | 成都圭目机器人有限公司 | 一种检测多通道探地雷达数据中金属类弯曲圆柱结构的方法 |
| CN112863195B (zh) * | 2021-03-18 | 2022-06-14 | 浙江大华技术股份有限公司 | 车辆状态的确定方法及装置 |
| CN113486795A (zh) * | 2021-07-06 | 2021-10-08 | 广州小鹏自动驾驶科技有限公司 | 视觉识别性能测试方法、装置、***及设备 |
| CN113469130A (zh) * | 2021-07-23 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种遮挡目标检测方法、装置、存储介质及电子装置 |
| CN113850995B (zh) * | 2021-09-14 | 2022-12-27 | 华设设计集团股份有限公司 | 一种基于隧道雷视数据融合的事件检测方法、装置及*** |
| CN116030556A (zh) * | 2023-02-09 | 2023-04-28 | 深圳妙月科技有限公司 | 一种停车位地锁***及车位共享方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104637059A (zh) * | 2015-02-09 | 2015-05-20 | 吉林大学 | 基于毫米波雷达和机器视觉的夜间前方车辆检测方法 |
| CN109085829A (zh) * | 2018-08-09 | 2018-12-25 | 北京智行者科技有限公司 | 一种动静态目标识别方法 |
| CN110456363A (zh) * | 2019-06-17 | 2019-11-15 | 北京理工大学 | 三维激光雷达点云和红外图像融合的目标检测及定位方法 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN110533923A (zh) * | 2019-08-29 | 2019-12-03 | 北京精英路通科技有限公司 | 停车管理方法、装置、计算机设备及存储介质 |
-
2020
- 2020-06-22 CN CN202010572561.4A patent/CN111582256B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104637059A (zh) * | 2015-02-09 | 2015-05-20 | 吉林大学 | 基于毫米波雷达和机器视觉的夜间前方车辆检测方法 |
| CN109085829A (zh) * | 2018-08-09 | 2018-12-25 | 北京智行者科技有限公司 | 一种动静态目标识别方法 |
| CN110456363A (zh) * | 2019-06-17 | 2019-11-15 | 北京理工大学 | 三维激光雷达点云和红外图像融合的目标检测及定位方法 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN110533923A (zh) * | 2019-08-29 | 2019-12-03 | 北京精英路通科技有限公司 | 停车管理方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582256A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582256B (zh) | 一种基于雷达和视觉信息的停车管理方法及装置 | |
| CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
| CN110688902B (zh) | 一种检测停车位内车辆区域的方法及装置 | |
| CN111739338A (zh) | 一种基于多类型传感器的停车管理方法及*** | |
| CN116229408A (zh) | 一种图像信息与激光雷达点云信息融合的目标识别方法 | |
| WO2023124133A1 (zh) | 交通行为检测方法及装置、电子设备、存储介质和计算机程序产品 | |
| KR20150112656A (ko) | 카메라 캘리브레이션 방법 및 그 장치 | |
| CN113205691B (zh) | 一种识别车辆位置的方法及装置 | |
| CN113066306B (zh) | 一种路侧停车的管理方法及装置 | |
| CN112836699A (zh) | 一种基于长时多目标跟踪的泊位出入场事件分析方法 | |
| CN113505638A (zh) | 车流量的监测方法、监测装置及计算机可读存储介质 | |
| CN115171377A (zh) | 一种基于深度学习的交通流参数检测分析方法和装置 | |
| CN111856445B (zh) | 一种目标检测方法、装置、设备及*** | |
| CN111693998A (zh) | 一种基于雷达和图像数据检测车辆位置的方法及装置 | |
| CN113029185B (zh) | 众包式高精度地图更新中道路标线变化检测方法及*** | |
| CN114332781A (zh) | 一种基于深度学习的智能车牌识别方法及*** | |
| CN115457780B (zh) | 一种基于先验知识集合的车流量流速自动测算方法及*** | |
| CN111814769A (zh) | 一种信息采集方法、装置、终端设备及存储介质 | |
| CN116434056A (zh) | 一种基于雷视融合的目标识别方法、***及电子设备 | |
| CN116504068A (zh) | 车道级车流量的统计方法、装置、计算机设备及存储介质 | |
| CN116110230A (zh) | 基于车载摄像头的车辆越车道线识别方法及*** | |
| CN113408514B (zh) | 一种基于深度学习检测路侧停车场泊位的方法及装置 | |
| CN113449624B (zh) | 一种基于行人重识别确定车辆行为的方法及装置 | |
| KR102521590B1 (ko) | 진출입 차량 검지장치 및 진출입 차량 검지 방법 | |
| CN113505860A (zh) | 盲区检测训练集的筛选方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 075000 ten building, phase 1, airport economic and Technological Development Zone, Zhangjiakou, Hebei Applicant after: Smart intercommunication Technology Co.,Ltd. Address before: 075000 ten building, phase 1, airport economic and Technological Development Zone, Zhangjiakou, Hebei Applicant before: INTELLIGENT INTER CONNECTION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |