CN111144432B - 在传感器融合***中消除模糊检测的方法 - Google Patents
在传感器融合***中消除模糊检测的方法 Download PDFInfo
- Publication number
- CN111144432B CN111144432B CN201910474316.7A CN201910474316A CN111144432B CN 111144432 B CN111144432 B CN 111144432B CN 201910474316 A CN201910474316 A CN 201910474316A CN 111144432 B CN111144432 B CN 111144432B
- Authority
- CN
- China
- Prior art keywords
- detection
- candidate
- detections
- module
- true
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 372
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000004927 fusion Effects 0.000 title description 2
- 238000010801 machine learning Methods 0.000 claims description 19
- 230000002787 reinforcement Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 230000009977 dual effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002902 bimodal effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/08—Systems for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供了一种用于消除模糊检测之间歧义的消歧***。所述***包括多个模块,其中每个模块被配置为通过在一组模糊检测中选择一个候选检测作为真实检测来消除模糊检测之间的歧义,并且其中每个模块被配置为应用不同的选择技术。所述***包括:一个或多个模块,被配置为选择其关联位置更接近由其他数据指示的位置的候选检测作为真实检测;以及一个或多个模块,被配置为基于其他传感器数据选择具有为真的最高概率的候选检测作为真实检测。
Description
技术领域
本公开一般涉及物体检测和跟踪,并且更具体地涉及用于消除诸如模 糊雷达检测的模糊检测的歧义的车辆中的***和方法。
车辆感知***已经被引入到车辆中以允许车辆感测其环境并且在一 些情况下允许车辆自主地或半自动地导航。可以在车辆感知***中采用的 传感设备包括雷达、激光雷达、图像传感器等。
尽管近年来已经看到车辆感知***的显著进步,但是这些***仍可在 许多方面得到改进。雷达,特别是用于汽车应用的雷达,可以为单个目标 返回多于一个的模糊位置检测,例如两个候选方位角或仰角。单独的雷达 硬件可能无法解决这种模糊性。
因此,期望提供用于消除模糊检测的歧义的改进的***和方法。此外, 通过随后的详细描述和所附权利要求,结合附图和前述技术领域和背景, 本发明的其他期望特征和特性将变得清楚。
发明内容
提供了用于增强型雷达检测***的***和方法。在一个实施例中,提 供了一种用于在模糊检测之间消除歧义的消歧***。所述***包括多个模 块,其中每个模块被配置为通过在一组模糊检测中选择一个候选检测作为 真实检测来消除模糊检测之间的歧义,并且其中每个模块被配置为应用不 同的选择技术。所述***包括:一个或多个模块,由处理器配置为选择其关联位置更接近由其他数据指示的位置的候选检测作为真实检测,以及一个或多个模块,由处理器配置为基于其他传感器数据选择具有为真的最高 概率的候选检测作为真实检测。
在一个实施例中,模糊检测包括模糊雷达检测,所述一组模糊检测包 括两个模糊雷达检测,并且在一组模糊检测中选择一个候选检测作为真实 检测包括在一组两个模糊雷达检测中选择一个候选雷达检测作为真实检 测。
在一个实施例中,所述一个或多个模块被配置为选择其关联位置更接 近其他数据指示的位置的候选检测作为真实检测包括以下中的一个或多 个:第一模块,被配置为选择最接近目标的预测下一个位置的候选检测作 为真实检测;第二模块,被配置为选择最接近第一已知行驶路径的候选检 测作为真实检测;第三模块,被配置为选择指示与在第二已知行驶路径上行驶的目标一致的位置和速率的候选检测作为真实检测;第四模块,被配 置为选择指示最接近来自另一传感器的检测所指示的位置的位置的候选 检测作为真实检测。
在一个实施例中,第一模块被配置为计算从被跟踪目标的最后位置到 每个候选检测的距离度量,预测被跟踪目标的下一个位置,以及选择与预 测的下一个位置的距离小于阈值距离的候选检测。
在一个实施例中,第一已知行驶路径是根据地图数据确定的,并且其 中第二模块被配置为选择最接近第一已知行驶路径并且在距第一已知行 驶路径的阈值距离内的候选检测。
在一个实施例中,第一已知行驶路径由成像数据确定,并且其中第二 模块被配置为选择最接近第一已知行驶路径并且在距行驶路径的阈值距 离内的候选检测。
在一个实施例中,第三模块被配置为基于候选检测计算目标的表观静 态范围速率,计算道路速度,并过滤出指示具有位置和计算的速率与第二 已知行驶路径上的行驶不一致的目标的候选检测。
在一个实施例中,第四模块被配置为将候选检测与来自具有重叠视场 的第二传感器的数据进行比较。
在一个实施例中,第二传感器包括成像设备。
在一个实施例中,第二传感器包括雷达传感器。
在一个实施例中,所述一个或多个模块被配置为基于其他传感器数据 选择具有为真的最高概率的候选检测作为真实检测包括以下中的一个或 多个:第五模块,被配置为计算每个候选检测的高斯分布和具有包含候选 检测的视场的图像数据,基于计算的高斯分布估计候选检测是真实的可能 性,并选择具有为真的最高概率的候选检测;以及第六模块,被配置为计算每个候选检测的高斯分布和具有包含候选检测的视场的雷达特征数据,基于计算的高斯分布估计候选检测是真实的可能性,并选择具有为真的最 高概率的候选检测。
在一个实施例中,所述***还包括第七模块,该第七模块包括使用机 器学习技术训练的模型,以选择指示与学习的可驾驶路径一致的位置的候 选检测。
在一个实施例中,使用强化学习技术使用过去模糊雷达数据的数据集 和可驾驶路径的时间限制片段来训练模型,并且其中第七模块被配置为选 择可能对可驾驶路径之一做出贡献的候选检测。
在另一个实施例中,提供了一种车辆,包括雷达检测传感设备、第二 传感设备和用于在模糊雷达检测之间消除歧义的消歧***。消歧***包括 多个模块,其中每个模块被配置为通过在一组模糊雷达检测中选择一个候 选雷达检测作为真实检测来消除模糊雷达检测之间的歧义,并且其中每个 模块被配置为应用不同的选择技术。该消歧***包括:一个或多个模块,被配置为选择其关联位置更接近由来自所述第二传感设备的数据指示的位置的候选雷达检测作为真实检测;一个或多个模块,被配置为基于其他 传感器数据选择具有为真的最高概率的候选检测作为真实检测。
在一个实施例中,所述一个或多个模块被配置为选择其关联位置更接 近其他数据指示的位置的候选检测作为真实检测包括以下中的一个或多 个:第一模块,被配置为选择最接近目标的预测下一个位置的候选检测作 为真实检测;第二模块,被配置为选择最接近第一已知行驶路径的候选检 测作为真实检测;第三模块,被配置为选择指示与在第二已知行驶路径上行驶的目标一致的位置和速率的候选检测作为真实检测;第四模块,被配 置为选择指示最接近来自另一传感器的检测所指示的位置的位置的候选 检测作为真实检测。
在一个实施例中,第一模块被配置为计算从被跟踪目标的最后位置到 每个候选检测的距离度量,预测被跟踪目标的下一个位置,以及选择与预 测下一个位置的距离小于阈值距离的候选检测;第一已知行驶路径是根据 地图数据或成像数据确定的,并且其中第二模块被配置为选择最接近第一 已知行驶路径并且在距第一已知行驶路径的阈值距离内的候选检测;第三模块被配置为基于候选检测计算目标的表观静态范围速率,计算道路速率, 并过滤出指示具有位置和计算的速率与第二已知行驶路径上的行驶不一 致的目标的候选检测;第四模块,被配置为将候选检测与来自具有重叠视场的第二传感器的数据进行比较;第二传感器包括成像设备或雷达传感器。
在一个实施例中,所述一个或多个模块被配置为基于其他传感器数据 选择具有为真的最高概率的候选检测作为真实检测包括以下中的一个或 多个:第五模块,被配置为计算每个候选检测的高斯分布和具有包含候选 检测的视场的图像数据,基于计算的高斯分布估计候选检测是真实的可能 性,并选择具有为真的最高概率的候选检测;以及第六模块,被配置为计算每个候选检测的高斯分布和具有包含候选检测的视场的雷达特征数据,基于计算的高斯分布估计候选检测是真实的可能性,并选择具有为真的最 高概率的候选检测。
在一个实施例中,所述车辆还包括第七模块,该第七模块包括使用机 器学习技术训练的模型,以选择指示与学习的可驾驶路径一致的位置的候 选检测。
在一个实施例中,使用强化学习技术使用过去模糊雷达数据的数据集 和可驾驶路径的时间限制片段来训练模型,并且其中第七模块被配置为选 择可能对可驾驶路径之一做出贡献的候选检测。
在另一个实施例中,提供了一种用于在模糊检测之间消除歧义的消歧 ***。所述***包括:第一模块,被配置为选择最接近目标的预测下一个 位置的候选检测作为真实检测,其中第一模块被配置为计算从被跟踪目标 的最后位置到每个候选检测的距离度量,预测被跟踪目标的下一个位置, 并选择与预测的下一个位置的距离小于阈值距离的候选检测;第二模块,被配置为选择最接近第一已知行驶路径的候选检测作为真实检测,其中, 第一已知行驶路径是根据地图数据或成像数据确定的,并且第二模块被配 置为选择最接近第一已知行驶路径并且在距第一已知行驶路径的阈值距 离内的候选检测;第三模块,被配置为选择指示与在第二已知行驶路径上 行驶的目标一致的位置和速率的候选检测作为真实检测,其中第三模块被配置为基于候选检测计算目标的表观静态范围速率,计算道路速率,并过 滤出指示具有位置和计算的速率与第二已知行驶路径上的行驶不一致的 目标的候选检测;第四模块,被配置为选择指示最接近来自另一传感器的 检测所指示的位置的位置的候选检测作为真实检测,其中第四模块被配置 为将候选检测与来自具有重叠视场的第二传感器的数据进行比较,并且第 二传感器包括成像设备或雷达传感器;第五模块,被配置为计算每个候选检测的高斯分布和具有包含候选检测的视场的图像数据,基于计算的高斯 分布估计候选检测是真实的可能性,并选择具有为真的最高概率的候选检 测;第六模块,被配置为计算每个候选检测的高斯分布和具有包含候选检 测的视场的雷达特征数据,基于计算的高斯分布估计候选检测是真实的可 能性,并选择具有为真的最高概率的候选检测;以及第七模块,包括使用 机器学习技术训练的模型,以选择指示与学习的可驾驶路径一致的位置的候选检测,其中使用强化学习技术使用过去模糊雷达数据的数据集和可驾 驶路径的时间限制片段来训练模型,并且其中第七模块被配置为选择可能 对可驾驶路径之一做出贡献的候选检测。
附图说明
以下将结合以下附图来描述示例性实施例,其中相同的数字表示相同 的元件,并且其中:
图1描绘了根据各种实施例的示例性车辆,其包括用于雷达***的雷 达检测消歧模块;
图2是示出根据各种实施例的与自主车辆相关联的自主驾驶*** (ADS)的功能框图;
图3是描绘根据各种实施例的用于车辆中的示例性雷达检测消歧模块 的框图;
图4是描绘根据各种实施例的使用示例性轨迹选通模块在从雷达传感 器接收的多个模糊雷达候选检测之间选择更可能真实的检测的示例说明 的图;
图5A是描绘根据各种实施例的使用示例性地图匹配模块与详细的先 前存在的地图以在从雷达传感器接收的多个模糊雷达候选检测之间选择 更可能真实的检测的示例说明的图;
图5B是描绘根据各种实施例的使用相机数据或路径规划数据的示例 性地图匹配模块在从雷达传感器接收的多个模糊雷达候选检测之间选择 更可能真实的检测的示例说明的图;
图6A和6B是描绘根据各种实施例的使用基于示例性贝叶斯图的道路 速度动态建模模块在多个模糊雷达候选检测之间选择更可能真实的检测 的示例说明的图;
图7是描绘根据各种实施例的使用示例***叉传感器关联模块在从雷 达传感器接收的多个模糊雷达候选检测之间选择更可能真实的检测的示 例说明的图;
图8A是描绘根据各种实施例的使用示例性第一双模测量模块使用图 像数据在多个模糊雷达候选检测之间选择更可能真实的检测的示例说明 的预期图;
图8B是描绘根据各种实施例的用于选择更可能真实的检测的示例性 第一双模测量模块中的示例过程的过程流程图;
图9A是描绘根据各种实施例的使用示例性第二双模测量模块使用雷 达检测特性在多个模糊雷达候选检测之间选择更可能真实的检测的示例 说明的预期图;
图9B是描绘根据各种实施例的用于选择更可能真实的检测的示例性 第二双模测量模块中的示例过程的过程流程图;
图10A是描绘根据各种实施例的配备有增强学习鉴别器模块的示例性 车辆的示例性操作场景的图,所述增强学习鉴别器模块包括已被训练以基 于模糊雷达候选检测来预测可驾驶路径的ML(机器学习)模型;
图10B是描绘根据各种实施例的在预测可能的真实雷达检测时训练和 使用ML模型的示例过程的过程流程图;以及
图11是描绘根据各种实施例的用于在多个模糊雷达候选检测之间选 择更可能真实的检测的示例过程的过程流程图。
具体实施方式
以下详细描述本质上仅是示例性的,并不旨在限制应用和用途。此外, 无意受前述技术领域、背景技术、发明内容或以下详细描述中呈现的任何 明示或暗示的理论的约束。如本文所使用的,术语“模块”是指单独地或 以任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备,包括但不限于:专用集成电路(ASIC)、现场可编程门阵列(FPGA)、 电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组) 和存储器、组合逻辑电路和/或提供所描述的功能的其他合适部件。
可以在功能和/或逻辑块部件和各种处理步骤方面描述本公开的实施 例。应当理解,可以通过被配置为执行指定功能的任何数量的硬件、软件 和/或固件部件来实现这样的块部件。例如,本公开的实施例可以采用各种集成电路部件,例如,存储器元件、数字信号处理元件、逻辑元件、查找 表等,其可以在一个或多个微处理器或其他控制设备的控制下实施各种功 能。另外,本领域技术人员将理解,本公开的实施例可以结合任何数量的***来实践,并且本文描述的***仅仅是本公开的示例性实施例。
为简洁起见,传统技术涉及信号处理、数据传输、信令、控制、机器 学习模型、雷达、激光雷达、图像分析以及本文可能没有详细描述的*** 的其他功能方面(以及***的各个操作部件)。此外,本文包含的各种图中所示的连接线旨在表示各种元件之间的示例性功能关系和/或物理耦合。 应当注意,在本公开的实施例中可以存在许多替代或附加的功能关系或物 理连接。
本文公开的装置、***、方法可以利用来自车辆中存在的其他传感器 (例如,相机、其他雷达)的结果来解决模糊检测结果之间的模糊性。本 文公开的装置、***、方法可以通过减少混乱来减少雷达检测误报警。本 文公开的装置、***、方法可以组合多种方法以解决模糊检测结果之间的 模糊性。
图1描绘了示例性车辆100,其包括用于雷达***的雷达检测消歧模 块302。如图1所示,车辆100通常包括底盘12、车身14、前轮16和后 轮18。车身14布置在底盘12上并且基本上包围车辆100的部件。车身 14和底盘12可以共同形成车架。轮子16-18各自在主体14的相应拐角附 近可旋转地联接到底盘12。
在各种实施例中,车辆100可以是自主车辆或半自主车辆。自主车辆 100例如是自动控制以将乘客从一个位置运送到另一个位置的车辆。在所 示实施例中,车辆100被描绘为乘用车,但是也可以使用其他车辆类型, 包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、船舶、飞机等。
如图所示,车辆100通常包括推进***20、传动***22、转向*** 24、制动***26、传感器***28、致动器***30、至少一个数据存储设 备32,至少一个控制器34和通信***36。在各种实施例中,推进***20 可包括内燃发动机,诸如牵引马达的电机和/或燃料电池推进***。传动系 统22被配置为根据可选择的速比将动力从推进***20传递到车轮16和18。根据各种实施例,传动***22可包括步进比自动变速器、无级变速 器或其他适当的变速器。
制动***26被配置为向车轮16和18提供制动扭矩。在各种实施例 中,制动***26可包括摩擦制动器、线控制动器、再生制动***,例如 电机,和/或其他适当的制动***。
转向***24影响车轮16和/或18的位置。虽然为了说明的目的而描 绘为包括方向盘25,但是在本公开的范围内预期的一些实施例中,转向系 统24可能不包括方向盘。
传感器***28包括一个或多个传感设备40a-40n,其感测车辆100的 外部环境和/或内部环境的可观察状况(诸如一个或多个乘员的状态)并产 生与传感器数据相关的传感器数据。于此。传感设备40a-40n可以包括但 不限于雷达(例如,远程、中程-短程)、激光雷达、全球定位***、光学 相机(例如,面向前方、360度、面向后方、面向侧方、立体声等)、热(例 如,红外)相机、超声波传感器、测距传感器(例如,编码器)和/或可以结合根据本发明主题的***和方法使用的其他传感器。
致动器***30包括一个或多个致动器设备42a-42n,其控制一个或多 个车辆特征,例如但不限于推进***20、传动***22、转向***24和制 动***。在各种实施例中,车辆100还可包括图1中未示出的内部和/或外 部车辆特征,例如各种门、行李箱和诸如空气、音乐、照明、触摸屏显示 部件(例如,作为与导航***一起使用的那些),等等。
数据存储设备32存储用于自动控制车辆100的数据。在各种实施例 中,数据存储设备32存储可导航环境的定义的地图。在各种实施例中, 定义的映射可以由远程***预定义并从远程***获得。例如,定义的地图 可以由远程***组装并且以无线方式和/或以有线方式传送到车辆100并 存储在数据存储设备32中。路线信息也可以存储在数据存储设备32中-即, 一组路段(在地理上与一个或多个定义的地图相关联)一同定义用户可以 从起始位置(例如,用户的当前位置)行驶到目标位置的路线。可以理解, 数据存储设备32可以是控制器34的一部分,与控制器34分开,或者是 控制器34的一部分和单独***的一部分。
控制器34包括至少一个处理器44和计算机可读存储设备或介质46。 处理器44可以是任何定制的或商业上可用的处理器、中央处理单元(CPU)、 图形处理单元(GPU)、专用集成电路(ASIC)(例如、实现神经网络的定 制ASIC)、现场可编程门阵列(FPGA)、与控制器34相关联的若干处理 器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式、 其任何组合、或通常用于执行指令的任何设备。计算机可读存储设备或介 质46可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和保 活存储器(KAM)中的易失性和非易失性存储器。KAM是持久性或非易 失性存储器,其可用于在处理器44断电时存储各种操作变量。计算机可 读存储设备或介质46可以使用许多已知存储器设备中的任何一种来实现,例如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电 可擦除PROM)、闪存或任何存储器设备、能够存储数据(其中一些代表可执行指令)的其他电、磁、光或组合存储器件,由控制器34用于控制 车辆100。在各种实施例中,控制器34被配置为实现如下面详细讨论的映射***。
指令可以包括一个或多个单独的程序,每个程序包括用于实现逻辑功 能的可执行指令的有序列表。当由处理器44执行时,指令从传感器*** 28接收和处理信号(例如,传感器数据),执行用于自动控制车辆100的 部件的逻辑、计算、方法和/或算法,并产生控制信号传输到致动器*** 30以基于逻辑、计算、方法和/或算法自动控制车辆100的部件。尽管图1 中仅示出了一个控制器34,但是车辆100的实施例可以包括任何数量的控 制器34,其通过任何合适的通信介质或通信介质的组合进行通信并且协作 以处理传感器信号,执行逻辑、计算、方法和/或算法,并产生控制信号以 自动控制车辆100的特征。
通信***36被配置为与其他实体48无线地通信信息,其他实体48 例如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、网络 (“V2N”通信)、行人(“V2P”通信)、远程运输***和/或用户设备。在 示例性实施例中,通信***36是无线通信***,被配置为使用IEEE 802.11 标准或通过使用蜂窝数据通信通过无线局域网(WLAN)进行通信。然而, 诸如专用短程通信(DSRC)信道的附加或替代通信方法也被认为在本公 开的范围内。DSRC信道是指专为汽车应用而设计的单向或双向短程到中 程无线通信信道以及相应的协议和标准集。
根据各种实施例,控制器34可以实现如图2所示的自主驾驶*** (ADS)70。即,控制器34的合适的软件和/或硬件部件(例如,处理器44和计算机可读存储器设备46)可用于提供与车辆100结合使用的自主 驾驶***70。
在各种实施例中,自主驾驶***70的指令可以通过功能或***来组 织。例如,如图2所示,自主驾驶***70可包括感知***74、定位*** 76、路径规划***78和车辆控制***80。可以理解,在各种实施例中, 指令可以被组织成任何数量的***(例如,组合,进一步分区等),因为 本公开不限于本示例。
在各种实施例中,感知***74合成并处理所获取的传感器数据并预测车辆100的环境的对象和特征的存在、位置、分类和/或路径。在各种实施例中,感知***74的实施例可以合并来自多个传感器(例如,传感器***28,包括但不限于相机、激光雷达、雷达和/或任何数量的其他类型的传感器)的信息。在各种实施例中,雷达检测消歧模块302的全部或部分可包括在感知***74内。
定位***76处理传感器数据以及其他数据以确定车辆100相对于环 境的位置(例如,相对于地图的本地位置、相对于道路的车道的精确位置、 车辆航向等)。可以理解,可以采用各种技术来实现这种定位,包括例如 同时定位和映射(SLAM)、粒子滤波器、卡尔曼滤波器、贝叶斯滤波器等。
路径规划***78处理传感器数据以及其他数据以确定车辆100跟随 的路径。车辆控制***80根据确定的路径产生用于控制车辆100的控制 信号。
在各种实施例中,控制器34实施机器学习技术以辅助控制器34的功 能,例如特征检测/分类、障碍物减轻、路线遍历、映射、传感器集成、地 面实况确定等。
图3是描绘用于车辆的示例性雷达检测消歧模块302的框图。示例性 雷达检测消歧模块302被配置为应用一个或多个消歧模块以确定多个模糊 雷达检测301中的哪一个是可能真实的检测303。示例性雷达检测消歧模块302中的多个消歧模块包括轨迹选通模块304、地图匹配模块306、基 于贝叶斯地图的道路速度动态建模模块308、交叉传感器关联模块310、 第一双模测量模块312、第二双模测量模块314和增强学习鉴别器模块316。 示例性雷达检测消歧模块302还包括选择模块318,其被配置为选择一个 或多个消歧模块以应用于确定多个模糊雷达检测301中的哪一个是可能真 实的检测303。示例性雷达检测消歧模块302还被配置为输出通过消歧模 块确定的可能检测。在各种实施例中,雷达检测消歧模块302可以在图1 的控制器34上、在单独的控制器上或在控制器的组合上实现。
示例性轨迹选通模块304被配置为通过选择最接近用于雷达检测的预 测目标位置的候选在多个模糊雷达候选检测301之间选择更可能真实的检 测303。如果针对目标已经存在雷达轨迹和/或替代消歧方法不可用,则选 择模块318可以选择轨迹选通模块304。示例性轨迹选通模块304被配置 为(a)针对每个现有雷达轨迹计算到每个模糊候选检测的距离度量;(b) 使用预测滤波器(例如,卡尔曼滤波器)预测目标位置的下一个位置;以 及(c)选择最接近预测的下一个位置且小于距预测的下一个位置的阈值距 离的模糊雷达候选检测301。距离度量可以包括但不限于欧几里德距离或马哈拉诺比斯距离;后者可以通过知道从卡尔曼滤波器获得的预测位置协 方差来计算。
在一个示例中,轨迹选通模块304可以通过针对每个现有雷达轨迹计 算从被跟踪目标的最后位置到每个模糊候选检测的距离度量来选择最接 近用于雷达检测的预测目标位置的候选;应用卡尔曼滤波器来预测被跟踪 目标的下一个位置并将预测的下一个位置转换到测量平面(例如,对于线 性KF,);计算平方马哈拉诺比斯距离其中S=R+HP-HT用于候选检测k∈{1,2,...}(也可替代地使用欧几里德距离);并且,对于每个 现有雷达轨迹,使用/>被卡方分布的知识来选择候选检测,以选择百分位 P的阈值T(例如,95%),并且如果/>将检测k与轨迹相关联。如果多 个模糊检测落入选通门内,则选择具有最短马哈拉诺比斯距离的检测。
图4提供了使用示例性轨迹选通模块304在从雷达传感器407接收的 多个模糊雷达候选检测301之间选择更可能真实的检测303的示例说明。 描绘了三组模糊候选检测,包括候选检测402a和402b的候选检测组1, 包括候选检测404a和404b的候选检测组2,以及包括候选检测406a和406b 的候选检测组3。示例性轨迹选通模块304被配置为访问预测滤波器(例 如,卡尔曼滤波器)以基于目标的最后位置403获得目标的预测位置401。 使用预测位置401,示例性轨迹选通模块304被配置为识别远离下一预测 位置401的阈值距离内的区域405(例如,应用选通门)。示例性轨迹选通 模块304被配置为选择通过选择在门区域405内的最近的模糊候选检测 (例如,候选检测402b)作为候选检测组1的可能真实的检测。示例性跟 踪选通模块304被配置为以相同的方式为候选检测组2和候选检测组3选 择可能真实的检测。
返回参考图3,示例性地图匹配模块306被配置为通过选择最接近已 知目标路径并且小于远离目标路径的某个最大距离阈值距离T的候选检测, 来在多个模糊雷达候选检测301之间选择更可能真实的检测303。如果车辆附近区域的地图可用和/或替代的消歧方法不可用,则选择模块318可以 选择地图匹配模块306以选择更可能真实的检测303。
示例性地图匹配模块306被配置为如果区域地图可用,则使用区域地 图上的道路的位置来获得有效目标位置的信息。示例性地图匹配模块306 还被配置为从相机数据或路径规划数据(例如,来自车道、路缘检测、目 标路径)推断有效目标位置。示例性地图匹配模块306被配置为选择最接 近已知目标路径(例如,道路)并且小于远离目标路径的最大阈值距离T 的候选检测。该地图可以是详细的先前存在的地图或从诸如相机的成像设备的检测结果导出的粗略地图区域。
图5A提供了使用示例性地图匹配模块306与详细的先前存在的地图 500以在从雷达传感器501接收的多个模糊雷达候选检测301之间选择更 可能真实的检测303的示例说明。描绘了三组模糊的候选检测,包括候选 检测502a和502b的候选检测组1,包括候选检测504a和504b的候选检 测组2,包括候选检测506a和506b的候选检测组3。示例性地图匹配模块 306被配置为在地图500上映射模糊候选检测的位置,并且访问地图数据 以获得道路508的位置。示例性地图匹配模块306被配置为确定最接近道 路508的每组候选检测中的候选检测。如果最接近道路的候选检测(例如, 502b、504b、506b)也在距离道路的阈值距离内,则示例性地图匹配模块 306被配置为将候选检测(例如,502b、504b、506b)识别为可能真实的 检测303。通过确定可能真实的检测303,车辆可以识别真实的目标位置 510。
图5B提供了在没有详细的先前存在的地图,而是使用相机数据或路 径规划数据的情况下,使用示例性地图匹配模块306在从雷达传感器511 接收的多个模糊雷达候选检测301之间选择更可能真实的检测303的示例 说明。描绘了三组模糊的候选检测,包括候选检测512a和512b的候选检 测组1,包括候选检测514a和514b的候选检测组2,以及包括候选检测 516a和516B的候选检测组3。示例性地图匹配模块306被配置为确定模 糊候选检测相对于从相机数据检测到的检测到的道路区域518的位置。示例性地图匹配模块306被配置为确定最接近检测到的道路区域518的每组 候选检测中的候选检测。如果最接近检测到的道路区域518的候选检测(例如,候选检测512b、514b、516b)也在距检测到的道路区域518的阈值距 离内,示例性地图匹配模块306被配置为将该候选检测(例如,候选检测 512b、514b、516b)识别为可能真实的检测303。通过确定可能真实的检 测303,车辆可以识别真实的目标位置520。
再次参考图3,基于示例性贝叶斯地图的道路速度动态建模模块308 被配置为通过确定由目标的候选检测指示的行驶的位置和速率(速度和方 向)是否与在地图上描绘的道路或车道上的行驶一致,在多个模糊雷达候 选检测301之间选择更可能真实的检测303。如果车辆附近区域的地图可 用,则选择模块318可以选择基于贝叶斯地图的道路速度动态建模模块308 来选择更可能真实的检测303。基于贝叶斯地图的道路速度动态建模模块308被配置为计算目标的表观静态范围速率,假设其在道路上行驶来计算 道路速度,并且过滤掉随时间的不一致性。
图6A和6B提供了使用基于示例性贝叶斯地图的道路速度动态建模模 块308在多个模糊雷达候选检测301之间选择更可能真实的检测303的示 例说明。图6A和6B中描绘的分别是道路602、612。来自第一候选检测 的第一目标604和来自第二候选检测的第二目标614也分别在图6A和6B 中示出。示例性的基于贝叶斯地图的道路速度动态建模模块308在离散的 时刻中被配置为(a)计算每个目标604、614的表观静态范围速率(srr) 606、616;(b)假设目标在道路602、612上行驶,计算每个目标604、614 的道路速度608、618;(c)过滤掉(例如,拒绝)与在道路602、612上 行驶的目标604、614不一致的候选检测。在图6A的该示例中,在该时刻,目标604不位于道路上并且过滤掉其相关联的候选检测。在图6B的示例中,在该时刻,目标614位于道路602上的车道620中,其行驶方向与车 道620的行驶方向一致,并且其速度与车道620的速度限制一致。因此, 在这种情况下,与目标614相关联的候选检测不被过滤掉。
返回参考图3,示例***叉传感器关联模块310被配置为通过利用具 有重叠视场的一个或多个附加传感器(例如,诸如用于远程雷达的相机或 相同类型的另一雷达的成像设备)在多个模糊雷达候选检测301之间选择更可能真实的检测303,以确认候选检测的准确性。交叉传感器关联模块 310被配置为选择提供最接近来自附加传感器的检测并且小于远离由附加 传感器指示的目标位置的某个最大阈值距离的目标位置的候选检测。如果 来自另一传感器的数据可用,则选择模块318可以选择交叉传感器关联模块310以选择更可能真实的检测303。
图7提供了使用示例***叉传感器关联模块310在从雷达传感器701 接收的多个模糊雷达候选检测301之间选择更可能真实的检测303的示例 说明。描绘了三组模糊候选检测,包括候选检测702a和702b的候选检测 组1,包括候选检测704a和704b的候选检测组2,以及包括候选检测706a 和706b的候选检测组3。示例***叉传感器关联模块310被配置为访问附 加检测708,并且识别最接近附加检测708的每组候选检测中的候选检测。 如果候选检测最接近附加检测708(例如,候选检测702b、704b、706b) 也在距附加检测708的阈值距离内,则示例***叉传感器关联模块310被 配置为将该候选检测(例如,候选检测702b、704b、706b)识别为可能是 真实的检测303。通过确定可能真实的检测303,车辆可以识别真实的目 标位置710。
再次参考图3,示例性第一双模测量模块312被配置为通过将候选检 测数据与来自图像传感器的数据进行比较在多个模糊雷达候选检测301之 间选择更可能真实的检测303。第一双模测量模块被配置为通过计算高斯 模型(例如)来确定候选检测是真实检测的概率,高斯模型(例 如/>)中包括用于每个雷达候选检测的高斯分布和用于图像数据 的分量,其中λi涉及视觉属性并且μi,∑i涉及雷达属性。第一双模测量模块312 被配置为选择具有最高概率的候选检测作为真实检测。如果来自成像传感 器的数据可用,则选择模块318可以选择第一双模测量模块312以选择更 可能真实的检测303。
图8A和8B提供了使用示例性第一双模测量模块312使用图像数据在 多个模糊雷达候选检测301之间选择更可能真实的检测303的示例说明。 图8A是示出示例性第一候选检测802和示例性第二候选检测808的示例 的预期图,第一候选检测802中图像806中的感兴趣区域(ROI)804公开 为卡车,具有99%的真实检测概率,示例性第二候选检测808中图像806 中的ROI 810公开为防护墙上方的草地区域,有1%的概率是真实检测。
图8B是描绘用于选择更可能真实的检测303的示例性第一双模测量 模块312中的示例过程812的过程流程图。示例过程812包括针对每个雷 达回波,从来自相机的图像数据中提取位于雷达回波周围的感兴趣区域 (ROI)(操作814)。接下来,示例性过程812包括计算每个ROI的视觉 特征向量(例如,特征向量提取)(操作816)。然后,示例性过程812包 括通过逻辑分类器(例如,分类)从视觉特征向量估计每个配对候选是真实的可能性λi(i=1,2)(操作818)。接下来,示例性过程812包括导出目标 的测量值pdf(概率密度函数)(双模态):),其中N是正态高 斯分布,μi是雷达回波测量值(范围、距离速率、方位角),并且∑i是协方 差矩阵(操作820)。最后,示例性过程812包括基于测量值pdf关联和更新MHT(多个假设***)群体(操作822)。在该特定示例中,操作816 可以由通用特征向量提取器模块执行,并且操作818可以由逻辑特征分类 器执行。在其他实施例中,操作816(例如,特征提取)和操作818(例 如,分类)可以由图像空间中的一些其他类型的训练检测器执行,其提供概率输出,λi(i=1,2),例如作为神经网络或SVM(支持向量机)。
返回参考图3,示例性第二双模测量模块314被配置为通过使用雷达 特征在多个模糊雷达候选检测301之间选择更可能真实的检测303。示例 性第二双模测量模块314不需要来自第二传感器的数据,而是使用雷达签名数据来选择更可能真实的检测303。第二双模测量模块314被配置为通 过计算高斯模型确定候选检测是真实检测的概率,高斯模型/>对于每个雷达候选检测具有高斯分布,其中λi与雷达签名数据有 关并且μi,∑i与雷达位置属性有关。第二双模测量模块314被配置为选择具 有最高概率的候选检测作为真实检测。
图9A和9B提供了使用示例性第二双模测量模块314使用雷达检测特 性在多个模糊雷达候选检测301之间选择更可能真实的检测303的示例说 明。图9A是示出示例的第一候选检测902和示例性第二候选检测908的 预期图,第一候选检测902具有雷达签名数据906的ROI 904,具有1%的 概率为真实检测,第二候选检测908具有雷达签名数据912的ROI910, 具有99%的概率为真实检测。
图9B是描绘用于选择更可能真实的检测303的示例性第二双模测量 模块314中的示例过程914的过程流程图。示例过程914包括从雷达回波 周围的感兴趣区域(ROI)提取雷达检测(操作916)。接下来,示例性过 程914包括根据雷达签名数据计算两个ROI集的雷达特征向量(例如,特 征向量提取)(操作918)。然后,示例性过程914包括通过概率性输出分类器(例如,分类)从雷达特征向量估计每个配对候选是真实的可能性λi(i=1,2)(操作920)。接下来,示例性过程914包括导出目标的测量值pdf (概率密度函数)(双模态):),其中N是正态高斯分布,μi是 雷达回波测量值(范围、距离速率、方位角),并且∑i是协方差矩阵(操作 922)。最后,示例性过程914包括基于测量pdf关联和更新MHT(多个假 设***)群体(操作924)。在该特定示例中,操作918可以由通用特征 向量提取器模块执行,并且操作920可以由概率性输出分类器执行。在各 种实施例中,操作918(例如,特征提取)和操作920(例如,分类)可 以由雷达特征空间中的不同类型的训练检测器执行,其被配置为区分车辆 和非车辆并提供概率输出,λi(i=1,2),例如神经网络或SVM。
返回参考图3,示例强化学习鉴别器模块316被配置为使用训练的机 器学习(ML)模型在多个模糊雷达候选检测301之间选择更可能真实的 检测303。示例强化学习鉴别器模块316包括训练的ML模型,该训练的 ML模型被训练以使用模糊雷达候选检测来预测穿过交通的未来可穿越路 径。示例强化学习鉴别器模块316被配置为将实时模糊雷达候选检测应用 于训练的ML模型以预测可驾驶路径,确定哪些模糊雷达候选检测对可驾 驶路径有贡献,并且选择对可驾驶路径有贡献的候选雷达候选检测作为更可能真实的检测303。
图10A和10B提供了使用示例性强化学习鉴别器模块316在多个模糊 雷达候选检测301之间选择更可能真实的检测303的示例说明。图10A描 绘了配备有强化学习鉴别器模块316的示例性车辆的示例性操作场景1002, 强化学习鉴别器模块316包括已被训练以基于模糊雷达候选检测来预测可 驾驶路径1004的ML模型。
图10B是描绘在预测可能的真实雷达检测时训练并使用ML模型的示 例过程1010的过程流程图。历史模糊雷达数据和可驾驶路径的标记数据 集可以从关于由车辆驾驶的先前路径的数据产生。历史模糊传感器数据 1012和路径驾驶数据1014的十个第二片段可用于训练(操作1016),使用强化学习技术,ML模型1018基于模糊雷达候选检测来预测可驾驶路径。 在训练ML模型1018以基于模糊雷达候选检测来预测可驾驶路径之后,可以将实时模糊传感器数据1020应用于ML模型1018。ML模型1018可 以预测可驾驶路径(操作1022)。基于预测的可驾驶路径,示例强化学习鉴别器模块316可以确定哪些模糊雷达候选检测对可驾驶路径有贡献并且 选择对可驾驶路径有贡献的候选雷达候选检测作为更可能真实的检测(操 作1024)。
图11是描绘用于在多个模糊雷达候选检测之间选择更可能真实的检 测的示例过程1100的过程流程图。过程1100内的操作顺序不限于如图中所示的顺序执行,而是可以根据适用并根据本公开以一个或多个变化的顺 序执行。
示例性过程1100包括选择尝试的方法(操作1102)。可以基于其他可 用的传感器数据或测量值来做出选择决策。选择决策可能是尝试一种方法, 如果该方法不成功,那么尝试另一种方法。所选择的方法可以涉及找到至 最近的预测轨迹的距离(操作1104),例如使用轨迹选通模块304。所选择 的方法可以涉及找到至最近的有效目标路径的距离(操作1106),例如是 有地图匹配模块306。使用所选择的方法可以涉及找到至最近的无模糊检测的距离(操作1108),例如使用交叉传感器关联模块310。所选择的方法 可以涉及使用图像特征找到每个目标的可能性(操作1110),例如,使用 第一双模测量模块312。所选择的方法可以涉及使用雷达特征找到每个目 标的可能性(操作1112),例如使用第二双模测量模块314。所选择的方法 可以涉及在给定整体路径预测的情况下找到每个目标的可能性(操作 1114),例如使用强化学习鉴别器模块316。所选择的方法可以涉及使用速 度和行驶方向找到每个目标的可能性(操作1116),例如使用基于贝叶斯 地图的道路速度动态建模模块308。
当所选择的方法涉及找到至最近的预测轨迹的距离时(操作1104), 当所选择的候选具有最接近预测的轨迹位置的距离并且低于阈值距离(操 作1120)时,将所选择的候选与真实检测相关联(操作1118)。当所选择 的方法涉及找到至最近的有效目标路径的距离时(操作1106),当所选择 的候选具有最接近有效目标路径的距离并且低于阈值距离(操作1122)时, 将所选择的候选与真实检测相关联(操作1118)。当所选择的方法涉及找 到至最近的无模糊检测的距离时(操作1108),当所选择的候选具有最接 近无模糊检测的距离且低于阈值距离(操作1124)时,将所选择的候选与 真实检测相关联(操作1118)。当所选择的方法涉及找到每个目标的可能 性时(操作1110、1112、1114、1116),将具有最高可能性的候选与真实检 测相关联(操作1118)。
尽管在前面的详细描述中已经呈现了至少一个示例性实施例,但是应 该理解存在大量的变型。还应当理解,一个或多个示例性实施例仅是示例, 并不旨在以任何方式限制本公开的范围、适用性或配置。相反,前面的详 细描述将为本领域技术人员提供用于实现一个或多个示例性实施例的便 利路线图。在不脱离所附权利要求及其合法等同物所阐述的本公开的范围的情况下,可以对元件的功能和布置进行各种改变。
作为示例,本文描述的装置、***、方法、技术和物品可以应用于除 雷达***之外的测量***。本文描述的装置、***、方法、技术和物品可 以应用于速率测量传感器,例如激光或基于光的速率测量传感器。
Claims (9)
1.一种用于消除来自于第一传感器的模糊检测之间歧义的消歧***,所述***包括多个模块,每个模块被配置为通过选择一组模糊检测中的一个候选检测作为真实检测来消除模糊检测之间的歧义,每个模块被配置为应用一种不同的选择技术,所述***包括:
一个或多个模块,由处理器配置为基于来自于与第一传感器不同的其它传感器的数据选择具有为真的最高概率的候选检测作为真实检测;以及
以下中的一个或多个:
第一模块,被配置为选择最接近目标的预测下一个位置的候选检测作为真实检测;
第二模块,被配置为选择最接近第一已知行驶路径的候选检测作为真实检测;
第三模块,被配置为选择指示与在第二已知行驶路径上行驶的目标一致的位置和速率的候选检测作为真实检测;以及
第四模块,被配置为选择指示最接近来自于与第一传感器不同的其它传感器的检测所指示的位置的位置的候选检测作为真实检测。
2.根据权利要求1所述的***,其中,所述模糊检测包括模糊雷达检测,所述一组模糊检测包括两个模糊雷达检测,并且在一组模糊检测中选择一个候选检测作为真实检测包括在一组两个模糊雷达检测中选择一个候选雷达检测作为真实检测。
3.根据权利要求1所述的***,其中,所述一个或多个模块包括以下中的一个或多个:
第五模块,被配置为计算每个候选检测的高斯分布和具有包含候选检测的视场的图像数据,基于计算的高斯分布估计候选检测是真实的可能性,并选择具有为真的最高概率的候选检测;以及
第六模块,被配置为计算每个候选检测的高斯分布和具有包含候选检测的视场的雷达特征数据,基于计算的高斯分布估计候选检测是真实的可能性,并选择具有为真的最高概率的候选检测。
4.根据权利要求3所述的***,其中所述第一模块被配置为计算从被跟踪目标的最后位置到每个候选检测的距离度量,预测被跟踪目标的下一个位置,以及选择与预测的下一位置的距离小于阈值距离的候选检测。
5.根据权利要求3所述的***,其中所述第一已知行驶路径是根据地图数据确定的,并且其中所述第二模块被配置为选择最接近所述第一已知行驶路径并且在距所述第一已知行驶路径的阈值距离内的候选检测。
6.根据权利要求3所述的***,其中所述第一已知行驶路径由成像数据确定,并且其中所述第二模块被配置为选择最接近第一已知行驶路径并且在距所述行驶路径的阈值距离内的候选检测。
7.根据权利要求3所述的***,其中所述第三模块被配置为基于候选检测计算目标的表观静态范围速率,计算道路速率,并过滤出指示具有位置和计算的速率与第二已知行驶路径上的行驶不一致的目标的候选检测。
8.根据权利要求3所述的***,其中所述第四模块被配置为将所述候选检测与来自具有重叠视场的第二传感器的数据进行比较,其中所述第二传感器包括成像设备或雷达传感器。
9.根据权利要求3所述的***,还包括:
第七模块,包括使用机器学习技术训练的模型,以选择指示与学习的可行驶路径一致的位置的候选检测,其中使用强化学习技术使用过去模糊雷达数据的数据集和可驾驶路径的时间限制片段训练模型,并且其中所述第七模块被配置为选择可能对可驾驶路径之一做出贡献的候选检测。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/177799 | 2018-11-01 | ||
US16/177,799 US10859673B2 (en) | 2018-11-01 | 2018-11-01 | Method for disambiguating ambiguous detections in sensor fusion systems |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111144432A CN111144432A (zh) | 2020-05-12 |
CN111144432B true CN111144432B (zh) | 2024-04-12 |
Family
ID=70460051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910474316.7A Active CN111144432B (zh) | 2018-11-01 | 2019-05-31 | 在传感器融合***中消除模糊检测的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10859673B2 (zh) |
CN (1) | CN111144432B (zh) |
DE (1) | DE102019115080A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7192229B2 (ja) * | 2018-03-26 | 2022-12-20 | 株式会社デンソー | 検知装置、検知方法、およびコンピュータプログラム |
US11428781B2 (en) * | 2018-11-01 | 2022-08-30 | Robert Bosch Gmbh | System and method for radar-based localization in sparse environment |
WO2020121286A1 (en) * | 2018-12-14 | 2020-06-18 | Thales Canada Inc. | Vehicle odometry and motion direction determination |
WO2020157844A1 (ja) * | 2019-01-30 | 2020-08-06 | 三菱電機株式会社 | 計測装置、計測方法及び計測プログラム |
DE102020206659A1 (de) * | 2019-05-30 | 2020-12-03 | Robert Bosch Gesellschaft mit beschränkter Haftung | Multi-hypothesen-objektverfologung für automatisierte fahrsysteme |
KR20210022935A (ko) * | 2019-08-21 | 2021-03-04 | 엘지전자 주식회사 | Slam을 구현하는 방법 및 전자 장치 |
RU2751734C2 (ru) * | 2019-12-30 | 2021-07-16 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и процессоры для управления рулением беспилотным автомобилем |
US11454716B2 (en) * | 2019-12-30 | 2022-09-27 | Woven Planet North America, Inc. | Systems and methods for adaptive gating in initialization of radar tracking |
JP7486355B2 (ja) * | 2020-06-18 | 2024-05-17 | 古野電気株式会社 | 船舶用物標検出システム、船舶用物標検出方法、信頼度推定装置、及びプログラム |
CN112529822B (zh) * | 2021-02-09 | 2021-04-20 | 斯伦贝谢油田技术(山东)有限公司 | 一种随钻测井成像数据处理方法 |
US20230003872A1 (en) * | 2021-06-30 | 2023-01-05 | Zoox, Inc. | Tracking objects with radar data |
US20230046274A1 (en) * | 2021-08-16 | 2023-02-16 | Waymo Llc | Identification of spurious radar detections in autonomous vehicle applications |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368890A (zh) * | 2016-05-11 | 2017-11-21 | Tcl集团股份有限公司 | 一种以视觉为中心的基于深度学习的路况分析方法及*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19949409A1 (de) * | 1999-10-13 | 2001-04-19 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Objektdetektierung |
CA2953385A1 (en) * | 2014-06-30 | 2016-01-07 | Evolving Machine Intelligence Pty Ltd | A system and method for modelling system behaviour |
EP3349033A1 (en) * | 2017-01-13 | 2018-07-18 | Autoliv Development AB | Enhanced object detection and motion estimation for a vehicle environment detection system |
-
2018
- 2018-11-01 US US16/177,799 patent/US10859673B2/en active Active
-
2019
- 2019-05-31 CN CN201910474316.7A patent/CN111144432B/zh active Active
- 2019-06-04 DE DE102019115080.9A patent/DE102019115080A1/de active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368890A (zh) * | 2016-05-11 | 2017-11-21 | Tcl集团股份有限公司 | 一种以视觉为中心的基于深度学习的路况分析方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111144432A (zh) | 2020-05-12 |
DE102019115080A1 (de) | 2020-05-07 |
US20200142026A1 (en) | 2020-05-07 |
US10859673B2 (en) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111144432B (zh) | 在传感器融合***中消除模糊检测的方法 | |
US11155258B2 (en) | System and method for radar cross traffic tracking and maneuver risk estimation | |
US11932284B2 (en) | Trajectory setting device and trajectory setting method | |
CN111458700B (zh) | 车辆映射和定位的方法和*** | |
RU2767955C1 (ru) | Способы и системы для определения компьютером наличия динамических объектов | |
US11625038B2 (en) | Autonomous driving device | |
CN112154455B (zh) | 数据处理方法、设备和可移动平台 | |
CN108466621B (zh) | 车辆和用于控制车辆的至少一个功能的*** | |
JP2003536096A (ja) | 追跡マップジェネレータ | |
US20180306912A1 (en) | Systems and methods for using road understanding to constrain radar tracks | |
CN111522350A (zh) | 感知方法、智能控制设备及自动驾驶车辆 | |
US11042160B2 (en) | Autonomous driving trajectory determination device | |
US11292487B2 (en) | Methods and systems for controlling automated driving features of a vehicle | |
CN115900738A (zh) | 路径规划方法、装置、车辆以及存储介质 | |
US10845814B2 (en) | Host vehicle position confidence degree calculation device | |
CN111959482B (zh) | 自主驾驶装置及方法 | |
US20230103178A1 (en) | Systems and methods for onboard analysis of sensor data for sensor fusion | |
Lai et al. | Sensor fusion of camera and MMW radar based on machine learning for vehicles | |
US20210124351A1 (en) | Onboard cluster tracking system | |
CN112230216A (zh) | 面向云控智能底盘的车载毫米波雷达多目标探测方法 | |
CN111736142B (zh) | 用于雷达交叉交通跟踪和操纵风险评估的***和方法 | |
US20220092985A1 (en) | Variable threshold for in-path object detection | |
WO2024144436A1 (ru) | Устройство и способ для определения объектов | |
WO2024144437A1 (ru) | Беспилотное транспортное средство и способ управления его движением | |
US20240051549A1 (en) | Systems and methods for estimating lateral velocity of a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |