CN115542312A - 多传感器关联方法及装置 - Google Patents
多传感器关联方法及装置 Download PDFInfo
- Publication number
- CN115542312A CN115542312A CN202211513054.9A CN202211513054A CN115542312A CN 115542312 A CN115542312 A CN 115542312A CN 202211513054 A CN202211513054 A CN 202211513054A CN 115542312 A CN115542312 A CN 115542312A
- Authority
- CN
- China
- Prior art keywords
- position information
- target pixel
- target
- coordinate system
- pixel frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004364 calculation method Methods 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 239000006185 dispersion Substances 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000005315 distribution function Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000003673 groundwater Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种的多传感器关联方法及装置,涉及机器视觉技术领域,该方法包括:获取目标物体的位置信息以及图像信息;其中,上述位置信息基于预设的多种测距设备采集得到;上述图像信息基于预设的视觉传感器采集得到;将上述位置信息投射到二维图像坐标系中;其中,上述二维图像坐标系基于上述位置信息以及上述图像信息建立;基于上述二维图像坐标系,对上述位置信息和上述图像信息通过预设算法进行关联计算,得到上述多种测距设备的关联结果。该方法通过二维坐标系将多传感器的采集信号进行关联,提升传感器关联后得到结果的准确率。
Description
技术领域
本发明涉及机器视觉技术领域,尤其是涉及一种多传感器关联方法及装置。
背景技术
在自动驾驶领域,现有的多传感器关联技术一般采用匈牙利算法,以针对毫米波、激光、摄像头视觉的异步关联为例,该算法需要不断将当前目标数据和已经获取的航迹目标进行匹配,如果匹配成功就会用当前目标数据更新航迹管理器的现有数据,然后进行滤波处理,得到处理后的目标数据。但是如果匹配失败就会创建新的航迹目标。
然而,上述匈牙利算法在上述异步关联过程中容易匹配失败,并且得到的结果并不准确。
发明内容
本发明的目的在于提供一种多传感器关联方法及装置,提升传感器关联后得到结果的准确率。
第一方面,本发明实施例提供了一种多传感器关联方法,其中,包括:获取目标物体的位置信息以及图像信息;其中,上述位置信息基于预设的多种测距设备采集得到;上述图像信息基于预设的视觉传感器采集得到;将上述位置信息投射到二维图像坐标系中;其中,上述二维图像坐标系基于上述位置信息以及上述图像信息建立;基于上述二维图像坐标系,对上述位置信息和上述图像信息通过预设算法进行关联计算,得到上述多种测距设备的关联结果。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,基于上述二维图像坐标系对上述位置信息和上述图像信息通过预设算法进行关联计算,得到多传感器关联结果的步骤,包括:基于上述二维图像坐标系,判断上述位置信息是否在上述图像信息的目标像素框内;如果是,确定上述位置信息与上述图像信息的上述目标像素框相关联;如果否,计算上述位置信息与上述目标像素框之间的相似程度;如果上述相似程度达到预设相似度阈值,确定上述位置信息与上述图像信息的上述目标像素框相关联。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,计算上述位置信息与上述目标像素框之间的相似程度的步骤,包括:计算上述位置信息携带的目标点在上述二维图像坐标系下与上述目标像素框之间的离散程度;根据离散程度,确定上述位置信息与上述目标像素框之间的相似程度。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,计算上述位置信息携带的目标点在上述二维图像坐标系下与上述目标像素框之间的离散程度的步骤,包括:基于预设的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的距离相似度得分;根据上述距离相似度得分,确定上述位置信息与上述目标像素框之间的离散程度。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,基于预设的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的距离相似度得分的步骤之后,上述方法还包括:根据上述图像信息,判断上述目标物体是否存在横向变道行为;如果是,根据第一预设参数调整上述二维相似度得分计算公式中正态分布模型的标准差,得到更新后的二维相似度得分计算公式;基于预设的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的二维距离相似度得分的步骤,包括:基于上述更新后的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的二维距离相似度得分。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,计算上述位置信息与上述目标像素框之间的相似程度的步骤之前,上述方法还包括:基于第二预设参数,计算上述目标点对应的目标尺寸;计算上述位置信息与上述目标像素框之间的相似程度的步骤,还包括:计算上述位置信息对应的上述目标尺寸与上述目标像素框之间的交并比,得到交并比计算结果;根据上述交并比计算结果,确定上述位置信息与上述目标像素框之间的相似程度。
结合第一方面的第五种可能的实施方式,本发明实施例提供了第一方面的第六种可能的实施方式,其中,计算上述位置信息与上述目标像素框之间的相似程度的步骤,还包括:基于预设的速度相似函数,计算上述位置信息与上述目标像素框对应的上述视觉传感器感知到的上述目标物体的速度差;根据上述速度差,计算上述位置信息与上述目标像素框之间的相似程度。
结合第一方面的第六种可能的实施方式,本发明实施例提供了第一方面的第七种可能的实施方式,其中,获取目标物体的位置信息以及图像信息的步骤之后,上述方法包括:根据上述位置信息,确定上述目标物体与上述测距设备的最小距离为自车距离;基于上述二维图像坐标系对上述位置信息和上述图像信息通过预设算法进行关联计算,得到上述多种测距设备的关联结果的步骤,包括:基于上述二维图像坐标系,按照由近到远的方式逐个匹配与自车距离为预设距离阈值内的多个目标点;将距离上述测距设备最近的目标点与上述目标像素框相关联,得到上述多种测距设备和上述视觉传感器的关联结果。
结合第一方面的第七种可能的实施方式,本发明实施例提供了第一方面的第八种可能的实施方式,其中,上述测距设备包括:激光雷达以及毫米波雷达。
第二方面,本发明实施例提供了一种多传感器关联装置,其中,包括:传感器数据获取模块,用于获取目标物体的位置信息以及图像信息;其中,上述位置信息基于预设的多种测距设备采集得到;上述图像信息基于预设的视觉传感器采集得到;视锥构建模块,用于将上述位置信息投射到二维图像坐标系中;其中,上述二维图像坐标系基于上述位置信息以及上述图像信息建立;传感器关联模块,用于基于上述二维图像坐标系,对上述位置信息和上述图像信息通过预设算法进行关联计算,得到上述多种测距设备的关联结果。
本发明实施例带来了以下有益效果:
本发明提供的多传感器关联方法及装置,包括:获取目标物体的位置信息以及图像信息;其中,上述位置信息基于预设的多种测距设备采集得到;上述图像信息基于预设的视觉传感器采集得到;将上述位置信息投射到二维图像坐标系中;其中,上述二维图像坐标系基于上述位置信息以及上述图像信息建立;基于上述二维图像坐标系,对上述位置信息和上述图像信息通过预设算法进行关联计算,得到上述多种测距设备的关联结果。该方法通过二维坐标系将多传感器的采集信号进行关联,提升传感器关联后得到结果的准确率。
本实施例公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1为本发明实施例提供的一种多传感器关联方法的流程示意图;
图2为本发明实施例提供的一种多传感器关联方法的原理示意图;
图3为本发明实施例提供的另一种多传感器关联方法的流程示意图;
图4为本发明实施例提供的一种目标像素框与目标点的分布场景示意图;
图5为本发明实施例提供了一种计算目标尺寸与目标像素框之间的交并比的原理示意图;
图6为本发明实施例提供了一种目标点与目标像素框关联过程的原理示意图;
图7为本发明实施例提供了一种多传感器关联装置的结构示意图;
图8为本发明实施例提供了一种电子设备结构示意图。
图标:21-目标物体;22-二维图像坐标系;23-自车;24-车体坐标系;41-二维坐标系原点;42-第一目标点在二维坐标系下坐标;43-第二目标点在二维坐标系下坐标;45-第一正态分布函数;46-第二正态分布函数;51-第一目标物体;52-第二目标物体;61-第一目标车辆的目标点;62-第二目标车辆的目标点;63-目标像素框 ;71-传感器数据获取模块;72-视锥构建模块;73-传感器关联模块;81-存储器;82-处理器;83-总线;84-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在自动驾驶领域,现有的多传感器关联技术一般采用匈牙利算法,以针对毫米波、激光、摄像头视觉的异步关联为例,该算法需要不断将当前目标数据和已经获取的航迹目标进行匹配,如果匹配成功就会用当前目标数据更新航迹管理器的现有数据,然后进行滤波处理,得到处理后的目标数据。但是如果匹配失败就会创建新的航迹目标。然而,上述匈牙利算法在上述异步关联过程中容易匹配失败,并且得到的结果并不准确。
基于此,本发明实施例提供了一种多传感器关联方法及装置,该技术可以缓解上述技术问题,该技术可以提升传感器关联后得到结果的准确率。为便于对本发明实施例进行理解,首先对本发明实施例所公开的一种多传感器关联方法进行详细介绍。
实施例1
如图1为本发明实施例提供的一种多传感器关联方法的流程示意图。如图1所见,该方法包括以下步骤:
步骤S101:获取目标物体的位置信息以及图像信息;其中,上述位置信息基于预设的多种测距设备采集得到;上述图像信息基于预设的视觉传感器采集得到。
这里,上述位置信息为上述目标物体的当前位置信息。
在本实施例中,上述测距设备包括:激光雷达以及毫米波雷达。
步骤S102:将上述位置信息投射到二维图像坐标系中;其中,上述二维图像坐标系基于上述位置信息以及上述图像信息建立。
这里,上述位置信息位于预设的车体坐标系中。步骤S102具体包括:将上述车体坐标系中的上述位置信息通过预设标定参数投射到上述二维图像坐标系中。
在本实施例中,上述步骤S102具体包括下述步骤:首先,在程序启动自检时,读取上述预设标定参数。然后,在每次接收到上述视觉传感器数据时,设上述图像信息的时间戳为。寻找或者等待当前的位置信息,设上述位置信息的时间戳为,为上述图像信息和上述位置信息的时间差,即= 。进而修正上述位置信息,虽然上述位置信息是最为准确的,但是由于缺乏上述视觉传感器的目标像素框的速度信息,时刻的视觉原始图像和目标像素框的还原到时刻较为困难,所以需要通过时刻毫米波获取的上述位置数据还原到时刻的图像下来实现数据对齐。毫米波雷达采集到的位置信息在时刻下的位置计算如下:,其中为上述位置信息在时刻的车体坐标系下坐标,表示上述位置信息在时刻下被补偿过后的位置坐标,为时刻的测距设备采集到的目标物体的运行速度。
步骤S103:基于上述二维图像坐标系,对上述位置信息和上述图像信息通过预设算法进行关联计算,得到上述多种测距设备的关联结果。
这里,假设坐标为的上述位置信息投射到上述二维坐标系,为上述视觉传感器的镜头焦距,为测距设备采集目标物体的位置坐标在车体坐标系下的坐标,式中的为预设的上述视觉传感器到上述车体坐标系的旋转矩阵,为上述视觉传感器到上述车体坐标系的平移矩阵,所以上述位置信息从车体坐标系到上述二维坐标系的转换关系可表示为:
其中,为预设的上述视觉传感器的镜头旋转矩阵,为预设的上述视觉传感器的镜头平移矩阵;f为预设的上述视觉传感器的镜头焦距,u为上述二维坐标系的中心点的横坐标,v为上述二维坐标系的中心点的纵坐标,为上述车体坐标系的x轴坐标,为上述车体坐标系的y轴坐标,为上述车体坐标系的z轴坐标,为上述二维坐标系的图像平面中心点横坐标, 为上述二维坐标系的图像平面中心点纵坐标,为上述视觉传感器的感光芯片上像素横轴大小, 为上述视觉传感器的感光芯片上像素纵轴大小,为预设的尺度因子,为测距设备采集目标物体的位置坐标在车体坐标系下的坐标。
进一步的,将上述位置信息以及上述图像信息通过预设算法进行关联计算,得到上述多种测距设备的关联结果。
为了便于理解,图2为本发明实施例提供的一种多传感器关联方法的原理示意图。这里,自车23通过视觉传感器采集目标物体21的位置信息。其中,上述位置信息位于预设的车体坐标系24中,从而将上述车体坐标系24中的上述位置信息通过上述预设标定参数投射到上述二维图像坐标系22中。
本发明实施例提供的多传感器关联方法,包括:获取目标物体的位置信息以及图像信息;其中,上述位置信息基于预设的多种测距设备采集得到;上述图像信息基于预设的视觉传感器采集得到;将上述位置信息以及上述图像信息投射到二维图像坐标系中;其中,上述二维图像坐标系基于上述位置信息以及上述图像信息建立;基于上述二维图像坐标系,对上述位置信息和上述图像信息通过预设算法进行关联计算,得到上述多种测距设备的关联结果。该方法通过二维坐标系将多传感器的采集信号进行关联,提升传感器关联后得到结果的准确率。
实施例2
在图1所示方法的基础上,本发明还提供另一种多传感器关联方法。如图3所示,为本发明实施例提供的另一种多传感器关联方法的流程示意图,如图3所见,该方法包括下述步骤:
步骤S301:获取目标物体的位置信息以及图像信息;其中,上述位置信息基于预设的多种测距设备采集得到;上述图像信息基于预设的视觉传感器采集得到。
步骤S302:将上述位置信息以及上述图像信息投射到二维图像坐标系中;其中,上述二维图像坐标系基于上述位置信息以及上述图像信息建立。
步骤S303:基于上述二维图像坐标系,判断上述位置信息是否在是上述图像信息的目标像素框内。
步骤S3041:如果是,确定上述位置信息与上述图像信息的上述目标像素框相关联。
步骤S3042:如果否,计算上述位置信息与上述目标像素框之间的相似程度。
在其中的一种实施方式中,上述步骤S3042包括下述步骤A1-A2:
步骤A1:计算上述位置信息携带的目标点在上述二维图像坐标系下与上述目标像素框之间的离散程度。
步骤A2:根据离散程度,确定上述位置信息与上述目标像素框之间的相似程度。
这里,上述步骤A1包括下述步骤B1-B2:
步骤B1:基于预设的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的距离相似度得分。
在实际的操作中,上述步骤B1包括:在上述二维坐标系的水平方向以及竖直方向分别建立正态分布模型;根据上述正态分布模型,构建上述二维相似度得分计算公式。
进一步的,上述正态分布模型的标准差反映了上述目标点与上述目标像素框的中心点的距离关系。
进一步的,在上述二维坐标系下,针对上述二维坐标系的水平方向以及竖直方向分别建立正态分布模型。由此可见,那么上述目标点的坐标与上述目标像素框的中心点的距离越近,则上述二维相似度得分计算公式的得分越高。
这里,上述二维相似度得分计算公式为:
其中,为上述二维坐标系中水平方向上的相似度得分,上述二维坐标系中竖直方向上的相似度得分;a为上述水平方向上正态分布模型的第一预设权重b为上述竖直方向上正态分布模型的第二预设权重,,为上述二维相似度得分,上述二维相似度得分的值在0~1之间,该二维相似度得分的数值越大证明两者相似度越高。
在其中的一种实施方式中,将a设置为0.6,将设置为0.4。
为了便于理解,图4为本发明实施例提供的一种目标像素框与目标点的分布场景示意图。由图4所见,为了方便计算,基于二维坐标系原点41建立上述正态分布模型,并将得到的正太分布结果进行归一化处理,使该正太分布结果的取值在0~1之间。沿着目标像素框的水平和竖直方向分别建立第一正态分布函数45和第二正态分布函数46,那么,第一目标点在二维坐标系下坐标42在x轴和y轴方向上的二维相似度得分计算公式的得分分别第一正态分布函数的极值为和第二正态分布函数的极值。上述第一目标点在二维坐标系下坐标42越靠近目标像素框,上述二维相似度得分越高。在实际的操作中可以根据实际情况调整上述第一正态分布函数45以及上述第二正态分布函数46的方差的值,测距设备有时候对于变道中的车辆横向位置不敏感,会出现第二目标点在二维坐标系下坐标43的映射情况,即测距设备在检测目标物体的横向位置存在误差,并没有位于目标像素框中。因此,可以将第一正态分布函数45的方差设置为预设数值,使上述第一正态分布函数45的曲线更为扁平,也使得上述第二目标点在二维坐标系下坐标43在上述二维坐标系下的坐标即使和目标像素框有所偏差也可以在二维相似度得分计算公式中获得一定的分数。
在其中的一种实施方式中,在步骤B1之后,该方法还包括下述步骤C1-C2:
步骤C1:根据上述图像信息,判断上述目标物体是否存在横向变道行为。
步骤C2:如果是,根据第一预设参数调整上述二维相似度得分计算公式中正态分布模型的标准差,得到更新后的二维相似度得分计算公式。
进一步的,上述步骤B1包括:基于上述更新后的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的二维距离相似度得分。
步骤B2:根据上述距离相似度得分,确定上述位置信息与上述目标像素框之间的离散程度。
进一步的,将上述距离相似度得分超过预设相似度得分阈值对应的目标点对应的位置信息,确定为与目标像素框相关联。
在另一种实施方式中,在步骤S3042的步骤之前,该方法还包括:基于第二预设参数,计算上述目标点对应的目标尺寸。进一步的,步骤S3042还包括:首先,计算上述位置信息对应的上述目标尺寸与上述目标像素框之间的交并比,得到交并比计算结果。然后,根据上述交并比计算结果,确定上述位置信息与上述目标像素框之间的相似程度。
进一步的,将上述交并比计算结果超过预设交并比阈值对应的位置信息,确定为与目标像素框相关联。
在本实施例中,图5为本发明实施例提供了一种计算目标尺寸与目标像素框之间的交并比的原理示意图。由图5所见,根据上述第二预设参数可以估计第一目标物体51的尺寸以及第二目标物体52的尺寸,从而得到第一交并比以及第二交并比。这里,图5中实线框为目标像素框,虚线框为上述计算得到的目标尺寸的框图。其中,小于预设低几预设参数,确定第一目标物体51的尺寸以及第二目标物体52与上述目标像素框相关联。
在另一种实施方式中,上述步骤S3042还包括:首先,基于预设的速度相似函数,计算上述位置信息与所述目标像素框对应的上述视觉传感器感知到的上述目标物体的速度差。然后,根据所述速度差,计算上述位置信息与上述目标像素框之间的相似程度。
这里,上述速度相似函数为:
其中,均为三维矢量,分别表示上述位置信息的速度和视觉传感器对上述目标像素框的对应上述目标物体的估算速度,该函数计算两者速度差,并查找预设的卡方分布数据,从而得到概率的分数,并将上述分数归一化到0~1作为速度相似度的评判标准。
进一步的,将上述位置信息的速度超过预设速度阈值对应的位置信息,确定为与目标像素框相关联。
经过上述步骤,如果筛选出多个目标点,同时达到上述预设速度阈值、预设交并比阈值以及预设相似度得分阈值,则启动下述步骤:
在上述步骤S301之后,该方法包括:根据上述位置信息,确定上述目标物体与上述测距设备的最小距离为自车距离;上述步骤S303,包括:首先,基于上述二维图像坐标系,按照由近到远的方式逐个匹配与上述自车距离为预设距离阈值内的多个目标点。然后,将距离上述测距设备最近的目标点与上述目标像素框相关联,得到上述多种测距设备和上述视觉传感器的关联结果。
为了便于理解,图6为本发明实施例提供了一种目标点与目标像素框关联过程的原理示意图。如图6所示,第一目标车辆的目标点61和第二目标车辆的目标点62分别位于自车前方行驶,将上述第一目标车辆的目标点与上述目标像素框63相关联。
步骤S305:如果上述相似程度达到预设相似度阈值,确定上述位置信息与上述图像信息的上述目标像素框相关联。
本发明实施例提供的多传感器关联方法,包括:获取目标物体的位置信息以及图像信息;其中,上述位置信息基于预设的多种测距设备采集得到;上述图像信息基于预设的视觉传感器采集得到;将上述位置信息以及上述图像信息投射到二维图像坐标系中;其中,上述二维图像坐标系基于上述位置信息以及上述图像信息建立;基于上述二维图像坐标系,判断上述位置信息是否在是上述图像信息的目标像素框内;如果是,确定上述位置信息与上述图像信息的上述目标像素框相关联;如果否,计算上述位置信息与上述目标像素框之间的相似程度;如果上述相似程度达到预设相似度阈值,确定上述位置信息与上述图像信息的上述目标像素框相关联。该方法基于二维坐标系计算位置信息与上述图像信息中目标像素框的相似度,从而将多传感器的采集信号进行关联,进一步提升传感器关联后得到结果的准确率。
实施例3
本发明实施例还提供另一种多传感器关联装置。如图7所示,为本发明实施例的一种多传感器关联装置的结构示意图。
传感器数据获取模块71,用于获取目标物体的位置信息以及图像信息;其中,所述位置信息基于预设的多种测距设备采集得到;所述图像信息基于预设的视觉传感器采集得到;
视锥构建模块72,用于将所述位置信息以及所述图像信息投射到二维图像坐标系中;其中,所述二维图像坐标系基于所述位置信息以及所述图像信息建立;
传感器关联模块73,用于基于所述二维图像坐标系,对所述位置信息和所述图像信息通过预设算法进行关联计算,得到所述多种测距设备的关联结果。
这里,上述传感器数据获取模块71、视锥构建模块72以及上述传感器关联模块73依次相连。
本发明实施例提供的多传感器关联装置,与上述实施例提供的多传感器关联方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
实施例4
本实施例提供了一种电子设备,包括处理器和存储器,该存储器存储有能够被该处理器执行的计算机可执行指令,该处理器执行该计算机可执行指令以实现确定地下水位预测方法的步骤。
参见图8所示的一种电子设备的结构示意图,该电子设备包括:存储器81、处理器82,存储器中存储有可在处理器82上运行的计算机程序,处理器执行计算机程序时实现上述地下水位预测方法提供的步骤。
如图8所示,该设备还包括:总线83和通信接口84,处理器82、通信接口84和存储器81通过总线83连接;处理器82用于执行存储器81中存储的可执行模块,例如计算机程序。
其中,存储器81可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口84(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线83可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器81用于存储程序,处理器82在接收到执行指令后,执行程序,前述本发明任一实施例揭示确定地下水位预测装置所执行的方法可以应用于处理器82中,或者由处理器82实现。处理器82可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器82中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器82可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processing,简称DSP) 、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器81,处理器82读取存储器81中的信息,结合其硬件完成上述方法的步骤。
进一步地,本发明实施例还提供了一种机器可读存储介质,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器82调用和执行时,机器可执行指令促使处理器82实现上述确定地下水位预测方法。
本发明实施例提供的确定地下水位预测方法和地下水位预测装置具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
Claims (10)
1.一种多传感器关联方法,其特征在于,包括:
获取目标物体的位置信息以及图像信息;其中,所述位置信息基于预设的多种测距设备采集得到;所述图像信息基于预设的视觉传感器采集得到;
将所述位置信息投射到二维图像坐标系中;其中,所述二维图像坐标系基于所述位置信息以及所述图像信息建立;
基于所述二维图像坐标系,对所述位置信息和所述图像信息通过预设算法进行关联计算,得到所述多种测距设备的关联结果。
2.根据权利要求1所述的多传感器关联方法,其特征在于,基于所述二维图像坐标系对所述位置信息和所述图像信息通过预设算法进行关联计算,得到多传感器关联结果的步骤,包括:
基于所述二维图像坐标系,判断所述位置信息是否在所述图像信息的目标像素框内;
如果是,确定所述位置信息与所述图像信息的所述目标像素框相关联;
如果否,计算所述位置信息与所述目标像素框之间的相似程度;
如果所述相似程度达到预设相似度阈值,确定所述位置信息与所述图像信息的所述目标像素框相关联。
3.根据权利要求2所述的多传感器关联方法,其特征在于,计算所述位置信息与所述目标像素框之间的相似程度的步骤,包括:
计算所述位置信息携带的目标点在所述二维图像坐标系下与所述目标像素框之间的离散程度;
根据离散程度,确定所述位置信息与所述目标像素框之间的相似程度。
4.根据权利要求3所述的多传感器关联方法,其特征在于,计算所述位置信息携带的目标点在所述二维图像坐标系下与所述目标像素框之间的离散程度的步骤,包括:
基于预设的二维相似度得分计算公式计算所述目标点与所述目标像素框中心点的距离相似度得分;
根据所述距离相似度得分,确定所述位置信息与所述目标像素框之间的离散程度。
5.根据权利要求4所述的多传感器关联方法,其特征在于,基于预设的二维相似度得分计算公式计算所述目标点与所述目标像素框中心点的距离相似度得分的步骤之后,所述方法还包括:
根据所述图像信息,判断所述目标物体是否存在横向变道行为;
如果是,根据第一预设参数调整所述二维相似度得分计算公式中正态分布模型的标准差,得到更新后的二维相似度得分计算公式;
基于预设的二维相似度得分计算公式计算所述目标点与所述目标像素框中心点的二维距离相似度得分的步骤,包括:
基于所述更新后的二维相似度得分计算公式计算所述目标点与所述目标像素框中心点的二维距离相似度得分。
6.根据权利要求3所述的多传感器关联方法,其特征在于,计算所述位置信息与所述目标像素框之间的相似程度的步骤之前,所述方法还包括:
基于第二预设参数,计算所述目标点对应的目标尺寸;
计算所述位置信息与所述目标像素框之间的相似程度的步骤,还包括:
计算所述位置信息对应的所述目标尺寸与所述目标像素框之间的交并比,得到交并比计算结果;
根据所述交并比计算结果,确定所述位置信息与所述目标像素框之间的相似程度。
7.根据权利要求6所述的多传感器关联方法,其特征在于,计算所述位置信息与所述目标像素框之间的相似程度的步骤,还包括:
基于预设的速度相似函数,计算所述位置信息与所述目标像素框对应的所述视觉传感器感知到的所述目标物体的速度差;
根据所述速度差,计算所述位置信息与所述目标像素框之间的相似程度。
8.根据权利要求7所述的多传感器关联方法,其特征在于,获取目标物体的位置信息以及图像信息的步骤之后,所述方法包括:
根据所述位置信息,确定所述目标物体与所述测距设备的最小距离为自车距离;
基于所述二维图像坐标系对所述位置信息和所述图像信息通过预设算法进行关联计算,得到所述多种测距设备的关联结果的步骤,包括:
基于所述二维图像坐标系,按照由近到远的方式逐个匹配与所述自车距离为预设距离阈值内的多个目标点;
将距离所述测距设备最近的目标点与所述目标像素框相关联,得到所述多种测距设备和所述视觉传感器的关联结果。
9.根据权利要求1所述的多传感器关联方法,其特征在于,所述测距设备包括:激光雷达以及毫米波雷达。
10.一种多传感器关联装置,其特征在于,包括:
传感器数据获取模块,用于获取目标物体的位置信息以及图像信息;其中,所述位置信息基于预设的多种测距设备采集得到;所述图像信息基于预设的视觉传感器采集得到;
视锥构建模块,用于将所述位置信息投射到二维图像坐标系中;其中,所述二维图像坐标系基于所述位置信息以及所述图像信息建立;
传感器关联模块,用于基于所述二维图像坐标系,对所述位置信息和所述图像信息通过预设算法进行关联计算,得到所述多种测距设备的关联结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513054.9A CN115542312B (zh) | 2022-11-30 | 2022-11-30 | 多传感器关联方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513054.9A CN115542312B (zh) | 2022-11-30 | 2022-11-30 | 多传感器关联方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115542312A true CN115542312A (zh) | 2022-12-30 |
CN115542312B CN115542312B (zh) | 2023-03-21 |
Family
ID=84722703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211513054.9A Active CN115542312B (zh) | 2022-11-30 | 2022-11-30 | 多传感器关联方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115542312B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116052121A (zh) * | 2023-01-28 | 2023-05-02 | 上海芯算极科技有限公司 | 一种基于距离预估的多传感目标检测融合方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111257866A (zh) * | 2018-11-30 | 2020-06-09 | 杭州海康威视数字技术股份有限公司 | 车载摄像头和车载雷达联动的目标检测方法、装置及*** |
CN111862157A (zh) * | 2020-07-20 | 2020-10-30 | 重庆大学 | 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 |
CN113850102A (zh) * | 2020-06-28 | 2021-12-28 | 哈尔滨工业大学(威海) | 基于毫米波雷达辅助的车载视觉检测方法及*** |
CN114724110A (zh) * | 2022-04-08 | 2022-07-08 | 天津天瞳威势电子科技有限公司 | 目标检测方法及设备 |
CN114898296A (zh) * | 2022-05-26 | 2022-08-12 | 武汉大学 | 基于毫米波雷达与视觉融合的公交车道占用检测方法 |
CN115131423A (zh) * | 2021-03-17 | 2022-09-30 | 航天科工深圳(集团)有限公司 | 一种融合毫米波雷达和视觉的距离测量方法及装置 |
CN115372958A (zh) * | 2022-08-17 | 2022-11-22 | 苏州广目汽车科技有限公司 | 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法 |
-
2022
- 2022-11-30 CN CN202211513054.9A patent/CN115542312B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111257866A (zh) * | 2018-11-30 | 2020-06-09 | 杭州海康威视数字技术股份有限公司 | 车载摄像头和车载雷达联动的目标检测方法、装置及*** |
CN113850102A (zh) * | 2020-06-28 | 2021-12-28 | 哈尔滨工业大学(威海) | 基于毫米波雷达辅助的车载视觉检测方法及*** |
CN111862157A (zh) * | 2020-07-20 | 2020-10-30 | 重庆大学 | 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 |
CN115131423A (zh) * | 2021-03-17 | 2022-09-30 | 航天科工深圳(集团)有限公司 | 一种融合毫米波雷达和视觉的距离测量方法及装置 |
CN114724110A (zh) * | 2022-04-08 | 2022-07-08 | 天津天瞳威势电子科技有限公司 | 目标检测方法及设备 |
CN114898296A (zh) * | 2022-05-26 | 2022-08-12 | 武汉大学 | 基于毫米波雷达与视觉融合的公交车道占用检测方法 |
CN115372958A (zh) * | 2022-08-17 | 2022-11-22 | 苏州广目汽车科技有限公司 | 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116052121A (zh) * | 2023-01-28 | 2023-05-02 | 上海芯算极科技有限公司 | 一种基于距离预估的多传感目标检测融合方法及装置 |
CN116052121B (zh) * | 2023-01-28 | 2023-06-27 | 上海芯算极科技有限公司 | 一种基于距离预估的多传感目标检测融合方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115542312B (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
LU502288B1 (en) | Method and system for detecting position relation between vehicle and lane line, and storage medium | |
CN115542312B (zh) | 多传感器关联方法及装置 | |
CN111222441B (zh) | 基于车路协同的点云目标检测和盲区目标检测方法及*** | |
CN112465193B (zh) | 多传感器数据融合的参数优化方法及装置 | |
CN111427019A (zh) | 路侧雷达自适应校正方法及*** | |
CN114111775A (zh) | 一种多传感器融合定位方法、装置、存储介质及电子设备 | |
CN114758504A (zh) | 一种基于滤波校正的网联车超速预警方法及*** | |
CN114863388A (zh) | 障碍物朝向的确定方法、装置、***、设备、介质及产品 | |
CN115097419A (zh) | 一种激光雷达到imu的外参标定方法及装置 | |
CN111951552B (zh) | 一种自动驾驶中风险管理的方法以及相关装置 | |
CN113140002A (zh) | 基于双目立体相机的道路状况检测方法、***和智能终端 | |
CN112801024A (zh) | 一种检测信息处理方法和装置 | |
US10643077B2 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program | |
CN115359332A (zh) | 基于车路协同的数据融合方法、装置、电子设备及*** | |
CN115170679A (zh) | 路侧相机的标定方法、装置及电子设备、存储介质 | |
CN114494200A (zh) | 挂车旋转角度的测量方法和装置 | |
CN112706159B (zh) | 机器人控制方法、装置及机器人 | |
CN111857113B (zh) | 可移动设备的定位方法及定位装置 | |
CN113066133A (zh) | 一种基于路面标识几何特征的车载摄像头在线自标定方法 | |
CN112257485A (zh) | 一种对象检测的方法、装置、存储介质及电子设备 | |
CN116626630B (zh) | 一种物体分类方法、装置、电子设备及存储介质 | |
JP2006078261A (ja) | 物体検出装置 | |
KR102588013B1 (ko) | 듀얼 카메라를 이용하여 거리를 계산하는 적응형 크루즈 컨트롤 시스템의 성능 평가 장치와 그 제어 방법 | |
CN115953328B (zh) | 一种目标矫正方法、***及电子设备 | |
CN114333321B (zh) | 路侧装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |