CN115542312A - 多传感器关联方法及装置 - Google Patents

多传感器关联方法及装置 Download PDF

Info

Publication number
CN115542312A
CN115542312A CN202211513054.9A CN202211513054A CN115542312A CN 115542312 A CN115542312 A CN 115542312A CN 202211513054 A CN202211513054 A CN 202211513054A CN 115542312 A CN115542312 A CN 115542312A
Authority
CN
China
Prior art keywords
position information
target pixel
target
coordinate system
pixel frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211513054.9A
Other languages
English (en)
Other versions
CN115542312B (zh
Inventor
王梓臣
韩志华
史院平
王潍
段小河
杨福威
张旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhitu Technology Co Ltd
Original Assignee
Suzhou Zhitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhitu Technology Co Ltd filed Critical Suzhou Zhitu Technology Co Ltd
Priority to CN202211513054.9A priority Critical patent/CN115542312B/zh
Publication of CN115542312A publication Critical patent/CN115542312A/zh
Application granted granted Critical
Publication of CN115542312B publication Critical patent/CN115542312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种的多传感器关联方法及装置，涉及机器视觉技术领域，该方法包括：获取目标物体的位置信息以及图像信息；其中，上述位置信息基于预设的多种测距设备采集得到；上述图像信息基于预设的视觉传感器采集得到；将上述位置信息投射到二维图像坐标系中；其中，上述二维图像坐标系基于上述位置信息以及上述图像信息建立；基于上述二维图像坐标系，对上述位置信息和上述图像信息通过预设算法进行关联计算，得到上述多种测距设备的关联结果。该方法通过二维坐标系将多传感器的采集信号进行关联，提升传感器关联后得到结果的准确率。

Description

多传感器关联方法及装置
技术领域
本发明涉及机器视觉技术领域，尤其是涉及一种多传感器关联方法及装置。
背景技术
在自动驾驶领域，现有的多传感器关联技术一般采用匈牙利算法，以针对毫米波、激光、摄像头视觉的异步关联为例，该算法需要不断将当前目标数据和已经获取的航迹目标进行匹配，如果匹配成功就会用当前目标数据更新航迹管理器的现有数据，然后进行滤波处理，得到处理后的目标数据。但是如果匹配失败就会创建新的航迹目标。
然而，上述匈牙利算法在上述异步关联过程中容易匹配失败，并且得到的结果并不准确。
发明内容
本发明的目的在于提供一种多传感器关联方法及装置，提升传感器关联后得到结果的准确率。
第一方面，本发明实施例提供了一种多传感器关联方法，其中，包括：获取目标物体的位置信息以及图像信息；其中，上述位置信息基于预设的多种测距设备采集得到；上述图像信息基于预设的视觉传感器采集得到；将上述位置信息投射到二维图像坐标系中；其中，上述二维图像坐标系基于上述位置信息以及上述图像信息建立；基于上述二维图像坐标系，对上述位置信息和上述图像信息通过预设算法进行关联计算，得到上述多种测距设备的关联结果。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，基于上述二维图像坐标系对上述位置信息和上述图像信息通过预设算法进行关联计算，得到多传感器关联结果的步骤，包括：基于上述二维图像坐标系，判断上述位置信息是否在上述图像信息的目标像素框内；如果是，确定上述位置信息与上述图像信息的上述目标像素框相关联；如果否，计算上述位置信息与上述目标像素框之间的相似程度；如果上述相似程度达到预设相似度阈值，确定上述位置信息与上述图像信息的上述目标像素框相关联。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，计算上述位置信息与上述目标像素框之间的相似程度的步骤，包括：计算上述位置信息携带的目标点在上述二维图像坐标系下与上述目标像素框之间的离散程度；根据离散程度，确定上述位置信息与上述目标像素框之间的相似程度。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，计算上述位置信息携带的目标点在上述二维图像坐标系下与上述目标像素框之间的离散程度的步骤，包括：基于预设的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的距离相似度得分；根据上述距离相似度得分，确定上述位置信息与上述目标像素框之间的离散程度。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，基于预设的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的距离相似度得分的步骤之后，上述方法还包括：根据上述图像信息，判断上述目标物体是否存在横向变道行为；如果是，根据第一预设参数调整上述二维相似度得分计算公式中正态分布模型的标准差，得到更新后的二维相似度得分计算公式；基于预设的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的二维距离相似度得分的步骤，包括：基于上述更新后的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的二维距离相似度得分。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，计算上述位置信息与上述目标像素框之间的相似程度的步骤之前，上述方法还包括：基于第二预设参数，计算上述目标点对应的目标尺寸；计算上述位置信息与上述目标像素框之间的相似程度的步骤，还包括：计算上述位置信息对应的上述目标尺寸与上述目标像素框之间的交并比，得到交并比计算结果；根据上述交并比计算结果，确定上述位置信息与上述目标像素框之间的相似程度。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，计算上述位置信息与上述目标像素框之间的相似程度的步骤，还包括：基于预设的速度相似函数，计算上述位置信息与上述目标像素框对应的上述视觉传感器感知到的上述目标物体的速度差；根据上述速度差，计算上述位置信息与上述目标像素框之间的相似程度。
结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，获取目标物体的位置信息以及图像信息的步骤之后，上述方法包括：根据上述位置信息，确定上述目标物体与上述测距设备的最小距离为自车距离；基于上述二维图像坐标系对上述位置信息和上述图像信息通过预设算法进行关联计算，得到上述多种测距设备的关联结果的步骤，包括：基于上述二维图像坐标系，按照由近到远的方式逐个匹配与自车距离为预设距离阈值内的多个目标点；将距离上述测距设备最近的目标点与上述目标像素框相关联，得到上述多种测距设备和上述视觉传感器的关联结果。
结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，上述测距设备包括：激光雷达以及毫米波雷达。
第二方面，本发明实施例提供了一种多传感器关联装置，其中，包括：传感器数据获取模块，用于获取目标物体的位置信息以及图像信息；其中，上述位置信息基于预设的多种测距设备采集得到；上述图像信息基于预设的视觉传感器采集得到；视锥构建模块，用于将上述位置信息投射到二维图像坐标系中；其中，上述二维图像坐标系基于上述位置信息以及上述图像信息建立；传感器关联模块，用于基于上述二维图像坐标系，对上述位置信息和上述图像信息通过预设算法进行关联计算，得到上述多种测距设备的关联结果。
本发明实施例带来了以下有益效果：
本发明提供的多传感器关联方法及装置，包括：获取目标物体的位置信息以及图像信息；其中，上述位置信息基于预设的多种测距设备采集得到；上述图像信息基于预设的视觉传感器采集得到；将上述位置信息投射到二维图像坐标系中；其中，上述二维图像坐标系基于上述位置信息以及上述图像信息建立；基于上述二维图像坐标系，对上述位置信息和上述图像信息通过预设算法进行关联计算，得到上述多种测距设备的关联结果。该方法通过二维坐标系将多传感器的采集信号进行关联，提升传感器关联后得到结果的准确率。
本实施例公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例提供的一种多传感器关联方法的流程示意图；
图2为本发明实施例提供的一种多传感器关联方法的原理示意图；
图3为本发明实施例提供的另一种多传感器关联方法的流程示意图；
图4为本发明实施例提供的一种目标像素框与目标点的分布场景示意图；
图5为本发明实施例提供了一种计算目标尺寸与目标像素框之间的交并比的原理示意图；
图6为本发明实施例提供了一种目标点与目标像素框关联过程的原理示意图；
图7为本发明实施例提供了一种多传感器关联装置的结构示意图；
图8为本发明实施例提供了一种电子设备结构示意图。
图标：21-目标物体；22-二维图像坐标系；23-自车；24-车体坐标系；41-二维坐标系原点；42-第一目标点在二维坐标系下坐标；43-第二目标点在二维坐标系下坐标；45-第一正态分布函数；46-第二正态分布函数；51-第一目标物体；52-第二目标物体；61-第一目标车辆的目标点；62-第二目标车辆的目标点；63-目标像素框 ；71-传感器数据获取模块；72-视锥构建模块；73-传感器关联模块；81-存储器；82-处理器；83-总线；84-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在自动驾驶领域，现有的多传感器关联技术一般采用匈牙利算法，以针对毫米波、激光、摄像头视觉的异步关联为例，该算法需要不断将当前目标数据和已经获取的航迹目标进行匹配，如果匹配成功就会用当前目标数据更新航迹管理器的现有数据，然后进行滤波处理，得到处理后的目标数据。但是如果匹配失败就会创建新的航迹目标。然而，上述匈牙利算法在上述异步关联过程中容易匹配失败，并且得到的结果并不准确。
基于此，本发明实施例提供了一种多传感器关联方法及装置，该技术可以缓解上述技术问题，该技术可以提升传感器关联后得到结果的准确率。为便于对本发明实施例进行理解，首先对本发明实施例所公开的一种多传感器关联方法进行详细介绍。
实施例1
如图1为本发明实施例提供的一种多传感器关联方法的流程示意图。如图1所见，该方法包括以下步骤：
步骤S101：获取目标物体的位置信息以及图像信息；其中，上述位置信息基于预设的多种测距设备采集得到；上述图像信息基于预设的视觉传感器采集得到。
这里，上述位置信息为上述目标物体的当前位置信息。
在本实施例中，上述测距设备包括：激光雷达以及毫米波雷达。
步骤S102：将上述位置信息投射到二维图像坐标系中；其中，上述二维图像坐标系基于上述位置信息以及上述图像信息建立。
这里，上述位置信息位于预设的车体坐标系中。步骤S102具体包括：将上述车体坐标系中的上述位置信息通过预设标定参数投射到上述二维图像坐标系中。
在本实施例中，上述步骤S102具体包括下述步骤：首先，在程序启动自检时，读取上述预设标定参数。然后，在每次接收到上述视觉传感器数据时，设上述图像信息的时间戳为
Figure P_221123144954561_561828001
。寻找或者等待当前的位置信息，设上述位置信息的时间戳为
Figure P_221123144954577_577436002
，
Figure P_221123144954610_610612003
为上述图像信息和上述位置信息的时间差，即
Figure P_221123144954626_626742004
=
Figure P_221123144954642_642385005
Figure P_221123144954673_673622006
Figure P_221123144954704_704875007
。进而修正上述位置信息，虽然上述位置信息是最为准确的，但是由于缺乏上述视觉传感器的目标像素框的速度信息，
Figure P_221123144954736_736152008
时刻的视觉原始图像和目标像素框的还原到
Figure P_221123144954751_751778009
时刻较为困难，所以需要通过
Figure P_221123144954783_783001010
时刻毫米波获取的上述位置数据还原到
Figure P_221123144954814_814261011
时刻的图像下来实现数据对齐。毫米波雷达采集到的位置信息在
Figure P_221123144954832_832380012
时刻下的位置计算如下：
Figure P_221123144954848_848424013
，其中
Figure P_221123144954879_879698014
为上述位置信息在
Figure P_221123144954895_895332015
时刻的车体坐标系下坐标，
Figure F_221123144952743_743435001
表示上述位置信息在
Figure P_221123144954926_926558017
时刻下被补偿过后的位置坐标，
Figure F_221123144952839_839647002
为
Figure P_221123144954942_942211019
时刻的测距设备采集到的目标物体的运行速度。
步骤S103：基于上述二维图像坐标系，对上述位置信息和上述图像信息通过预设算法进行关联计算，得到上述多种测距设备的关联结果。
这里，假设坐标为
Figure P_221123144954973_973430001
的上述位置信息投射到上述二维坐标系，
Figure P_221123144954989_989062002
为上述视觉传感器的镜头焦距，
Figure P_221123144955022_022260003
为测距设备采集目标物体的位置坐标在车体坐标系下的坐标，式中的
Figure P_221123144955037_037889004
为预设的上述视觉传感器到上述车体坐标系的旋转矩阵，
Figure P_221123144955069_069152005
为上述视觉传感器到上述车体坐标系的平移矩阵，所以上述位置信息从车体坐标系到上述二维坐标系的转换关系可表示为:
Figure P_221123144955084_084808001
其中，
Figure P_221123144955162_162891001
为预设的上述视觉传感器的镜头旋转矩阵，
Figure P_221123144955229_229291002
为预设的上述视觉传感器的镜头平移矩阵；f为预设的上述视觉传感器的镜头焦距，u为上述二维坐标系的中心点的横坐标，v为上述二维坐标系的中心点的纵坐标，
Figure P_221123144955244_244946003
为上述车体坐标系的x轴坐标，
Figure P_221123144955276_276161004
为上述车体坐标系的y轴坐标，
Figure P_221123144955291_291792005
为上述车体坐标系的z轴坐标，
Figure P_221123144955307_307433006
为上述二维坐标系的图像平面中心点横坐标，
Figure P_221123144955338_338672007
为上述二维坐标系的图像平面中心点纵坐标，
Figure P_221123144955369_369922008
为上述视觉传感器的感光芯片上像素横轴大小，
Figure P_221123144955385_385548009
为上述视觉传感器的感光芯片上像素纵轴大小，
Figure P_221123144955418_418245010
为预设的尺度因子，
Figure P_221123144955433_433891011
为测距设备采集目标物体的位置坐标在车体坐标系下的坐标。
进一步的，将上述位置信息以及上述图像信息通过预设算法进行关联计算，得到上述多种测距设备的关联结果。
为了便于理解，图2为本发明实施例提供的一种多传感器关联方法的原理示意图。这里，自车23通过视觉传感器采集目标物体21的位置信息。其中，上述位置信息位于预设的车体坐标系24中，从而将上述车体坐标系24中的上述位置信息通过上述预设标定参数投射到上述二维图像坐标系22中。
本发明实施例提供的多传感器关联方法，包括：获取目标物体的位置信息以及图像信息；其中，上述位置信息基于预设的多种测距设备采集得到；上述图像信息基于预设的视觉传感器采集得到；将上述位置信息以及上述图像信息投射到二维图像坐标系中；其中，上述二维图像坐标系基于上述位置信息以及上述图像信息建立；基于上述二维图像坐标系，对上述位置信息和上述图像信息通过预设算法进行关联计算，得到上述多种测距设备的关联结果。该方法通过二维坐标系将多传感器的采集信号进行关联，提升传感器关联后得到结果的准确率。
实施例2
在图1所示方法的基础上，本发明还提供另一种多传感器关联方法。如图3所示，为本发明实施例提供的另一种多传感器关联方法的流程示意图，如图3所见，该方法包括下述步骤：
步骤S301：获取目标物体的位置信息以及图像信息；其中，上述位置信息基于预设的多种测距设备采集得到；上述图像信息基于预设的视觉传感器采集得到。
步骤S302：将上述位置信息以及上述图像信息投射到二维图像坐标系中；其中，上述二维图像坐标系基于上述位置信息以及上述图像信息建立。
步骤S303：基于上述二维图像坐标系，判断上述位置信息是否在是上述图像信息的目标像素框内。
步骤S3041：如果是，确定上述位置信息与上述图像信息的上述目标像素框相关联。
步骤S3042：如果否，计算上述位置信息与上述目标像素框之间的相似程度。
在其中的一种实施方式中，上述步骤S3042包括下述步骤A1-A2：
步骤A1：计算上述位置信息携带的目标点在上述二维图像坐标系下与上述目标像素框之间的离散程度。
步骤A2：根据离散程度，确定上述位置信息与上述目标像素框之间的相似程度。
这里，上述步骤A1包括下述步骤B1-B2:
步骤B1：基于预设的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的距离相似度得分。
在实际的操作中，上述步骤B1包括：在上述二维坐标系的水平方向以及竖直方向分别建立正态分布模型；根据上述正态分布模型，构建上述二维相似度得分计算公式。
具体的，若随机变量x服从一个数学期望为
Figure P_221123144955465_465130001
、方差为
Figure P_221123144955480_480760002
的正态分布模型，则记为
Figure P_221123144955512_512023003
。其概率密度函数为正态分布，期望值
Figure P_221123144955543_543273004
决定了其位置，其标准差
Figure P_221123144955558_558873005
决定了分布的幅度。正态分布的概率密度函数曲线呈钟形，其公式如下所示：
Figure P_221123144955590_590146001
进一步的，上述目标点的坐标为
Figure P_221123144955607_607182001
，上述目标像素框的中心点为
Figure P_221123144955638_638953002
，其中
Figure P_221123144955670_670216003
,
Figure F_221123144953185_185379003
/2。其中，
Figure F_221123144953280_280603004
表示上述目标像素框的左上顶点，
Figure F_221123144953358_358690005
表示上述目标像素框的右上顶点，
Figure F_221123144953439_439243006
表示上述目标像素框的左下顶点，
Figure F_221123144953501_501769007
表示上述目标像素框的右下顶点。
进一步的，上述正态分布模型的标准差反映了上述目标点与上述目标像素框的中心点的距离关系。
进一步的，在上述二维坐标系下，针对上述二维坐标系的水平方向以及竖直方向分别建立正态分布模型。由此可见，那么上述目标点的坐标与上述目标像素框的中心点的距离越近，则上述二维相似度得分计算公式的得分越高。
这里，上述二维相似度得分计算公式为：
Figure P_221123144955701_701470001
其中，
Figure P_221123144955732_732700001
为上述二维坐标系中水平方向上的相似度得分，
Figure F_221123144953579_579879008
上述二维坐标系中竖直方向上的相似度得分；a为上述水平方向上正态分布模型的第一预设权重b为上述竖直方向上正态分布模型的第二预设权重，
Figure P_221123144955991_991504003
，
Figure P_221123144956010_010033004
为上述二维相似度得分，上述二维相似度得分的值在0~1之间，该二维相似度得分的数值越大证明两者相似度越高。
在其中的一种实施方式中，将a设置为0.6，将设置为0.4。
为了便于理解，图4为本发明实施例提供的一种目标像素框与目标点的分布场景示意图。由图4所见，为了方便计算，基于二维坐标系原点41建立上述正态分布模型，并将得到的正太分布结果进行归一化处理，使该正太分布结果的取值在0~1之间。沿着目标像素框的水平和竖直方向分别建立第一正态分布函数45和第二正态分布函数46，那么，第一目标点在二维坐标系下坐标42在x轴和y轴方向上的二维相似度得分计算公式的得分分别第一正态分布函数的极值为和第二正态分布函数的极值。上述第一目标点在二维坐标系下坐标42越靠近目标像素框，上述二维相似度得分越高。在实际的操作中可以根据实际情况调整上述第一正态分布函数45以及上述第二正态分布函数46的方差的值，测距设备有时候对于变道中的车辆横向位置不敏感，会出现第二目标点在二维坐标系下坐标43的映射情况，即测距设备在检测目标物体的横向位置存在误差，并没有位于目标像素框中。因此，可以将第一正态分布函数45的方差设置为预设数值，使上述第一正态分布函数45的曲线更为扁平，也使得上述第二目标点在二维坐标系下坐标43在上述二维坐标系下的坐标即使和目标像素框有所偏差也可以在二维相似度得分计算公式中获得一定的分数。
在其中的一种实施方式中，在步骤B1之后，该方法还包括下述步骤C1-C2：
步骤C1：根据上述图像信息，判断上述目标物体是否存在横向变道行为。
步骤C2：如果是，根据第一预设参数调整上述二维相似度得分计算公式中正态分布模型的标准差，得到更新后的二维相似度得分计算公式。
进一步的，上述步骤B1包括：基于上述更新后的二维相似度得分计算公式计算上述目标点与上述目标像素框中心点的二维距离相似度得分。
步骤B2：根据上述距离相似度得分，确定上述位置信息与上述目标像素框之间的离散程度。
进一步的，将上述距离相似度得分超过预设相似度得分阈值对应的目标点对应的位置信息，确定为与目标像素框相关联。
在另一种实施方式中，在步骤S3042的步骤之前，该方法还包括：基于第二预设参数，计算上述目标点对应的目标尺寸。进一步的，步骤S3042还包括：首先，计算上述位置信息对应的上述目标尺寸与上述目标像素框之间的交并比，得到交并比计算结果。然后，根据上述交并比计算结果，确定上述位置信息与上述目标像素框之间的相似程度。
进一步的，将上述交并比计算结果超过预设交并比阈值对应的位置信息，确定为与目标像素框相关联。
在本实施例中，图5为本发明实施例提供了一种计算目标尺寸与目标像素框之间的交并比的原理示意图。由图5所见，根据上述第二预设参数可以估计第一目标物体51的尺寸以及第二目标物体52的尺寸，从而得到第一交并比以及第二交并比。这里，图5中实线框为目标像素框，虚线框为上述计算得到的目标尺寸的框图。其中，小于预设低几预设参数，确定第一目标物体51的尺寸以及第二目标物体52与上述目标像素框相关联。
在另一种实施方式中，上述步骤S3042还包括：首先，基于预设的速度相似函数，计算上述位置信息与所述目标像素框对应的上述视觉传感器感知到的上述目标物体的速度差。然后，根据所述速度差，计算上述位置信息与上述目标像素框之间的相似程度。
这里，上述速度相似函数为：
Figure P_221123144956041_041794001
其中，
Figure F_221123144953725_725379009
均为三维矢量，分别表示上述位置信息的速度和视觉传感器对上述目标像素框的对应上述目标物体的估算速度，该函数计算两者速度差，并查找预设的卡方分布数据，从而得到概率的分数，并将上述分数归一化到0~1作为速度相似度的评判标准。
进一步的，将上述位置信息的速度超过预设速度阈值对应的位置信息，确定为与目标像素框相关联。
经过上述步骤，如果筛选出多个目标点，同时达到上述预设速度阈值、预设交并比阈值以及预设相似度得分阈值，则启动下述步骤：
在上述步骤S301之后，该方法包括：根据上述位置信息，确定上述目标物体与上述测距设备的最小距离为自车距离；上述步骤S303，包括：首先，基于上述二维图像坐标系，按照由近到远的方式逐个匹配与上述自车距离为预设距离阈值内的多个目标点。然后，将距离上述测距设备最近的目标点与上述目标像素框相关联，得到上述多种测距设备和上述视觉传感器的关联结果。
为了便于理解，图6为本发明实施例提供了一种目标点与目标像素框关联过程的原理示意图。如图6所示，第一目标车辆的目标点61和第二目标车辆的目标点62分别位于自车前方行驶，将上述第一目标车辆的目标点与上述目标像素框63相关联。
步骤S305：如果上述相似程度达到预设相似度阈值，确定上述位置信息与上述图像信息的上述目标像素框相关联。
本发明实施例提供的多传感器关联方法，包括：获取目标物体的位置信息以及图像信息；其中，上述位置信息基于预设的多种测距设备采集得到；上述图像信息基于预设的视觉传感器采集得到；将上述位置信息以及上述图像信息投射到二维图像坐标系中；其中，上述二维图像坐标系基于上述位置信息以及上述图像信息建立；基于上述二维图像坐标系，判断上述位置信息是否在是上述图像信息的目标像素框内；如果是，确定上述位置信息与上述图像信息的上述目标像素框相关联；如果否，计算上述位置信息与上述目标像素框之间的相似程度；如果上述相似程度达到预设相似度阈值，确定上述位置信息与上述图像信息的上述目标像素框相关联。该方法基于二维坐标系计算位置信息与上述图像信息中目标像素框的相似度，从而将多传感器的采集信号进行关联，进一步提升传感器关联后得到结果的准确率。
实施例3
本发明实施例还提供另一种多传感器关联装置。如图7所示，为本发明实施例的一种多传感器关联装置的结构示意图。
传感器数据获取模块71，用于获取目标物体的位置信息以及图像信息；其中，所述位置信息基于预设的多种测距设备采集得到；所述图像信息基于预设的视觉传感器采集得到；
视锥构建模块72，用于将所述位置信息以及所述图像信息投射到二维图像坐标系中；其中，所述二维图像坐标系基于所述位置信息以及所述图像信息建立；
传感器关联模块73，用于基于所述二维图像坐标系，对所述位置信息和所述图像信息通过预设算法进行关联计算，得到所述多种测距设备的关联结果。
这里，上述传感器数据获取模块71、视锥构建模块72以及上述传感器关联模块73依次相连。
本发明实施例提供的多传感器关联装置，与上述实施例提供的多传感器关联方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
实施例4
本实施例提供了一种电子设备，包括处理器和存储器，该存储器存储有能够被该处理器执行的计算机可执行指令，该处理器执行该计算机可执行指令以实现确定地下水位预测方法的步骤。
参见图8所示的一种电子设备的结构示意图，该电子设备包括：存储器81、处理器82，存储器中存储有可在处理器82上运行的计算机程序，处理器执行计算机程序时实现上述地下水位预测方法提供的步骤。
如图8所示，该设备还包括：总线83和通信接口84，处理器82、通信接口84和存储器81通过总线83连接；处理器82用于执行存储器81中存储的可执行模块，例如计算机程序。
其中，存储器81可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口84（可以是有线或者无线）实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线83可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器81用于存储程序，处理器82在接收到执行指令后，执行程序，前述本发明任一实施例揭示确定地下水位预测装置所执行的方法可以应用于处理器82中，或者由处理器82实现。处理器82可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器82中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器82可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP) 、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器81，处理器82读取存储器81中的信息，结合其硬件完成上述方法的步骤。
进一步地，本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器82调用和执行时，机器可执行指令促使处理器82实现上述确定地下水位预测方法。
本发明实施例提供的确定地下水位预测方法和地下水位预测装置具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

Claims (10)

1.一种多传感器关联方法，其特征在于，包括：
获取目标物体的位置信息以及图像信息；其中，所述位置信息基于预设的多种测距设备采集得到；所述图像信息基于预设的视觉传感器采集得到；
将所述位置信息投射到二维图像坐标系中；其中，所述二维图像坐标系基于所述位置信息以及所述图像信息建立；
基于所述二维图像坐标系，对所述位置信息和所述图像信息通过预设算法进行关联计算，得到所述多种测距设备的关联结果。
2.根据权利要求1所述的多传感器关联方法，其特征在于，基于所述二维图像坐标系对所述位置信息和所述图像信息通过预设算法进行关联计算，得到多传感器关联结果的步骤，包括：
基于所述二维图像坐标系，判断所述位置信息是否在所述图像信息的目标像素框内；
如果是，确定所述位置信息与所述图像信息的所述目标像素框相关联；
如果否，计算所述位置信息与所述目标像素框之间的相似程度；
如果所述相似程度达到预设相似度阈值，确定所述位置信息与所述图像信息的所述目标像素框相关联。
3.根据权利要求2所述的多传感器关联方法，其特征在于，计算所述位置信息与所述目标像素框之间的相似程度的步骤，包括：
计算所述位置信息携带的目标点在所述二维图像坐标系下与所述目标像素框之间的离散程度；
根据离散程度，确定所述位置信息与所述目标像素框之间的相似程度。
4.根据权利要求3所述的多传感器关联方法，其特征在于，计算所述位置信息携带的目标点在所述二维图像坐标系下与所述目标像素框之间的离散程度的步骤，包括：
基于预设的二维相似度得分计算公式计算所述目标点与所述目标像素框中心点的距离相似度得分；
根据所述距离相似度得分，确定所述位置信息与所述目标像素框之间的离散程度。
5.根据权利要求4所述的多传感器关联方法，其特征在于，基于预设的二维相似度得分计算公式计算所述目标点与所述目标像素框中心点的距离相似度得分的步骤之后，所述方法还包括：
根据所述图像信息，判断所述目标物体是否存在横向变道行为；
如果是，根据第一预设参数调整所述二维相似度得分计算公式中正态分布模型的标准差，得到更新后的二维相似度得分计算公式；
基于预设的二维相似度得分计算公式计算所述目标点与所述目标像素框中心点的二维距离相似度得分的步骤，包括：
基于所述更新后的二维相似度得分计算公式计算所述目标点与所述目标像素框中心点的二维距离相似度得分。
6.根据权利要求3所述的多传感器关联方法，其特征在于，计算所述位置信息与所述目标像素框之间的相似程度的步骤之前，所述方法还包括：
基于第二预设参数，计算所述目标点对应的目标尺寸；
计算所述位置信息与所述目标像素框之间的相似程度的步骤，还包括：
计算所述位置信息对应的所述目标尺寸与所述目标像素框之间的交并比，得到交并比计算结果；
根据所述交并比计算结果，确定所述位置信息与所述目标像素框之间的相似程度。
7.根据权利要求6所述的多传感器关联方法，其特征在于，计算所述位置信息与所述目标像素框之间的相似程度的步骤，还包括：
基于预设的速度相似函数，计算所述位置信息与所述目标像素框对应的所述视觉传感器感知到的所述目标物体的速度差；
根据所述速度差，计算所述位置信息与所述目标像素框之间的相似程度。
8.根据权利要求7所述的多传感器关联方法，其特征在于，获取目标物体的位置信息以及图像信息的步骤之后，所述方法包括：
根据所述位置信息，确定所述目标物体与所述测距设备的最小距离为自车距离；
基于所述二维图像坐标系对所述位置信息和所述图像信息通过预设算法进行关联计算，得到所述多种测距设备的关联结果的步骤，包括：
基于所述二维图像坐标系，按照由近到远的方式逐个匹配与所述自车距离为预设距离阈值内的多个目标点；
将距离所述测距设备最近的目标点与所述目标像素框相关联，得到所述多种测距设备和所述视觉传感器的关联结果。
9.根据权利要求1所述的多传感器关联方法，其特征在于，所述测距设备包括：激光雷达以及毫米波雷达。
10.一种多传感器关联装置，其特征在于，包括：
传感器数据获取模块，用于获取目标物体的位置信息以及图像信息；其中，所述位置信息基于预设的多种测距设备采集得到；所述图像信息基于预设的视觉传感器采集得到；
视锥构建模块，用于将所述位置信息投射到二维图像坐标系中；其中，所述二维图像坐标系基于所述位置信息以及所述图像信息建立；
传感器关联模块，用于基于所述二维图像坐标系，对所述位置信息和所述图像信息通过预设算法进行关联计算，得到所述多种测距设备的关联结果。
CN202211513054.9A 2022-11-30 2022-11-30 多传感器关联方法及装置 Active CN115542312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211513054.9A CN115542312B (zh) 2022-11-30 2022-11-30 多传感器关联方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211513054.9A CN115542312B (zh) 2022-11-30 2022-11-30 多传感器关联方法及装置

Publications (2)

Publication Number Publication Date
CN115542312A true CN115542312A (zh) 2022-12-30
CN115542312B CN115542312B (zh) 2023-03-21

Family

ID=84722703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211513054.9A Active CN115542312B (zh) 2022-11-30 2022-11-30 多传感器关联方法及装置

Country Status (1)

Country Link
CN (1) CN115542312B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052121A (zh) * 2023-01-28 2023-05-02 上海芯算极科技有限公司 一种基于距离预估的多传感目标检测融合方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111257866A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及***
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN113850102A (zh) * 2020-06-28 2021-12-28 哈尔滨工业大学（威海） 基于毫米波雷达辅助的车载视觉检测方法及***
CN114724110A (zh) * 2022-04-08 2022-07-08 天津天瞳威势电子科技有限公司 目标检测方法及设备
CN114898296A (zh) * 2022-05-26 2022-08-12 武汉大学 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN115131423A (zh) * 2021-03-17 2022-09-30 航天科工深圳（集团）有限公司 一种融合毫米波雷达和视觉的距离测量方法及装置
CN115372958A (zh) * 2022-08-17 2022-11-22 苏州广目汽车科技有限公司 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111257866A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及***
CN113850102A (zh) * 2020-06-28 2021-12-28 哈尔滨工业大学（威海） 基于毫米波雷达辅助的车载视觉检测方法及***
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN115131423A (zh) * 2021-03-17 2022-09-30 航天科工深圳（集团）有限公司 一种融合毫米波雷达和视觉的距离测量方法及装置
CN114724110A (zh) * 2022-04-08 2022-07-08 天津天瞳威势电子科技有限公司 目标检测方法及设备
CN114898296A (zh) * 2022-05-26 2022-08-12 武汉大学 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN115372958A (zh) * 2022-08-17 2022-11-22 苏州广目汽车科技有限公司 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052121A (zh) * 2023-01-28 2023-05-02 上海芯算极科技有限公司 一种基于距离预估的多传感目标检测融合方法及装置
CN116052121B (zh) * 2023-01-28 2023-06-27 上海芯算极科技有限公司 一种基于距离预估的多传感目标检测融合方法及装置

Also Published As

Publication number Publication date
CN115542312B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
LU502288B1 (en) Method and system for detecting position relation between vehicle and lane line, and storage medium
CN115542312B (zh) 多传感器关联方法及装置
CN111222441B (zh) 基于车路协同的点云目标检测和盲区目标检测方法及***
CN112465193B (zh) 多传感器数据融合的参数优化方法及装置
CN111427019A (zh) 路侧雷达自适应校正方法及***
CN114111775A (zh) 一种多传感器融合定位方法、装置、存储介质及电子设备
CN114758504A (zh) 一种基于滤波校正的网联车超速预警方法及***
CN114863388A (zh) 障碍物朝向的确定方法、装置、***、设备、介质及产品
CN115097419A (zh) 一种激光雷达到imu的外参标定方法及装置
CN111951552B (zh) 一种自动驾驶中风险管理的方法以及相关装置
CN113140002A (zh) 基于双目立体相机的道路状况检测方法、***和智能终端
CN112801024A (zh) 一种检测信息处理方法和装置
US10643077B2 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及***
CN115170679A (zh) 路侧相机的标定方法、装置及电子设备、存储介质
CN114494200A (zh) 挂车旋转角度的测量方法和装置
CN112706159B (zh) 机器人控制方法、装置及机器人
CN111857113B (zh) 可移动设备的定位方法及定位装置
CN113066133A (zh) 一种基于路面标识几何特征的车载摄像头在线自标定方法
CN112257485A (zh) 一种对象检测的方法、装置、存储介质及电子设备
CN116626630B (zh) 一种物体分类方法、装置、电子设备及存储介质
JP2006078261A (ja) 物体検出装置
KR102588013B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 적응형 크루즈 컨트롤 시스템의 성능 평가 장치와 그 제어 방법
CN115953328B (zh) 一种目标矫正方法、***及电子设备
CN114333321B (zh) 路侧装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant