CN107918386A - 用于车辆的多传感器数据融合方法、装置及车辆 - Google Patents
用于车辆的多传感器数据融合方法、装置及车辆 Download PDFInfo
- Publication number
- CN107918386A CN107918386A CN201711009405.1A CN201711009405A CN107918386A CN 107918386 A CN107918386 A CN 107918386A CN 201711009405 A CN201711009405 A CN 201711009405A CN 107918386 A CN107918386 A CN 107918386A
- Authority
- CN
- China
- Prior art keywords
- sensor
- coordinate
- weight coefficient
- measured
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 92
- 238000013459 approach Methods 0.000 title claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000013519 translation Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 238000002844 melting Methods 0.000 claims description 2
- 230000008018 melting Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Radar Systems Or Details Thereof (AREA)
- Navigation (AREA)
Abstract
本公开涉及一种用于车辆的多传感器数据融合方法、装置及车辆。该方法包括:获取n个传感器在车体坐标系中的位置坐标,其中,n个传感器的检测范围内均包含有待测目标点,且n≥2;获取待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标;根据位置坐标和映射点坐标,确定每个传感器的融合权重系数;根据每个传感器的融合权重系数和映射点坐标,确定待测目标点在车体坐标系中的实际坐标。由此可见,在确定待测目标点在车体坐标系中的实际坐标位置时所采用的融合权重系数是动态调整的,即,用于多传感器数据融合的各传感器的融合权重系数是根据实际情况动态变化的,由此,可以提升待测目标点的定位精度,从而提升车辆的行车安全性。
Description
技术领域
本公开涉及车辆安全领域,具体地,涉及一种用于车辆的多传感器数据融合方法、装置及车辆。
背景技术
无人驾驶车辆上通常配置有激光雷达、毫米波雷达、自然光摄像头、红外摄像头、GPS定位装置和导航等装置。为使多个传感器能够协调工作以充分发挥每个传感器的作用,通常采用多传感器数据融合技术来定位待测目标,从而保证无人驾驶车辆的行车安全。具体来说,主要通过以下方式来定位待检测目标:(1)人工静态标定,即利用角反射器等目标物对各个传感器在车体坐标系中的位置进行标定;(2)多传感器数据融合,即在固定时间间隔内对各个传感器检测到的待测目标的位置信息进行融合,并且各传感器的融合优先级是预先设定的固定值;(3)将融合结果发送到车身控制器,以由该车身控制器根据其接收到融合结果来确定待检测目标的实际位置,即实现待测目标的定位。
由于多传感器的检测精度会受到车辆行驶环境的影响,而车辆行驶环境又是动态变化的,因此,在进行多传感器数据融合时,如果采用固定不变的各传感器的融合优先级来进行数据融合,将无法保证待检测目标的定位精度。
发明内容
为了解决相关技术中存在的问题,本公开提供一种用于车辆的多传感器数据融合方法、装置及车辆。
为了实现上述目的,本公开提供一种用于车辆的多传感器数据融合方法,包括:
获取n个传感器在车体坐标系中的位置坐标,其中,所述n个传感器的检测范围内均包含有待测目标点,并且n≥2;
获取所述待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标;
根据所述位置坐标和所述映射点坐标,确定每个传感器的融合权重系数;
根据所述每个传感器的融合权重系数和所述映射点坐标,确定所述待测目标点在所述车体坐标系中的实际坐标。
可选地,所述根据所述位置坐标和所述映射点坐标,确定每个传感器的融合权重系数,包括:
针对每个传感器,根据该传感器的所述位置坐标、该传感器所对应的传感器坐标系相对于所述车体坐标系的第一旋转矩阵和第一平移矩阵,确定所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标在其他n-1个传感器所对应的传感器坐标系中的投影坐标;
计算所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与确定出的、该传感器所对应的传感器坐标系中的各个所述投影坐标之间的偏差;
根据所述偏差确定该传感器的融合权重系数。
可选地,所述根据所述偏差确定该传感器的融合权重系数,包括:
根据所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与确定出的、该传感器所对应的传感器坐标系中的各个所述投影坐标之间的偏差,确定平均偏差、最小偏差以及最大偏差;
根据所述平均偏差、所述最小偏差以及所述最大偏差,确定该传感器的融合权重系数。
可选地,所述根据所述平均偏差、所述最小偏差以及所述最大偏差,确定该传感器的融合权重系数,包括:
根据所述平均偏差、所述最小偏差以及所述最大偏差,通过以下公式确定该传感器的融合权重系数:
其中,λi表示第i个传感器的融合权重系数;offi表示第i个传感器所对应的平均偏差;offmax_i表示第i个传感器所对应的最大偏差;offmin_i表示第i个传感器所对应的最小偏差;i=1,2,…,n。
可选地,在所述根据所述位置坐标和所述映射点坐标,确定每个传感器的融合权重系数的步骤之前,所述方法还包括:
通过GPS差分方式对所述位置坐标进行校正处理。
本公开还提供一种用于车辆的多传感器数据融合装置,包括:
第一获取模块,用于获取n个传感器在车体坐标系中的位置坐标,其中,所述n个传感器的检测范围内均包含有待测目标点,并且n≥2;
第二获取模块,用于获取所述待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标;
第一确定模块,用于根据所述第一获取模块获取到的所述位置坐标和所述第二获取模块获取到的所述映射点坐标,确定每个传感器的融合权重系数;
第二确定模块,用于根据所述第一确定模块确定出的所述每个传感器的融合权重系数和所述第二获取模块获取到的所述映射点坐标,确定所述待测目标点在所述车体坐标系中的实际坐标。
可选地,所述第一确定模块包括:
投影坐标确定子模块,用于针对每个传感器,根据该传感器的所述位置坐标、该传感器所对应的传感器坐标系相对于所述车体坐标系的第一旋转矩阵和第一平移矩阵,确定所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标在其他n-1个传感器所对应的传感器坐标系中的投影坐标;
计算子模块,用于计算所述第二获取模块获取到的所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与所述投影坐标确定子模块确定出的、该传感器所对应的传感器坐标系中的各个所述投影坐标之间的偏差;
权重系数确定子模块,用于根据所述计算子模块计算出的所述偏差确定该传感器的融合权重系数。
可选地,所述权重系数确定子模块包括:
第一确定子模块,用于根据所述计算子模块计算出的所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与确定出的、该传感器所对应的传感器坐标系中的各个所述投影坐标之间的偏差,确定平均偏差、最小偏差以及最大偏差;
第二确定子模块,用于根据所述第一确定子模块确定出的所述平均偏差、所述最小偏差以及所述最大偏差,确定该传感器的融合权重系数。
可选地,所述第二确定子模块用于根据所述平均偏差、所述最小偏差以及所述最大偏差,通过以下公式来确定该传感器的融合权重系数:
其中,λi表示第i个传感器的融合权重系数;offi表示第i个传感器所对应的平均偏差;offmax_i表示第i个传感器所对应的最大偏差;offmin_i表示第i个传感器所对应的最小偏差;i=1,2,…,n。
可选地,所述装置还包括:
校正模块,用于在所述第一确定模块根据所述位置坐标和所述映射点坐标,确定每个传感器的融合权重系数之前,通过GPS差分方式对所述第一获取模块获取到的所述位置坐标进行校正处理。
本公开还提供一种车辆,包括本公开提供的所述用于车辆的多传感器数据融合装置。
通过上述技术方案,首先根据获取到的n个传感器在车体坐标系中的位置坐标和待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标,确定出各传感器的融合权重系数,然后根据该确定出的各传感器的融合权重系数与上述获取到每个传感器所对应的传感器坐标系中的映射点坐标,确定出待测目标点在车体坐标系中的实际坐标位置。由此可见,在确定待测目标点在车体坐标系中的实际坐标位置时所采用的融合权重系数是动态调整的,即,用于多传感器数据融合的各传感器的融合权重系数时根据实际情况动态变化的,这样,可以提升待测目标点的定位精度,从而提升车辆的行车安全性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种用于车辆的多传感器数据融合方法的流程图。
图2A是根据一示例性实施例示出的一种激光雷达坐标系和车体坐标系的示意图。
图2B是根据一示例性实施例示出的一种俯仰角的示意图。
图2C是根据一示例性实施例示出的一种航向角的示意图。
图3A是根据一示例性实施例示出的一种确定每个传感器的融合权重系数的方法的流程图。
图3B是根据另一示例性实施例示出的一种确定每个传感器的融合权重系数的方法的流程图。
图4是根据另一示例性实施例示出的一种用于车辆的多传感器数据融合方法的流程图。
图5是根据一示例性实施例示出的一种用于车辆的多传感器数据融合装置的框图。
图6是根据一示例性实施例示出的一种第一确定模块的结构框图。
图7是根据一示例性实施例示出的一种权重系数确定子模块的结构框图。
图8是根据另一示例性实施例示出的一种用于车辆的多传感器数据融合装置的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
图1是根据一示例性实施例示出的一种用于车辆的多传感器数据融合方法的流程图。如图1所示,该方法可以包括以下步骤。
在步骤101中,获取n个传感器在车体坐标系中的位置坐标。
在本公开中,该n个传感器可以例如是激光雷达、毫米波雷达、自然光摄像头、红外摄像头等,并且,该n个传感器的检测范围内均包含有待测目标点,即,该n个传感器的检测范围有重叠的区域,上述待测目标点在该重叠的区域内,并且n≥2。如图2A所示,车体坐标系以车辆的横轴方向为XC轴,车辆的直线运动方向为YC轴,垂直于水平地面的方向为ZC轴。
另外,该方法可以应用于车身控制器。在一种实施方式中,可以采用人工标定的方式来初始化该n个传感器在车体坐标系中的位置坐标,示例地,可以利用水平仪和长度测量工具(例如,刻度尺、卷尺等)对上述n个传感器在车体坐标系中的位置坐标进行标定,从而标定出每个传感器在车体坐标系中的位置坐标。在标定出每个传感器在车体坐标系中的位置坐标后,可以将其存储在相应的存储模块中,这样,车身控制器可以通过访问该存储模块来获取到每个传感器在车体坐标系中的位置坐标。
在步骤102中,获取待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标。
在本公开中,由于每个传感器的检测范围内均包含有上述待测目标点,因此,每个传感器均可以采集到该待测目标点的位置信息,车身控制器在获取到该位置信息后,可以根据每个传感器所采集到的该位置信息来确定该待测目标点在相应传感器坐标系中的映射点坐标。
另外,车身控制器对该待测目标点的位置信息的获取方式可以多种。在一种实施方式中,针对每个传感器,当车身控制器需要获取待测目标点在该传感器所对应的传感器坐标系中的映射点坐标时,可以向该传感器发送位置信息请求消息,该传感器接收到该位置信息请求消息后,将其采集到的待测目标点的位置信息发送至车身控制器,车身控制器接收位置信息。
在另一种实施方式中,针对每个传感器,该传感器可以按照固定周期将其采集到的待测目标点的位置信息发送至车身控制器,车身控制器接收该位置信息。
具体来说,以激光雷达为例,车身控制器可以通过以下方式来获取待测目标点在其所对应的激光雷达坐标系中的映射点坐标:待测目标点的位置信息可以包括三维点云数据信息,激光雷达按照固定周期将采集到的三维点云数据以用户数据报协议(UserDatagram Protocol,UDP)广播包的方式发送出去,其中,UDP数据包包括一帧数据,并且该一帧数据可以为激光雷达旋转一周所获得的点云数据;车身控制器接收该UDP数据包。其中,该激光雷达的工作频率可以为5Hz、10Hz或15Hz,每个UDP数据包的大小为1248字节,该数据包包含有12个100字节的数据块,42字节的首部和6字节的尾部。每个数据点的原始数据主要包括距离和角度两个部分。车身控制器在接收到上述UDP数据包后,根据该数据包格式,解析出对应的距离、角度等数据内容,其中,上述距离可以包括待测目标点距离激光雷达的距离,上述角度可以包括水平方向的航向角和待测目标点所在的雷达线的俯仰角。
最后,车身控制器可以根据上述解析出的距离、角度信息将三维点云数据转化为激光雷达坐标系下的映射点坐标,即待测目标点在激光雷达坐标系中的映射点坐标。如图2A所示,激光雷达可以安装在车辆上方,激光雷达坐标系以激光雷达为中心,以平行于车辆横轴的方向为XL轴,以车辆的直线运动方向为YL轴,以垂直于水平地面向上的方向为ZL轴。待测目标点所在的雷达线的俯仰角可以例如是图2B中所示的w,水平方向的航向角可以例如是图2C中所示的α。
示例地,可以通过以下的等式(1)将三维点云数据转化为激光雷达坐标系下的映射点坐标,即待测目标点在激光雷达坐标系中的映射点坐标:
其中,(XL,YL,ZL)为待测目标点在激光雷达坐标系中的映射点坐标;
l为待测目标点距离激光雷达的距离;w为待测目标点所在的雷达线的俯仰角,它是垂直方向的角度;α为水平方向的航向角。
另外,需要说明的是,上述步骤102可以在上述步骤101之前执行,也可以在上述步骤101之后执行,也可以与上述步骤101同时执行,在本公开中不作具体限定。
在步骤103中,根据n个传感器在车体坐标系中的位置坐标和待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标,确定每个传感器的融合权重系数。
在本公开中,车身控制器在获取到上述位置坐标和上述映射点坐标后,可以通过如图3A中所示的步骤来确定每个传感器的融合权重系数。
在步骤1031中,针对每个传感器,根据该传感器在车体坐标系中的位置坐标、该传感器所对应的传感器坐标系相对于车体坐标系的第一旋转矩阵和第一平移矩阵,确定待测目标点在该传感器所对应的传感器坐标系中的映射点坐标在其他n-1个传感器所对应的传感器坐标系中的投影坐标。
具体来说,针对每个传感器,车身控制器可以通过如下方式来确定该投影坐标:首先,根据上述步骤101中获取到的该传感器在车体坐标系中的位置坐标、以及每个传感器所对应的传感器坐标系相对于该车体坐标系的第一旋转矩阵和第一平移矩阵,确定每个传感器相对于其他n-1个传感器的第二旋转矩阵和第二平移矩阵;然后,根据该第二旋转矩阵、第二平移矩阵,确定每个上述映射点坐标在其他n-1个传感器所对应的传感器坐标系中的投影坐标。这样,在每个传感器所对应的传感器坐标系中都包含有1个映射点坐标和n-1个投影坐标。
另外,需要说明的是,上述根据该位置坐标、以及第一旋转矩阵和第一平移矩阵,来确定每个传感器相对于其他n-1个传感器的第二旋转矩阵和第二平移矩阵的方式是本领域的技术人员所公知的,在本公开中不再赘述。
在步骤1032中,计算待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与确定出的、该传感器所对应的传感器坐标系中的各个投影坐标之间的偏差。
在本公开中,针对每个传感器,在获取到该传感器对应的传感器坐标系中各投影坐标后,可以计算上述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与该传感器坐标系中各投影坐标的之间的偏差。示例地,可以将该映射点坐标与各投影坐标之间的欧式距离作为相应的偏差值。
在步骤1033中,根据偏差确定该传感器的融合权重系数。
在一种实施方式中,可以通过如图3B中所示的步骤来确定该传感器的融合权重系数。具体来说:
在步骤10331中,根据待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与确定出的、该传感器所对应的传感器坐标系中的各个投影坐标之间的偏差,确定平均偏差、最小偏差以及最大偏差。
在步骤10332中,根据平均偏差、最小偏差以及最大偏差,确定该传感器的融合权重系数。
示例地,可以通过以下等式(2)来确定该传感器的融合权重系数:
其中,λi表示第i个传感器的融合权重系数;offi表示第i个传感器所对应的平均偏差;offmax_i表示第i个传感器所对应的最大偏差;offmin_i表示第i个传感器所对应的最小偏差;i=1,2,…,n。
在步骤104中,根据每个传感器的融合权重系数和待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标,确定待测目标点在车体坐标系中的实际坐标。
在本公开中,针对每个传感器,在步骤102获取到待测目标点在该传感器所对应的传感器坐标系中的映射点坐标后,可以根据该传感器相对于车体坐标系的第一旋转矩阵和第一平移矩阵,将该映射点映射到车体坐标系中。
示例地,可以通过以下等式(3)将该传感器所对应的传感器坐标系下的映射点映射到车体坐标系中:
其中,为所述待测目标点在第i个传感器所对应的传感器坐标系中的映射点在车体坐标系中的映射点坐标;为所述待测目标点在第i个传感器所对应的传感器坐标系中的映射点坐标;Ri为第i个传感器所对应的传感器坐标系相对于车体坐标系的第一旋转矩阵;Ti为第i个传感器所对应的传感器坐标系相对于车体坐标系的第一平移矩阵。
在确定出待测目标点在车体坐标系中的映射点坐标后,可以结合每个传感器的融合权重系数确定出该待测目标点在车体坐标系中的实际坐标。
示例地,可以通过以下等式(4)来确定该待测目标点在车体坐标系中的实际坐标:
其中,(XC,YC,ZC)为所述待测目标点在车体坐标系中的实际坐标;λi为第i个传感器的融合权重系数。
通过上述技术方案,首先根据获取到的n个传感器在车体坐标系中的位置坐标和待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标,确定出各传感器的融合权重系数,然后根据该确定出的各传感器的融合权重系数与上述获取到每个传感器所对应的传感器坐标系中的映射点坐标,确定出待测目标点在车体坐标系中的实际坐标位置。由此可见,在确定待测目标点在车体坐标系中的实际坐标位置时所采用的融合权重系数是动态调整的,即,用于多传感器数据融合的各传感器的融合权重系数时根据实际情况动态变化的,这样,可以提升待测目标点的定位精度,从而提升车辆的行车安全性。
另外,如果采用上述人工标定的方式来确定n个传感器在车体坐标系中的位置坐标,标定精度很容易受到标定人员主观因素的影响,因此,标定出的n个传感器在车体坐标系中的位置坐标的精度不高,这样,将会给后期的多传感器数据融合带来更大的误差,即,使得确定出的该待测目标点在车体坐标系中的实际坐标存在较大误差,这样,势必会威胁到车辆的行车安全性。因此,在进行多传感器数据融合之前,可以对上述人工标定出的结果进行校正,从而提升n个传感器在车体坐标系中的位置坐标的标定精度,进而提升车辆行车安全性。具体来说,可以通过如图4中所示的步骤105来对上述步骤101中获取到的n个传感器在车体坐标系中的位置坐标进行校正。具体来说,如图4所示,在上述步骤103之前,上述方法还可以包括以下步骤105。
在步骤105中,通过GPS差分方式对n个传感器在车体坐标系中的位置坐标进行校正处理。
具体来说,可以通过如下所示的GPS差分方式对n个传感器在车体坐标系中的位置坐标进行校正处理:
针对每个传感器,以基站GPS为基准,通过GPS差分方式分别对车辆的当前位置坐标、待测目标点的当前位置坐标进行修正(其中,该待测目标点上安装有GPS);然后根据修正后的车辆的当前位置坐标、待测目标点的当前位置坐标以及待测目标点在该传感器所对应的传感器坐标系中的映射点坐标,对该传感器在车体坐标系中的位置坐标进行校正,从而得到校正后的该传感器在车体坐标系中的位置坐标。这样,上述步骤103可以根据校正后的n个传感器在车体坐标系中的位置坐标和待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标,确定每个传感器的融合权重系数。
另外,需要说明的是,上述根据修正后的车辆的当前位置坐标、待测目标点的当前位置坐标以及待测目标点在该传感器所述对应的传感器坐标系中的映射点坐标来对传感器在车体坐标系中的位置坐标进行校正的方式属于本领域技术人员公知的,在本公开中不再赘述。
图5是根据一示例性实施例示出的一种用于车辆的多传感器数据融合装置的框图。如图5所示,该装置500可以包括:第一获取模块501,用于获取n个传感器在车体坐标系中的位置坐标,其中,所述n个传感器的检测范围内均包含有待测目标点,并且n≥2;第二获取模块502,用于获取所述待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标;第一确定模块503,用于根据所述第一获取模块501获取到的所述位置坐标和所述第二获取模块502获取到的所述映射点坐标,确定每个传感器的融合权重系数;第二确定模块504,用于根据所述第一确定模块503确定出的所述每个传感器的融合权重系数和所述第二获取模块502获取到的所述映射点坐标,确定所述待测目标点在所述车体坐标系中的实际坐标。
图6是根据一示例性实施例示出的一种第一确定模块的结构框图。如图6所示,上述第一确定模块503可以包括:投影坐标确定子模块5031,用于针对每个传感器,根据该传感器的所述位置坐标、该传感器所对应的传感器坐标系相对于所述车体坐标系的第一旋转矩阵和第一平移矩阵,确定所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标在其他n-1个传感器所对应的传感器坐标系中的投影坐标;计算子模块5032,用于计算所述第二获取模块502获取到的所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与所述投影坐标确定子模块5031确定出的、该传感器所对应的传感器坐标系中的各个所述投影坐标之间的偏差;权重系数确定子模块5033,用于根据所述计算子模块5032计算出的所述偏差确定该传感器的融合权重系数。
图7是根据一示例性实施例示出的一种权重系数确定子模块的结构框图。如图7所示,所述权重系数确定子模块5033可以包括:第一确定子模块50331,用于根据所述计算子模块5032计算出的所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与确定出的、该传感器所对应的传感器坐标系中的各个所述投影坐标之间的偏差,确定平均偏差、最小偏差以及最大偏差;第二确定子模块50332,用于根据所述第一确定子模块50331确定出的所述平均偏差、所述最小偏差以及所述最大偏差,确定该传感器的融合权重系数。
可选地,所述第二确定子模块50332可以用于根据所述平均偏差、所述最小偏差以及所述最大偏差,通过以上等式(2)来确定该传感器的融合权重系数。
图8是根据另一示例性实施例示出的一种用于车辆的多传感器数据融合装置的框图。如图8所示,上述装置500还可以包括:校正模块505,用于在所述第一确定模块503根据所述位置坐标和所述映射点坐标,确定每个传感器的融合权重系数之前,通过GPS差分方式对所述第一获取模块501获取到的所述位置坐标进行校正处理。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种车辆,该车辆包括本公开提供的上述用于车辆的多传感器数据融合装置500。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (11)
1.一种用于车辆的多传感器数据融合方法,其特征在于,包括:
获取n个传感器在车体坐标系中的位置坐标,其中,所述n个传感器的检测范围内均包含有待测目标点,并且n≥2;
获取所述待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标;
根据所述位置坐标和所述映射点坐标,确定每个传感器的融合权重系数;
根据所述每个传感器的融合权重系数和所述映射点坐标,确定所述待测目标点在所述车体坐标系中的实际坐标。
2.根据权利要求1所述的方法,其特征在于,所述根据所述位置坐标和所述映射点坐标,确定每个传感器的融合权重系数,包括:
针对每个传感器,根据该传感器的所述位置坐标、该传感器所对应的传感器坐标系相对于所述车体坐标系的第一旋转矩阵和第一平移矩阵,确定所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标在其他n-1个传感器所对应的传感器坐标系中的投影坐标;
计算所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与确定出的、该传感器所对应的传感器坐标系中的各个所述投影坐标之间的偏差;
根据所述偏差确定该传感器的融合权重系数。
3.根据权利要求2所述的方法,其特征在于,所述根据所述偏差确定该传感器的融合权重系数,包括:
根据所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与确定出的、该传感器所对应的传感器坐标系中的各个所述投影坐标之间的偏差,确定平均偏差、最小偏差以及最大偏差;
根据所述平均偏差、所述最小偏差以及所述最大偏差,确定该传感器的融合权重系数。
4.根据权利要求3所述的方法,其特征在于,所述根据所述平均偏差、所述最小偏差以及所述最大偏差,确定该传感器的融合权重系数,包括:
根据所述平均偏差、所述最小偏差以及所述最大偏差,通过以下公式确定该传感器的融合权重系数:
<mrow>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mo>|</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>off</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>off</mi>
<mrow>
<mi>max</mi>
<mo>_</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>off</mi>
<mrow>
<mi>min</mi>
<mo>_</mo>
<mi>i</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>|</mo>
</mrow>
其中,λi表示第i个传感器的融合权重系数;offi表示第i个传感器所对应的平均偏差;offmax_i表示第i个传感器所对应的最大偏差;offmin_i表示第i个传感器所对应的最小偏差;i=1,2,…,n。
5.根据权利要求1所述的方法,其特征在于,在所述根据所述位置坐标和所述映射点坐标,确定每个传感器的融合权重系数的步骤之前,所述方法还包括:
通过GPS差分方式对所述位置坐标进行校正处理。
6.一种用于车辆的多传感器数据融合装置,其特征在于,包括:
第一获取模块,用于获取n个传感器在车体坐标系中的位置坐标,其中,所述n个传感器的检测范围内均包含有待测目标点,并且n≥2;
第二获取模块,用于获取所述待测目标点在每个传感器所对应的传感器坐标系中的映射点坐标;
第一确定模块,用于根据所述第一获取模块获取到的所述位置坐标和所述第二获取模块获取到的所述映射点坐标,确定每个传感器的融合权重系数;
第二确定模块,用于根据所述第一确定模块确定出的所述每个传感器的融合权重系数和所述第二获取模块获取到的所述映射点坐标,确定所述待测目标点在所述车体坐标系中的实际坐标。
7.根据权利要求6所述的装置,其特征在于,所述第一确定模块包括:
投影坐标确定子模块,用于针对每个传感器,根据该传感器的所述位置坐标、该传感器所对应的传感器坐标系相对于所述车体坐标系的第一旋转矩阵和第一平移矩阵,确定所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标在其他n-1个传感器所对应的传感器坐标系中的投影坐标;
计算子模块,用于计算所述第二获取模块获取到的所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与所述投影坐标确定子模块确定出的、该传感器所对应的传感器坐标系中的各个所述投影坐标之间的偏差;
权重系数确定子模块,用于根据所述计算子模块计算出的所述偏差确定该传感器的融合权重系数。
8.根据权利要求7所述的装置,其特征在于,所述权重系数确定子模块包括:
第一确定子模块,用于根据所述计算子模块计算出的所述待测目标点在该传感器所对应的传感器坐标系中的映射点坐标与确定出的、该传感器所对应的传感器坐标系中的各个所述投影坐标之间的偏差,确定平均偏差、最小偏差以及最大偏差;
第二确定子模块,用于根据所述第一确定子模块确定出的所述平均偏差、所述最小偏差以及所述最大偏差,确定该传感器的融合权重系数。
9.根据权利要求8所述的装置,其特征在于,所述第二确定子模块用于根据所述平均偏差、所述最小偏差以及所述最大偏差,通过以下公式来确定该传感器的融合权重系数:
<mrow>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mo>|</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>off</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>off</mi>
<mrow>
<mi>max</mi>
<mo>_</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>off</mi>
<mrow>
<mi>min</mi>
<mo>_</mo>
<mi>i</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>|</mo>
</mrow>
其中,λi表示第i个传感器的融合权重系数;offi表示第i个传感器所对应的平均偏差;offmax_i表示第i个传感器所对应的最大偏差;offmin_i表示第i个传感器所对应的最小偏差;i=1,2,…,n。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
校正模块,用于在所述第一确定模块根据所述位置坐标和所述映射点坐标,确定每个传感器的融合权重系数之前,通过GPS差分方式对所述第一获取模块获取到的所述位置坐标进行校正处理。
11.一种车辆,其特征在于,包括根据权利要求6-10中任一项所述的用于车辆的多传感器数据融合装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711009405.1A CN107918386B (zh) | 2017-10-25 | 2017-10-25 | 用于车辆的多传感器数据融合方法、装置及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711009405.1A CN107918386B (zh) | 2017-10-25 | 2017-10-25 | 用于车辆的多传感器数据融合方法、装置及车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107918386A true CN107918386A (zh) | 2018-04-17 |
CN107918386B CN107918386B (zh) | 2021-01-01 |
Family
ID=61894916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711009405.1A Active CN107918386B (zh) | 2017-10-25 | 2017-10-25 | 用于车辆的多传感器数据融合方法、装置及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107918386B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710828A (zh) * | 2018-04-18 | 2018-10-26 | 北京汽车集团有限公司 | 识别目标物的方法、装置和存储介质以及车辆 |
CN109633621A (zh) * | 2018-12-26 | 2019-04-16 | 杭州奥腾电子股份有限公司 | 一种车载环境感知***数据处理方法 |
CN110376583A (zh) * | 2018-09-30 | 2019-10-25 | 长城汽车股份有限公司 | 用于车辆传感器的数据融合方法及装置 |
CN110715667A (zh) * | 2019-09-29 | 2020-01-21 | 吴中红 | 实时预警导航装置、地图显示方法及终端设备 |
CN111145294A (zh) * | 2019-12-18 | 2020-05-12 | 北京城市网邻信息技术有限公司 | 二维户型图构建方法及装置、存储介质 |
WO2020124440A1 (en) * | 2018-12-18 | 2020-06-25 | Beijing Voyager Technology Co., Ltd. | Systems and methods for processing traffic objects |
CN111639663A (zh) * | 2019-03-01 | 2020-09-08 | Aptiv技术有限公司 | 多传感器数据融合的方法 |
CN112208529A (zh) * | 2019-07-09 | 2021-01-12 | 长城汽车股份有限公司 | 用于目标检测的感知***、驾驶辅助方法和无人驾驶设备 |
CN113052241A (zh) * | 2021-03-28 | 2021-06-29 | 重庆长安汽车股份有限公司 | 一种多传感器数据融合方法、装置及汽车 |
CN113203412A (zh) * | 2021-05-07 | 2021-08-03 | 江苏俱为科技有限公司 | 一种多模态传感的定位引导方法 |
CN114035187A (zh) * | 2021-10-26 | 2022-02-11 | 北京国家新能源汽车技术创新中心有限公司 | 一种自动驾驶***的感知融合方法 |
CN114127512A (zh) * | 2019-06-13 | 2022-03-01 | 大众汽车股份公司 | 借助至少两种不同的位置确定方法确定便携式操作设备的位置的方法以及电子位置确定*** |
CN114518108A (zh) * | 2020-11-18 | 2022-05-20 | 郑州宇通客车股份有限公司 | 一种定位地图构建方法及装置 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6445983B1 (en) * | 2000-07-07 | 2002-09-03 | Case Corporation | Sensor-fusion navigator for automated guidance of off-road vehicles |
US20030191610A1 (en) * | 2002-03-26 | 2003-10-09 | Hai-Wen Chen | Method and system for multi-sensor data fusion using a modified dempster-shafer theory |
CN101013158A (zh) * | 2006-02-03 | 2007-08-08 | 通用汽车环球科技运作公司 | 用于车载对象跟踪***的校准和定向的方法和设备 |
CN101655561A (zh) * | 2009-09-14 | 2010-02-24 | 南京莱斯信息技术股份有限公司 | 基于联合卡尔曼滤波的多点定位数据与雷达数据融合方法 |
CN101833104A (zh) * | 2010-04-27 | 2010-09-15 | 北京航空航天大学 | 一种基于多传感器信息融合的三维可视化导航方法 |
CN102306206A (zh) * | 2011-07-18 | 2012-01-04 | 福州大学 | 自适应一致性数据融合方法 |
CN103256939A (zh) * | 2013-04-15 | 2013-08-21 | 李德毅 | 智能车辆利用变粒度路权雷达图进行信息融合的方法 |
CN103926564A (zh) * | 2014-03-21 | 2014-07-16 | 成都民航空管科技发展有限公司 | 一种多源监视数据的融合方法及装置 |
EP2808760A1 (en) * | 2013-05-29 | 2014-12-03 | Dassault Systèmes | Body posture tracking |
CN105109484A (zh) * | 2015-08-21 | 2015-12-02 | 奇瑞汽车股份有限公司 | 目标障碍物体确定方法及装置 |
CN105160356A (zh) * | 2015-08-31 | 2015-12-16 | 上汽通用汽车有限公司 | 一种车辆主动安全***传感器数据融合方法及*** |
CN105352535A (zh) * | 2015-09-29 | 2016-02-24 | 河海大学 | 一种基于多传感器数据融合的测量方法 |
CN105701479A (zh) * | 2016-02-26 | 2016-06-22 | 重庆邮电大学 | 基于目标特征的智能车辆多激光雷达融合识别方法 |
CN106101640A (zh) * | 2016-07-18 | 2016-11-09 | 北京邮电大学 | 自适应视频传感器融合方法及装置 |
-
2017
- 2017-10-25 CN CN201711009405.1A patent/CN107918386B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6445983B1 (en) * | 2000-07-07 | 2002-09-03 | Case Corporation | Sensor-fusion navigator for automated guidance of off-road vehicles |
US20030191610A1 (en) * | 2002-03-26 | 2003-10-09 | Hai-Wen Chen | Method and system for multi-sensor data fusion using a modified dempster-shafer theory |
CN101013158A (zh) * | 2006-02-03 | 2007-08-08 | 通用汽车环球科技运作公司 | 用于车载对象跟踪***的校准和定向的方法和设备 |
CN101655561A (zh) * | 2009-09-14 | 2010-02-24 | 南京莱斯信息技术股份有限公司 | 基于联合卡尔曼滤波的多点定位数据与雷达数据融合方法 |
CN101833104A (zh) * | 2010-04-27 | 2010-09-15 | 北京航空航天大学 | 一种基于多传感器信息融合的三维可视化导航方法 |
CN102306206A (zh) * | 2011-07-18 | 2012-01-04 | 福州大学 | 自适应一致性数据融合方法 |
CN103256939A (zh) * | 2013-04-15 | 2013-08-21 | 李德毅 | 智能车辆利用变粒度路权雷达图进行信息融合的方法 |
EP2808760A1 (en) * | 2013-05-29 | 2014-12-03 | Dassault Systèmes | Body posture tracking |
CN103926564A (zh) * | 2014-03-21 | 2014-07-16 | 成都民航空管科技发展有限公司 | 一种多源监视数据的融合方法及装置 |
CN105109484A (zh) * | 2015-08-21 | 2015-12-02 | 奇瑞汽车股份有限公司 | 目标障碍物体确定方法及装置 |
CN105160356A (zh) * | 2015-08-31 | 2015-12-16 | 上汽通用汽车有限公司 | 一种车辆主动安全***传感器数据融合方法及*** |
CN105352535A (zh) * | 2015-09-29 | 2016-02-24 | 河海大学 | 一种基于多传感器数据融合的测量方法 |
CN105701479A (zh) * | 2016-02-26 | 2016-06-22 | 重庆邮电大学 | 基于目标特征的智能车辆多激光雷达融合识别方法 |
CN106101640A (zh) * | 2016-07-18 | 2016-11-09 | 北京邮电大学 | 自适应视频传感器融合方法及装置 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710828A (zh) * | 2018-04-18 | 2018-10-26 | 北京汽车集团有限公司 | 识别目标物的方法、装置和存储介质以及车辆 |
CN110376583A (zh) * | 2018-09-30 | 2019-10-25 | 长城汽车股份有限公司 | 用于车辆传感器的数据融合方法及装置 |
CN110376583B (zh) * | 2018-09-30 | 2021-11-19 | 毫末智行科技有限公司 | 用于车辆传感器的数据融合方法及装置 |
WO2020124440A1 (en) * | 2018-12-18 | 2020-06-25 | Beijing Voyager Technology Co., Ltd. | Systems and methods for processing traffic objects |
JP2021512376A (ja) * | 2018-12-18 | 2021-05-13 | ベイジン・ボイジャー・テクノロジー・カンパニー・リミテッド | 交通物体を処理するためのシステムおよび方法 |
CN109633621A (zh) * | 2018-12-26 | 2019-04-16 | 杭州奥腾电子股份有限公司 | 一种车载环境感知***数据处理方法 |
CN111639663A (zh) * | 2019-03-01 | 2020-09-08 | Aptiv技术有限公司 | 多传感器数据融合的方法 |
CN111639663B (zh) * | 2019-03-01 | 2024-04-12 | Aptiv技术股份公司 | 多传感器数据融合的方法 |
CN114127512A (zh) * | 2019-06-13 | 2022-03-01 | 大众汽车股份公司 | 借助至少两种不同的位置确定方法确定便携式操作设备的位置的方法以及电子位置确定*** |
CN112208529A (zh) * | 2019-07-09 | 2021-01-12 | 长城汽车股份有限公司 | 用于目标检测的感知***、驾驶辅助方法和无人驾驶设备 |
CN112208529B (zh) * | 2019-07-09 | 2022-08-02 | 毫末智行科技有限公司 | 用于目标检测的感知***、驾驶辅助方法和无人驾驶设备 |
CN110715667A (zh) * | 2019-09-29 | 2020-01-21 | 吴中红 | 实时预警导航装置、地图显示方法及终端设备 |
CN111145294A (zh) * | 2019-12-18 | 2020-05-12 | 北京城市网邻信息技术有限公司 | 二维户型图构建方法及装置、存储介质 |
CN114518108A (zh) * | 2020-11-18 | 2022-05-20 | 郑州宇通客车股份有限公司 | 一种定位地图构建方法及装置 |
CN114518108B (zh) * | 2020-11-18 | 2023-09-08 | 宇通客车股份有限公司 | 一种定位地图构建方法及装置 |
CN113052241A (zh) * | 2021-03-28 | 2021-06-29 | 重庆长安汽车股份有限公司 | 一种多传感器数据融合方法、装置及汽车 |
CN113203412A (zh) * | 2021-05-07 | 2021-08-03 | 江苏俱为科技有限公司 | 一种多模态传感的定位引导方法 |
CN114035187A (zh) * | 2021-10-26 | 2022-02-11 | 北京国家新能源汽车技术创新中心有限公司 | 一种自动驾驶***的感知融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107918386B (zh) | 2021-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107918386A (zh) | 用于车辆的多传感器数据融合方法、装置及车辆 | |
CA2081185C (en) | Vehicle navigation system | |
US10684129B2 (en) | Method for checking and/or calibrating a horizontal axis of a rotating laser | |
CN111007530B (zh) | 激光点云数据处理方法、装置及*** | |
CN105522988B (zh) | 车辆导向***、车辆定向的方法和安检车辆 | |
US10641617B2 (en) | Calibration device and calibration method | |
CN109816735A (zh) | 一种快速标定及校正方法及其tof相机 | |
CN103020957B (zh) | 移动机器人机载摄像机位置标定方法 | |
CN111208493B (zh) | 一种车载激光雷达在整车坐标系下的快速标定方法 | |
DE60139881D1 (de) | Verfahren, Vorrichtung und System zur Kalibrierung von Winkelratenmesssensoren | |
CA2382394A1 (en) | Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system | |
CN108759834A (zh) | 一种基于全局视觉的定位方法 | |
KR20200139407A (ko) | 라이다 센서의 신뢰성에 따른 차량 제어 장치 및 방법 | |
CN108303043A (zh) | 多传感器信息融合的植物叶面积指数检测方法及*** | |
CN108759815A (zh) | 一种用于全局视觉定位方法中的信息融合组合导航方法 | |
CN109887041A (zh) | 一种机械臂控制数字相机摄影中心位置和姿态的方法 | |
CN108061477A (zh) | 一种导引头与惯组***间相对安装误差校正方法 | |
CN108955683A (zh) | 基于全局视觉的定位方法 | |
FI119485B (fi) | Menetelmä lämpötilamittausvirheen kompensoimiseksi luotaimessa | |
KR20120098321A (ko) | 관성 측정기의 교정 장치 및 그 방법 | |
CN110109145A (zh) | 基于多线激光雷达的行驶区域检测方法及装置 | |
JP2011164069A (ja) | 位置補正システム | |
CN110109143B (zh) | 多线激光雷达与imu的位姿标定方法及装置 | |
KR20160038320A (ko) | 차량용 자이로센서의 보정 장치 및 방법 | |
CN111830519A (zh) | 多传感器融合的测距方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |