CN113325415B - 车辆雷达数据和相机数据的融合方法及*** - Google Patents
车辆雷达数据和相机数据的融合方法及*** Download PDFInfo
- Publication number
- CN113325415B CN113325415B CN202110426996.2A CN202110426996A CN113325415B CN 113325415 B CN113325415 B CN 113325415B CN 202110426996 A CN202110426996 A CN 202110426996A CN 113325415 B CN113325415 B CN 113325415B
- Authority
- CN
- China
- Prior art keywords
- target
- data
- camera
- radar
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供一种车辆雷达数据和相机数据的融合方法及***，在获取目标的融合数据时，没有采用复杂的算法对目标的雷达数据和目标数据融合，而是直接将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，降低了融合过程中的算力要求，对硬件的性能要求比较低，提高了目标数据融合的效率。
Description
技术领域
本发明涉及数据融合领域，更具体地，涉及一种车辆雷达数据和相机数据的融合方法及***。
背景技术
高级驾驶员辅助***(ADAS)通过毫米波雷达和单目相机等传感器对车辆行驶周边环境进行感知，并根据感知的结果对车辆进行控制，以达到提高驾驶体验及安全性的目的。毫米波雷达测距准确、不受光线等环境因素影响但测量数据无语义，单目相机能够准确识别行人车辆等目标，但测距精度较差，易受光线影响。融合算法可以有效弥补二者的缺陷，发挥二者专长，提高感知的精准度和抗干扰能力。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种车辆雷达数据和相机数据的融合方法及***。
根据本发明的第一方面，提供了一种车辆雷达数据和相机数据的融合方法，包括：接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
在上述技术方案的基础上，本发明实施例还可以作出如下改进。
可选的，所述ADAS控制器接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准，包括：ADAS控制器接收用于检测目标的雷达数据和相机数据，根据雷达和相机在车辆上的安装位置，将雷达数据和相机数据统一到车身坐标系；利用内插外推法对转换后的雷达数据和相机数据进行时空配准。
可选的，所述将雷达检测的目标与相机检测的目标进行匹配之前包括：构建融合目标列表，所述融合目标列表中包括每一个目标在历史的各个计算周期内的数据，所述每一个目标在历史的各个计算周期内的数据包括每一个目标在历史的各个计算周期内对应的融合后的目标数据、融合使用的目标的雷达数据和目标的相机数据。
可选的，所述构建融合目标列表之后包括：根据每一个目标在历史的各个计算周期内的数据，推算每一个目标在当前周期内的数据，并更新到融合目标列表中，所述每一个目标在当前周期内的数据包括每一个目标在当前计算周期内。
可选的，所述将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：根据ADAS控制器接收的当前计算周期内的雷达数据和相机数据，计算雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与雷达检测的目标为同一个目标；计算相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与相机检测的目标为同一个目标；利用雷达检测的目标数据和相机检测的目标数据更新融合目标列表中相同目标的数据。
可选的，所述所述将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：若雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则作为新目标更新融合目标列表中的雷达数据；和/或，若相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则作为新目标更新融合目标列表中的相机数据。
可选的，所述将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，包括：对于任一个目标，若在融合目标列表中找到所述任一个目标的雷达数据和/或相机数据，将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，和/或将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
根据本发明的第二方面，提供了一种雷达数据和相机数据的融合***，包括ADAS控制器，所述ADAS控制器包括：配准模块，用于接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；匹配模块，用于将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；融合模块，用于将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
根据本发明第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现车辆雷达数据和相机数据的融合方法的步骤。
根据本发明第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现车辆雷达数据和相机数据的融合方法步骤。
本发明提供一种车辆雷达数据和相机数据的融合方法及***，在获取目标的融合数据时，没有采用复杂的算法对目标的雷达数据和目标数据融合，而是直接将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，降低了融合过程中的算力要求，对硬件的性能要求比较低，提高了目标数据融合的效率。
附图说明
图1为本发明实施例提供的一种车辆雷达数据和相机数据的融合方法流程图；
图2为本发明实施例的雷达检测的目标与相机检测的目标匹配的流程图；
图3为本发明实施例提供的一种车辆雷达数据和相机数据的融合***结构图；
图4为本发明提供的一种可能的电子设备的硬件结构示意图；
图5为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例提供的一种车辆雷达数据和相机数据的融合方法流程图，如图1所示，方法包括：101、接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；102、将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；103、将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
可以理解的是，基于毫米波雷达测距准确、不受光线等环境因素影响但测量数据无语义，单目相机能够准确识别行人车辆等目标，但测距精度较差，易受光线影响的缺陷，本发明实施例提出了将车辆上的检测的周围环境中目标的毫米波雷达数据(以下简称为雷达数据)和单目相机数据(以下简称相机数据)进行融合，并且融合的方式简单。
具体的，当高级驾驶员辅助***ADAS控制器接收到检测目标的雷达数据和相机数据，首先，将雷达数据和相机数据进行时空配准。然后将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据。在进行数据融合时，将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
本发明实施例在获取目标的融合数据时，没有采用复杂的算法对目标的雷达数据和目标数据融合，而是直接将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，降低了融合过程中的算力要求，对硬件的性能要求比较低，提高了目标数据融合的效率。
在一种可能的实施例方式中，ADAS控制器接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准，包括：ADAS控制器接收用于检测目标的雷达数据和相机数据，根据雷达和相机在车辆上的安装位置，将雷达数据和相机数据统一到车身坐标系；利用内插外推法对转换后的雷达数据和相机数据进行时空配准。
可以理解的是，当ADAS控制器接收到当前的一帧雷达数据和一帧相机数据时，根据当前雷达在车辆上的安装位置和相机数据，将雷达数据和相机数据统一到车身坐标系。对于坐标转换后的雷达数据和相机数据，采用内插外推法对雷达数据和相机数据进行时空配准。
在一种可能的实施例方式中，将雷达检测的目标与相机检测的目标进行匹配之前包括：构建融合目标列表，所述融合目标列表中包括每一个目标在历史的各个计算周期内的数据，所述每一个目标在历史的各个计算周期内的数据包括每一个目标在历史的各个计算周期内对应的融合后的目标数据、融合使用的目标的雷达数据和目标的相机数据。
可以理解的是，在对当前雷达数据和相机数据进行处理前，对于每一个目标的历史数据，构建一个融合目标列表，融合目标列表中包括历史的各个计算周期内的每一个目标的目标数据，目标数据包括融合后的目标数据、融合使用的目标的雷达数据和目标的相机数据。
在一种可能的实施例方式中，构建融合目标列表之后包括：根据每一个目标在历史的各个计算周期内的数据，推算每一个目标在当前周期内的数据，并更新到融合目标列表中，所述每一个目标在当前周期内的数据包括每一个目标在当前计算周期内。
可以理解的是，构建了融合目标列表后，根据其中的每一个目标在历史的各个计算周期内的数据，比如，位置数据和速度数据，来推算当前计算周期内，每一个目标的位置数据和速度数据。
其中，每一个目标在历史的各个计算周期内的数据包括融合后的数据、使用的雷达数据和使用的相机数据，那么推算的当前计算周期内的每一个目标的数据也包括融合后的每一个目标的数据、使用的雷达数据和使用的相机数据。
在根据每一个目标在历史的各个计算周期内的数据推算每一个目标在当前计算周期内的数据时，由于每一个计算周期时间比较短，认为每一个目标在不同的计算周期之内为匀速运动。
在一种可能的实施例方式中，将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：根据ADAS控制器接收的当前计算周期内的雷达数据和相机数据，计算雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与雷达检测的目标为同一个目标；计算相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与相机检测的目标为同一个目标；利用雷达检测的目标数据和相机检测的目标数据更新融合目标列表中相同目标的数据。
可以理解的是，可参见图2，当ADAS控制器接收到当前计算周期内的雷达数据和相机数据时，为了在融合目标列表中找到与雷达检测到的目标以及与相机检测到的目标为同一个目标的数据。对于雷达数据，计算当前计算周期内的雷达检测到的目标位置与融合目标列表中当前计算周期内的每一个目标的融合后的目标位置之间的欧式距离，得到多个欧式距离，比如，融合目标列表中存在20个目标的数据，那么计算出来的欧式距离为20个，其中，设定一个预设距离阈值，从20个欧式距离中选出小于该预设距离阈值的多个欧式距离，从这多个欧式距离中找到做小的欧式距离，将该最小的欧式距离对应的目标认为是与雷达数据检测的目标相同的目标。
同样的，对于相机数据，计算当前计算周期内的相机检测到的目标位置与融合目标列表中当前计算周期内的每一个目标的融合后的目标位置之间的欧式距离，得到多个欧式距离，比如，融合目标列表中存在20个目标的数据，那么计算出来的欧式距离为20个，其中，设定一个预设距离阈值，从20个欧式距离中选出小于该预设距离阈值的多个欧式距离，从这多个欧式距离中找到做小的欧式距离，将该最小的欧式距离对应的目标认为是与相机数据检测的目标相同的目标。
在融合目标列表中找到与雷达检测的目标相同的目标以及找到与相机检测的目标相同的目标，利用雷达数据和/或相机数据更新融合目标列表中相同目标的相关数据。
在一种可能的实施例方式中，将雷达检测的目标与相机检测的目标进行匹配时，可能在融合目标列表中找不到相同目标的数据，具体的，若雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则将雷达检测的目标作为新目标，且用检测的雷达数据更新融合目标列表中的该新目标的雷达数据；和/或，若相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则将相机检测的目标作为新目标，且用检测的相机数据更新融合目标列表中的该新目标的相机数据。
在一种可能的实施例方式中，将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，包括：对于任一个目标，若在融合目标列表中找到所述任一个目标的雷达数据和/或相机数据，将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，和/或将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
可以理解的是，逐一检查融合目标列表的目标，如果该目标数据中雷达数据和相机数据均已更新或均为新增，则雷达检测的该目标的纵向距离和纵向相对速度即为融合后目标的纵向距离和纵向速度，相机检测的横向距离和横向速度为融合后的目标的横向距离和横向速度。
如果融合目标列表中的目标数据中只有雷达数据更新或新增，则融合后的目标的横纵向距离及相对速度为雷达检测的目标的横纵向距离及相对速度。如果融合目标列表中的目标数据中只有相机数据更新或新增，则融合后的目标的横纵向距离及相对速度为相机检测的目标的横纵向距离及相对速度。
如果融合数据表中的目标数据既没有雷达更新也没有相机数据更新，则删除该融合目标。
本发明实施例在获取目标的融合数据时，没有采用复杂的算法对目标的雷达数据和目标数据融合，而是直接将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，降低了融合过程中的算力要求，对硬件的性能要求比较低，提高了目标数据融合的效率。
参见图3，提供了一种车辆雷达数据与相机数据的融合***，包括ADAS控制器，ADAS控制器包括：配准模块301，用于接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；匹配模块302，用于将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；融合模块303，用于将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
可以理解的是，本发明实施例提供的车辆雷达数据和相机数据的融合***与前述各实施例提供的车辆雷达数据与相机数据的融合方法相对应，车辆雷达数据和相机数据的融合***的相关技术特征可参考车辆雷达数据和相机数据的融合方法的相关技术特征，在此不再赘述。
请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提了一种电子设备，包括存储器410、处理器420及存储在存储器420上并可在处理器420上运行的计算机程序411，处理器420执行计算机程序411时实现以下步骤：接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
请参阅图5，图5为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质500，其上存储有计算机程序511，该计算机程序511被处理器执行时实现如下步骤：接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (7)
1.一种车辆雷达数据与相机数据的融合方法，其特征在于，包括：
接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；
将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；
将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度；
所述将雷达检测的目标与相机检测的目标进行匹配之前包括：
构建融合目标列表，所述融合目标列表中包括每一个目标在历史的各个计算周期内的数据，所述每一个目标在历史的各个计算周期内的数据包括每一个目标在历史的各个计算周期内对应的融合后的目标数据、融合使用的目标的雷达数据和目标的相机数据；
所述构建融合目标列表之后包括：
根据每一个目标在历史的各个计算周期内的数据，推算每一个目标在当前周期内的数据，并更新到融合目标列表中，所述每一个目标在当前周期内的数据包括每一个目标在当前计算周期内融合后的目标数据；
所述将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：
根据ADAS控制器接收的当前计算周期内的雷达数据和相机数据，计算雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与雷达检测的目标为同一个目标；
计算相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与相机检测的目标为同一个目标；
利用雷达检测的目标数据和相机检测的目标数据更新融合目标列表中相同目标的数据。
2.根据权利要求1所述的融合方法，其特征在于，所述接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准，包括：
ADAS控制器接收用于检测目标的雷达数据和相机数据，根据雷达和相机在车辆上的安装位置，将雷达数据和相机数据统一到车身坐标系；
利用内插外推法对转换后的雷达数据和相机数据进行时空配准。
3.根据权利要求1所述的融合方法，其特征在于，所述将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：
若雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则作为新目标更新融合目标列表中的雷达数据；
和/或，
若相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则作为新目标更新融合目标列表中的相机数据。
4.根据权利要求1或3所述的融合方法，其特征在于，所述将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，包括：
对于任一个目标，若在融合目标列表中找到所述任一个目标的雷达数据和/或相机数据，将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，和/或将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
5.一种车辆雷达数据和相机数据的融合***，其特征在于，包括ADAS控制器，所述ADAS控制器包括：
配准模块，用于接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；
匹配模块，用于将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；
融合模块，用于将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度；
所述将雷达检测的目标与相机检测的目标进行匹配之前包括：
构建融合目标列表，所述融合目标列表中包括每一个目标在历史的各个计算周期内的数据，所述每一个目标在历史的各个计算周期内的数据包括每一个目标在历史的各个计算周期内对应的融合后的目标数据、融合使用的目标的雷达数据和目标的相机数据；
所述构建融合目标列表之后包括：
根据每一个目标在历史的各个计算周期内的数据，推算每一个目标在当前周期内的数据，并更新到融合目标列表中，所述每一个目标在当前周期内的数据包括每一个目标在当前计算周期内融合后的目标数据；
所述将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：
根据ADAS控制器接收的当前计算周期内的雷达数据和相机数据，计算雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与雷达检测的目标为同一个目标；
计算相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与相机检测的目标为同一个目标；
利用雷达检测的目标数据和相机检测的目标数据更新融合目标列表中相同目标的数据。
6.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-4任一项所述的车辆雷达数据和相机数据的融合方法的步骤。
7.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-4任一项所述的车辆雷达数据和相机数据的融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110426996.2A CN113325415B (zh) | 2021-04-20 | 2021-04-20 | 车辆雷达数据和相机数据的融合方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110426996.2A CN113325415B (zh) | 2021-04-20 | 2021-04-20 | 车辆雷达数据和相机数据的融合方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113325415A CN113325415A (zh) | 2021-08-31 |
| CN113325415B true CN113325415B (zh) | 2023-10-13 |
Family
ID=77415004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110426996.2A Active CN113325415B (zh) | 2021-04-20 | 2021-04-20 | 车辆雷达数据和相机数据的融合方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113325415B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888602B (zh) * | 2021-12-03 | 2022-04-05 | 深圳佑驾创新科技有限公司 | 一种雷达车辆目标与视觉车辆目标的关联方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009019914A (ja) * | 2007-07-10 | 2009-01-29 | Toyota Motor Corp | 物体検出装置 |
| JP2011047882A (ja) * | 2009-08-28 | 2011-03-10 | Toshiba Corp | 目標追跡装置 |
| CN109212521A (zh) * | 2018-09-26 | 2019-01-15 | 同济大学 | 一种基于前视相机与毫米波雷达融合的目标跟踪方法 |
| CN109839634A (zh) * | 2019-01-25 | 2019-06-04 | 中国汽车技术研究中心有限公司 | 一种车载摄像头与雷达的目标融合方法 |
| CN109886308A (zh) * | 2019-01-25 | 2019-06-14 | 中国汽车技术研究中心有限公司 | 一种基于目标级别的双传感器数据融合方法和装置 |
| CN109901156A (zh) * | 2019-01-25 | 2019-06-18 | 中国汽车技术研究中心有限公司 | 一种车辆毫米波雷达和摄像头的目标融合方法和装置 |
| CN110095770A (zh) * | 2019-04-26 | 2019-08-06 | 东风柳州汽车有限公司 | 车辆周边目标物的检测方法 |
| WO2020014685A1 (en) * | 2018-07-13 | 2020-01-16 | Waymo Llc | Vehicle sensor verification and calibration |
| CN111967498A (zh) * | 2020-07-20 | 2020-11-20 | 重庆大学 | 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法 |
| CN112070807A (zh) * | 2020-11-11 | 2020-12-11 | 湖北亿咖通科技有限公司 | 多目标跟踪方法和电子装置 |
| CN112130136A (zh) * | 2020-09-11 | 2020-12-25 | 中国重汽集团济南动力有限公司 | 一种交通目标综合感知***及方法 |
| CN112540352A (zh) * | 2019-09-20 | 2021-03-23 | 初速度（苏州）科技有限公司 | 一种基于无人驾驶车辆的评测目标检测算法的方法及装置 |
-
2021
- 2021-04-20 CN CN202110426996.2A patent/CN113325415B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009019914A (ja) * | 2007-07-10 | 2009-01-29 | Toyota Motor Corp | 物体検出装置 |
| JP2011047882A (ja) * | 2009-08-28 | 2011-03-10 | Toshiba Corp | 目標追跡装置 |
| WO2020014685A1 (en) * | 2018-07-13 | 2020-01-16 | Waymo Llc | Vehicle sensor verification and calibration |
| CN109212521A (zh) * | 2018-09-26 | 2019-01-15 | 同济大学 | 一种基于前视相机与毫米波雷达融合的目标跟踪方法 |
| CN109839634A (zh) * | 2019-01-25 | 2019-06-04 | 中国汽车技术研究中心有限公司 | 一种车载摄像头与雷达的目标融合方法 |
| CN109886308A (zh) * | 2019-01-25 | 2019-06-14 | 中国汽车技术研究中心有限公司 | 一种基于目标级别的双传感器数据融合方法和装置 |
| CN109901156A (zh) * | 2019-01-25 | 2019-06-18 | 中国汽车技术研究中心有限公司 | 一种车辆毫米波雷达和摄像头的目标融合方法和装置 |
| CN110095770A (zh) * | 2019-04-26 | 2019-08-06 | 东风柳州汽车有限公司 | 车辆周边目标物的检测方法 |
| CN112540352A (zh) * | 2019-09-20 | 2021-03-23 | 初速度（苏州）科技有限公司 | 一种基于无人驾驶车辆的评测目标检测算法的方法及装置 |
| CN111967498A (zh) * | 2020-07-20 | 2020-11-20 | 重庆大学 | 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法 |
| CN112130136A (zh) * | 2020-09-11 | 2020-12-25 | 中国重汽集团济南动力有限公司 | 一种交通目标综合感知***及方法 |
| CN112070807A (zh) * | 2020-11-11 | 2020-12-11 | 湖北亿咖通科技有限公司 | 多目标跟踪方法和电子装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多传感器信息融合的车辆目标识别方法;孙宁 等;《汽车工程》;第39卷(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113325415A (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113715814B (zh) | 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆 | |
| CN109074085B (zh) | 一种自主定位和地图建立方法、装置和机器人 | |
| US10145690B2 (en) | Map information generation system, method, and program | |
| JP6544908B2 (ja) | 予測的運転者支援システムのための複合信頼度推定 | |
| CN113466822B (zh) | 用于检测障碍物的方法和装置 | |
| CN110867132B (zh) | 环境感知的方法、装置、电子设备和计算机可读存储介质 | |
| JP2015081083A (ja) | 予測的運転者支援システムのための、妥当性規則に基づく信頼度推定 | |
| CN110834642B (zh) | 车辆跑偏识别方法、装置、车辆及存储介质 | |
| CN109099920B (zh) | 基于多传感器关联的传感器目标精确定位方法 | |
| JP5796597B2 (ja) | 車両判定方法及び車両判定装置 | |
| US20230228593A1 (en) | Method, device and system for perceiving multi-site roadbed network and terminal | |
| EP3670283A1 (en) | Follow that car | |
| JP2020537800A (ja) | 車両の車線変更検出のためのシステム及び方法 | |
| CN112445222A (zh) | 导航方法、装置、存储介质以及终端 | |
| CN110426714B (zh) | 一种障碍物识别方法 | |
| JP2020003463A (ja) | 自車位置推定装置 | |
| CN113325415B (zh) | 车辆雷达数据和相机数据的融合方法及*** | |
| EP2910897A1 (en) | Stereo image processing device and stereo image processing method | |
| CN116415202A (zh) | 一种多源数据融合方法、***、电子设备及存储介质 | |
| US20230281872A1 (en) | System for calibrating extrinsic parameters for a camera in an autonomous vehicle | |
| US20200118285A1 (en) | Device and method for determining height information of an object in an environment of a vehicle | |
| CN111627249B (zh) | 驾驶辅助***、驾驶辅助方法和非暂时性计算机可读介质 | |
| CN116088538A (zh) | 车辆轨迹信息生成方法、装置、设备和计算机可读介质 | |
| CN115575942A (zh) | 激光雷达数据和毫米波雷达数据的融合方法及融合*** | |
| JP2019106166A (ja) | 情報処理方法、情報処理装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |