CN114782548A - 基于全局图像的雷视数据标定方法、装置、设备及介质 - Google Patents

基于全局图像的雷视数据标定方法、装置、设备及介质 Download PDF

Info

Publication number
CN114782548A
CN114782548A CN202210420934.5A CN202210420934A CN114782548A CN 114782548 A CN114782548 A CN 114782548A CN 202210420934 A CN202210420934 A CN 202210420934A CN 114782548 A CN114782548 A CN 114782548A
Authority
CN
China
Prior art keywords
calibration
radar
point
image
global image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210420934.5A
Other languages
English (en)
Other versions
CN114782548B (zh
Inventor
黄金叶
陈磊
陈予涵
陈予琦
吴维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Original Assignee
Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qiyang Special Equipment Technology Engineering Co ltd filed Critical Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Priority to CN202210420934.5A priority Critical patent/CN114782548B/zh
Publication of CN114782548A publication Critical patent/CN114782548A/zh
Application granted granted Critical
Publication of CN114782548B publication Critical patent/CN114782548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于全局图像的雷视数据标定方法、装置、电子设备及存储介质，本发明将数据融合区域的全局图像对应的坐标系作为参考坐标系，可同时对多个摄像机和多个雷达进行坐标标定，由此，避免了传统标定方法所存在的只能实现单个摄像机和单个雷达数据标定的问题，从而极大的简化了标注流程，提高了标注效率，实现了道路路口处不同方向的交通目标的数据融合。

Description

基于全局图像的雷视数据标定方法、装置、设备及介质
技术领域
本发明属于道路交通技术领域，具体涉及一种基于全局图像的雷视数据标定方法、装置、设备及介质。
背景技术
随着智慧交通技术的发展，车路协同概念的提出与普及，路测感知技术得到了飞速发展，其中，常用的路测感知单元以视频检测器和毫米波雷达为主，单一传感器检测效果已经无法满***通监测所提出的越来越高的需求，因此，现阶段多采用多种传感器融合的路测技术，以便提高路测感知的精度，提供更加丰富的感知数据，从而加速车路协同落地，以及提高交通的安全性。
雷达信息和图像信息需要在同一空间和时间的维度中才能进行数据融合计算，因此，在数据融合前需要将雷达探测目标的坐标系转换到相机采集到的图像坐标系中，同时对毫米波雷达和相机的采样频率进行统一，其中，传统的雷达和摄像机的数据标定方式大多是以摄像机的像素坐标系或者雷达的数据坐标系为参照坐标系，通过多点标注法将另外一个设备的坐标系映射到参照坐标系内，从而得到雷达和摄像机的空间映射关系，其存在以下不足：
传统的标定方法采用的参照坐标系不是全局坐标，其只能实现一个雷达与一个摄像机的数据标定，而无法实现多个摄像机和多个雷达坐标的同时映射，但是，在实际应用中，路口则是多种传感器(多个摄像机和多个雷达)协同作用，因此，传统的标定方法已无法满足多种传感器对应坐标系下的数据标定，从而导致无法有效的对道路路口处不同方向的交通目标进行数据融合；由此，提供一种可同时标定多个摄像机和多个雷达的数据标定方法迫在眉睫。
发明内容
本发明的目的是提供一种基于全局图像的雷视数据标定方法、装置、设备及介质，以解决现有标定方法无法实现多个摄像机和多个雷达坐标的同时映射，从而导致无法有效的对道路路口处不同方向的交通目标进行数据融合的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，本发明提供了一种基于全局图像的雷视数据标定方法，包括：
获取道路路口处的标定图像以及道路路口内数据融合区域的全局图像，其中，所述数据融合区域为所述道路路口处的摄像机与雷达的共同检测区域，所述全局图像为所述数据融合区域的俯视图像，且所述标定图像为所述摄像机拍摄的道路路口图像；
对所述标定图像进行多点标定，得到至少四个第一标定点，并基于所述至少四个第一标定点，在所述全局图像中确定出与每个第一标定点表征位置相同的第二标定点，其中，所述每个第一标定点为所述标定图像中用于表征道路路口内标定物的像素点；
基于所述标定图像，获取所述每个第一标定点的坐标，以及基于所述全局图像，获取每个第二标定点的坐标；
基于所述每个第一标定点的坐标，以及所述每个第二标定点的坐标，得到所述标定图像与所述全局图像之间的空间映射矩阵；
获取雷达在道路路口处的安装位置，并基于所述安装位置和所述全局图像，得到所述雷达对应的扫描平面与所述全局图像之间的空间映射参数；
基于所述空间映射矩阵和所述空间映射参数，对所述雷达的探测数据以及所述摄像机的探测数据进行标定，以得到全局标定数据。
基于上述公开的内容，本发明以数据融合区域的全局图像对应的坐标系为参考坐标系，其中，数据融合区域是道路路口处摄像机与雷达的共同检测区域，且全局图像为数据融合区域的俯视图像，因此，全局图像所在区域可表示道路路口处所有摄像机以及雷达的交叉检测区域；接着，本发明在标定图像中选取出至少4个第一标定点，并借助第一标定点对全局图像进行多点标注，以便在全局图像中确定出与第一标定点表征位置相同的第二标定点，从而实现标定图像中第一标定点在全局图像中的映射，然后，即可利用第一标定点和第二标定点的坐标关系，来求取出标定图像与全局图像之间的空间映射关系；同理，对于雷达所在平面，本发明则是借助雷达的安装位置以及全局图像，来得出雷达扫描平面与全局图像之间的空间映射参数，由此，即可利用空间映射矩阵，将摄像机的探测数据映射至全局图像中，以及利用空间映射参数，将雷达的探测数据映射至全局图像中，从而实现多个摄像机和多个雷达坐标的同时映射。
通过上述设计，本发明将数据融合区域的全局图像对应的坐标系作为参考坐标系，可同时对多个摄像机和多个雷达进行坐标标定，由此，避免了传统标定方法所存在的只能实现单个摄像机和单个雷达数据标定的问题，从而极大的简化了标注流程，提高了标注效率，实现了道路路口处不同方向的交通目标的数据融合。
在一个可能的设计中，基于所述每个第一标定点的坐标，以及所述每个第二标定点的坐标，得到所述标定图像与所述全局图像之间的空间映射矩阵，包括：
构建一3*3的单应性矩阵，其中，所述单应性矩阵内每个元素为待求参量；
基于所述每个第一标定点的坐标、所述每个第二标定点的坐标以及所述单应性矩阵，构建出所述标定图像对应坐标系与所述全局图像对应坐标系之间的坐标转换方程组；
利用奇异值分解法，求解所述坐标转换方程组，得到每个待求参量的值，以便利用每个待求参量的值更新所述单应性矩阵，以将更新后的单应性矩阵作为所述空间映射矩阵。
基于上述公开的内容，本发明公开了空间映射矩阵的求解过程，其中，标定图像中的数据映射至全局图像中，相当于是摄像机对应坐标映射至世界坐标系中，而摄像机对应坐标系下的坐标乘以一个投影矩阵，即可得到世界坐标，因此，所求的空间映射矩阵，则是该投影矩阵，而在已知标定图像和全局图像中表示道路路口同一位置的标定点的坐标后，即可先构建一单应性矩阵(即投影矩阵)，然后利用第一标定坐标、第二标定坐标以及单应性矩阵建立坐标转换方程组，最后，通过求解方程组，即可得出单应性矩阵内各个元素的值，由此，在得出各个元素的值后，即可得出空间映射矩阵。
在一个可能的设计中，所述坐标转换方程组为：
Figure BDA0003606713130000031
上述式(1)中，h1,h2,...,h9为待求参量，xi,yi分别表示第i个第一标定点的横坐标和纵坐标，um,vm分别表示第m个第二标定点的横坐标和纵坐标，其中，i＝1,2,...,N，m＝1,2,...,M，N表示第一标定点的总个数，M表示第二标定点的总个数，且N≥4，M≥4。
基于上述公开的内容，将第一标定点和第二标定点对应的坐标代入前述式(1)，即可得到多个方程式，然后利用多个方程式中的各项组成矩阵，即可得到一矩阵方程，最后，通过奇异值分解法求解矩阵方程，即可得到单应矩阵内各个待求参量的值。
在一个可能的设计中，基于所述安装位置和所述全局图像，得到所述雷达对应的扫描平面与所述全局图像之间的空间映射参数，包括：
基于所述安装位置，在所述全局图像中进行雷达位置标注，以得到雷达位置点；
基于所述雷达位置点，在所述全局图像中，确定出雷达标定车道，其中，所述雷达标定车道位于所述雷达位置点所在车道的对向车道内，且与所述雷达的天线阵面法线平行；
获取所述雷达对任一车辆的监测数据，其中，所述监测数据包括任一车辆相对于所述雷达的方位角；
基于所述监测数据和所述雷达位置点，在所述全局图像中进行车辆位置标注，以得到所述任一车辆的位置点；
获取标定参数，其中，所述标定参数用于调整所述任一车辆在全局图像中的位置点；
利用所述雷达标定车道和所述标定参数，对所述任一车辆的位置点进行位置标定，以在将所述任一车辆的位置点调整到雷达标定车道内时，得到所述空间映射参数。
基于上述公开的内容，本发明公开了空间映射参数的具体过程，其中，先根据雷达安装位置，将雷达标注在全局图像中，然后在全局图像中确定出用于进行雷达位置标定的标定车道，接着再引入雷达的监测数据，即探测到的车辆数据，由于雷达本身可直接读出方位角以及车辆在雷达所在扫描平面下的坐标，因此，在方位角确定后，可基于雷达位置点，将该车辆映射在全局图像中，此时，再获取一标定参数，该标定参数实质为空间映射参数，用于将雷达坐标系下车辆的坐标转换为全局图像中，即调整该标定参数，车辆在全局图像中的位置点也会随之发生变化；最后，即可根据雷达标定车道和标定参数，进行车辆位置的标定，从而在车辆的位置点调整到雷达标定车道内时，得到雷达对应扫描平面与全局图像之间的空间映射关系，即得到空间映射参数。
在一个可能的设计中，基于所述雷达位置点，在所述全局图像中，确定出雷达标定车道，包括：
在所述全局图像中的所述雷达位置点所在车道的对向车道内选取出四个第三标定点，其中，四个第三标定点分为两组，每组第三标定点相连形成一条与所述对向车道平行的直线，且两组第三标定点对应的直线相互平行；
基于两组第三标定点对应的直线，将两组第三标定点对应直线之间的区域作为所述雷达标定车道。
在一个可能的设计中，计获取标定参数包括：
以所述雷达位置点为原点，所述原点的正东方向为x轴正方向，所述原点的正北方向为y轴正方向，建立雷达坐标系；
基于所述雷达坐标系，确定初始雷达方位角、初始标定横坐标以及初始标定纵坐标，以便利用初始雷达方位角、初始标定横坐标以及初始标定纵坐标组成所述标定参数；
相应的，基于所述雷达标定车道和所述标定参数，对所述任一车辆的位置点进行位置标定，以在将所述任一车辆的位置点调整到雷达标定车道内时，得到所述空间映射参数，包括：
调整所述标定参数，并在每次调整所述标定参数后，判断所述全局图像中的所述任一车辆的位置点是否移动到所述雷达标定车道内；
若是，则将任一车辆的位置点移动到所述雷达标定车道内时对应的标定参数，作为所述空间映射参数；否则，则继续调整所述标定参数，直到任一车辆的位置点移动到所述雷达标定车道内为止。
基于上述公开的内容，本发明通过建立雷达坐标系，来确定出标定参数的初始值，即雷达方位角的初始值、标定横坐标以及标定纵坐标的初始值，最后，通过调整前述三个参数的值，来改变全局图像中任一车辆的位置点，通过不断调整，直至任一车牌的位置点移动到雷达标定车道内时，即可得到调整后的标定参数，此时，即可将调整后的标定参数即可作为空间映射参数。
在一个可能的设计中，基于所述空间映射矩阵和所述空间映射参数，对所述雷达的探测数据以及所述摄像机的探测数据进行标定，以得到全局标定数据，包括：
基于所述空间映射矩阵，将所述摄像机的探测数据映射至全局图像坐标系中，得到摄像机的标定数据，其中，所述全局图像坐标系为所述全局图像对应的坐标系；以及
基于所述空间映射参数，将所述雷达的探测数据映射至所述全局图像坐标系中，得到所述雷达的标定数据；
利用所述摄像机的标定数据以及所述雷达的标定数据，组成所述全局标定数据。
第二方面，本发明提供了一种基于全局图像的雷视数据标定装置，包括：
图像获取单元，用于获取道路路口处的标定图像以及道路路口内数据融合区域的全局图像，其中，所述数据融合区域为所述道路路口处的摄像机与雷达的共同检测区域，所述全局图像为所述数据融合区域的俯视图像，且所述标定图像为所述摄像机拍摄的道路路口图像；
标注单元，用于对所述标定图像进行多点标定，得到至少四个第一标定点，并基于所述至少四个第一标定点，在所述全局图像中确定出与每个第一标定点表征位置相同的第二标定点，其中，所述每个第一标定点为所述标定图像中用于表征道路路口处标定物的像素点；
坐标获取单元，用于基于所述标定图像，获取所述每个第一标定点的坐标，以及基于所述全局图像，获取每个第二标定点的坐标；
坐标映射单元，用于基于所述每个第一标定点的坐标，以及所述每个第二标定点的坐标，得到所述标定图像与所述全局图像之间的空间映射矩阵；
坐标映射单元，还用于获取雷达在道路路口处的安装位置，并基于所述安装位置和所述全局图像，得到所述雷达对应的扫描平面与所述全局图像之间的空间映射参数；
数据标定单元，用于基于所述空间映射矩阵和所述空间映射参数，对所述雷达的探测数据以及所述摄像机的探测数据进行标定，以得到全局标定数据。
第三方面，本发明提供了另一种基于全局图像的雷视数据标定装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述基于全局图像的雷视数据标定方法。
第四方面，本发明提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述基于全局图像的雷视数据标定方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意一种可能设计的所述基于全局图像的雷视数据标定方法。
附图说明
图1为本发明提供的基于全局图像的雷视数据标定方法的步骤流程示意图；
图2为本发明提供的标定图像与全局图像的标定图；
图3为本发明提供的雷达标定图；
图4为本发明提供的基于全局图像的雷视数据标定装置的结构示意图；
图5为本发明提供的电子设备的结构示意图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例
参见图1所示，本实施例第一方面所提供的基于全局图像的雷视数据标定方法，可同时对多个摄像机和多个雷达进行坐标标定，从而极大的简化了标注流程，提高了标注效率，其中，前述标定方法可以但不限于在标定终端侧运行，而标定终端可以但不限于是个人电脑(personal computer，PC)、平板电脑、智能手机和/或个人数字助理(personaldigital assistant，PDA)等，可以理解的，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤如下述步骤S1～S6所示。
S1.获取道路路口处的标定图像以及道路路口内数据融合区域的全局图像，其中，所述数据融合区域为所述道路路口处的摄像机与雷达的共同检测区域，所述全局图像为所述数据融合区域的俯视图像，且所述标定图像为所述摄像机拍摄的道路路口图像；具体应用时，举例摄像机和雷达安装在道路路口处的电警杆上，由此，摄像机即可拍摄道路路口，从而得到标定图像，而全局图像可以但不限于采用无人机航拍获取。
可选的，参见图2所示，举例全局图像和标定图像均是去除了交通目标后的图像，即全部为道路路口的背景图像，而交通目标则包括行人和/或车辆，由此，可避免图像中存在行人和车辆，从而影响摄像机拍摄图像对应坐标系与全局图像对应坐标系的坐标标定。
在本实施例中，全局图像为道路路口处的摄像机与雷达的共同检测区域，因此，相当于将全局图像作为摄像机和雷达标定的参考参照物，因此，二者的标定则是以全局图像对应的坐标系为参考坐标系，从而将摄像机拍摄图像对应的坐标系转换至参考坐标系中，以及将雷达对应坐标系转换至参考坐标系中，其中，摄像机对应坐标系的标定过程如下述步骤S2～S4所示。
S2.对所述标定图像进行多点标定，得到至少四个第一标定点，并基于所述至少四个第一标定点，在所述全局图像中确定出与每个第一标定点表征位置相同的第二标定点，其中，所述每个第一标定点为所述标定图像中用于表征道路路口内标定物的像素点；具体应用时，步骤S2则建立标定图像与全局图像的映射关系，可选的，第一标定点可以但不限于为道路路口的标志线和/或电警杆，在本实施例中，选取道路路口的标志线作为标定物，并在标定图像中进行标注。
更进一步的，当以标志线为标定物时，可将各个标志线的端角处、拐角处或两标志线之间的交点作为标注点，如此，便于在全局图像中进行标注点的映射；参见图2所示，本实施例在标定图像中选取了11个标注点，且11个标注点均为标志线上的拐点、端角或两标志线之间的交点，如第三标注点是直行箭头中竖线部分与箭头部分的连接处，第一标注点则是两标志线之间的交点，第十一标注点则是左转箭头尾部左端的端点，当然，其余各个标志线上的标注点选取与前述举例原理一致，原理不再赘述。
在标定图像中选取出11个标注点后，即可将11个标注点作为第一标定点，此时，则需要将11个第一标定点映射至全局图像中，其实质相当于是在全局图像中确定出与每个第一标定点表征位置相同的像素点，作为第二标定点，即标定图像中的第一标定点与全局图像中对应确定出的第二标定点，其在道路路口处所指示的位置相同。
如图2所示，图2(a)为标定图像，图2(b)为全局图像，其中，标定图像中的第十一标注点为左转箭头尾部左端的端点，其对应至全局图像，则是在全局图像中筛选出与标定图像中第十一标注点所在左转箭头相同的左转箭头，即筛选出相同车道、相同左转方向以及相同左转箭头的标志线，并将全局图像中筛选出的左转箭头尾部的左端端点作为与第十一标注点对应的第二标定点(即图2(b)中的标注11)，由此，即可实现标定图像中第十一标注点在全局图像中的映射；按照前述举例方法将其余各个第一标定点一一映射至全局图像后，即可完成标定图像与全局图像的映射，其映射关系可参见图2所示。
在将标定图像中各个第一标定点映射至全局图像，得到与每个第一标定点对应的第二标定点后，即可进行二者空间映射关系的求取，如下述步骤S3和步骤S4所示。
S3.基于所述标定图像，获取所述每个第一标定点的坐标，以及基于所述全局图像，获取每个第二标定点的坐标；具体应用时，各个第一标定点实质为标定图像中的像素点，因此，该像素点的坐标可根据标定图像得出(如以标定图像的左下方为原点，宽度方向为x轴正方向，高度方向为y轴正方向，建立坐标系，从而得出各个第一标定点的坐标)；同理，第二标定点的坐标也可基于全局图像得出。
在得到各个第一标定点的坐标以及各个第二标定点的坐标后，即可利用两种标定点的坐标，来计算出将摄像机拍摄图像对应的坐标系，转换至全局图像对应坐标系的转换矩阵，如下述步骤S4所示。
S4.基于所述每个第一标定点的坐标，以及所述每个第二标定点的坐标，得到所述标定图像与所述全局图像之间的空间映射矩阵；具体应用时，标定图像为摄像机拍摄的图像，其对应的坐标系为图像坐标系，而全局图像对应的坐标系则为世界坐标系(与下述全局图像坐标系表示含义相同)，因此，标定图像与全局图像之间的空间映射矩阵，相当于是将图像坐标系投影到世界坐标系上，因此，空间映射矩阵，则是二者间的投影矩阵，其中，计算过程如下述步骤S41～S43。
S41.构建一3*3的单应性矩阵，其中，所述单应性矩阵内每个元素为待求参量；在本实施例中，单应性矩阵则是构建的投影矩阵，其中，第一标定点与第二标定点之间转换关系式为：
Figure BDA0003606713130000081
上述式中，H为单应性矩阵，xi,yi分别表示第i个第一标定点的横坐标和纵坐标，um,vm分别表示第m个第二标定点的横坐标和纵坐标，且i和m一一对应，即i为1时，m也为1，表示第1个第一标定点映射至全局图像中，得到该第一标定点对应第一个第二标定点，当然，其余取值含义相同，于此不多加赘述，同时，i＝1,2,...,N，m＝1,2,...,M，N表示第一标定点的总个数，M表示第二标定点的总个数，且N≥4，M≥4，N＝M；另外，在具体应用时，wm的值为1。
可选的，举例单应性矩阵为：
Figure BDA0003606713130000082
因此，即可利用前述第一标定点的坐标、第二标定点的坐标以及构建的单应性矩阵，建立图像坐标系与世界坐标系之间的坐标转换方程组，如下述步骤S42所示。
S42.基于所述每个第一标定点的坐标、所述每个第二标定点的坐标以及所述单应性矩阵，构建出所述标定图像对应坐标系与所述全局图像对应坐标系之间的坐标转换方程组；具体应用时，将前述转换关系式展示，即可得到坐标转换方程组，如下述式(1)所示：
Figure BDA0003606713130000083
上述式(1)中，h1,h2,...,h9为单应性矩阵中各个元素，也就是为待求参量。
在建立得到坐标转换方程组后，即可求解前述方程组，以得出单应性矩阵中各个元素的值，如下述步骤S43所示。
S43.利用奇异值分解法，求解所述坐标转换方程组，得到每个待求参量的值，以便利用每个待求参量的值更新所述单应性矩阵，以将更新后的单应性矩阵作为所述空间映射矩阵；具体应用时，可将前述至少4个第一标定点的坐标，以及至少4个第二标定点的坐标代入前述式(1)中，从而得到多个方程式，接着，即可利用多个方程式的各项组成矩阵，即可得到一矩阵方程，最后，通过奇异值分解法求解矩阵方程，即可得到单应矩阵内各个待求参量的值。
下述为便于阐述，以4个第一标定点和4个第二标定点为例，阐述前述计算过程：
当i和m为1时，前述式(1)变为：
Figure BDA0003606713130000091
当i和m为2时，前述式(1)变为：
Figure BDA0003606713130000092
当i和m为3时，前述式(1)变为：
Figure BDA0003606713130000093
当i和m为4时，前述式(1)变为：
Figure BDA0003606713130000094
因此，将方程式中的各项提取出来，可构成一矩阵方程，如下述式(2)所示：
Figure BDA0003606713130000101
前述式(2)中，各个第一标定点和各个第二标定点的坐标已知，因此，可利用奇异值分解法求解前述式(2)，即可得出各个待求参量的值，最后，将待求参量的值代入单应性矩阵，即可完成矩阵的更新，从而得到空间映射矩阵；在本实施例中，奇异值分解法为矩阵分解的常用算法，其原理不再赘述。
在得到标定图像与全局图像的空间映射矩阵后，还需要计算雷达所在平面与全局图像之间的空间映射关系，以便后续基于该关系实现雷达对应的坐标系与全局图像对应坐标系之间的转换，其中，雷达映射过程如下述步骤S5所示。
S5.获取雷达在道路路口处的安装位置，并基于所述安装位置和所述全局图像，得到所述雷达对应的扫描平面与所述全局图像之间的空间映射参数；具体应用时，空间映射参数的计算过程可以但不限于包括如下步骤S51～S56。
S51.基于所述安装位置，在所述全局图像中进行雷达位置标注，以得到雷达位置点；具体应用时，由于前述就已阐述，雷达安装在道路路口的电警杆上，因此，可在全局图像中确定雷达的安装电警杆，然后在该电警杆上任意选取一点进行雷达位置标注，而选取的像素点则为雷达位置点，参见图3所示，图3中的A点则为雷达位置点。
在全局图像中完成雷达位置标注后，则可进行雷达位置标定，也就是雷达在全局图像中的映射，具体的，本实施例是在全局图像中确定一雷达标定车道，然后引入标定参数以及雷达对车辆的监测数据，来将车辆映射至全局图像中，最后，通过调整标定参数的值，来不断的修正车辆的位置，直至车辆的位置修正至雷达标定车道内时，即可完成雷达与全局图像之间的映射，从而将车辆的位置修正至雷达标定车道内时对应的标定参数，作为空间映射参数，其中，映射过程如下述步骤S52～S56所示。
S52.基于所述雷达位置点，在所述全局图像中，确定出雷达标定车道，其中，所述雷达标定车道位于所述雷达位置点所在车道的对向车道内，且与所述雷达的天线阵面法线平行；具体应用时，雷达标定车道的确定过程如下述步骤S52a～S52b所示。
S52a.在所述全局图像中的所述雷达位置点所在车道的对向车道内选取出四个第三标定点，其中，四个第三标定点分为两组，每组第三标定点相连形成一条与所述对向车道平行的直线，且两组第三标定点对应的直线相互平行。
S52b.基于两组第三标定点对应的直线，将两组第三标定点对应直线之间的区域作为所述雷达标定车道。
具体应用时，可选取雷达对象车道，且在对象车道内选取正对雷达的车道的车道线上的像素点，作为第三标定点，以便保证形成的车道与雷达天线阵面法线平行，参见图3所示，图3中的B点、C点、D点和E点为第三标定点，其中，B点和C点为一组，D点和E点为一组，分别构成两条直线，而两条直线之间的区域，则围成雷达标定车道。
在全局图像中确定出雷达标定车道后，即可引入雷达的监测数据，以便借助监测数据来完成雷达的位置标定，从而在标定后得出空间映射参数。
S53.获取所述雷达对任一车辆的监测数据，其中，所述监测数据包括任一车辆相对于所述雷达的方位角；具体应用时，监测数据还包括车辆的经纬度数据，也就是基于雷达扫描平面下的坐标数据，其中，方位角以及车辆的坐标数据可直接通过雷达获取，具体的，是根据雷达上的GPS(Global Positioning System，全球定位***)和IMU(InertialMeasurement Unit)惯性传感器获得。
在获取任一车辆的监测数据后，即可基于监测数据，将该任一车辆映射至全局图像中，得到该任一车辆的位置点，以便后续调整该位置点来得到空间映射参数，具体的，车辆位置标注过程如下述步骤S54所示。
S54.基于所述监测数据和所述雷达位置点，在所述全局图像中进行车辆位置标注，以得到所述任一车辆的位置点；具体应用时，在得知该任一车辆的方位角确定后，可基于雷达位置点，确定任一车辆与雷达位置点的相对方向，从而在相对方向上选取一点作为将该任一车辆的位置点；更进一步的，由于还知晓车辆的经纬度数据，因此，可得出车辆距离雷达的距离，因此，在确定任一车辆与雷达位置点的相对方向和距离后，即可在全局图像中确定出车辆的位置(可设置全局图像中一个像素点与实际单位距离(1m)之间的比例关系，从而在全局图像中基于像素点确定任一车辆与雷达位置点之间的距离，从而准确确定出该任一车辆在全局图像中的位置)。
在将前述任一车辆映射至全局图像中后，即可进行空间映射参数的求取，在本实施例中，是先获取以标定参数，然后通过调整标定参数的值，来修正任一车辆在全局图像中的位置，直至任一车辆的位置修正至雷达标定车道内时，得到空间映射参数，如下述步骤S55和步骤S56所示。
S55.获取标定参数，其中，所述标定参数用于确定所述任一车辆在全局图像中的位置点；具体应用时，标定参数获取过程如下述步骤S55a和步骤S55b所示。
S55a.以所述雷达位置点为原点，所述原点的正东方向为x轴正方向，所述原点的正北方向为y轴正方向，建立雷达坐标系。
S55b.基于所述雷达坐标系，确定初始雷达方位角、初始标定横坐标以及初始标定纵坐标，以便利用初始雷达方位角、初始标定横坐标以及初始标定纵坐标组成所述标定参数；具体应用时，初始雷达方位角则为监测数据中车辆相对于雷达的方位角，而初始标定横坐标以及初始标定纵坐标则可以但不限于为预设值，可根据实际使用而具体设定。
在获取标定参数后，即可通过调整标定参数中初始雷达方位角、初始标定横坐标以及初始标定纵坐标的值，来修正前述任一车辆的位置点，以便在将任一车辆的位置点调整到雷达标定车道内时，得到空间映射参数，如下述步骤S56所示。
S56.利用所述雷达标定车道和所述标定参数，对所述任一车辆的位置点进行位置标定，以在将所述任一车辆的位置点调整到雷达标定车道内时，得到所述空间映射参数；具体应用时，调整过程如下述步骤S56a和步骤S56b所示。
S56a.调整所述标定参数，并在每次调整所述标定参数后，判断所述全局图像中的所述任一车辆的位置点是否移动到所述雷达标定车道内。
S56b.若是，则将任一车辆的位置点移动到所述雷达标定车道内时对应的标定参数，作为所述空间映射参数；否则，则继续调整所述标定参数，直到任一车辆的位置点移动到所述雷达标定车道内为止。
前述步骤S56a和步骤S56b的原理为：标定参数实质是雷达对应扫描平面与全局图像之间的转换参数，即雷达对应坐标系与全局图像对应坐标系之间的转换参数，具体的，可根据标定参数以及该任一车辆的在雷达扫描平面下的坐标数据，来计算出该任一车辆在全局图像中的坐标，其中，计算过程为：x0和y0表示任一车辆的在雷达扫描平面下的横坐标和纵坐标，t为标定参数内的初始雷达方位角，Xc和Yc分别为初始标定横坐标以及初始标定纵坐标，因此，任一车辆在全局图像中的横坐标Xr的值为：Xr＝Xc+kx0cost-ky0sint，而任一车辆在全局图像中的纵坐标Yr的值为：Yr＝Yc+kx0sint+ky0cost，前述式中，k表示转换系数，为定值；因此，每调整一次标定参数，均可更新任一车辆在全局图像中的坐标(下述称为车辆全局坐标)，而根据得出的车辆全局坐标，即可在全局图像中确定该车辆全局坐标对应的像素点，从而完成任一车辆的位置修正，最后，不断调整标定参数，直至根据车辆全局坐标确定出的像素点处于雷达标定车道内时，即可停止调整，此时，即可将任一车辆的位置点处于雷达标定车道内时对应的标定参数，作为空间映射参数。
由此，基于前述步骤S5及其子步骤，即可得出雷达所在坐标系与全局图像所在坐标系之间的映射。
在得到摄像机对应坐标系与全局图像对应坐标系之间的空间映射矩阵，以及雷达所在坐标系与全局图像所在坐标系之间的空间映射参数后，即可完成雷达数据与摄像机数据的数据标定，如下述步骤S6所示。
S6.基于所述空间映射矩阵和所述空间映射参数，对所述雷达的探测数据以及所述摄像机的探测数据进行标定，以得到全局标定数据；具体应用时，数据标定过程如下述步骤S61、步骤S62和步骤S63所示。
S61.基于所述空间映射矩阵，将所述摄像机的探测数据映射至全局图像坐标系中，得到摄像机的标定数据，其中，所述全局图像坐标系为所述全局图像对应的坐标系。
S62.基于所述空间映射参数，将所述雷达的探测数据映射至所述全局图像坐标系中，得到所述雷达的标定数据。
S63.利用所述摄像机的标定数据以及所述雷达的标定数据，组成所述全局标定数据。
具体应用时，摄像机的探测数据则是摄像机拍摄的图像，其映射至全局图像坐标系，则是先获取摄像机拍摄的图像中的交通目标(如车辆和/或行人)的坐标，然后将该坐标乘以空间映射矩阵，从而得到拍摄图像中的交通目标在全局图像中的坐标；同理，对于雷达的探测数据也是如此，即基于雷达本身，读取交通目标在雷达所在扫描平面的坐标，然后基于空间映射参数，得出雷达探测数据中的交通目标在全局图像中的坐标点；由此，即可同时将多个摄像机和多个雷达的数据标定至一个坐标系中，从而快速实现大型路口处多个雷达和摄像机的数据融合。
由此通过前述步骤S1～S6所详细描述的基于全局图像的雷视数据标定方法，本发明将数据融合区域的全局图像对应的坐标系作为参考坐标系，可同时对多个摄像机和多个雷达进行坐标标定，由此，避免了传统标定方法所存在的只能实现单个摄像机和单个雷达数据标定的问题，从而极大的简化了标注流程，提高了标注效率，实现了道路路口处不同方向的交通目标的数据融合。
如图4所示，本实施例第二方面提供了一种实现实施例第一方面中所述的基于全局图像的雷视数据标定方法的硬件装置，包括：
图像获取单元，用于获取道路路口处的标定图像以及道路路口内数据融合区域的全局图像，其中，所述数据融合区域为所述道路路口处的摄像机与雷达的共同检测区域，所述全局图像为所述数据融合区域的俯视图像，且所述标定图像为所述摄像机拍摄的道路路口图像。
标注单元，用于对所述标定图像进行多点标定，得到至少四个第一标定点，并基于所述至少四个第一标定点，在所述全局图像中确定出与每个第一标定点表征位置相同的第二标定点，其中，所述每个第一标定点为所述标定图像中用于表征道路路口处标定物的像素点。
坐标获取单元，用于基于所述标定图像，获取所述每个第一标定点的坐标，以及基于所述全局图像，获取每个第二标定点的坐标。
坐标映射单元，用于基于所述每个第一标定点的坐标，以及所述每个第二标定点的坐标，得到所述标定图像与所述全局图像之间的空间映射矩阵。
坐标映射单元，还用于获取雷达在道路路口处的安装位置，并基于所述安装位置和所述全局图像，得到所述雷达对应的扫描平面与所述全局图像之间的空间映射参数。
数据标定单元，用于基于所述空间映射矩阵和所述空间映射参数，对所述雷达的探测数据以及所述摄像机的探测数据进行标定，以得到全局标定数据。
本实施例提供的硬件装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
如图5所示，本实施例第三方面提供了另一种基于全局图像的雷视数据标定，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的基于全局图像的雷视数据标定方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器(random accessmemory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First In Last Out，FILO)等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机(reduced instruction setcomputer,RISC)微处理器、X86等架构处理器或集成嵌入式神经网络处理器(neural-network processing units，NPU)的处理器；所述收发器可以但不限于为无线保真(WIFI)无线收发器、蓝牙无线收发器、通用分组无线服务技术(General Packet Radio Service，GPRS)无线收发器、紫蜂协议(基于IEEE802.15.4标准的低功耗局域网协议，ZigBee)无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的基于全局图像的雷视数据标定方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的基于全局图像的雷视数据标定方法。
其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的基于全局图像的雷视数据标定方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于全局图像的雷视数据标定方法，其特征在于，包括：
获取道路路口处的标定图像以及道路路口内数据融合区域的全局图像，其中，所述数据融合区域为所述道路路口处的摄像机与雷达的共同检测区域，所述全局图像为所述数据融合区域的俯视图像，且所述标定图像为所述摄像机拍摄的道路路口图像；
对所述标定图像进行多点标定，得到至少四个第一标定点，并基于所述至少四个第一标定点，在所述全局图像中确定出与每个第一标定点表征位置相同的第二标定点，其中，所述每个第一标定点为所述标定图像中用于表征道路路口内标定物的像素点；
基于所述标定图像，获取所述每个第一标定点的坐标，以及基于所述全局图像，获取每个第二标定点的坐标；
基于所述每个第一标定点的坐标，以及所述每个第二标定点的坐标，得到所述标定图像与所述全局图像之间的空间映射矩阵；
获取雷达在道路路口处的安装位置，并基于所述安装位置和所述全局图像，得到所述雷达对应的扫描平面与所述全局图像之间的空间映射参数；
基于所述空间映射矩阵和所述空间映射参数，对所述雷达的探测数据以及所述摄像机的探测数据进行标定，以得到全局标定数据。
2.如权利要求1所述的方法，其特征在于，基于所述每个第一标定点的坐标，以及所述每个第二标定点的坐标，得到所述标定图像与所述全局图像之间的空间映射矩阵，包括：
构建一3*3的单应性矩阵，其中，所述单应性矩阵内每个元素为待求参量；
基于所述每个第一标定点的坐标、所述每个第二标定点的坐标以及所述单应性矩阵，构建出所述标定图像对应坐标系与所述全局图像对应坐标系之间的坐标转换方程组；
利用奇异值分解法，求解所述坐标转换方程组，得到每个待求参量的值，以便利用每个待求参量的值更新所述单应性矩阵，以将更新后的单应性矩阵作为所述空间映射矩阵。
3.如权利要求2所述的方法，其特征在于，所述坐标转换方程组为：
Figure FDA0003606713120000011
上述式(1)中，h1,h2,...,h9为待求参量，xi,yi分别表示第i个第一标定点的横坐标和纵坐标，um,vm分别表示第m个第二标定点的横坐标和纵坐标，其中，i＝1,2,...,N，m＝1,2,...,M，N表示第一标定点的总个数，M表示第二标定点的总个数，且N≥4，M≥4。
4.如权利要求1所述的方法，其特征在于，基于所述安装位置和所述全局图像，得到所述雷达对应的扫描平面与所述全局图像之间的空间映射参数，包括：
基于所述安装位置，在所述全局图像中进行雷达位置标注，以得到雷达位置点；
基于所述雷达位置点，在所述全局图像中，确定出雷达标定车道，其中，所述雷达标定车道位于所述雷达位置点所在车道的对向车道内，且与所述雷达的天线阵面法线平行；
获取所述雷达对任一车辆的监测数据，其中，所述监测数据包括任一车辆相对于所述雷达的方位角；
基于所述监测数据和所述雷达位置点，在所述全局图像中进行车辆位置标注，以得到所述任一车辆的位置点；
获取标定参数，其中，所述标定参数用于调整所述任一车辆在全局图像中的位置点；
利用所述雷达标定车道和所述标定参数，对所述任一车辆的位置点进行位置标定，以在将所述任一车辆的位置点调整到雷达标定车道内时，得到所述空间映射参数。
5.如权利要求4所述的方法，其特征在于，基于所述雷达位置点，在所述全局图像中，确定出雷达标定车道，包括：
在所述全局图像中的所述雷达位置点所在车道的对向车道内选取出四个第三标定点，其中，四个第三标定点分为两组，每组第三标定点相连形成一条与所述对向车道平行的直线，且两组第三标定点对应的直线相互平行；
基于两组第三标定点对应的直线，将两组第三标定点对应直线之间的区域作为所述雷达标定车道。
6.如权利要求4所述的方法，其特征在于，获取标定参数包括：
以所述雷达位置点为原点，所述原点的正东方向为x轴正方向，所述原点的正北方向为y轴正方向，建立雷达坐标系；
基于所述雷达坐标系，确定初始雷达方位角、初始标定横坐标以及初始标定纵坐标，以便利用初始雷达方位角、初始标定横坐标以及初始标定纵坐标组成所述标定参数；
相应的，基于所述雷达标定车道和所述标定参数，对所述任一车辆的位置点进行位置标定，以在将所述任一车辆的位置点调整到雷达标定车道内时，得到所述空间映射参数，包括：
调整所述标定参数，并在每次调整所述标定参数后，判断所述全局图像中的所述任一车辆的位置点是否移动到所述雷达标定车道内；
若是，则将任一车辆的位置点移动到所述雷达标定车道内时对应的标定参数，作为所述空间映射参数；否则，则继续调整所述标定参数，直到任一车辆的位置点移动到所述雷达标定车道内为止。
7.如权利要求1所述的方法，其特征在于，基于所述空间映射矩阵和所述空间映射参数，对所述雷达的探测数据以及所述摄像机的探测数据进行标定，以得到全局标定数据，包括：
基于所述空间映射矩阵，将所述摄像机的探测数据映射至全局图像坐标系中，得到摄像机的标定数据，其中，所述全局图像坐标系为所述全局图像对应的坐标系；以及
基于所述空间映射参数，将所述雷达的探测数据映射至所述全局图像坐标系中，得到所述雷达的标定数据；
利用所述摄像机的标定数据以及所述雷达的标定数据，组成所述全局标定数据。
8.一种基于全局图像的雷视数据标定装置，其特征在于，包括：
图像获取单元，用于获取道路路口处的标定图像以及道路路口内数据融合区域的全局图像，其中，所述数据融合区域为所述道路路口处的摄像机与雷达的共同检测区域，所述全局图像为所述数据融合区域的俯视图像，且所述标定图像为所述摄像机拍摄的道路路口图像；
标注单元，用于对所述标定图像进行多点标定，得到至少四个第一标定点，并基于所述至少四个第一标定点，在所述全局图像中确定出与每个第一标定点表征位置相同的第二标定点，其中，所述每个第一标定点为所述标定图像中用于表征道路路口处标定物的像素点；
坐标获取单元，用于基于所述标定图像，获取所述每个第一标定点的坐标，以及基于所述全局图像，获取每个第二标定点的坐标；
坐标映射单元，用于基于所述每个第一标定点的坐标，以及所述每个第二标定点的坐标，得到所述标定图像与所述全局图像之间的空间映射矩阵；
坐标映射单元，还用于获取雷达在道路路口处的安装位置，并基于所述安装位置和所述全局图像，得到所述雷达对应的扫描平面与所述全局图像之间的空间映射参数；
数据标定单元，用于基于所述空间映射矩阵和所述空间映射参数，对所述雷达的探测数据以及所述摄像机的探测数据进行标定，以得到全局标定数据。
9.一种电子设备，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的基于全局图像的雷视数据标定方法。
10.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7任意一项所述的基于全局图像的雷视数据标定方法。
CN202210420934.5A 2022-04-20 2022-04-20 基于全局图像的雷视数据标定方法、装置、设备及介质 Active CN114782548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210420934.5A CN114782548B (zh) 2022-04-20 2022-04-20 基于全局图像的雷视数据标定方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210420934.5A CN114782548B (zh) 2022-04-20 2022-04-20 基于全局图像的雷视数据标定方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114782548A true CN114782548A (zh) 2022-07-22
CN114782548B CN114782548B (zh) 2024-03-29

Family

ID=82431748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210420934.5A Active CN114782548B (zh) 2022-04-20 2022-04-20 基于全局图像的雷视数据标定方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114782548B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115571152A (zh) * 2022-10-12 2023-01-06 深圳市旗扬特种装备技术工程有限公司 非机动车辆的安全预警方法、装置、***、设备及介质
CN117541910A (zh) * 2023-10-27 2024-02-09 北京市城市规划设计研究院 城市道路多雷视数据的融合方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020114234A1 (zh) * 2018-12-05 2020-06-11 杭州海康威视数字技术股份有限公司 一种确定目标gps的方法及摄像机
WO2021115273A1 (zh) * 2019-12-10 2021-06-17 华为技术有限公司 通信方法和装置
CN113012237A (zh) * 2021-03-31 2021-06-22 武汉大学 一种毫米波雷达与视频监控摄像头联合标定方法
CN113724333A (zh) * 2020-05-26 2021-11-30 华为技术有限公司 一种雷达设备的空间标定方法和***
CN113744348A (zh) * 2021-08-31 2021-12-03 南京慧尔视智能科技有限公司 一种参数标定方法、装置及雷视融合检测设备
CN114170303A (zh) * 2021-10-19 2022-03-11 深圳市金溢科技股份有限公司 雷达和摄像头的联合标定方法、装置、***、设备及介质
CN114371475A (zh) * 2021-12-28 2022-04-19 浙江大华技术股份有限公司 一种优化标定参数的方法、***、设备及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020114234A1 (zh) * 2018-12-05 2020-06-11 杭州海康威视数字技术股份有限公司 一种确定目标gps的方法及摄像机
WO2021115273A1 (zh) * 2019-12-10 2021-06-17 华为技术有限公司 通信方法和装置
CN113724333A (zh) * 2020-05-26 2021-11-30 华为技术有限公司 一种雷达设备的空间标定方法和***
CN113012237A (zh) * 2021-03-31 2021-06-22 武汉大学 一种毫米波雷达与视频监控摄像头联合标定方法
CN113744348A (zh) * 2021-08-31 2021-12-03 南京慧尔视智能科技有限公司 一种参数标定方法、装置及雷视融合检测设备
CN114170303A (zh) * 2021-10-19 2022-03-11 深圳市金溢科技股份有限公司 雷达和摄像头的联合标定方法、装置、***、设备及介质
CN114371475A (zh) * 2021-12-28 2022-04-19 浙江大华技术股份有限公司 一种优化标定参数的方法、***、设备及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡峰;胡春生;王省书;焦宏伟;: "成像激光雷达与摄像机外部位置关系的标定", 光学精密工程, no. 04, 15 April 2011 (2011-04-15), pages 234 - 239 *
苏小明;: "机器视觉和雷达数据技术下的变电站巡检机器人导航研究", 科技经济导刊, no. 07, 5 March 2020 (2020-03-05), pages 21 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115571152A (zh) * 2022-10-12 2023-01-06 深圳市旗扬特种装备技术工程有限公司 非机动车辆的安全预警方法、装置、***、设备及介质
CN115571152B (zh) * 2022-10-12 2023-06-06 深圳市旗扬特种装备技术工程有限公司 非机动车辆的安全预警方法、装置、***、设备及介质
CN117541910A (zh) * 2023-10-27 2024-02-09 北京市城市规划设计研究院 城市道路多雷视数据的融合方法及装置

Also Published As

Publication number Publication date
CN114782548B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN110969663B (zh) 一种相机外部参数的静态标定方法
US10659677B2 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
CN114782548B (zh) 基于全局图像的雷视数据标定方法、装置、设备及介质
WO2021037086A1 (zh) 定位方法及装置
CN112101361A (zh) 针对鱼眼图像的目标检测方法、装置、设备和存储介质
CN112308927B (zh) 一种全景相机与激光雷达的融合装置及其标定方法
CN112233188A (zh) 一种基于激光雷达的车顶全景相机及其标定方法
CN104167109A (zh) 车辆位置的检测方法和检测装置
CN116182805A (zh) 基于遥感图像的国土测绘方法
CN115451964B (zh) 基于多模态混合特征的船舶场景同时建图与定位方法
EP4198901A1 (en) Camera extrinsic parameter calibration method and apparatus
AU2018410435A1 (en) Port area monitoring method and system, and central control system
CN114445592A (zh) 一种基于逆透视变换和点云投影的鸟瞰图语义分割标签生成方法
CN114091626B (zh) 真值检测方法、装置、设备及存储介质
CN115588040A (zh) 一种基于全视图成像点坐标统计定位***及方法
CN112255604B (zh) 一种雷达数据准确性的判断方法、装置及计算机设备
CN116518961B (zh) 大规模固定视觉传感器全局位姿的确定方法和装置
CN117152265A (zh) 一种基于区域提取的交通图像标定方法及装置
US11403770B2 (en) Road surface area detection device
CN116229713A (zh) 一种用于车路协同的空间对齐方法及***
CN115665553A (zh) 一种无人机的自动跟踪方法、装置、电子设备及存储介质
CN110969664B (zh) 一种相机外部参数的动态标定方法
CN114565906A (zh) 障碍物检测方法、装置、电子设备及存储介质
CN111736137A (zh) LiDAR外部参数标定方法、***、计算机设备及可读存储介质
CN216771967U (zh) 多激光雷达标定***及无人驾驶矿用车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant