CN114648576A - 一种目标车辆的定位方法、装置以及*** - Google Patents

一种目标车辆的定位方法、装置以及*** Download PDF

Info

Publication number
CN114648576A
CN114648576A CN202210566504.4A CN202210566504A CN114648576A CN 114648576 A CN114648576 A CN 114648576A CN 202210566504 A CN202210566504 A CN 202210566504A CN 114648576 A CN114648576 A CN 114648576A
Authority
CN
China
Prior art keywords
license plate
coordinate system
vertex
relative pose
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210566504.4A
Other languages
English (en)
Other versions
CN114648576B (zh
Inventor
张贺
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202210566504.4A priority Critical patent/CN114648576B/zh
Publication of CN114648576A publication Critical patent/CN114648576A/zh
Application granted granted Critical
Publication of CN114648576B publication Critical patent/CN114648576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种目标车辆的定位方法、装置以及***，其中，定位方法包括根据自身车辆的相机采集到的目标车辆图像，确定目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标；基于车牌的像素坐标和车牌在车牌坐标系下的坐标，构建对车牌到相机的第一相对位姿进行约束的几何约束方程，并求解几何约束方程，得到第一相对位姿；基于第一相对位姿以及自身车辆在世界坐标系下的位姿，确定目标车辆在世界坐标系下的位姿。支持在低算力平台部署运行。

Description

一种目标车辆的定位方法、装置以及***
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种目标车辆的定位方法、装置以及***。
背景技术
无人驾驶技术，又称自动驾驶技术，是指车辆或其他运载工具在不需要人为操作的情况下，通过自身配备的传感器感知行驶环境，自主决策行驶路径，并控制车辆按照期望的路径到达期望目的地的技术。无人驾驶技术是多个技术的集成，主要包括实时感知与定位、运动路径规划、通信与数据交互、车辆智能控制等技术。
与传统驾驶相同，对车辆运行环境实时感知与定位是自动驾驶***实施决策和控制的基础。环境感知主要包括路面、静态物体和动态物体感知三个方面。其中动静态车辆的检测是自动驾驶感知过程的核心问题之一，与自动驾驶的避障绕行等功能的实现尤为相关。
目前，对动静态车辆进行检测的方法，普遍对算力平台要求较高，使得行业技术发展受到限制。
发明内容
有鉴于此，本发明实施方式提供了一种目标车辆的定位方法、定位装置、定位***以及计算机可读存储介质，可以支持在低算力平台运行，有利推动行业发展。
本发明一方面提供了一种目标车辆的定位方法，所述方法包括：
根据自身车辆的相机采集到的目标车辆图像，确定所述目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标；
基于所述车牌的像素坐标和所述车牌在所述车牌坐标系下的坐标，构建对所述车牌到所述相机的第一相对位姿进行约束的几何约束方程，并求解所述几何约束方程，得到所述第一相对位姿；及
基于所述第一相对位姿以及所述自身车辆在世界坐标系下的位姿，确定所述目标车辆在所述世界坐标系下的位姿。
在一些实施例中，所述车牌包括车牌顶点和轮廓边线，所述车牌顶点位于所述轮廓边线；
至少基于如下约束条件构建所述几何约束方程：
基于所述第一相对位姿以及所述车牌顶点在所述车牌坐标系下的坐标，将所述车牌顶点从所述车牌坐标系转换到相机坐标系后，所述车牌顶点位于第一目标直线上，所述第一目标直线为基于所述轮廓边线的像素坐标，将所述轮廓边线从像素坐标系转换至所述相机坐标系后的直线。
在一些实施例中，所述车牌顶点包括第一顶点、第二顶点、第三顶点和第四顶点，所述第二顶点与所述第三顶点位于所述车牌的同一条轮廓边线上；
基于如下表达式构建所述几何约束方程：
Figure 100002_DEST_PATH_IMAGE001
其中，
Figure 100002_DEST_PATH_IMAGE002
分别表示所述第一顶点、第二顶点、第三顶点和第四顶点 从像素坐标系转换至所述相机坐标系下的方向向量；
Figure 100002_DEST_PATH_IMAGE003
表示所述第二顶点和所述第三顶点 所在的所述轮廓边线从像素坐标系转换至所述相机坐标系后的直线，
Figure 100002_DEST_PATH_IMAGE004
表示直线
Figure 939016DEST_PATH_IMAGE003
的转 置矩阵；
Figure 100002_DEST_PATH_IMAGE005
分别表示所述第一顶点、第二顶点、第三顶点和第四顶点在车牌 坐标系下的坐标；
Figure 100002_DEST_PATH_IMAGE006
表示所述第一相对位姿。
在一些实施例中，所述轮廓边线包括多个轮廓像素点；确定所述第一相对位姿后，所述方法还包括：
基于所述第一相对位姿构建优化方程，对所述第一相对位姿进行修正，使所述优化方程满足如下约束条件：
将所述轮廓边线上的所述轮廓像素点从所述像素坐标系转换到所述相机坐标系下后，使所述轮廓像素点与第二目标直线的距离之和最小，其中，所述第二目标直线为根据所述第一相对位姿，将所述轮廓边线从所述车牌坐标系转换至所述相机坐标系下的直线。
在一些实施例中，基于如下表达式构建所述优化方程：
Figure 100002_DEST_PATH_IMAGE007
其中，
Figure 100002_DEST_PATH_IMAGE008
表示所述第一相对位姿，M表示所述轮廓边线的条数，N表示第k条轮廓边 线上的轮廓像素点个数，
Figure 100002_DEST_PATH_IMAGE009
表示在所述车牌坐标系下的第k条轮廓边线，
Figure 100002_DEST_PATH_IMAGE010
表示第k条轮廓边线从所述车牌坐标系转换至所述相机坐标系下的直线，
Figure 100002_DEST_PATH_IMAGE011
和
Figure 100002_DEST_PATH_IMAGE012
表示第k条轮廓边线上的两个车牌顶点在车牌坐标系下的坐标，
Figure 100002_DEST_PATH_IMAGE013
表示第k条 轮廓边线上第i个轮廓像素点的像素坐标转换至相机坐标系下的方向向量。
在一些实施例中，所述车牌在车牌坐标系下的坐标，包括：
根据所述目标车辆图像中的所述车牌，确定所述车牌的车牌类型；
获取所述车牌类型对应的车牌尺寸，并基于所述车牌尺寸，确定所述车牌在所述车牌坐标系的坐标。
在一些实施例中，基于如下表达式，确定所述目标车辆在所述世界坐标系下的位姿：
Figure 100002_DEST_PATH_IMAGE014
其中，
Figure 100002_DEST_PATH_IMAGE015
表示所述目标车辆到所述车牌的相对位姿，
Figure 100002_DEST_PATH_IMAGE016
表示所述车牌到所述自身 车辆的相对位姿，
Figure 100002_DEST_PATH_IMAGE017
表示所述自身车辆在所述世界坐标系下的位姿，
Figure 100002_DEST_PATH_IMAGE018
表示所述目标车 辆在所述世界坐标系下的位姿；
其中，基于如下表达式，确定所述车牌到所述自身车辆的相对位姿
Figure 914318DEST_PATH_IMAGE016
：
Figure 100002_DEST_PATH_IMAGE019
其中，
Figure 100002_DEST_PATH_IMAGE020
表示所述第一相对位姿，
Figure 100002_DEST_PATH_IMAGE021
表示所述相机到所述自身车辆的相对位姿。
本发明另一方面还提供了一种定位装置，所述定位装置包括：
数据处理单元，用于根据自身车辆的相机采集到的目标车辆图像，确定所述目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标；
方程构建单元，用于基于所述车牌的像素坐标和所述车牌在所述车牌坐标系下的坐标，构建对所述车牌到所述相机的第一相对位姿进行约束的几何约束方程，并求解所述几何约束方程，得到所述第一相对位姿；及
定位单元，用于基于所述第一相对位姿以及所述自身车辆在世界坐标系下的位姿，确定所述目标车辆在所述世界坐标系下的位姿。
本发明另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。
本发明另一方面还提供了一种定位***，所述定位***包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如上所述的方法。
在本申请的一些实施例中，目标车辆的定位方法根据目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标，构建对车牌到相机的第一相对位姿进行约束的几何约束方程，以实现第一相对位姿的求解和目标车辆在世界坐标系下的定位。该方法利用自身车辆的运动信息和多视图几何约束，可支持在低算力平台部署运行，有利推动行业发展。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本申请的一个实施例提供的车载***的示意图；
图2示出了本申请的一个实施例提供的目标车辆的定位方法流程示意图；
图3示出了本申请一个实施例提供的车牌和车牌坐标系的部分示意图；
图4示出了本申请的一个实施例提供的定位装置的模块示意图；
图5示出了本申请的一个实施例提供的定位***的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1，为本申请的一个实施例提供的车载***的示意图。图1中，矩形框表示车体，圆形表示相机。环绕车体可以安装多个相机，实现对车辆周边环境的实时感知。在本申请中，自身车辆上的相机可以用于采集周边环境中目标车辆的图像。本申请提供的目标车辆的定位方法，可以根据自身车辆上的相机采集到的目标车辆图像和自身车辆的运动信息，对目标车辆进行定位。
在一些实施例中，执行本申请的定位方法之前，可以先定义各个不同的坐标系。这些坐标系可以包括世界坐标系、自身车辆的车体坐标系以及相机坐标系、目标车辆的车体坐标系和车牌坐标系。这些坐标系都可以是右手系的坐标系。其中，车体坐标系的原点为车体后轴中心，z轴垂直地面向上，x轴指向车体行进方向的右侧，y轴指向车体行进正前方向。世界坐标系可以与自身车辆刚启动时的车体坐标系重合。相机坐标系的原点为相机的光心，z轴指向相机的朝向，x轴平行于图像平面且指向图像右侧，y轴垂直于图像平面且指向地面。车牌坐标系的原点为车牌中心，x轴指向车体前进方向的右侧，y轴垂直车牌中心向下指向地面，z轴指向车体前进方向。
在一些实施例中，在执行本申请的定位方法时，可能会涉及通过航迹推算任务计算自身车辆相当于世界坐标系的位姿。由于航迹推算任务通常要求将多相机的信息转换到同一个坐标系下进行描述，因此需要对多相机相对于车体后轴中心的外参数进行标定和各相机内参数提前进行标定，相机之间通过硬件触发进行同步采集，且图片采集的帧率可控。
请参阅图2，为本申请的一个实施例提供的目标车辆的定位方法流程示意图。定位方法可以应用于一种定位装置。定位装置包括但不限于车载控制设备、与相机通信连接的远程服务器。目标车辆的定位方法包括步骤S21至步骤S23。
步骤S21，根据自身车辆的相机采集到的目标车辆图像，确定目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标。
以下先对车牌在目标车辆图像中的像素坐标进行说明。
在一些实施例中，可以基于深度学习的2D语义分割方法，从目标车辆图像中分割出车牌，并获得车牌在像素坐标系下的像素坐标。其中，车牌的像素坐标可以是车牌的轮廓边线上的像素坐标。在目标车辆图像中，轮廓边线可以包括多个轮廓像素点，即轮廓上的像素点。每个轮廓像素点对应一个像素坐标。两个轮廓边线相交的地方，可以为车牌顶点。轮廓边线在相交处的像素坐标也可以为车牌顶点的像素坐标。
在一些实施例中，可以对车牌的像素坐标做PCA（principal componentsanalysis，主成分分析）处理，可以得到车牌行列像素坐标的最大值和最小值，进而可以在目标车辆图像中，确定车牌轮廓对应的轮廓边线和车牌顶点，以及轮廓边线上各个轮廓像素点的像素坐标和车牌顶点的像素坐标。
在一些实施例中，针对相机采集的每一帧图像，若图像中包括目标车辆，即可为该帧图像建立一个车牌的像素坐标点集，用于存储该帧图像中的车牌轮廓边线上各轮廓像素点的像素坐标。以下示例性的列举了一个像素坐标点集：
Figure DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE023
表示像素坐标点集，k表示相机采集第k帧图像时得到的像素坐标点集，M 表示车牌的轮廓边线条数（比如4条），表示第i条轮廓边线上各轮廓像素点的像素坐标的集 合，N表示第i条轮廓边线上的轮廓像素点个数（即像素坐标个数）。
在一些实施例中，基于每一帧目标车辆图像，可以确定图像中的目标车辆在当前帧时刻的位姿（具体可参见后续描述）。针对每一帧目标车辆图像，可以建立各帧图像与图像中的目标车辆的关联关系。可以理解的是，在自身车辆的行驶过程中，自身车辆的相机可能会拍摄到不同的目标车辆。因此，不同帧的目标车辆图像中，对应的目标车辆可能会不同。比如第1~10帧目标车辆图像中，目标车辆为车辆A；在第12帧目标车辆图像中，目标车辆为车辆B。基于第1~10帧目标车辆图像，可以确定车辆A的位姿；基于第12帧目标车辆图像，可以确定车辆B的位姿。通过建立各帧目标车辆图像和图像中的目标车辆的关联关系，可以在根据各帧目标车辆图像得到目标车辆的位姿，确定该位姿对应的车辆。比如将上述举例中的第1~10帧图像，与车辆A关联；将第12帧图像，与车辆B关联。基于第1~10帧图像得到的位姿，可以确定为车辆A的位姿；基于第12帧图像得到的位姿，可以确定为车辆B的位姿。
以下对车牌在车牌坐标系下的坐标进行说明。
在一些实施例中，可以根据目标车辆图像中的车牌，确定车牌的车牌类型，然后获 取车牌类型对应的车牌尺寸，并基于车牌尺寸，确定车牌在车牌坐标系的坐标。具体请参阅 图3，为本申请一个实施例提供的车牌和车牌坐标系的部分示意图。图3中，仅示出车牌坐标 系的X轴和Y轴，未示出Z轴。从图3和上述车牌坐标系的定义可以得知，车牌坐标系是以车牌 的中心为原点的。如此，可以理解的是，根据车牌的长度和宽度，至少是可以得到车牌顶点 在车牌坐标系下的坐标的。比如图3中，假设沿X轴方向为车牌的长度方向，沿Y轴方向为车牌 的宽度方向。车牌长度为L1，车牌宽度为L2。那么在车牌顶点A处的坐标就应该是
Figure DEST_PATH_IMAGE024
。
在一些实施例中，不同类型的车牌，具有的长度和宽度不同。因此，可以建立车牌类型和车牌尺寸（长度和宽度）的对应关系。在基于2D语义分割方法从目标车辆图像中分割车牌时，可以同时对车牌类型进行识别，然后根据识别到的车牌类型，获取对应的尺寸信息，进而至少可以得到车牌顶点在车牌坐标系下的坐标。
步骤S22，基于车牌的像素坐标和车牌在车牌坐标系下的坐标，构建对车牌到相机的第一相对位姿进行约束的几何约束方程，并求解几何约束方程，得到第一相对位姿。
在一些实施例中，可以至少基于如下约束条件构建几何约束方程：
基于第一相对位姿以及车牌顶点在车牌坐标系下的坐标，将车牌顶点从车牌坐标系转换到相机坐标系后，车牌顶点位于第一目标直线上，第一目标直线为基于轮廓边线的像素坐标，将轮廓边线从像素坐标系转换至相机坐标系后的直线。简单来说，就是相机已提前完成内参标定，轮廓边线从像素坐标系转换至相机坐标系后，轮廓边线在相机坐标系下的位置是准确的，那么作为轮廓边线上的车牌顶点基于第一相对位姿，从车牌坐标系转换到相机坐标系后，车牌顶点在相机坐标系下的位置应该是落在相机坐标系下的轮廓边线上的。如此，根据这个约束条件，可以求解得到第一相对位姿。
在一些实施例中，车牌顶点包括第一顶点、第二顶点、第三顶点和第四顶点，第二顶点与第三顶点位于车牌的同一条轮廓边线上。基于如下表达式构建几何约束方程：
Figure DEST_PATH_IMAGE025
其中，
Figure DEST_PATH_IMAGE026
分别表示第一顶点、第二顶点、第三顶点和第四顶点从像 素坐标系转换至相机坐标系下的方向向量。
Figure 83351DEST_PATH_IMAGE003
表示第二顶点和第三顶点所在的轮廓边线从 像素坐标系转换至相机坐标系后的直线，
Figure DEST_PATH_IMAGE027
表示直线
Figure 358343DEST_PATH_IMAGE003
的转置矩阵。
Figure 31901DEST_PATH_IMAGE005
分 别表示第一顶点、第二顶点、第三顶点和第四顶点在车牌坐标系下的坐标；
Figure 496380DEST_PATH_IMAGE006
表示第一相对 位姿。在一些实施例中，上述第一顶点、第二顶点、第三顶点和第四顶点不重合，可以为车牌 的四个角点。
其中，上述约束方程中的第一方程表示：将第二顶点从像素坐标系转换至相机坐 标系下的方向向量，叉乘第三顶点从像素坐标系转换至相机坐标系下的方向向量，可以在 相机坐标系下确定一条直线
Figure 430838DEST_PATH_IMAGE003
，为第二顶点和第三顶点所在的轮廓边线从像素坐标系转换 至相机坐标系后的直线。
上述约束方程中的第二个和第三个方程表示：基于第一相对位姿，将第二顶点和 第三顶点从车牌坐标系转换至相机坐标系后，需要位于直线
Figure 82924DEST_PATH_IMAGE003
。
上述约束方程中的第四个和第五个方程表示：基于第一相对位姿，将第一顶点和第四顶点从车牌坐标系转换至相机坐标系后，需要与第一顶点和第四顶点从像素坐标系转换至相机坐标系下的点重合。
如此，结合点在直线上及对应点的投影误差联合建模求解，可以得到准确度较高的第一相对位姿。
在一些实施例中，第一相对位姿可以表示为
Figure DEST_PATH_IMAGE028
和
Figure DEST_PATH_IMAGE029
，其中，
Figure 774936DEST_PATH_IMAGE028
表示车牌坐标系 到相机坐标系的旋转矩阵，
Figure 777528DEST_PATH_IMAGE029
表示车牌坐标系到相机坐标系的平移量。
Figure 956705DEST_PATH_IMAGE028
可以表示为如下：
Figure DEST_PATH_IMAGE030
，其中，
Figure DEST_PATH_IMAGE031
为车牌坐标系到相机坐标系的旋转角度。
Figure 120970DEST_PATH_IMAGE029
可以表示为如下：
Figure DEST_PATH_IMAGE032
，x、y和z分别表示车牌坐标系到相机坐标系的x轴平移量、y轴平移量、 z轴平移量。
在一些实施例中，轮廓边线包括多个轮廓像素点。确定第一相对位姿后，还可以基于第一相对位姿构建优化方程，对第一相对位姿进行修正，使优化方程满足如下约束条件：
将轮廓边线上的轮廓像素点从像素坐标系转换到相机坐标系下后，使轮廓像素点与第二目标直线的距离之和最小。其中，第二目标直线为根据第一相对位姿，将轮廓边线从车牌坐标系转换至相机坐标系下的直线。
在一些实施例中，基于上述几何约束方程求解出的第一相对位姿可以作为初始的第一相对位姿。利用轮廓边线上的轮廓像素点可以对初始的第一相对位姿进行修正。具体的，将轮廓边线上的多个轮廓像素点从像素坐标系转换到相机坐标系下，且根据第一相对位姿，将轮廓边线从车牌坐标系转换至相机坐标系下。然后在相机坐标系下，判断轮廓像素点是否落在轮廓边线上，以及轮廓像素点距离轮廓边线的远近，来判断初始的第一相对位姿的准确度。可以理解的是，若初始的第一相对位姿的准确度较高，表示根据第一相对位姿，将轮廓边线从车牌坐标系转换至相机坐标系下后，轮廓边线在相机坐标系下的位置较为准确，从而相机坐标系下的轮廓像素点应该全部或者大部分落在轮廓边线上，或者与轮廓边线的距离较近，即轮廓像素点与第二目标直线的距离之和较小。反之，若初始的第一相对位姿的准确度较低，则在相机坐标系下，轮廓像素点可能会大部分落在轮廓边线外，且距离轮廓边线的距离较远，即轮廓像素点与第二目标直线的距离之和较大。
基于此，可以修正第一相对位姿，并基于每次修正后新的第一相对位姿，重新将轮廓边线从车牌坐标系转换至相机坐标系下，计算轮廓像素点与第二目标直线的距离之和。如此，通过多次修正第一相对位姿，便可以得到多个相机坐标系下的轮廓像素点与第二目标直线的距离之和。在这多个结果中，可以选择距离之和最小时对应的第一相对位姿，作为最终的第一相对位姿。基于上述描述，上述轮廓像素点与第二目标直线的距离之和最小，是指将几何约束方程求解出的第一相对位姿作为初始的第一相对位姿，对第一相对位姿进行修订。基于初始的第一相对位姿和修订得到的每个第一相对位姿，分别将轮廓边线从车牌坐标系转换至相机坐标系下，并计算相机坐标系下轮廓像素点与第二目标直线的距离之和。在得到的多个表示距离之和的值中，选择取值最小的值。
在一些实施例中，可以基于如下表达式构建优化方程：
Figure 815126DEST_PATH_IMAGE007
其中，
Figure 621408DEST_PATH_IMAGE008
表示第一相对位姿，M表示轮廓边线的条数，N表示第k条轮廓边线上的轮 廓像素点个数，
Figure 917741DEST_PATH_IMAGE009
表示在车牌坐标系下的第k条轮廓边线，
Figure DEST_PATH_IMAGE033
表示 第k条轮廓边线从车牌坐标系转换至相机坐标系下的直线，
Figure 190591DEST_PATH_IMAGE011
和
Figure 185091DEST_PATH_IMAGE012
表示第k条轮廓边 线上的两个车牌顶点在车牌坐标系下的坐标，
Figure 529485DEST_PATH_IMAGE013
表示第k条轮廓边线上第i个轮廓像素点 的像素坐标转换至相机坐标系下的方向向量。通过对第一相对位姿进行优化，得到的值更 加准确。
步骤S23，基于第一相对位姿以及自身车辆在世界坐标系下的位姿，确定目标车辆在世界坐标系下的位姿。
在一些实施例中，可以基于如下表达式，确定目标车辆在世界坐标系下的位姿：
Figure 683255DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE034
表示目标车辆在世界坐标系下的位姿，
Figure 986060DEST_PATH_IMAGE015
表示目标车辆到车牌的相对 位姿，
Figure 343223DEST_PATH_IMAGE017
表示自身车辆在世界坐标系下的位姿，
Figure 491308DEST_PATH_IMAGE016
表示车牌到自身车辆的相对位姿，可以 理解的是，
Figure DEST_PATH_IMAGE035
均可以通过一些常规技术计算得到，所以可以相当于已知量。比如，利用 计算机视觉中针对多相机***的相对位姿估计算法，计算两帧之间自身车体坐标系的相对 位姿，并与车载惯性测量单元（IMU，Inertial Measurement Unit）和轮速计、全球定位*** （Global Positioning System，GPS）等信息进行融合，获得自身车辆在世界坐标系下的位 姿
Figure 296322DEST_PATH_IMAGE017
。
在一些实施例中，可以基于如下表达式，确定车牌到自身车辆的相对位姿
Figure 645394DEST_PATH_IMAGE016
：
Figure 270280DEST_PATH_IMAGE019
其中，
Figure 487634DEST_PATH_IMAGE020
表示第一相对位姿，
Figure 101149DEST_PATH_IMAGE021
表示相机到自身车辆的相对位姿。同理，
Figure 745757DEST_PATH_IMAGE021
也可以 通过一些常规技术手段计算得到，可以相当于已知量。而
Figure 329710DEST_PATH_IMAGE020
可通过上述步骤S22计算得到。
如此，可以确定目标车辆在世界坐标系下的位姿
Figure 819597DEST_PATH_IMAGE018
。
在本申请的一些实施例中，目标车辆的定位方法根据目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标，构建对车牌到相机的第一相对位姿进行约束的几何约束方程，以实现第一相对位姿的求解和目标车辆在世界坐标系下的定位。该方法利用自身车辆的运动信息和多视图几何约束，可以不需要额外复杂的神经网络和先验模型，可支持在低算力平台部署运行并实现较快的检测速度，算法效率高。同时，无需使用激光雷达，仅需单目相机和常规车载传感器（例如IMU、轮速计）即可达到很高的准确度，普适性更广泛且成本低，准确度高。有利推动行业发展。
请参阅图4，为本申请的一个实施例提供的定位装置的模块示意图。定位装置包括：
数据处理单元，用于根据自身车辆的相机采集到的目标车辆图像，确定目标车辆的车牌在目标车辆图像中的像素坐标，以及车牌在车牌坐标系下的坐标。
方程构建单元，用于基于车牌的像素坐标和车牌在车牌坐标系下的坐标，构建对第一相对位姿进行约束的约束方程，并基于约束方程，确定第一相对位姿。
定位单元，用于基于第一相对位姿以及自身车辆在世界坐标系下的位姿，确定目标车辆在世界坐标系下的位姿。
请参阅图5，为本申请的一个实施例提供的定位***的结构示意图。其中，定位***包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的定位***。
其中，处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请一个实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的定位***。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种目标车辆的定位方法，其特征在于，所述方法包括：
根据自身车辆的相机采集到的目标车辆图像，确定所述目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标；
基于所述车牌的像素坐标和所述车牌在所述车牌坐标系下的坐标，构建对所述车牌到所述相机的第一相对位姿进行约束的几何约束方程，并求解所述几何约束方程，得到所述第一相对位姿；及
基于所述第一相对位姿以及所述自身车辆在世界坐标系下的位姿，确定所述目标车辆在所述世界坐标系下的位姿。
2.如权利要求1所述的方法，其特征在于，所述车牌包括车牌顶点和轮廓边线，所述车牌顶点位于所述轮廓边线；
至少基于如下约束条件构建所述几何约束方程：
基于所述第一相对位姿以及所述车牌顶点在所述车牌坐标系下的坐标，将所述车牌顶点从所述车牌坐标系转换到相机坐标系后，所述车牌顶点位于第一目标直线上，所述第一目标直线为基于所述轮廓边线的像素坐标，将所述轮廓边线从像素坐标系转换至所述相机坐标系后的直线。
3.如权利要求2所述的方法，其特征在于，所述车牌顶点包括第一顶点、第二顶点、第三顶点和第四顶点，所述第二顶点与所述第三顶点位于所述车牌的同一条轮廓边线上；
基于如下表达式构建所述几何约束方程：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
分别表示所述第一顶点、第二顶点、第三顶点和第四顶点从像 素坐标系转换至所述相机坐标系下的方向向量；
Figure DEST_PATH_IMAGE003
表示所述第二顶点和所述第三顶点所 在的所述轮廓边线从像素坐标系转换至所述相机坐标系后的直线，
Figure DEST_PATH_IMAGE004
表示直线
Figure 419613DEST_PATH_IMAGE003
的转 置矩阵；
Figure DEST_PATH_IMAGE005
分别表示所述第一顶点、第二顶点、第三顶点和第四顶点在车牌 坐标系下的坐标；
Figure DEST_PATH_IMAGE006
表示所述第一相对位姿。
4.如权利要求2所述的方法，其特征在于，所述轮廓边线包括多个轮廓像素点；确定所述第一相对位姿后，所述方法还包括：
基于所述第一相对位姿构建优化方程，对所述第一相对位姿进行修正，使所述优化方程满足如下约束条件：
将所述轮廓边线上的所述轮廓像素点从所述像素坐标系转换到所述相机坐标系下后，使所述轮廓像素点与第二目标直线的距离之和最小，其中，所述第二目标直线为根据所述第一相对位姿，将所述轮廓边线从所述车牌坐标系转换至所述相机坐标系下的直线。
5.如权利要求4所述的方法，其特征在于，基于如下表达式构建所述优化方程：
Figure DEST_PATH_IMAGE007
其中，
Figure DEST_PATH_IMAGE008
表示所述第一相对位姿，M表示所述轮廓边线的条数，N表示第k条轮廓边线上的 轮廓像素点个数，
Figure DEST_PATH_IMAGE009
表示在所述车牌坐标系下的第k条轮廓边线，
Figure DEST_PATH_IMAGE010
表示第k条轮廓边线从所述车牌坐标系转换至所述相机坐标系下的直线，
Figure DEST_PATH_IMAGE011
和
Figure DEST_PATH_IMAGE012
表示 第k条轮廓边线上的两个车牌顶点在车牌坐标系下的坐标，
Figure DEST_PATH_IMAGE013
表示第k条轮廓边线上第i个 轮廓像素点的像素坐标转换至相机坐标系下的方向向量。
6.如权利要求1所述的方法，其特征在于，所述车牌在车牌坐标系下的坐标，包括：
根据所述目标车辆图像中的所述车牌，确定所述车牌的车牌类型；
获取所述车牌类型对应的车牌尺寸，并基于所述车牌尺寸，确定所述车牌在所述车牌坐标系的坐标。
7.如权利要求1所述的方法，其特征在于，基于如下表达式，确定所述目标车辆在所述世界坐标系下的位姿：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
表示所述目标车辆到所述车牌的相对位姿，
Figure DEST_PATH_IMAGE016
表示所述车牌到所述自身车辆 的相对位姿，
Figure DEST_PATH_IMAGE017
表示所述自身车辆在所述世界坐标系下的位姿，
Figure DEST_PATH_IMAGE018
表示所述目标车辆在 所述世界坐标系下的位姿；
其中，基于如下表达式，确定所述车牌到所述自身车辆的相对位姿
Figure 114250DEST_PATH_IMAGE016
：
Figure DEST_PATH_IMAGE019
其中，
Figure DEST_PATH_IMAGE020
表示所述第一相对位姿，
Figure DEST_PATH_IMAGE021
表示所述相机到所述自身车辆的相对位姿。
8.一种定位装置，其特征在于，所述定位装置包括：
数据处理单元，用于根据自身车辆的相机采集到的目标车辆图像，确定所述目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标；
方程构建单元，用于基于所述车牌的像素坐标和所述车牌在所述车牌坐标系下的坐标，构建对所述车牌到所述相机的第一相对位姿进行约束的几何约束方程，并求解所述几何约束方程，得到所述第一相对位姿；及
定位单元，用于基于所述第一相对位姿以及所述自身车辆在世界坐标系下的位姿，确定所述目标车辆在所述世界坐标系下的位姿。
9.一种定位***，其特征在于，所述定位***包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至7中任一所述的方法。
CN202210566504.4A 2022-05-24 2022-05-24 一种目标车辆的定位方法、装置以及*** Active CN114648576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210566504.4A CN114648576B (zh) 2022-05-24 2022-05-24 一种目标车辆的定位方法、装置以及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210566504.4A CN114648576B (zh) 2022-05-24 2022-05-24 一种目标车辆的定位方法、装置以及***

Publications (2)

Publication Number Publication Date
CN114648576A true CN114648576A (zh) 2022-06-21
CN114648576B CN114648576B (zh) 2022-08-23

Family

ID=81997408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210566504.4A Active CN114648576B (zh) 2022-05-24 2022-05-24 一种目标车辆的定位方法、装置以及***

Country Status (1)

Country Link
CN (1) CN114648576B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法
CN112785653A (zh) * 2020-12-30 2021-05-11 中山联合汽车技术有限公司 车载相机姿态角标定方法
CN112802341A (zh) * 2020-12-30 2021-05-14 中山联合汽车技术有限公司 前车位置和姿态测量方法
CN113011388A (zh) * 2021-04-23 2021-06-22 吉林大学 一种基于车牌及车道线的车辆外轮廓尺寸检测方法
CN113580134A (zh) * 2021-08-03 2021-11-02 湖北亿咖通科技有限公司 视觉定位方法、设备、机器人、存储介质及程序产品
CN114299466A (zh) * 2021-12-29 2022-04-08 东软睿驰汽车技术（沈阳）有限公司 基于单目相机的车辆姿态确定方法、装置和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法
CN112785653A (zh) * 2020-12-30 2021-05-11 中山联合汽车技术有限公司 车载相机姿态角标定方法
CN112802341A (zh) * 2020-12-30 2021-05-14 中山联合汽车技术有限公司 前车位置和姿态测量方法
CN113011388A (zh) * 2021-04-23 2021-06-22 吉林大学 一种基于车牌及车道线的车辆外轮廓尺寸检测方法
CN113580134A (zh) * 2021-08-03 2021-11-02 湖北亿咖通科技有限公司 视觉定位方法、设备、机器人、存储介质及程序产品
CN114299466A (zh) * 2021-12-29 2022-04-08 东软睿驰汽车技术（沈阳）有限公司 基于单目相机的车辆姿态确定方法、装置和电子设备

Also Published As

Publication number Publication date
CN114648576B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN111797734B (zh) 车辆点云数据处理方法、装置、设备和存储介质
CN110148185B (zh) 确定成像设备坐标系转换参数的方法、装置和电子设备
CN111126269B (zh) 三维目标检测方法、装置以及存储介质
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN110910453B (zh) 基于无重叠视域多相机***的车辆位姿估计方法及其***
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
US20200193641A1 (en) Method and apparatus for calibrating the extrinsic parameter of an image sensor
CN110378919B (zh) 一种基于slam的窄道通行障碍物检测方法
CN110728720B (zh) 用于相机标定的方法、装置、设备和存储介质
JP2023530762A (ja) ３ｄバウンディングボックスからの単眼深度管理
CN111986261B (zh) 一种车辆定位方法、装置、电子设备及存储介质
CN110766761B (zh) 用于相机标定的方法、装置、设备和存储介质
CN112017236B (zh) 一种基于单目相机计算目标物位置的方法及装置
CN110751693B (zh) 用于相机标定的方法、装置、设备和存储介质
WO2022048493A1 (zh) 摄像头外参标定的方法与装置
US11677931B2 (en) Automated real-time calibration
CN114179788A (zh) 自动泊车方法、***、计算机可读存储介质及车机端
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
JP2020122754A (ja) ３次元位置推定装置及びプログラム
CN114494466A (zh) 外参标定方法、装置及设备、存储介质
EP3629292A1 (en) Reference point selection for extrinsic parameter calibration
CN114648639B (zh) 一种目标车辆的检测方法、***及装置
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
CN114648576B (zh) 一种目标车辆的定位方法、装置以及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant