CN113436262A - 一种基于视觉的车辆目标位置和姿态角度的检测方法 - Google Patents

一种基于视觉的车辆目标位置和姿态角度的检测方法 Download PDF

Info

Publication number
CN113436262A
CN113436262A CN202110771236.5A CN202110771236A CN113436262A CN 113436262 A CN113436262 A CN 113436262A CN 202110771236 A CN202110771236 A CN 202110771236A CN 113436262 A CN113436262 A CN 113436262A
Authority
CN
China
Prior art keywords
vehicle
coordinate system
image
camera
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110771236.5A
Other languages
English (en)
Inventor
孙超
郑群锋
高楠楠
王博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110771236.5A priority Critical patent/CN113436262A/zh
Publication of CN113436262A publication Critical patent/CN113436262A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于视觉的车辆目标位置和姿态角度的检测方法，首先采用语义分割的方法对图像中的像素点逐个检测，提取出所有的车辆的像素点，再针对这些像素点处理得到车辆的精准的位置坐标信息和姿态信息。本发明成本低，检测精度高：由于语义分割是对目标进行像素级别的判断，得到了准确的车辆外轮廓的信息，在不同的应用场所都可以得到很好的检测效果，可以根据场景的增加进行远程升级迭代。

Description

一种基于视觉的车辆目标位置和姿态角度的检测方法
技术领域
本发明提供一种基于视觉的车辆目标位置和姿态角度的检测方法，属于车辆目标检测领域。
背景技术
车辆目标的位置和姿态朝向检测是目前基于视觉的目标检测领域需要面对的一个难题，车辆目标的位置和姿态检测是指通过在外界安装的摄像头，应用一些视觉图像处理算法，检测识别得到图像中某些特定车辆相对于摄像头的位置和姿态角度。当前基于视觉的目标检测的主流方法是检测获取车辆目标在图形中的二维边界框，再根据二维边界框测算车辆目标的位置和姿态朝向角。目前这种主流的方法在进行坐标空间转换时容易导致检测得到的车辆位置形成较大距离误差，并且目标姿态朝向估计困难。如图1所示，由于二维边界框无法精准地包住车辆，因此不能够精准地描述车辆的图像信息。
传统的基于视觉的目标检测主要方法是在图像中根据CNN卷积神经网络(YOLO、SSD或者Faster-rcnn等)获取车辆目标在图像中的二维边界框(bounding box)。大致的方法流程是：首先对输入的图像进行尺寸改变(resize)等预处理操作，接着对预处理后的图进行神经网络推理得到所有车辆目标可能的二维边界框(bounding box),然后后处理阶段针对每一个车辆目标过滤掉所有重复的二维边界框，最后将二维边界框的下边界作为车辆目标在图像中的接地点坐标转换到车辆坐标系中输出相应的位置距离。我们很难从二维边界框获取车辆的姿态信息。
结合上一段对传统目标检测方法的描述，可以概述这些方法存在的缺点如下：
缺点1：车辆目标位置距离测算不准确，误差较大。传统的方法使用二维边界框将检测的车辆表示出来，但通常车辆目标的二维边界框的下边界，并不是车辆的接地点位置，这样就造成了检测得到的车辆目标位置距离相对于真实值有较大的误差。并且二维边界框往往不能很好的贴合车辆外轮廓，可能大小不一致或者存在一定的偏移，无法非常准确的表示车辆。
缺点2：无法有效检测目标车辆的姿态朝向。在传统的方法中往往只能检测得到车辆目标的宽度和高度方向这两维的尺寸，不太容易检测得到目标车辆的姿态朝向。
发明内容
随着新能源电动汽车保有量的增加，电动汽车的自动充电需求变得越来越来大。针对电动汽车设计一种自动充电装置，不仅可以节省驾驶员的手动操作时间，带给驾驶员良好的用户体验；还可以避免多人接触充电***把，从而有助于减少充电设备的消毒次数，降低新冠病毒传播的几率。
在自动充电装置中，基于视觉算法(摄像头)识别电动汽车充电口是其中最核心的功能环节，它保证了充电枪可以准确***车辆充电口。其中基于视觉算法识别待充电汽车充电口功能又可以被分成两个主要步骤：待充电车辆目标位置姿态检测和车辆充电口孔位的识别。
待充电车辆目标位置和姿态的检测精度决定了车辆充电口孔位识别成功率的高低。只有准确检测得到待充电车辆相对于车位的实际位置、姿态角度，并结合车辆的自身信息(如充电口在车身的位置、车身高度等)，才能够得到车辆充电口的精确位置信息，从而保证车辆充电孔位的精准识别并最终引导充电枪完成自动充电。
因此本发明旨在设计出一种基于视觉的待充电车辆目标位置和姿态角度的检测方法，可以让车辆目标位置距离检测精度更高，同时更容易检测得到车辆目标的姿态朝向，并最后应用于车辆自动充电口位置的检测中。
本发明针对这些主流目标检测方法导致的缺点进行了改进，提出了一种新的车辆目标位置和姿态朝向检测方法，首先采用语义分割的方法对图像中的像素点逐个检测，提取出所有的车辆的像素点，再针对这些像素点处理得到车辆的精准的位置坐标信息和姿态信息。本发明可以大大提高车辆目标的位置精度和姿态角度精度，保证自动充电的高成功率。
具体的步骤为：
一种基于视觉的车辆目标位置和姿态角度的检测方法，包括以下步骤：
S1.原始数据采集：
通过摄像头采集图像作为裸数据输入；
S2.图像预处理：
图像预处理主要是对图像尺寸进行一定的伸缩裁剪；
S3.图像的语义信息处理：
车辆检测推理过程采用CNN卷积神经网络的方法在图内对车辆像素进行检测推理；相比于已有的方法，语义分割的方法可以精准的提取到车辆的像素信息。
S4.数据后处理：
当像素点个数符合要求后，对步骤S3中得到的车辆轮廓进行最小外接矩形提取，可以获取车辆在图像空间的坐标信息，此外可以获取矩形在图像中与水平的角度。建立图像中车辆的角度和真实的车辆的姿态角度的关系式，进而可以利用关系式由图像中的角度计算得到车辆在世界坐标系中的姿态角度。
S5.相机标定：
利用张正友法进行相机标定，得到相机的内参
Figure BDA0003153498240000021
和外参
Figure BDA0003153498240000022
建立像素坐标系和世界坐标系间的坐标转换关系。
Figure BDA0003153498240000031
张正友标定法描述的是空间中一个点P的坐标位置从空间中的世界坐标系转换到相机成像平面上的像素坐标系之间的转换关系，这其中共涉及到世界坐标系、相机坐标系、像素坐标系和像素坐标系共4个坐标系之间的转换。
从世界坐标系到相机坐标系的转换中，P(XW，YW，ZW)是点P在空间世界坐标系下的坐标，外参
Figure BDA0003153498240000032
中，R是一个3*3的旋转矩阵，表示相机坐标系相对于世界坐标系先后绕X、Y、Z轴旋转后的旋转变换关系，T是一个3*1的偏移向量，表示相机坐标系原点相对于世界坐标系原点的偏移量。变换后的点P在相机坐标系下的坐标为(XC，YC，ZC)。
从相机坐标系到像素坐标系，涉及到3D坐标投影到2D图像平面的转换，其中Zc表示点P的深度值，f是相机的焦距。
从像素坐标系到像素坐标系，(u，v)表示点P在像素坐标系平面上的像素坐标值，(u0，v0)表示像素坐标原点在像素坐标系下的坐标值，单位为像素pixel，dx和dy表示每一列和每一行分别代表多少mm，即1pixel＝dx mm。fx＝f/dx，fy＝f/dy。
S6.车辆的充电口坐标的获取：
提取车辆轮廓的最前端的像素点集合，得到其平均值，即是车头的坐标。根据车辆自身的信息，如车型、车辆充电口在车身上的位置(先验固定值)等，进而换算得到车辆充电口的坐标。利用相机标定的参数矩阵，计算得到其世界坐标值。
S7.车辆的姿态角度的获取：
利用建立的图像中车辆的角度和真实的车辆的姿态角度的多项关系式，将车辆在图中的角度计算得到其世界坐标系中的姿态角度。
本发明申请具有的技术效果：
1.成本低：传感器是普通的摄像头，价格低廉、可使用环境广、使用寿命长。
2.检测精度高：由于语义分割是对目标进行像素级别的判断，得到了准确的车辆外轮廓的信息。因此基于语义分割的视觉检测方法得到的位置信息和姿态朝向信息的精度很高。
3.应用场景广阔：由于采用了深度学习的方法进行检测，且数据集丰富涵盖了很多车型和场景。因此在不同的应用场所都可以得到很好的检测效果。
4.产品易迭代升级：可以根据场景的增加进行远程升级迭代。
附图说明
图1为实施例的图像采集过程；
图2为实施例的语义分割、语义信息处理；
图3为实施例的数据后处理、姿态角度确定；
图4为实施例的车辆充电口坐标获取。
具体实施方式
结合实施例说明本发明的具体技术方案。
一种基于视觉的车辆目标位置和姿态角度的检测方法，包括以下步骤：
S1.原始数据采集：
通过摄像头采集图像作为裸数据输入；摄像头采集并进行预处理修剪后如图1所示。
S2.图像预处理：
图像预处理主要是对图像尺寸进行一定的伸缩裁剪；
S3.图像的语义信息处理：
车辆检测推理过程采用CNN卷积神经网络的方法在图内对车辆像素进行检测推理；相比于已有的方法，语义分割的方法可以精准的提取到车辆的像素信息。图2是采用训练模型进行语义分割的结果；
S4.数据后处理：
当像素点个数符合要求后，对步骤S3中得到的车辆轮廓进行最小外接矩形提取，可以获取车辆在图像空间的坐标信息，此外可以获取矩形在图像中与水平的角度。建立图像中车辆的角度和真实的车辆的姿态角度的关系式，进而可以利用关系式由图像中的角度计算得到车辆在世界坐标系中的姿态角度。图3是进行外轮廓识别，绘制最小外接矩形后的结果，可看到矩形的4个顶点坐标(从左上角点开始，顺时针方向)分别为[594,100],[1204,53],[1266,859],[656,905]，车头中心点坐标[961,882]，车辆倾斜姿态角度为-4.3987°。
S5.相机标定：
利用张正友法进行相机标定，得到相机的内参
Figure BDA0003153498240000041
和外参
Figure BDA0003153498240000042
建立像素坐标系和世界坐标系间的坐标转换关系。
Figure BDA0003153498240000043
S6.车辆的充电口坐标的获取：
提取车辆轮廓的最前端的像素点集合，得到其平均值，即是车头的坐标。根据车辆自身的信息，如车型、车辆充电口在车身上的位置(先验固定值)等，进而换算得到车辆充电口的坐标。利用相机标定的参数矩阵，计算得到其世界坐标值。图4是结合车头中心与充电口中心固有关系进行计算后得到的充电口位置结果，坐标值为[888.6,-12.4]。
S7.车辆的姿态角度的获取：
利用建立的图像中车辆的角度和真实的车辆的姿态角度的多项关系式，将车辆在图中的角度计算得到其世界坐标系中的姿态角度。

Claims (4)

1.一种基于视觉的车辆目标位置和姿态角度的检测方法，其特征在于，首先采用语义分割的方法对图像中的像素点逐个检测，提取出所有的车辆的像素点，再针对这些像素点处理得到车辆的精准的位置坐标信息和姿态信息。
2.根据权利要求1所述的一种基于视觉的车辆目标位置和姿态角度的检测方法，其特征在于，包括以下步骤：
S1.原始数据采集：
通过摄像头采集图像作为裸数据输入；
S2.图像预处理：
图像预处理主要是对图像尺寸进行一定的伸缩裁剪；
S3.图像的语义信息处理：
车辆检测推理过程采用CNN卷积神经网络的方法在图内对车辆像素进行检测推理；
S4.数据后处理：
当像素点个数符合要求后，对步骤S3中得到的车辆轮廓进行处理得到车辆在世界坐标系中的姿态角度；
S5.相机标定：
进行相机标定，建立像素坐标系和世界坐标系间的坐标转换关系；
S6.车辆的充电口坐标的获取：
提取车辆轮廓的最前端的像素点集合，得到其平均值，即是车头的坐标；根据车辆自身的信息，进而换算得到车辆充电口的坐标；利用相机标定的参数矩阵，计算得到其世界坐标值；
S7.车辆的姿态角度的获取：
利用建立的图像中车辆的角度和真实的车辆的姿态角度的多项关系式，将车辆在图中的角度计算得到其世界坐标系中的姿态角度。
3.根据权利要求2所述的一种基于视觉的车辆目标位置和姿态角度的检测方法，其特征在于，S4.数据后处理，包括以下过程：对步骤S3中得到的车辆轮廓进行最小外接矩形提取，获取车辆在图像空间的坐标信息，此外获取矩形在图像中与水平的角度；建立图像中车辆的角度和真实的车辆的姿态角度的关系式，进而利用关系式由图像中的角度计算得到车辆在世界坐标系中的姿态角度。
4.根据权利要求2所述的一种基于视觉的车辆目标位置和姿态角度的检测方法，其特征在于，S5.相机标定，包括以下过程：利用张正友法进行相机标定，得到相机的内参
Figure FDA0003153498230000021
和外参
Figure FDA0003153498230000022
相机标定方法为：
Figure FDA0003153498230000023
从世界坐标系到相机坐标系的转换中，P(XW，YW，ZW)是点P在空间世界坐标系下的坐标，外参
Figure FDA0003153498230000024
中，R是一个3*3的旋转矩阵，表示相机坐标系相对于世界坐标系先后绕X、Y、Z轴旋转后的旋转变换关系，T是一个3*1的偏移向量，表示相机坐标系原点相对于世界坐标系原点的偏移量；变换后的点P在相机坐标系下的坐标为(XC，YC，ZC)；
从相机坐标系到像素坐标系，涉及到3D坐标投影到2D图像平面的转换，其中Zc表示点P的深度值，f是相机的焦距；
从像素坐标系到像素坐标系，(u，v)表示点P在像素坐标系平面上的像素坐标值，(u0，v0)表示像素坐标原点在像素坐标系下的坐标值，单位为像素pixel，dx和dy表示每一列和每一行分别代表多少mm，即1pixel＝dx mm；fx＝f/dx，fy＝f/dy。
CN202110771236.5A 2021-07-08 2021-07-08 一种基于视觉的车辆目标位置和姿态角度的检测方法 Pending CN113436262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110771236.5A CN113436262A (zh) 2021-07-08 2021-07-08 一种基于视觉的车辆目标位置和姿态角度的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110771236.5A CN113436262A (zh) 2021-07-08 2021-07-08 一种基于视觉的车辆目标位置和姿态角度的检测方法

Publications (1)

Publication Number Publication Date
CN113436262A true CN113436262A (zh) 2021-09-24

Family

ID=77759502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110771236.5A Pending CN113436262A (zh) 2021-07-08 2021-07-08 一种基于视觉的车辆目标位置和姿态角度的检测方法

Country Status (1)

Country Link
CN (1) CN113436262A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114018215A (zh) * 2022-01-04 2022-02-08 智道网联科技(北京)有限公司 基于语义分割的单目测距方法、装置、设备及存储介质
CN114179669A (zh) * 2021-12-21 2022-03-15 北京理工大学 一种电动汽车充电口位姿确定***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207955380U (zh) * 2018-02-10 2018-10-12 长安大学 一种充电式立体车库充电自动对接装置
CN110060298A (zh) * 2019-03-21 2019-07-26 径卫视觉科技（上海）有限公司 一种基于图像的车辆位置和姿态确定***以及相应的方法
CN111563469A (zh) * 2020-05-13 2020-08-21 南京师范大学 一种不规范停车行为识别方法及装置
CN113033426A (zh) * 2021-03-30 2021-06-25 北京车和家信息技术有限公司 动态对象标注方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207955380U (zh) * 2018-02-10 2018-10-12 长安大学 一种充电式立体车库充电自动对接装置
CN110060298A (zh) * 2019-03-21 2019-07-26 径卫视觉科技（上海）有限公司 一种基于图像的车辆位置和姿态确定***以及相应的方法
CN111563469A (zh) * 2020-05-13 2020-08-21 南京师范大学 一种不规范停车行为识别方法及装置
CN113033426A (zh) * 2021-03-30 2021-06-25 北京车和家信息技术有限公司 动态对象标注方法、装置、设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114179669A (zh) * 2021-12-21 2022-03-15 北京理工大学 一种电动汽车充电口位姿确定***及方法
CN114179669B (zh) * 2021-12-21 2023-10-10 北京理工大学 一种电动汽车充电口位姿确定***及方法
CN114018215A (zh) * 2022-01-04 2022-02-08 智道网联科技(北京)有限公司 基于语义分割的单目测距方法、装置、设备及存储介质
CN114018215B (zh) * 2022-01-04 2022-04-12 智道网联科技(北京)有限公司 基于语义分割的单目测距方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN108416791B (zh) 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
JP6681729B2 (ja) オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム
CN109523597B (zh) 相机外参的标定方法和装置
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
US11407363B2 (en) Method for calculating a tow hitch position
CN111210477B (zh) 一种运动目标的定位方法及***
JP2014504410A (ja) 移動オブジェクトの検出及び追跡
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN111145232A (zh) 一种基于特征信息变化度的三维点云自动配准方法
CN113436262A (zh) 一种基于视觉的车辆目标位置和姿态角度的检测方法
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN114862973B (zh) 基于固定点位的空间定位方法、装置、设备及存储介质
CN109145902B (zh) 一种利用泛化特征对几何标识进行识别及定位的方法
CN113706593A (zh) 一种适用于车辆几何通过性参数检测的车辆底盘点云融合方法
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN109166136B (zh) 移动机器人基于单目视觉传感器的目标对象跟随方法
CN116977328B (zh) 车底机器人主动视觉中的图像质量评估方法
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及***
CN109902695B (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
CN112434559A (zh) 一种机器人识别定位方法
US10366278B2 (en) Curvature-based face detector
CN113450335A (zh) 一种路沿检测方法、路沿检测装置及路面施工车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210924

RJ01 Rejection of invention patent application after publication