CN112308899A - 一种挂车角度识别方法及装置 - Google Patents

一种挂车角度识别方法及装置 Download PDF

Info

Publication number
CN112308899A
CN112308899A CN202011240105.6A CN202011240105A CN112308899A CN 112308899 A CN112308899 A CN 112308899A CN 202011240105 A CN202011240105 A CN 202011240105A CN 112308899 A CN112308899 A CN 112308899A
Authority
CN
China
Prior art keywords
dimensional code
trailer
image
angle
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011240105.6A
Other languages
English (en)
Other versions
CN112308899B (zh
Inventor
***
张海强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingwei Hirain Tech Co Ltd
Original Assignee
Beijing Jingwei Hirain Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingwei Hirain Tech Co Ltd filed Critical Beijing Jingwei Hirain Tech Co Ltd
Priority to CN202011240105.6A priority Critical patent/CN112308899B/zh
Publication of CN112308899A publication Critical patent/CN112308899A/zh
Application granted granted Critical
Publication of CN112308899B publication Critical patent/CN112308899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种挂车角度识别方法及装置，获取摄像头采集的挂车图像，从挂车图像中识别出每个二维码图像在世界坐标系的位置信息以及对应的二维码ID，根据每个二维码ID确定对应的二维码图像为挂车车头的左端二维码图像或右端二维码图像，基于左端二维码图像的位置信息和对应的二维码ID以及右端二维码图像的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度，从预存储的向量角度与挂车角度的对应关系中，查找到目标向量角度对应的目标挂车角度。本发明根据安装在挂车车头两端的二维码图像的位置信息来确定挂车角度，硬件成本低且省去了安装检测装置的繁琐操作，从而提高了对挂车角度的识别效率。

Description

一种挂车角度识别方法及装置
技术领域
本发明涉及卡车自动驾驶技术领域，更具体的说，涉及一种挂车角度识别方法及装置。
背景技术
卡车，又称作载货汽车，一般称作货车，指主要用于运送货物的汽车，有时也指可以牵引其他车辆的汽车，属于商用车辆类别。卡车主要由卡车头和挂车组成，当卡车在路口转弯时，卡车头与挂车之间形成夹角，该夹角称为挂车角度，详见图1中示出的角度θ。当对卡车进行转动控制以及速度控制时，需要根据卡车头与挂车之间夹角的变化情况，得到挂车的摆动姿态，从而防止挂车碰撞到路沿或其他非道路上的障碍物导致损坏。因此，挂车角度对于卡车自动转弯控制有着重要作用，挂车角度识别在卡车自动驾驶过程中必不可少。
传统方案在对挂车角度进行识别时，大多需要在卡车上安装检测装置，比如，安装电子传感器，此时需要布置线束到挂车上，而且需要考虑电子传感器的供电问题。再比如，安装电控式角度检测装置，此时需要安装弧形板鞍座等等。因此，传统采用安装检测装置的检测方式，不仅硬件成本高，而且还增加了安装检测装置的繁琐操作，导致对挂车角度的识别效率低。
发明内容
有鉴于此，本发明公开一种挂车角度识别方法及装置，以解决传统方案中硬件成本高以及挂车角度识别效率低的问题。
一种挂车角度识别方法，包括：
获取摄像头采集的挂车图像，所述挂车图像包含粘贴在挂车车头两端的二维码图像；
从所述挂车图像中识别出每个所述二维码图像在世界坐标系的位置信息以及对应的二维码ID；
根据每个所述二维码ID确定出左端二维码图像和右端二维码图像；
基于所述左端二维码图像的位置信息和对应的二维码ID以及所述右端二维码图像的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度；
从预存储的向量角度与挂车角度的对应关系中，查找到所述目标向量角度对应的目标挂车角度。
可选的，所述从所述挂车图像中识别出每个所述二维码图像在世界坐标系的位置信息以及对应的二维码ID，包括：
将所述挂车图像输入至预先建立的物体检测模型，预测出所述挂车图像中所有的二维码图像所在区域的边框信息；
根据所述边框信息，从所述挂车图像中提取出多个二维码区域；
对每个所述二维码区域进行识别，得到每个所述二维码区域中的二维码图像在世界坐标系的位置信息以及对应的二维码ID。
可选的，所述根据每个所述二维码ID确定出左端二维码图像和右端二维码图像，包括：
根据每个所述二维码ID确定对应的二维码图像位于所述挂车车头的左端二维码区域或右端二维码区域；
基于每个所述二维码图像的识别置信度，从所述左端二维码区域中确定识别置信度最高的二维码图像作为所述左端二维码图像，从所述右端二维码区域中确定识别置信度最高的二维码图像作为所述右端二维码图像。
可选的，所述从所述挂车图像中识别出每个所述二维码图像在世界坐标系的位置信息以及对应的二维码ID，还包括：
对所述挂车图像进行图像预处理增强二维码区域的特征表征，得到增强特征二维码；
获取所述增强特征二维码中二维码方框的四个角点的像素点坐标和二维码ID；
对所述二维码方框的四个角点的像素点坐标采用姿态评估PNP算法得到所述二维码的位置信息。
可选的，所述获取所述增强特征二维码中二维码方框的四个角点的像素点坐标和二维码ID，具体包括：
根据畸变前图像像素和畸变后图像像素之间的映射关系，对所述增强特征二维码进行畸变矫正处理，得到非畸变二维码；
对所述非畸变二维码区域采用aruco库的ApriTag检测算法，获得所述二维码方框的四个角点的像素点坐标和二维码ID。
可选的，所述图像预处理包括：高通滤波、白平衡和增强对比度。
可选的，所述挂车车头两端分别粘贴有两个多边形装置，所述多边形装置的前面和侧面分别设置有二维码图像。
一种挂车角度识别装置，包括：
获取单元，用于获取摄像头采集的挂车图像，所述挂车图像包含粘贴在挂车车头两端的二维码图像；
识别单元，用于从所述挂车图像中识别出每个所述二维码图像在世界坐标系的位置信息以及对应的二维码ID；
确定单元，用于根据每个所述二维码ID确定出左端二维码图像和右端二维码图像；
计算单元，用于基于所述左端二维码图像的位置信息和对应的二维码ID以及所述右端二维码图像的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度；
查找单元，用于从预存储的向量角度与挂车角度的对应关系中，查找到所述目标向量角度对应的目标挂车角度。
可选的，所述识别单元具体用于：
将所述挂车图像输入至预先建立的物体检测模型，预测出所述挂车图像中所有的二维码图像所在区域的边框信息；
根据所述边框信息，从所述挂车图像中提取出多个二维码区域；
对每个所述二维码区域进行识别，得到每个所述二维码区域中的二维码图像在世界坐标系的位置信息以及对应的二维码ID。
可选的，所述确定单元具体用于：
根据每个所述二维码ID确定对应的二维码图像位于所述挂车车头的左端二维码区域或右端二维码区域；
基于每个所述二维码图像的识别置信度，从所述左端二维码区域中确定识别置信度最高的二维码图像作为所述左端二维码图像，从所述右端二维码区域中确定识别置信度最高的二维码图像作为所述右端二维码图像。
从上述的技术方案可知，本发明公开一种挂车角度识别方法及装置，获取摄像头采集的挂车图像，该挂车图像包含粘贴在挂车车头两端的二维码图像，从挂车图像中识别出每个二维码图像在世界坐标系的位置信息以及对应的二维码ID，根据每个二维码ID确定对应的二维码图像为挂车车头的左端二维码图像或右端二维码图像，基于左端二维码图像的位置信息和对应的二维码ID以及右端二维码图像的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度，从预存储的向量角度与挂车角度的对应关系中，查找到目标向量角度对应的目标挂车角度。本发明根据安装在挂车车头两端的二维码图像的位置信息来确定挂车角度，硬件成本低且省去了安装检测装置的繁琐操作，从而提高了对挂车角度的识别效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。
图1为一种卡车转弯示意图。
图2为本发明实施例公开的一种内轴类型挂车的三种状态重叠图的俯视图；
图3为本发明实施例公开的一种外轴类型挂车的三种状态的俯视图；
图4为本发明实施例公开的一种挂车角度识别方法流程图；
图5为本发明实施例公开的一种摄像头和二维码图像的安装侧视图；
图6为本发明实施例公开的一种挂车上二维码图像的粘贴示意图；
图7为本发明实施例公开的一种摄像头和二维码图像安装俯视图；
图8为本发明实施例公开的一种二维码角点检测结果示意图；
图9为本发明实施例公开的一种挂车角度识别装置的结构示意图。
具体实施方式
为便于理解本发明需要解决的技术问题，下面对本发明的应用场景进行说明，具体如下：
内轴挂车指的是卡车的旋转轴在挂车内侧，详见图2所示的内轴类型挂车的三种状态重叠图的俯视图，实框是卡车头与挂车之间形成的夹角的角度θ为0°的状态，两个虚框分别表示卡车头与挂车之间形成的夹角的角度θ为90°和-90°状态，图2中小矩形表示二维码(ApriTag)图像的粘贴位置，两个二维码图像分别粘贴在挂车车头的两端，且两个二维码图像面向摄像头粘贴，通过检测两个二维码图像的坐标位置，估算两个二维码图像之间连线的向量角度，从而推算出挂车角度。
所述外轴挂车指的是卡车的旋转轴在挂车外侧，详见图3所示的外轴类型挂车的三种状态的俯视图，实框是卡车头与挂车之间形成的夹角的角度θ为0°的状态，两个虚框分别表示卡车头与挂车之间形成的夹角的角度θ为90°和-90°状态，图2中小矩形表示二维码图像的粘贴位置，二维码图像面向摄像头粘贴。
相比于外轴挂车的情况，内轴挂车需要考虑卡车头与挂车之间的夹角为大角度情况。当卡车头与挂车之间的夹角为大角度时，摄像头视角与粘贴在卡车前端的二维码图像呈现大角度，从而容易出现摄像头采集的二维码图像不全，且左右位置对调的情况，导致对二维码图像的检测失效，本发明公开的挂车角度识别方法能够解决这一问题。
需要说明的是，本发明主要解决内轴挂车的情况，与此同时，本发明公开的挂车角度识别方法同样适用于外轴挂车的情况。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种挂车角度识别方法及装置，获取摄像头采集的挂车图像，该挂车图像包含粘贴在挂车车头两端的二维码图像，从挂车图像中识别出每个二维码图像在世界坐标系的位置信息以及对应的二维码ID，根据每个二维码ID确定对应的二维码图像为挂车车头的左端二维码图像或右端二维码图像，基于左端二维码图像的位置信息和对应的二维码ID以及右端二维码图像的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度，从预存储的向量角度与挂车角度的对应关系中，查找到目标向量角度对应的目标挂车角度。本发明根据安装在挂车车头两端的二维码图像的位置信息来确定挂车角度，硬件成本低且省去了安装检测装置的繁琐操作，从而提高了对挂车角度的识别效率。
参见图4，本发明实施例公开的一种挂车角度识别方法流程图，该方法包括：
步骤S101、获取摄像头采集的挂车图像；
其中，挂车图像包含粘贴在挂车车头两端的二维码图像。
具体的，在挂车车头两端分别安装一个多边形装置，挂车图像上包含有粘贴在两个多边形装置的前面和侧面的二维码图像。
具体的，参见图5所示的摄像头和二维码图像的安装侧视图，摄像头安装在车头后方，二维码图像粘贴在挂车前端，二维码图像的粘贴方式如图6所示。
参见图6所示的挂车上二维码图像的粘贴示意图，当挂车与卡车头之间形成的夹角的角度临近90°或-90°时，挂车上粘贴的二维码的法向量与摄像头中心视角呈现很大角度，从而导致二维码检测失效。针对挂车与卡车头之间大角度的情况，如图6所示，本发明设计了两个多边形装置，分别安装在挂车车头两端，并且，在每个多边形装置的前面(正对车头的面)以及两个侧面上，分别粘贴了一个二维码图像，两个多边形装置共粘贴了六个二维码图像，从而实现挂车在[-90°，90°]范围的挂车角度检测。
可选的，多边形装置可以为正方体、长方体或梯形体，等等。
步骤S102、从挂车图像中识别出每个二维码图像在世界坐标系的位置信息以及对应的二维码ID；
具体的，将挂车图像输入至预先建立的物体检测模型，预测出挂车图像中所有的二维码图像所在区域的边框信息；根据边框信息，从挂车图像中提取出多个二维码区域；对每个二维码区域进行识别，得到每个二维码区域中的二维码图像在世界坐标系的位置信息以及对应的二维码ID。
其中，物体检测模型为：将包含二维码图像的挂车图像集作为训练集，对YOLO(YouOnly LookOnce)模型或SSD(Single Shot MultiBoxDetector)模型进行训练后得到。
物体检测模型为已训练好的深度学习模型，具有从挂车图像中检测二维码图像的能力。通过将挂车图像输入至物体检测模型，预测出挂车图像中二维码图像所在区域的边框信息，边框信息为挂车图像中自动识别出的，二维码所在的区域的边框，边框所围成的二维空间内，存在至少一个二维码图像。
步骤S103、根据每个二维码ID确定出左端二维码图像和右端二维码图像；
需要说明的是，本实施例中，每个二维码图像都有唯一对应的二维码ID，每个二维码ID具有挂车车头的左区域标识和右区域标识，因此，根据每个二维码ID即可确定该二维码ID对应的二维码图像为挂车车头的左端二维码图像或右端二维码图像。这是因为，在挂车的角度较大时，传统的识别方法可能导致粘贴在挂车左右两端的二维码在挂车图像上的位置与物理位置相反，因此，二维码ID中包括了此二维码具体是位于挂车左端还是右端的信息，通过识别二维码ID进行二维码位置的判断
具体的，根据每个二维码ID确定对应的二维码图像位于挂车车头的左端二维码区域或右端二维码区域；左端二维码区域和右端二维码区域中均包含至少一个二维码图像。
基于每个二维码图像的识别置信度，从左端二维码区域中确定识别置信度最高的二维码图像作为所述左端二维码图像，从右端二维码区域中确定识别置信度最高的二维码图像作为所述右端二维码图像。
识别过程中，存在某些二维码识别不全的现象，因此可以识别的图像的完整性确定识别置信度，识别到二维码图像越完整，识别置信度越高。
步骤S104、基于左端二维码图像在世界坐标系的位置信息和对应的二维码ID以及右端二维码图像在世界坐标系的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度；
具体的，参见图7所示的摄像头和二维码图像安装俯视图，假设分别安装在挂车车头两端的左端二维码图像和右端二维码图像的二维码ID的坐标分别为(x，y)和(x1，y1)，则两个二维码ID之间的目标向量角度的计算公式如下：
Figure BDA0002768140880000081
步骤S105、从预存储的向量角度与挂车角度的对应关系中，查找到目标向量角度对应的目标挂车角度。
由于在不同的挂车角度下可以检测出不同的二维码ID组合，且不同的二维码ID组合与挂车角度之间的关系可以预先标定出来，因此，可以根据不同二维码ID之间的向量角度与挂车角度之间的对应关系，实现根据向量角度推算挂车角度。
需要特别说明的是，若直接采用算法识别单个二维码的偏转角，基于单个二维码的偏转角确定挂车角度，则在实际使用中，该方法受环境因素影响较大，而且不稳定。
本发明的发明人通过研究后发现，算法对二维码位姿(位置和偏转角)的估计是通过二维码的四个角点来决定的，而在现实环境中，因光照强度不定等原因，导致了二维码的四个角点的预测存在波动，从而影响二维码和偏转角的预测。通过实验验证发现，二维码的四个角点的波动对于单个二维码偏转角的影响较大，无法达到高精度(比如，1°精度)的角度预测要求，但是，对于位置预测的影响<0.5cm范围内；因此当两个二维码图像贴在挂车两端且距离1.8m左右的时候，带来的角度波动误差为0.16°左右，远小于1°的误差要求，即，两个二维码相对偏转角度受单个二维码位置的波动影响较小，且两个二维码相距越远，角度计算的精确度越高。因此，本发明采用两个二维码的位置信息计算挂车角度，从而相对于基于二维码本身偏转角信息计算挂车角度而言更稳定、可靠和准确，所得到的挂车角度鲁棒性更强，适用于高精度要求的角度检测。
综上可知，本发明公开的挂车角度识别方法，获取摄像头采集的挂车图像，该挂车图像包含粘贴在挂车车头两端的二维码图像，从挂车图像中识别出每个二维码图像在世界坐标系的位置信息以及对应的二维码ID，根据每个二维码ID确定对应的二维码图像为挂车车头的左端二维码图像或右端二维码图像，基于左端二维码图像的位置信息和对应的二维码ID以及右端二维码图像的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度，从预存储的向量角度与挂车角度的对应关系中，查找到目标向量角度对应的目标挂车角度。本发明根据安装在挂车车头两端的二维码图像的位置信息来确定挂车角度，硬件成本低且省去了安装检测装置的繁琐操作，从而提高了对挂车角度的识别效率。
需要特别说明的是，在实际情况下，由于太阳光直射情况，导致二维码黑色区域和白色区域像素差变小，从而使二维码的四个角点识别不准确或失效；通过增加滤波与对比度等措施能有效避免这种场景下的检测问题，然而如果对挂车图像全图进行滤波和对比处理可能导致误检增多。因此，本发明先从挂车图像中检测出二维码区域，然后对二维码区域通过图像预处理(预处理：高通滤波->白平衡->增强对比度)增强二维码的特征表征，从而提高二维码检测与角点检测的可靠性和稳定性。
因此，为进一步优化上述实施例，从挂车图像中识别出每个二维码图像在世界坐标系的位置信息以及对应的二维码ID，还可以包括：
对挂车图像进行图像预处理增强二维码区域的特征表征，得到增强特征二维码；获取增强特征二维码中二维码方框的四个角点的像素点坐标和二维码ID；对二维码方框的四个角点的像素点坐标采用姿态评估PNP算法得到二维码的位置信息。
其中，图像预处理包括：高通滤波->白平衡->增强对比度。
具体的，在实际应用中，首先对挂车图像中的二维码区域进行高通滤波，得到第一二维码区域，然后对第一二维码区域进行白平衡处理，得到第二二维码区域；对第二二维码区域进行增强对比度处理，得到增强特征二维码区域。
可选的，可以利用OpenCV的saturate_cast函数对二维码区域进行对比度增强处理。
本发明通过对二维码图像进行增强二维码区域的特征表征的预处理，提高了挂车角度识别的可靠性和稳定性。
为进一步优化上述实施例，获取增强特征二维码中二维码方框的四个角点的像素点坐标和二维码ID的过程，具体可以包括：
根据畸变前图像像素和畸变后图像像素之间的映射关系，对增强特征二维码进行畸变矫正处理，得到非畸变二维码；
对非畸变二维码区域采用aruco库的ApriTag检测算法，获得二维码方框的四个角点的像素点坐标和二维码ID。
其中，在图8所示的二维码角点检测结果示意图中，黑色方框的四个角点即是二维码方框的四个角点。
其中，畸变前图像像素和畸变后图像像素之间的映射关系以映射表的形式存在，该映射表为基于OpenCV的去畸变函数initUndistortRectifyMap获取的。
需要说明的是，在实际应用中，已知二维码实际大小，根据二维码方框的四个角点的像素点坐标，并采用姿态评估PNP(Pespective-N-Point)算法，即可得到二维码在世界坐标系的位置信息(x，y，z)，由于垂直高度z与角度计算不相关，因此，垂直高度z可以忽略不计。
综上可知，本发明公开的挂车角度识别方法，获取摄像头采集的挂车图像，该挂车图像包含粘贴在挂车车头两端的二维码图像，对挂车图像进行图像预处理增强二维码区域的特征表征，得到增强特征二维码，获取增强特征二维码中二维码方框的四个角点的像素点坐标和二维码ID，对二维码方框的四个角点的像素点坐标采用姿态评估PNP算法得到二维码在世界坐标系的位置信息，并从挂车图像中识别出每个二维码图像的二维码ID，根据每个二维码ID确定对应的二维码图像为挂车车头的左端二维码图像或右端二维码图像，基于左端二维码图像在世界坐标系的位置信息和对应的二维码ID以及右端二维码图像在世界坐标系的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度，并从预存储的向量角度与挂车角度的对应关系中，查找到目标向量角度对应的目标挂车角度。本发明根据安装在挂车车头两端的二维码图像的位置信息来确定挂车角度，硬件成本低且省去了安装检测装置的繁琐操作，从而提高了对挂车角度的识别效率。
另外，通过在挂车车头两端分别粘贴二维码图像，来解决因摄像头视角与粘贴在卡车前端的二维码图像呈现大角度而导致的检测失效问题，通过对二维码图像进行增强二维码区域的特征表征的预处理，提高了挂车角度识别的可靠性和稳定性，并且，相对于传统方案安装检测装置而言，本发明安装的多边形装置的硬件成本低。
与上述方法实施例相对应，本发明还公开了一种挂车角度识别装置。
参见图9，本发明实施例公开的一种挂车角度识别装置的结构示意图，该装置包括：
获取单元201，用于获取摄像头采集的挂车图像；
挂车图像包含粘贴在挂车车头两端的二维码图像。
具体的，在挂车车头两端分别安装一个多边形装置，挂车图像上包含有粘贴在两个多边形装置的前面和侧面的二维码图像。
其中，摄像头和二维码图像的安装示意图可参见图5和图6所示。
识别单元202，用于从挂车图像中识别出每个二维码图像在世界坐标系的位置信息以及对应的二维码ID；
其中，识别单元202具体可以用于：
将挂车图像输入至预先建立的物体检测模型，预测出挂车图像中所有的二维码图像所在区域的边框信息；根据边框信息，从挂车图像中提取出多个二维码区域；对每个二维码区域进行识别，得到每个二维码区域中的二维码图像在世界坐标系的位置信息以及对应的二维码ID。
其中，物体检测模型为：将包含二维码图像的挂车图像集作为训练集，对YOLO(YouOnly LookOnce)模型或SSD(Single Shot MultiBoxDetector)模型进行训练后得到。
物体检测模型为已训练好的深度学习模型，具有从挂车图像中检测二维码图像的能力。通过将挂车图像输入至物体检测模型，预测出挂车图像中二维码图像所在区域的边框信息。
确定单元203，用于根据每个二维码ID确定出左端二维码图像和右端二维码图像；
需要说明的是，本实施例中，每个二维码图像都有唯一对应的二维码ID，每个二维码ID具有挂车车头的左区域标识和右区域标识，因此，根据每个二维码ID即可确定该二维码ID对应的二维码图像为挂车车头的左端二维码图像或右端二维码图像。
其中，确定单元203具体可以用于：
根据每个二维码ID确定对应的二维码图像位于挂车车头的左端二维码区域或右端二维码区域；
基于每个二维码图像的识别置信度，从左端二维码区域中确定识别置信度最高的二维码图像作为左端二维码图像，从右端二维码区域中确定识别置信度最高的二维码图像作为右端二维码图像。
计算单元204，用于基于左端二维码图像的位置信息和对应的二维码ID以及右端二维码图像的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度；
查找单元205，用于从预存储的向量角度与挂车角度的对应关系中，查找到目标向量角度对应的目标挂车角度。
由于在不同的挂车角度下可以检测出不同的ID二维码组合，且不同的二维码ID组合与挂车角度之间的关系可以预先标定出来，因此，可以根据不同二维码ID之间的向量角度与挂车角度之间的对应关系，实现根据向量角度推算挂车角度。
需要特别说明的是，若直接采用算法识别单个二维码的偏转角，基于单个二维码的偏转角确定挂车角度，则在实际使用中，该方法受环境因素影响较大，而且不稳定。
综上可知，本发明公开的挂车角度识别装置，获取摄像头采集的挂车图像，该挂车图像包含粘贴在挂车车头两端的二维码图像，从挂车图像中识别出每个二维码图像在世界坐标系的位置信息以及对应的二维码ID，根据每个二维码ID确定对应的二维码图像为挂车车头的左端二维码图像或右端二维码图像，基于左端二维码图像的位置信息和对应的二维码ID以及右端二维码图像的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度，从预存储的向量角度与挂车角度的对应关系中，查找到目标向量角度对应的目标挂车角度。本发明根据安装在挂车车头两端的二维码图像的位置信息来确定挂车角度，硬件成本低且省去了安装检测装置的繁琐操作，从而提高了对挂车角度的识别效率。
需要特别说明的是，在实际情况下，由于太阳光直射情况，导致二维码黑色区域和白色区域像素差变小，从而使二维码的四个角点识别不准确或失效；通过增加滤波与对比度等措施能有效避免这种场景下的检测问题，然而如果对挂车图像全图进行滤波和对比处理可能导致误检增多。因此，本发明先从挂车图像中检测出二维码区域，然后对二维码区域通过图像预处理(预处理：高通滤波->白平衡->增强对比度)增强二维码的特征表征，从而提高二维码检测与角点检测的可靠性和稳定性。
因此，为进一步优化上述实施例，识别单元202具体还可以用于：
对挂车图像进行图像预处理增强二维码区域的特征表征，得到增强特征二维码；获取增强特征二维码中二维码方框的四个角点的像素点坐标和二维码ID；对二维码方框的四个角点的像素点坐标采用姿态评估PNP算法得到二维码的位置信息。
其中，图像预处理包括：高通滤波->白平衡->增强对比度。
具体的，在实际应用中，首先对挂车图像中的二维码区域进行高通滤波，得到第一二维码区域，然后对第一二维码区域进行白平衡处理，得到第二二维码区域；对第二二维码区域进行增强对比度处理，得到特征表征增强的二维码区域。
可选的，可以利用OpenCV的saturate_cast函数对二维码区域进行对比度增强处理。
本发明通过对二维码图像进行增强二维码区域的特征表征的预处理，提高了挂车角度识别的可靠性和稳定性。
为进一步优化上述实施例，识别单元202获取增强特征二维码中二维码方框的四个角点的像素点坐标和二维码ID的过程，具体可以包括：
根据畸变前图像像素和畸变后图像像素之间的映射关系，对增强特征二维码进行畸变矫正处理，得到非畸变二维码；
对非畸变二维码区域采用aruco库的ApriTag检测算法，获得二维码方框的四个角点的像素点坐标和二维码ID。
其中，在图8所示的二维码角点检测结果示意图中，黑色方框的四个角点即是二维码方框的四个角点。
综上可知，本发明公开的挂车角度识别装置，获取摄像头采集的挂车图像，该挂车图像包含粘贴在挂车车头两端的二维码图像，对挂车图像进行图像预处理增强二维码区域的特征表征，得到增强特征二维码，获取增强特征二维码中二维码方框的四个角点的像素点坐标和二维码ID，对二维码方框的四个角点的像素点坐标采用姿态评估PNP算法得到二维码在世界坐标系的位置信息，并从挂车图像中识别出每个二维码图像的二维码ID，根据每个二维码ID确定对应的二维码图像为挂车车头的左端二维码图像或右端二维码图像，基于左端二维码图像在世界坐标系的位置信息和对应的二维码ID以及右端二维码图像在世界坐标系的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度，并从预存储的向量角度与挂车角度的对应关系中，查找到目标向量角度对应的目标挂车角度。本发明根据安装在挂车车头两端的二维码图像的位置信息来确定挂车角度，硬件成本低且省去了安装检测装置的繁琐操作，从而提高了对挂车角度的识别效率。
另外，通过在挂车车头两端分别粘贴二维码图像，来解决因摄像头视角与粘贴在卡车前端的二维码图像呈现大角度而导致的检测失效问题，通过对二维码图像进行增强二维码区域的特征表征的预处理，提高了挂车角度识别的可靠性和稳定性，并且，相对于传统方案安装检测装置而言，本发明安装的多边形装置的硬件成本低。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种挂车角度识别方法，其特征在于，包括：
获取摄像头采集的挂车图像，所述挂车图像包含粘贴在挂车车头两端的二维码图像；
从所述挂车图像中识别出每个所述二维码图像在世界坐标系的位置信息以及对应的二维码ID；
根据每个所述二维码ID确定出所述挂车车头的左端二维码图像和右端二维码图像；
基于所述左端二维码图像的位置信息和对应的二维码ID以及所述右端二维码图像的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度；
从预存储的向量角度与挂车角度的对应关系中，查找到所述目标向量角度对应的目标挂车角度。
2.根据权利要求1所述的挂车角度识别方法，其特征在于，所述从所述挂车图像中识别出每个所述二维码图像在世界坐标系的位置信息以及对应的二维码ID，包括：
将所述挂车图像输入至预先建立的物体检测模型，预测出所述挂车图像中所有的二维码图像所在区域的边框信息；
根据所述边框信息，从所述挂车图像中提取出多个二维码区域；
对每个所述二维码区域进行识别，得到每个所述二维码区域中的二维码图像在世界坐标系的位置信息以及对应的二维码ID。
3.根据权利要求1所述的挂车角度识别方法，其特征在于，所述根据每个所述二维码ID确定出所述挂车车头的左端二维码图像和右端二维码图像，包括：
根据每个所述二维码ID确定对应的二维码图像位于所述挂车车头的左端二维码区域或右端二维码区域；
基于每个所述二维码图像的识别置信度，从所述左端二维码区域中确定识别置信度最高的二维码图像作为所述左端二维码图像，从所述右端二维码区域中确定识别置信度最高的二维码图像作为所述右端二维码图像。
4.根据权利要求2所述的挂车角度识别方法，其特征在于，所述从所述挂车图像中识别出每个所述二维码图像在世界坐标系的位置信息以及对应的二维码ID，还包括：
对所述挂车图像进行图像预处理增强二维码区域的特征表征，得到增强特征二维码；
获取所述增强特征二维码中二维码方框的四个角点的像素点坐标和二维码ID；
对所述二维码方框的四个角点的像素点坐标采用姿态评估PNP算法得到所述二维码的位置信息。
5.根据权利要求4所述的挂车角度识别方法，其特征在于，所述获取所述增强特征二维码中二维码方框的四个角点的像素点坐标和二维码ID，具体包括：
根据畸变前图像像素和畸变后图像像素之间的映射关系，对所述增强特征二维码进行畸变矫正处理，得到非畸变二维码；
对所述非畸变二维码区域采用aruco库的ApriTag检测算法，获得二维码方框的四个角点的像素点坐标和二维码ID。
6.根据权利要求4所述的挂车角度识别方法，其特征在于，所述图像预处理包括：高通滤波、白平衡和增强对比度。
7.根据权利要求1所述的挂车角度识别方法，其特征在于，所述挂车车头两端分别粘贴有两个多边形装置，所述多边形装置的前面和侧面分别设置有二维码图像。
8.一种挂车角度识别装置，其特征在于，包括：
获取单元，用于获取摄像头采集的挂车图像，所述挂车图像包含粘贴在挂车车头两端的二维码图像；
识别单元，用于从所述挂车图像中识别出每个所述二维码图像在世界坐标系的位置信息以及对应的二维码ID；
确定单元，用于根据每个所述二维码ID确定出左端二维码图像和右端二维码图像；
计算单元，用于基于所述左端二维码图像的位置信息和对应的二维码ID以及所述右端二维码图像的位置信息和对应的二维码ID，利用反三角函数计算两个二维码ID之间的目标向量角度；
查找单元，用于从预存储的向量角度与挂车角度的对应关系中，查找到所述目标向量角度对应的目标挂车角度。
9.根据权利要求8所述的挂车角度识别装置，其特征在于，所述识别单元具体用于：
将所述挂车图像输入至预先建立的物体检测模型，预测出所述挂车图像中所有的二维码图像所在区域的边框信息；
根据所述边框信息，从所述挂车图像中提取出多个二维码区域；
对每个所述二维码区域进行识别，得到每个所述二维码区域中的二维码图像在世界坐标系的位置信息以及对应的二维码ID。
10.根据权利要求8所述的挂车角度识别装置，其特征在于，所述确定单元具体用于：
根据每个所述二维码ID确定对应的二维码图像位于所述挂车车头的左端二维码区域或右端二维码区域；
基于每个所述二维码图像的识别置信度，从所述左端二维码区域中确定识别置信度最高的二维码图像作为所述左端二维码图像，从所述右端二维码区域中确定识别置信度最高的二维码图像作为所述右端二维码图像。
CN202011240105.6A 2020-11-09 2020-11-09 一种挂车角度识别方法及装置 Active CN112308899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011240105.6A CN112308899B (zh) 2020-11-09 2020-11-09 一种挂车角度识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011240105.6A CN112308899B (zh) 2020-11-09 2020-11-09 一种挂车角度识别方法及装置

Publications (2)

Publication Number Publication Date
CN112308899A true CN112308899A (zh) 2021-02-02
CN112308899B CN112308899B (zh) 2024-05-07

Family

ID=74325463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011240105.6A Active CN112308899B (zh) 2020-11-09 2020-11-09 一种挂车角度识别方法及装置

Country Status (1)

Country Link
CN (1) CN112308899B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489963A (zh) * 2021-07-08 2021-10-08 宁波宝贝第一母婴用品有限公司 推车安装引导方法和装置
CN116202424A (zh) * 2023-04-28 2023-06-02 深圳一清创新科技有限公司 车身区域检测方法、牵引车及牵引车避障***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243366A (zh) * 2015-10-10 2016-01-13 北京微尘嘉业科技有限公司 一种基于二维码的车辆定位方法
CN109872372A (zh) * 2019-03-07 2019-06-11 山东大学 一种小型四足机器人全局视觉定位方法和***
CN110046529A (zh) * 2018-12-11 2019-07-23 阿里巴巴集团控股有限公司 二维码识别方法、装置及设备
CN110276808A (zh) * 2019-06-11 2019-09-24 合肥工业大学 一种单相机结合二维码测量玻璃板不平度的方法
WO2019179233A1 (zh) * 2018-03-23 2019-09-26 阿里巴巴集团控股有限公司 一种二维码识读方法、装置及设备
EP3566903A1 (en) * 2018-05-09 2019-11-13 Neusoft Corporation Method and apparatus for vehicle position detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243366A (zh) * 2015-10-10 2016-01-13 北京微尘嘉业科技有限公司 一种基于二维码的车辆定位方法
WO2019179233A1 (zh) * 2018-03-23 2019-09-26 阿里巴巴集团控股有限公司 一种二维码识读方法、装置及设备
EP3566903A1 (en) * 2018-05-09 2019-11-13 Neusoft Corporation Method and apparatus for vehicle position detection
CN110046529A (zh) * 2018-12-11 2019-07-23 阿里巴巴集团控股有限公司 二维码识别方法、装置及设备
CN109872372A (zh) * 2019-03-07 2019-06-11 山东大学 一种小型四足机器人全局视觉定位方法和***
CN110276808A (zh) * 2019-06-11 2019-09-24 合肥工业大学 一种单相机结合二维码测量玻璃板不平度的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗高;袁亮;: "基于二维码的单目视觉测距移动机器人定位研究", 组合机床与自动化加工技术, no. 10 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489963A (zh) * 2021-07-08 2021-10-08 宁波宝贝第一母婴用品有限公司 推车安装引导方法和装置
CN113489963B (zh) * 2021-07-08 2024-02-23 宁波宝贝第一母婴用品有限公司 推车安装引导方法和装置
CN116202424A (zh) * 2023-04-28 2023-06-02 深圳一清创新科技有限公司 车身区域检测方法、牵引车及牵引车避障***
CN116202424B (zh) * 2023-04-28 2023-08-04 深圳一清创新科技有限公司 车身区域检测方法、牵引车及牵引车避障***

Also Published As

Publication number Publication date
CN112308899B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
US11170466B2 (en) Dense structure from motion
KR101734057B1 (ko) 정적인 목표를 이용한 드라이브 바이 보정
WO2020124988A1 (zh) 一种基于视觉的车位检测方法及装置
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
JP4973736B2 (ja) 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
Drost et al. 3d object detection and localization using multimodal point pair features
CN109871732B (zh) 停车格辨识***及其方法
CN112967283A (zh) 基于双目摄像头的目标识别方法、***、设备及存储介质
Youjin et al. A robust lane detection method based on vanishing point estimation
CN110667474B (zh) 通用障碍物检测方法、装置与自动驾驶***
CN112308899A (zh) 一种挂车角度识别方法及装置
Chang et al. An efficient method for lane-mark extraction in complex conditions
CN112598922A (zh) 车位检测方法、装置、设备及存储介质
CN112378333A (zh) 仓储货物测量方法和装置
Govender Evaluation of feature detection algorithms for structure from motion
Chang et al. Real-time vision-based preceding vehicle tracking and recognition
CN113971697A (zh) 一种空地协同车辆定位定向方法
CN114943836A (zh) 挂车角度检测方法、装置及电子设备
Mo et al. SafeDrive: Enhancing Lane Appearance for Autonomous and Assisted Driving Under Limited Visibility
CN112711973B (zh) 一种关键点检测算法的评估方法及装置
CN110908366B (zh) 自动驾驶方法及装置
CN117764849A (zh) 基于图像融合的图像补偿方法、装置、设备及存储介质
JP3820995B2 (ja) 障害物検出装置および障害物検出方法
KR20220080575A (ko) 주차 공간 인식 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant