CN113834463A - 基于绝对尺寸的智能车侧方行人/车单目深度测距方法 - Google Patents
基于绝对尺寸的智能车侧方行人/车单目深度测距方法 Download PDFInfo
- Publication number
- CN113834463A CN113834463A CN202111022920.XA CN202111022920A CN113834463A CN 113834463 A CN113834463 A CN 113834463A CN 202111022920 A CN202111022920 A CN 202111022920A CN 113834463 A CN113834463 A CN 113834463A
- Authority
- CN
- China
- Prior art keywords
- image
- intelligent vehicle
- frame
- isomorphic
- monocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims description 27
- 238000005259 measurement Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 5
- 230000004075 alteration Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 244000000188 Vaccinium ovalifolium Species 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Manufacturing & Machinery (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于绝对尺寸的智能车侧方行人/车单目深度测距方法，通过智能车左右后视镜正下方嵌入式安装的单目相机采集车辆侧方图像，通过构造单目相机时间序列的立体几何成像模型、畸变矫正模型，标定智能车侧方单目相机和计算畸变系数，构造图同构模型，进行图像数据的同构特征点的检测校验和立体匹配，构造深度测距模型，估计智能车车速测量下的绝对尺寸和可计算出对应目标区域的深度和三维坐标估计值，从而得到侧方行人/车的单目深度测距。筛选了目标区域高级特征出现的合理位置，以此提高立体匹配的精度。减少低层级图像特征算法造成的计算冗余度和时间复杂度情况，保证了实时性，有效克服了单目深度测距缺乏尺度信息的缺点。
Description
技术领域
本发明涉及智能车侧方行人/车深度测距技术领域，尤其涉及一种基于绝对尺寸的智能车侧方行人/车单目深度测距方法。
背景技术
随着新能源智能汽车产业的飞速发展和高速通信网络万物互联的技术变革，自动驾驶智能车的路径规划、障碍物避障是保证行车安全的基本要求，其中最基础的目标深度测距技术被广泛应用于导航、监控、跟踪、虚拟现实等智能电子终端领域。其技术融合了传感器、信号编码、图像处理、计算机视觉、多视图几何、相机成像模型等多个方面。随着智能网联技术的不断发展，智能车高级辅助驾驶产生了自动泊车、自适应巡航、预碰撞、车道偏离预警以及增强现实抬头显示(Augmented Reality Head Up Display,ARHUD)、透明A柱等与目标深度测距技术密切相关的技术应用。
目前基于视觉传感器的单目深度测距方法是现有目标检测、障碍物避障技术的主流方向，例如基于组合纹理特征、预模型结合机器学习的无监督、弱监督、有监督的深度神经网络训练模型等深度估计，这类方法通过带有约束和先验知识的数据学习方法使得测量精度相对较高，鲁棒性较好。但是基于机器学习的单目深度测距方法，采用全图大量像素点进行点云深度测量，缺少真实三维空间的尺度信息，使得整个算法复杂度较高，冗余度较大，实时性较低。
发明内容
本发明的目的在于提供一种基于绝对尺寸的智能车侧方行人/车单目深度测距方法，旨在解决现有技术中基于机器学习的单目深度测距方法，采用全图大量像素点进行点云深度测量，缺少真实三维空间的尺度信息，使得整个算法复杂度较高，冗余度较大，实时性较低的技术问题。
为实现上述目的，本发明采用的一种基于绝对尺寸的智能车侧方行人/车单目深度测距方法，包括如下步骤：
对智能车的单目相机标定，并计算畸变系数；
对单目相机的采集数据进行同构匹配特征点对的检测检验，得到同构特征点对集；
对同构特征点对集进行智能车车速测量下的绝对尺寸的估计和智能车侧方行人/车深度测距。
其中，对智能车的单目相机标定，并计算畸变系数的步骤包括：
在智能车左右后视镜的正下方嵌入式安装单目相机；
准备棋盘格标定板；
在单目相机的可视范围内摆好所述棋盘格标定板，均匀移动棋盘标定板，使用单目相机采集不同方位、不同距离的含有棋盘格标定板的图像，得到标定数据；
构建单目相机成像的几何模型；
根据像差概念构建单目相机光学镜头的畸变模型；
标定和畸变系数计算。
其中，构建单目相机成像的几何模型的步骤中：
基于四个坐标系，世界坐标系、相机坐标系、图像物理坐标系和图像像素坐标系，根据针孔模型建立二维图像到三维世界的坐标系转换关系。
其中，标定和畸变系数计算的步骤包括：
对采集的标定数据每一幅图像进行处理，输入标定板棋盘格的尺寸，提取图像中标定板中的棋盘格的角点，并计算出角点坐标；
选择使用两参数、错切、桶形畸变矫正；
利用张正友标定法和单目相机成像的几何模型，计算包含内参矩阵、外参矩阵、畸变系数的相机参数；
计算每幅图重投影误差与平均误差的差值以判定离群数据，并根据标定板和相机3D位置信息，将位置差别过大的标定数据图像进行数据清洗，删除离群数据；
重新标定计算得出包含内参矩阵、外参矩阵和畸变系数的相机参数。
其中，对单目相机的采集数据进行同构匹配特征点对的检测检验，得到同构特征点对集的步骤包括：
利用畸变系数和畸变模型，将待处理图像/帧集所有图像进行畸变矫正，求解在畸变非线性模型下的图像坐标，然后利用双线性差值法对矫正后的图像缺失部分进行填充从而得到最终的畸变矫正图像/帧集；
将畸变矫正图像/帧集的所有图像按一定像素比进行归一化压缩，得到后续计算所需图像/帧集；
将后续计算所需图像/帧集按时序排列，得到前后间隔帧组对，然后按后反馈的方式将前后间隔帧组转化为图像/帧对，并设置初始图像帧/对；
利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点；
利用训练好的Brute-force matcher对特征点进行直接匹配，得到匹配关系集；
对匹配关系集进行随机一致性校验；
将随机一致校验后得到数据进行基于图同构模型的二次匹配校验，得到同构特征点对集。
其中，对同构特征点对集进行智能车车速测量下的绝对尺寸的估计和智能车侧方行人/车深度测距的步骤包括：
对当前图像/帧对进行区域划分；
将智能车坐标系看作当前世界坐标系，利用坐标系的转换关系计算出智能车坐标系下的运动位移，得到三维世界空间点与其对应图像像素坐标系下的二维特征点的绝对尺寸和深度测距的约束模型；使用图像/帧对应区域的同构特征匹配校验特征点，计算智能车运动偏移的绝对尺寸；
使用图像/帧对应的区域的同构特征匹配校验特征点，计算智能车运动偏移的深度距离；
采用k-means对智能车运动偏移的深度距离进行聚类，得到当前图像/帧对的智能车侧方行人/车的目标深度测距；
对当前图像/帧对的时序进行判断，如果时序不是最后一位，则将当前一图像/帧对的后一位图像/帧对返回利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点的步骤中重新计算，否则直接输出结果。
本发明的有益效果为：通过智能车左右后视镜正下方嵌入式安装的单目相机采集车辆侧方图像，通过构造单目相机时间序列的立体几何成像模型、畸变矫正模型，标定智能车侧方单目相机和计算畸变系数，构造图同构模型，进行图像数据的同构特征点的检测校验和立体匹配，构造深度测距模型，估计智能车车速测量下的绝对尺寸和可计算出对应目标区域的深度和三维坐标估计值，从而得到车辆侧方行人/车的单目深度测距。筛选了目标区域高级特征出现的合理位置，以此提高立体匹配的精度。减少低层级图像特征算法造成的计算冗余度和时间复杂度情况，保证了实时性，有效克服了单目深度测距缺乏尺度信息的缺点，并且弥补了智能车侧方会车、停车、变车道的避障，以及提供了智能网联汽车障碍物信息交互的基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的基于绝对尺寸的智能车侧方行人/车单目深度测距方法的步骤流程图。
图2是本发明的基于绝对尺寸的智能车侧方行人/车单目深度测距方法的总体技术方案流程图。
图3是本发明的单目相机成像的几何模型的示意图。
图4是本发明的匹配特征点对的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1至图4，本发明提供了一种基于绝对尺寸的智能车侧方行人/车单目深度测距方法，包括如下步骤：
S1：对智能车的单目相机标定，并计算畸变系数；
S2：对单目相机的采集数据进行同构匹配特征点对的检测检验，得到同构特征点对集；
S3：对同构特征点对集进行智能车车速测量下的绝对尺寸的估计和智能车侧方行人/车深度测距。
其中，对智能车的单目相机标定，并计算畸变系数的步骤包括：
在智能车左右后视镜的正下方嵌入式安装单目相机；
准备棋盘格标定板；
在智能车单目相机可视范围内摆好所述棋盘格标定板，均匀移动棋盘标定板，使用单目相机采集不同方位、不同距离的含有棋盘格标定板的图像，得到标定数据；
构建单目相机成像的几何模型；
根据像差概念构建单目相机光学镜头的畸变模型；
标定和畸变系数计算。
其中，构建单目相机成像的几何模型的步骤中：
基于四个坐标系，世界坐标系、相机坐标系、图像物理坐标系和图像像素坐标系，根据针孔模型建立二维图像到三维世界的坐标系转换关系。
其中，标定和畸变系数计算的步骤包括：
对采集的标定数据每一幅图像进行处理，输入标定板棋盘格的尺寸，提取图像中标定板中的棋盘格的角点，并计算出角点坐标；
选择使用两参数、错切、桶形畸变矫正；
利用张正友标定法和单目相机成像的几何模型，计算包含内参矩阵、外参矩阵、畸变系数的相机参数；
计算每幅图重投影误差与平均误差的差值以判定离群数据，并根据标定板和相机3D位置信息，将位置差别过大的标定数据图像进行数据清洗，删除离群数据；
重新标定计算得出包含内参矩阵、外参矩阵和畸变系数的相机参数。
具体的，安装智能车单目相机传感器，在智能车左右后视镜正下方嵌入式安装RER-USB，分辨率1280×1090(pixel)，视角70deg的相机保持不变，以保证智能车驾驶时的数据采集能够摄取到包含地面的图像。
准备一个8×7的黑白相间的棋盘格标定板，棋盘格的边长为100cm的正方形。
在智能车单目相机可视范围内摆好已经准备好的棋盘格标定板，均匀移动标定板，使得确保每次移动后标定板不晃动，用单目相机采集不同方位、不同距离的含有棋盘格标定板的图像30张。
基于四个坐标系，世界坐标系OW，相机坐标系OC，图像物理坐标系Or和图像像素坐标系O，根据针孔模型建立二维图像到三维世界的坐标系转换关系，即单目相机成像的几何模型：
ZC为图像坐标系下的深度距离，(u,v)为二维图像像素坐标，(u0,v0)为图像物理坐标系原点在像素坐标系下的坐标，(dx,dy)为像素的物理尺寸，(XW,YW,ZW)为世界坐标系三维点，f为相机焦距，R,t分别为旋转矩阵和平移向量，同时R中的九个参数可以用罗格里格斯变换相互转换，K为相机内参，M为相机外参。
根据像差概念构建单目相机光学镜头的畸变模型：
(udistortion，vdistortion)为像素偏移后的坐标，RAD为径向畸变模型，k1,k2,k3为径向畸变参数，TAN为切向畸变模型，p1,p2为切向畸变参数，r为二维图像像素坐标离坐标系原点的距离。
将拍摄到的标定图像通过MATLAB TOOLBOX CAMERA CALIBRATION进行标定和畸变矫正：
对采集的标定数据每一幅图像进行处理，输入标定板棋盘格的尺寸，提取图像中标定板中的棋盘格的角点，并计算出角点坐标；
选择使用两参数、错切、桶形畸变矫正；
利用张正友标定法和单目相机成像的几何模型，计算包含内参矩阵、外参矩阵、畸变系数的相机参数；
计算每幅图重投影误差与平均误差的差值以判定离群数据，并根据标定板和相机3D位置信息，将位置差别过大的n个标定数据图像进行数据清洗，删除离群数据；
重新标定计算得出包含内参矩阵、外参矩阵、畸变系数的相机参数。
其中，对单目相机的采集数据进行同构匹配特征点对的检测检验，得到同构特征点对集的步骤包括：
利用畸变系数和畸变模型，将待处理图像/帧集所有图像进行畸变矫正，求解在畸变非线性模型下的图像坐标，然后利用双线性差值法对矫正后的图像缺失部分进行填充从而得到最终的畸变矫正图像/帧集；
将畸变矫正图像/帧集的所有图像按一定像素比进行归一化压缩，得到后续计算所需图像/帧集；
将后续计算所需图像/帧集按时序排列，得到前后间隔帧组对，然后按后反馈的方式将前后间隔帧组转化为图像/帧对，并设置初始图像帧/对；
利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点；
利用训练好的Brute-force matcher对特征点进行直接匹配，得到匹配关系集；
对匹配关系集进行随机一致性校验；
将随机一致校验后得到数据进行基于图同构模型的二次匹配校验，得到同构特征点对集。
具体的，获取智能车实时驾驶的单目相机采集数据，帧率为25fps。视频图像根据实际需求进行抽帧或逐帧的深度测距，例如以间隔10帧抽出待处理图像/帧集I1，进行同构匹配特征点对的检测检验。利用步骤S1的畸变系数，基于步骤S1的畸变模型，将待处理图像/帧集I1所有图像进行畸变矫正，求解在畸变非线性模型下的图像坐标，然后利用双线性差值法对矫正后的图像缺失部分进行填充从而得到最终的畸变矫正图像/帧集I2；
将矫正图像/帧集的所有图像按一定像素比进行归一化压缩，得到后续计算所需图像/帧集I0，保证图像中内容信息量不受影响的前提下，提高后续图像处理时间和运行速度，此处例如，800×600(pixel)；
将图像/帧集I0按时序排列的前后间隔帧组对，按后反馈的方式形成(fcurrent,fprevious)i,i＝1,2,3,4...,I的图像/帧对，初始化i＝1，若剩余未组对图像，则进行截断处理。
利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测第i对图像对，即(fcurrent,fprevious)i的两幅图的N个特征点(pcurrent(u,v),pprevious(u,v))i。
将模板图像的特征点集(pcurrent(u,v))i作为参考集Setref，将目标图像的特征点集(pprevious(u,v))i作为查询集Setinq，利用训练好的Brute-force matcher进行直接匹配：
依次计算参考集Setref中的第j个点Setref(j)(初始化j＝1)和查询集Setinq中的特征点的所有全排列组合的特征点对对应的二进制描述符的汉明距离；
若查询集第n个特征点Setinq(n)与参考集特征点Setref(j)的汉明距离小于距离阈值thresholdmin，则选取该点Setinq(n)为匹配特征点保留；
交叉检验，若查询集第n个特征点Setinq(n)到参考集特征点Setref(j)的汉明距离小于距离阈值thresholdmin，则返回该匹配特征点对为保留；
更新Setref，Setinq和匹配关系集match(ref,inq)，更新j＝j+1；
若j＝N，则结束计算，跳出步骤，否则返回第一步。
将更新后的匹配关系集match(ref,inq)数据进行随机一致性校验，保留内点inliers即可被模型描述的正确数据，去除离散点outliers即偏离模型的异常数据，更新Setref，Setinq和match(ref,inq)，有效筛选出误匹配点对；
对(pcurrent(u,v),pprevious(u,v))i＝{Setref，Setinq，match(ref,inq)}进行基于图同构模型的二次匹配校验：
由于Setref点集与Setinq点集之间存在透视变换(即同态变换)，即任取match(ref,inq)中的三个匹配特征点对(A-A′,B-B′,C-C′)构成对应Setref和Setinq上的一对匹配三角形对(T(A,B,C)-T′(A′,B′,C′))，若T(A,B,C)和T′(A′,B′,C′)之间发生平移旋转变换，且A,B,C和A′,B′,C′之间保持距离不变，相对位置不变，故同构
则dAB＝d′A′B′&dAC＝d′A′C′&dBC＝d′B′C′，三维矢量
和
方向相同，
在Setref点集中全排列组合选取三个点A(u1,v1),B2(u2,v2),C(u3,v3)，标记1，按照match(ref,inq)集，依次得到对应Setinq点集的三个点A′(u1′,v1′),B′(u2′,v2′),C′(u3′,v3′)，根据图同构模型，满足以下约束条件，筛选出同构匹配特征点对集
得到更新后的Set′ref，Set′inq：
在Setref点集中，选取一个特征点D(u4,v4)，按照match(ref,inq)集，得到对应Setinq点集的点D′(u4,v4)；在Set′ref点集中，选取两个特征点A(u1,v1),B2(u2,v2)，按照
集，得到对应Setinq点集的两个点A′(u1′,v1′),B′(u2′,v2′)；根据图同构模型，满足以下约束条件，校验更新同构匹配点对集
得到更新后的Set′ref，Set′inq：
若Setref点集标记为0的特征点为空，即所有匹配特征点已全部校验，则匹配校验结束，跳出；否则非空，则跳转返回至第二步骤中(在Setref点集中全排列组合选取三个点A(u1,v1),B2(u2,v2),C(u3,v3)，标记1，按照match(ref,inq)集，依次得到对应Setinq点集的三个点A′(u1′,v1′),B′(u2′,v2′),C′(u3′,v3′)，根据图同构模型，满足以下约束条件，筛选出同构匹配特征点对集
得到更新后的Set′ref，Set′inq)。
其中，对同构特征点对集进行智能车车速测量下的绝对尺寸的估计和智能车侧方行人/车深度测距的步骤包括：
对当前图像/帧对进行区域划分；
将智能车坐标系看作当前世界坐标系，利用坐标系的转换关系计算出智能车坐标系下的运动位移，得到三维世界空间点与其对应图像像素坐标系下的二维特征点的绝对尺寸和深度测距的约束模型；
使用图像/帧对应区域的同构特征匹配校验特征点，计算智能车运动偏移的绝对尺寸；
使用图像/帧对应的区域的同构特征匹配校验特征点，计算智能车运动偏移的深度距离；
采用k-means对智能车运动偏移的深度距离进行聚类，得到当前图像/帧对的智能车侧方行人/车的目标深度测距；
对当前图像/帧对的时序进行判断，如果时序不是最后一位，则将当前一图像/帧对的后一位图像/帧对返回利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点的步骤中重新计算，否则直接输出结果。
具体的，对当前第i对图像/帧对(fcurrent,fprevious)i，将fcurrent和fprevious图像按像素坐标系下的v坐标轴划分3等分，分别标记为R1,R2,R3,即pcurrent(u2,v2),pprevious(u1,v1)分别按v量为索引从小到大等分为三个区间：
将车辆坐标系看作当前世界坐标系，通过(fcurrent,fprevious)i图像对对应的R1,R1′区域的同构特征匹配校验特征点，利用坐标系的转换关系计算出车辆坐标系下的运动位移，即得到基于近地区域(等于或近似于地面)的绝对尺寸，通过推演步骤S1中的单目相机成像的几何模型，得到深度测距模型：
已知步骤S1中的单目相机成像的几何模型：
其中
即为三维世界空间点P所在的目标物体的深度距离，
空间点的齐次坐标；
将几何模型改写为特征点用深度计算的相机透视变换方程：
将当前时刻t下的待求深度测距的特征点集的图像像素坐标系下的二维点(u(t),v(t))T和其三维世界空间点(X(t),Y(t),Z(t))T代入相机透视变换方程中，并对t求导，得到对应每个维度的分量位移偏差：
在局部范围内，假设车辆在XOY平面运动，故
假设空间点P(X(t),Y(t),Z(t))的深度测距为
则上式中对应的每个维度的分量位移为：
该位移即为三维世界空间点与其对应图像像素坐标系下的二维特征点的绝对尺寸和深度测距模型。
将(fcurrent,fprevious)i图像对对应的R1,R1′区域的同构特征匹配校验特征点，计算智能车运动偏移的绝对尺寸：
已知R1,R1′区域的同构特征匹配校验特征点pcurrent(u2 1,v2 1),pprevious(u1 1,v1 1)，Z＝0，则智能车在图像像素坐标系下的u,v两个方向的时间间隔t下的运动偏移分量为：
将u,v带入深度测距模型中的单目相机几何模型可得：
将上式按深度测距模型的步骤处理，得到对应每个维度的分量位移偏差和绝对尺寸：
由于目标与车辆做相对运动，则位移偏差是相反量，即目标点的位移偏差量根据上式求得的结果相反量为
即智能车的瞬时运动速度向量，根据深度测距模型，将计算智能车运动偏移的绝对尺寸步骤中的(fcurrent,fprevious)i(fcurrent,fprevious)i图像对对应的R3,R3′区域的同构特征匹配校验特征点pcurrent(u2 3,v2 3)，pprevious(u1 3,v1 3)计算智能车运动偏移下的深度距离在两个方向上的分量：
最终，得到特征点，即目标点的二范数下的深度距离：
d(P)＝||du(P),dv(P)||2
采用k-means对上式得到的R3,R3′区域的同构特征匹配校验特征点的深度距离聚类，得到目标类点和背景类点，则可得到当前(fcurrent,fprevious)i的智能车侧方行人/车的目标深度测距d(P)i。
若i＝I，即图像/帧对已经处理完毕，则结束计算，否则，令i＝i+1，并跳转至S2中利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点的步骤，即利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测第i对图像对的步骤。
本发明，通过智能车左右后视镜正下方嵌入式安装的单目相机采集车辆侧方图像，通过构造单目相机时间序列的立体几何成像模型、畸变矫正模型，标定智能车侧方单目相机和计算畸变系数，构造图同构模型，进行图像数据的同构特征点的检测校验和立体匹配，构造深度测距模型，估计智能车车速测量下的绝对尺寸和可计算出对应目标区域的深度和三维坐标估计值，从而得到车辆侧方行人/车的单目深度测距。筛选了目标区域高级特征出现的合理位置，以此提高立体匹配的精度。减少低层级图像特征算法造成的计算冗余度和时间复杂度情况，保证了实时性，有效克服了单目深度测距缺乏尺度信息的缺点，并且弥补了智能车侧方会车、停车、变车道的避障，以及提供了智能网联汽车障碍物信息交互的基础。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (6)
1.一种基于绝对尺寸的智能车侧方行人/车单目深度测距方法，其特征在于，包括如下步骤：
S1：对智能车侧方的单目相机标定，并计算畸变系数；
S2：对单目相机的采集数据进行同构匹配特征点对的检测检验，得到同构特征点对集；
S3：对同构特征点对集进行智能车车速测量下的绝对尺寸的估计和智能车侧方行人/车深度测距。
2.如权利要求1所述的基于绝对尺寸的智能车侧方行人/车单目深度测距方法，其特征在于，对智能车的单目相机标定，并计算畸变系数的步骤包括：
在智能车左右后视镜的正下方嵌入式安装单目相机；
准备棋盘格标定板；
在单目相机的可视范围内摆好所述棋盘格标定板，均匀移动棋盘标定板，使用单目相机采集不同方位、不同距离的含有棋盘格标定板的图像，得到标定数据；
构建单目相机成像的几何模型；
根据像差概念构建单目相机光学镜头的畸变模型；
标定和畸变系数计算。
3.如权利要求2所述的基于绝对尺寸的智能车侧方行人/车单目深度测距方法，其特征在于，构建单目相机成像的几何模型的步骤中：
基于四个坐标系，世界坐标系、相机坐标系、图像物理坐标系和图像像素坐标系，根据针孔模型建立二维图像到三维世界的坐标系转换关系。
4.如权利要求2所述的基于绝对尺寸的智能车侧方行人/车单目深度测距方法，其特征在于，标定和畸变系数计算的步骤包括：
对采集的标定数据每一幅图像进行处理，输入标定板棋盘格的尺寸，提取图像中标定板中的棋盘格的角点，并计算出角点坐标；
选择使用两参数、错切、桶形畸变矫正；
利用张正友标定法和单目相机成像的几何模型，计算包含内参矩阵、外参矩阵、畸变系数的相机参数；
计算每幅图重投影误差与平均误差的差值以判定离群数据，并根据标定板和相机3D位置信息，将位置差别过大的标定数据图像进行数据清洗，删除离群数据；
重新标定计算得出包含内参矩阵、外参矩阵和畸变系数的相机参数。
5.如权利要求2所述的基于绝对尺寸的智能车侧方行人/车单目深度测距方法，其特征在于，对单目相机的采集数据进行同构匹配特征点对的检测检验，得到同构特征点对集的步骤包括：
利用畸变系数和畸变模型，将待处理图像/帧集所有图像进行畸变矫正，求解在畸变非线性模型下的图像坐标，然后利用双线性差值法对矫正后的图像缺失部分进行填充从而得到最终的畸变矫正图像/帧集；
将畸变矫正图像/帧集的所有图像按一定像素比进行归一化压缩，得到后续计算所需图像/帧集；
将后续计算所需图像/帧集按时序排列，得到前后间隔帧组对，然后按后反馈的方式将前后间隔帧组转化为图像/帧对，并设置初始图像帧/对；
利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点；
利用训练好的Brute-force matcher对特征点进行直接匹配，得到匹配关系集；
对匹配关系集进行随机一致性校验；
将随机一致校验后得到数据进行基于图同构模型的二次匹配校验，得到同构特征点对集。
6.如权利要求5所述的基于绝对尺寸的智能车侧方行人/车单目深度测距方法，其特征在于，对同构特征点对集进行智能车车速测量下的绝对尺寸的估计和智能车侧方行人/车深度测距的步骤包括：
对当前图像/帧对进行区域划分；
将智能车坐标系看作当前世界坐标系，利用坐标系的转换关系计算出智能车坐标系下的运动位移，得到三维世界空间点与其对应图像像素坐标系下的二维特征点的绝对尺寸和深度测距的约束模型；使用图像/帧对应区域的同构特征匹配校验特征点，计算智能车运动偏移的绝对尺寸；
使用图像/帧对应的区域的同构特征匹配校验特征点，计算智能车运动偏移的深度距离；
采用k-means对智能车运动偏移的深度距离进行聚类，得到当前图像/帧对的智能车侧方行人/车的目标深度测距；
对当前图像/帧对的时序进行判断，如果时序不是最后一位，则将当前一图像/帧对的后一位图像/帧对返回利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点的步骤中重新计算，否则直接输出结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111022920.XA CN113834463A (zh) | 2021-09-01 | 2021-09-01 | 基于绝对尺寸的智能车侧方行人/车单目深度测距方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111022920.XA CN113834463A (zh) | 2021-09-01 | 2021-09-01 | 基于绝对尺寸的智能车侧方行人/车单目深度测距方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113834463A true CN113834463A (zh) | 2021-12-24 |
Family
ID=78961857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111022920.XA Pending CN113834463A (zh) | 2021-09-01 | 2021-09-01 | 基于绝对尺寸的智能车侧方行人/车单目深度测距方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113834463A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119896A (zh) * | 2022-01-26 | 2022-03-01 | 南京信息工程大学 | 一种驾驶路径规划方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2026313A1 (en) * | 2007-08-17 | 2009-02-18 | MAGNETI MARELLI SISTEMI ELETTRONICI S.p.A. | A method and a system for the recognition of traffic signs with supplementary panels |
| CN102435188A (zh) * | 2011-09-15 | 2012-05-02 | 南京航空航天大学 | 一种用于室内环境的单目视觉/惯性全自主导航方法 |
| DE102012111199A1 (de) * | 2012-11-21 | 2014-05-22 | Conti Temic Microelectronic Gmbh | Optische Vorrichtung mit multifokaler Bilderfassung |
| CN104637059A (zh) * | 2015-02-09 | 2015-05-20 | 吉林大学 | 基于毫米波雷达和机器视觉的夜间前方车辆检测方法 |
| CN110930419A (zh) * | 2020-02-13 | 2020-03-27 | 北京海天瑞声科技股份有限公司 | 图像分割方法、装置、电子设备及计算机存储介质 |
| CN111260706A (zh) * | 2020-02-13 | 2020-06-09 | 青岛联合创智科技有限公司 | 一种基于单目相机的稠密深度图计算方法 |
| CN111476106A (zh) * | 2020-03-17 | 2020-07-31 | 重庆邮电大学 | 基于单目相机的直道相对坡度实时预测方法、***及装置 |
| CN112669354A (zh) * | 2020-12-08 | 2021-04-16 | 重庆邮电大学 | 一种基于车辆非完整约束的多相机运动状态估计方法 |
| WO2021098766A1 (zh) * | 2019-11-20 | 2021-05-27 | 北京影谱科技股份有限公司 | 基于图像序列的orb特征视觉里程计学习方法和装置 |
-
2021
- 2021-09-01 CN CN202111022920.XA patent/CN113834463A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2026313A1 (en) * | 2007-08-17 | 2009-02-18 | MAGNETI MARELLI SISTEMI ELETTRONICI S.p.A. | A method and a system for the recognition of traffic signs with supplementary panels |
| CN102435188A (zh) * | 2011-09-15 | 2012-05-02 | 南京航空航天大学 | 一种用于室内环境的单目视觉/惯性全自主导航方法 |
| DE102012111199A1 (de) * | 2012-11-21 | 2014-05-22 | Conti Temic Microelectronic Gmbh | Optische Vorrichtung mit multifokaler Bilderfassung |
| CN104637059A (zh) * | 2015-02-09 | 2015-05-20 | 吉林大学 | 基于毫米波雷达和机器视觉的夜间前方车辆检测方法 |
| WO2021098766A1 (zh) * | 2019-11-20 | 2021-05-27 | 北京影谱科技股份有限公司 | 基于图像序列的orb特征视觉里程计学习方法和装置 |
| CN110930419A (zh) * | 2020-02-13 | 2020-03-27 | 北京海天瑞声科技股份有限公司 | 图像分割方法、装置、电子设备及计算机存储介质 |
| CN111260706A (zh) * | 2020-02-13 | 2020-06-09 | 青岛联合创智科技有限公司 | 一种基于单目相机的稠密深度图计算方法 |
| CN111476106A (zh) * | 2020-03-17 | 2020-07-31 | 重庆邮电大学 | 基于单目相机的直道相对坡度实时预测方法、***及装置 |
| CN112669354A (zh) * | 2020-12-08 | 2021-04-16 | 重庆邮电大学 | 一种基于车辆非完整约束的多相机运动状态估计方法 |
Non-Patent Citations (3)
| Title |
|---|
| TRISTAN LAIDLOW 等: "DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using Single-View Depth and Gradient Predictions", IEEE, 31 August 2019 (2019-08-31) * |
| 崔晓阳: "基于改进的ORB算法的单目移动的增强现实技术的研究与应用", 中国优秀硕士学位论文全文数据库信息科技辑, no. 1, 15 January 2024 (2024-01-15) * |
| 郭力伟 等: "基于单目图像获取道路交通安全研究平面数据的方法", 公路交通科技(应用技术版), no. 12, 15 December 2007 (2007-12-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119896A (zh) * | 2022-01-26 | 2022-03-01 | 南京信息工程大学 | 一种驾驶路径规划方法 |
| CN114119896B (zh) * | 2022-01-26 | 2022-04-15 | 南京信息工程大学 | 一种驾驶路径规划方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| WO2021004548A1 (zh) | 一种基于双目立体视觉***的车辆智能测速方法 | |
| US10354151B2 (en) | Method of detecting obstacle around vehicle | |
| CN112292711B (zh) | 关联lidar数据和图像数据 | |
| EP3735675B1 (en) | Image annotation | |
| US10424081B2 (en) | Method and apparatus for calibrating a camera system of a motor vehicle | |
| EP1394761B1 (en) | Obstacle detection device and method therefor | |
| US8180100B2 (en) | Plane detector and detecting method | |
| US8154594B2 (en) | Mobile peripheral monitor | |
| CN110307791B (zh) | 基于三维车辆边界框的车辆长度及速度计算方法 | |
| CN111862235B (zh) | 双目相机自标定方法及*** | |
| CN112507862B (zh) | 基于多任务卷积神经网络的车辆朝向检测方法及*** | |
| CN113673282A (zh) | 目标检测方法和装置 | |
| CN108021899A (zh) | 基于双目相机的车载智能前车防撞预警方法 | |
| CN112017236B (zh) | 一种基于单目相机计算目标物位置的方法及装置 | |
| CN107688174A (zh) | 一种图像测距方法、***、存储介质和车载视觉感知设备 | |
| CN115797454A (zh) | 一种鸟瞰图视角下多摄像机融合感知方法及装置 | |
| CN111862236B (zh) | 定焦双目相机自标定方法及*** | |
| CN113781562A (zh) | 一种基于道路模型的车道线虚实配准和自车定位方法 | |
| CN112927309A (zh) | 一种车载相机标定方法、装置、车载相机及存储介质 | |
| Sakic et al. | Camera-LIDAR object detection and distance estimation with application in collision avoidance system | |
| CN113834463A (zh) | 基于绝对尺寸的智能车侧方行人/车单目深度测距方法 | |
| CN114118247A (zh) | 一种基于多传感器融合的无锚框3d目标检测方法 | |
| Leu et al. | High speed stereo vision based automotive collision warning system | |
| CN114648639B (zh) | 一种目标车辆的检测方法、***及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |