CN110310371B - 一种基于车载单目聚焦序列图像构建对象三维轮廓的方法 - Google Patents

Abstract

本发明属于车辆工程中的自动驾驶领域和对象识别技术领域，解决了现有智能驾驶领域中实现对象三维重建的耗时、费力、效率低和难以达到高精度的技术问题。通过拍摄单元获取目标物的序列图像，经过处理得到预处理图像序列；提取每一帧预处理序列图像的清晰像素点，计算预处理序列图像每一像素点的聚焦因子，并求取全聚焦图像中所有像素点达到最大聚焦因子时对应的图像序列号，相邻序列图像之间的深度距离Δz可以根据实时车速v与Δt的乘积来计算，将Δz作为对应像素点的深度值，再根据张正友标定法标定的结果计算出像素坐标系与世界坐标系上对应的点的坐标，从而通过二维图像序列进行三维重建，重构出目标物的三维轮廓。

Description

一种基于车载单目聚焦序列图像构建对象三维轮廓的方法

技术领域

本发明属于车辆工程中的自动驾驶领域和对象识别技术领域，具体是一种基于图像处理构建对象三维轮廓的车载对象自动三维模型构建***。

背景技术

目前，智能驾驶领域实现对象三维重构的主要方案有视觉和激光雷达两大类。其中，视觉是利用摄像头来获取对象物体表面信息，根据摄像头的数量，可以分为单目视觉和双目视觉。单目视觉是使用结构光发射一个已知的图案，摄像头接收到了经过物体表面反射的图案之后，经过图像处理计算出和原始图案的差异，从而实现三维重构。双目视觉是基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。

当前技术使用视觉方法做三维重构的短板很明显，单目和双目鲁棒性都很差，这种***的精度会随着周围环境的变化而受到影响，当外界光线由强变弱时，双目视觉的精度会大打折扣。而单目视觉恰恰相反，它只适合光线较暗的环境，如果周围的光线很强，摄像头就很难准确的识别亮点。

激光雷达实现三维重建大体也可以分为两类，一类是基于三角测量法，另一种被称为ToF测距法。基于三角测量算法的原理是序列CCD实时感应激光发射到物体表面形成的反射信息，由已知的发射角度α、接收角度β和激光头与CCD的距离，根据正弦定理就可以算出雷达与物体的距离。ToF(Time Of Flight)的原理是通过测量光脉冲之间的传输延迟时间来计算对象物体的距离。

激光雷达的难点就在于如何通过硬件进行高速数据采集并通过算法实时处理，获得高精度原始点云数据，并且造价相比起摄像机视觉来说相对较高。

发明内容

本发明所要解决的技术问题是：如何改变和解决现有智能驾驶领域中实现对象三维重建的耗时、费力、效率低和难以达到高精度的缺点，从而提供一种能实现快速高精度重构对象三维轮廓的***。

本发明是采用如下技术方案实现的：一种基于车载单目聚焦序列图像构建对象三维轮廓的方法，包括如下步骤：

(a)移动载体带动拍摄单元沿目标物延伸方向移动，并每隔Δt时间拍摄一张目标物的图像，从而在一段时间内获取目标物的N帧序列图像；

(b)对拍摄单元拍摄得到的全部序列图像进行图像处理，对图像进行裁剪变换，以去除序列图像中目标物测量区域之外的部分非相关背景区域，得到预处理序列图像；

(c)提取每一帧预处理序列图像的清晰像素点，以构建全聚焦图像；确定预处理序列图像中的任一像素点的像素点聚焦评价窗口，计算预处理序列图像每一像素点的聚焦因子：对于预处理序列图像中的任一像素点(i,j)，以该像素点为起点，在其上下左右四个邻域生成四个灰度共生矩阵，分别计算求得四个灰度共生矩阵相关性特征值的最大值，以此确定该像素点四个方向的最大相关像素点，并以这四个像素点为其评价窗口的边缘位置确定该像素点聚焦评价窗口U(i,j)，则其聚焦评价窗口宽度尺寸W1＝D1+D2+1，高度尺寸W2＝D3+D4+1，其中D1、D2、D3、D4分别表示四个方向上的最大相关像素点与所计算的任一像素点(i,j)之间间隔的像素个数加1，聚焦评价窗口尺寸为W1×W2；利用聚焦评价窗口计算出每一帧图像中的各像素点的聚焦因子；其中，聚焦因子为对应像素点在聚焦评价窗口中的每个像素点评价值和的平均值；每一帧预处理图像中任意像素点(i,j)的聚焦因子为该像素点在其评价窗口中的每个像素点评价值和的平均值，如下式所示：F_k(i,j)＝∑(g_x(x,y)²+g_y(x,y)²)²/(w₁×w₂)

其中，g_x(x,y)和g_y(x,y)分别表示第k帧预处理序列图像I_k和Sobel算子在X和Y方向的卷积；每帧图像中达到最大聚焦因子的像素点作为该帧图像的清晰像素点；来自所有图像中的清晰像素点构成一副全聚焦图像；

(d)求取全聚焦图像中每个像素点对应的图像序列号，根据图像序列号的先后顺序表示目标物表面点的相对位置关系，相邻序列图像之间的深度距离Δz可以根据实时移动载体的速度v与Δt的乘积来计算，进而得知目标物表面所有点的深度关系：求得获取第k副图像时拍摄单元在世界坐标系中的Z向坐标Z_k，Z_k是从1到k所有的Δz的和，如下所示：

记下第k幅图像中每一个清晰像素点在其所在图像的图像坐标系中的像素坐标(i_k、j_k)；根据像素坐标系到世界坐标系的转换矩阵由所有清晰像素点的像素坐标(i_k、j_k)得到其对应的世界坐标(X_k，Y_k，Z_k)；依此方法，得到预处理序列图像中所有图像的清晰像素点在世界坐标系中的坐标集合{(X_k，Y_k，Z_k)|1≤k≤N}，N为序列图像的总图像数；

(e)根据目标物表面点在世界坐标系中的坐标集合{(X_k，Y_k，Z_k)|1≤k≤N}，将每个点与其周围领域中的点连接构成三角网格，由三角网格组成的面连接形成目标物表面的轮廓图形实现目标物表面在世界坐标系中三维轮廓图形的重构。

本发明的工作原理是：根据透镜成像原理，当焦距和相距一定时，物距是唯一确定的；成像时，物体上只有满足该确定物距的点才能在像平面上得到清晰的像，称为聚焦清晰图像；如果不满足该确定物距，则不能得到清晰的点图像，得到的是一个模糊圆，此时的图像称为离焦图像。所以根据聚焦清晰原理，首先获取一系列在景深方向上的物体的序列图像，使整个序列覆盖物体在景深方向上全部信息；然后在序列图像中通过一定的融合规则获取每一个聚焦清晰的点，从而重建出一幅每一景深部位均十分清晰的图像，称之为全聚焦图像；再通过聚焦分析恢复深度信息，从而通过二维图像序列进行三维重建。相较于其他方法，该方法不需进行复杂的光源定标操作，对图像采集时的光照条件也不苛刻，测距范围比较大，构建三维模型速度也很可观。

附图说明

图1为某像素点与其聚焦评价窗口的示意图。

图2为本发明所用实验装置示意图。

图3为摄像头在位置①、②、③拍摄的图像以及三维重构还原的目标物轮廓示意图。

具体实施方式

本发明设计了一种基于图像处理的目标物表面轮廓测量方法，该方法的步骤包括：汽车搭载一拍摄单元沿目标物延伸方向移动，并每隔Δt时间拍摄一张目标物的图像，从而在一段时间内获取目标物的序列图像；对拍摄单元拍摄得到的全部序列图像进行图像处理，对图像进行裁剪变换，以去除序列图像中目标物测量区域之外的部分非相关背景区域，得到预处理序列图像；提取每一帧预处理序列图像的清晰像素点，计算预处理序列图像每一像素点的聚焦因子，并求取全聚焦图像中所有像素点达到最大聚焦因子时对应的图像序列号，相邻序列图像之间的深度距离Δz可以根据实时车速v与Δt的乘积来计算，将Δz作为对应像素点的深度值，再根据张正友标定法标定的结果计算出像素坐标系与世界坐标系上对应的点的坐标，从而通过二维图像序列进行三维重建，重构出目标物的三维轮廓。

下面结合具体实施方式对本发明的技术方案作进一步更详细的描述。本发明所采用的技术方案是：一种基于图像处理的车载自动测量***，按照如下步骤进行：

步骤一，将CCD图像采集发送装置固定在车身之上；

步骤二，打印一张棋盘格，把它贴在一个平面上，作为标定物。通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片。将这组通过张正友标定法得到相机成像线性模型中的4个内部参数：u₀、v₀、f_x、f_y，分别表示主点的像素坐标和相机的有效焦距；2个外部参数：R、t，分别表示相机坐标系与世界坐标系的旋转关系和平移关系，根据这六个参数即可计算出像素坐标系到世界坐标系转换关系。

步骤三，汽车带动CCD图像采集发送装置沿目标物延伸方向移动，并每隔Δt时间拍摄一张目标物的图像，从而在一段时间内获取目标物的N帧序列图像，并将获取的图像通过数据线传至电脑。

步骤四，对拍摄单元拍摄得到的全部序列图像进行图像处理，对图像进行裁剪变换，以去除序列图像中目标物测量区域之外的部分非相关背景区域，得到预处理序列图像。

步骤五，提取每一帧预处理序列图像的清晰像素点，以构建全聚焦图像，确定全聚焦图像中的任一像素点的像素点聚焦评价窗口，计算预处理序列图像每一像素点的聚焦因子：对于全聚焦图像中的任一像素点(i,j)(图1中浅色居中方块)，以该像素点为起点，在其上下左右四个邻域生成四个灰度共生矩阵，分别计算求得四个灰度共生矩阵相关性特征值的最大值(四个方向各有一个最大值)，以此确定该像素点四个方向的最大相关像素点(图1中深色的四个方块)，并以这四个像素点为其评价窗口的边缘位置确定该像素点聚焦评价窗口U(i,j)，则其聚焦评价窗口宽度尺寸W1＝D1+D2+1，高度尺寸W2＝D3+D4+1，其中D1、D2、D3、D4表示像素个数，聚焦评价窗口尺寸为W1×W2。如图1中所示，D1表示某一像素点(浅色方块)与其最左边最大相关像素点的间隔的像素点个数加1(间隔数为1，D1＝2)，D2表示表示某一像素点与其最右边最大相关像素点的间隔的像素点个数加1(间隔数为0，D2＝1)。利用聚焦评价窗口计算出每一帧图像中的各像素点的聚焦因子；其中，聚焦因子为对应像素点在聚焦评价窗口中的每个像素点评价值和的平均值。每一帧预处理图像中任意像素点(i,j)的聚焦因子为该像素点在其评价窗口中的每个像素点评价值和的平均值，如下所示：F_k(i,j)＝∑(g_x(x,y)²+g_y(x,y)²)²/(w₁×w₂)

其中，g_x(x,y)和g_y(x,y)分别表示第k帧预处理序列图像I_k和Sobel算子在X和Y方向的卷积。

步骤六，求取全聚焦图像中所有像素点达到最大聚焦因子时对应的图像序列号，可以根据序列号的先后顺序表示目标物表面点的相对位置关系，相邻序列图像之间的深度距离Δz可以根据实时车速v与Δt的乘积来计算，进而得知目标物表面所有点的深度关系。求得获取第k副(k为序列号)图像时CCD图像采集发送装置在世界坐标系中的Z向坐标Z_k，Z_k是从1到k所有的Δz的和，如下所示：

记下第k幅图像中每一个聚焦清晰的像素点在该图图像坐标系中的像素坐标(i_k、j_k)；再根据第二步相机标定得到的像素坐标系到世界坐标系的转换关系：

其中，u₀、v₀、f_x、f_y分别表示主点的像素坐标和相机的有效焦距；R、t分别表示相机坐标系与世界坐标系的旋转关系和平移关系，z_c表示主点在相机坐标系下的z坐标。根据转换关系由所有清晰像素点的像素坐标(i_k、j_k)得到其对应的世界坐标(X_k，Y_k，Z_k)。依此方法，得到序列图像中所有图像的聚焦清晰像素所对应目标物的点在世界坐标系中的坐标集合{(X_k，Y_k，Z_k)|1≤k≤N}，N为序列图像的总图像数；

步骤七，根据目标物表面点在世界坐标系中的坐标集合{(X_k，Y_k，Z_k)|1≤k≤N}，将每个点与其周围领域中的点连接构成三角网格，由三角网格组成的面连接形成目标物表面的轮廓图形实现目标物表面在世界坐标系中三维轮廓图形的重构；在相邻点间坐标值用线性插值的方法获得，将目标物表面的重构图形显示在计算机控制装置的显示屏上。

如图2所示，车载摄像头在位置①、②、③对要识别目标物④分别拍一张照片，由于车身距目标物的距离发生变化，聚焦位置也发生变化，拍摄位置①、②、③所对应的聚焦位置分别为⑴、⑵、⑶。摄像头在位置①、②、③拍摄的图像以及三维重构还原的目标物轮廓如图3所示。

Claims (3)

1.一种基于车载单目聚焦序列图像构建对象三维轮廓的方法，其特征在于，包括如下步骤：

(a)移动载体带动拍摄单元沿目标物延伸方向移动，并每隔Δt时间拍摄一张目标物的图像，从而在一段时间内获取目标物的N帧序列图像；

(b)对拍摄单元拍摄得到的全部序列图像进行图像处理，对图像进行裁剪变换，以去除序列图像中目标物测量区域之外的部分非相关背景区域，得到预处理序列图像；

(c)提取每一帧预处理序列图像的清晰像素点，以构建全聚焦图像；确定预处理序列图像中的任一像素点的像素点聚焦评价窗口，计算预处理序列图像每一像素点的聚焦因子：对于预处理序列图像中的任一像素点(i,j)，以该像素点为起点，在其上下左右四个邻域生成四个灰度共生矩阵，分别计算求得四个灰度共生矩阵相关性特征值的最大值，以此确定该像素点四个方向的最大相关像素点，并以这四个像素点为其评价窗口的边缘位置确定该像素点聚焦评价窗口U(i,j)，则其聚焦评价窗口宽度尺寸W1＝D1+D2+1，高度尺寸W2＝D3+D4+1，其中D1、D2、D3、D4分别表示四个方向上的最大相关像素点与所计算的任一像素点(i,j)之间间隔的像素个数加1，聚焦评价窗口尺寸为W1×W2；利用聚焦评价窗口计算出每一帧图像中的各像素点的聚焦因子；其中，聚焦因子为对应像素点在聚焦评价窗口中的每个像素点评价值和的平均值；每一帧预处理图像中任意像素点(i,j)的聚焦因子为该像素点在其评价窗口中的每个像素点评价值和的平均值，如下式所示：F_k(i,j)＝∑g_x(x,y)²+g_y(x,y)²)²/(w₁×w₂)

其中，g_x(x,y)和g_y(x,y)分别表示第k帧预处理序列图像I_k和Sobel算子在X和Y方向的卷积；每帧图像中达到最大聚焦因子的像素点作为该帧图像的清晰像素点；来自所有图像中的清晰像素点构成一副全聚焦图像；

(d)求取全聚焦图像中每个像素点对应的图像序列号，根据图像序列号的先后顺序表示目标物表面点的相对位置关系，相邻序列图像之间的深度距离Δz可以根据实时移动载体的速度v与Δt的乘积来计算，进而得知目标物表面所有点的深度关系：求得获取第k副图像时拍摄单元在世界坐标系中的Z向坐标Z_k，Z_k是从1到k所有的Δz的和，如下所示：

记下第k幅图像中每一个清晰像素点在其所在图像的图像坐标系中的像素坐标(i_k、j_k)；根据像素坐标系到世界坐标系的转换矩阵由所有清晰像素点的像素坐标(i_k、j_k)得到其对应的世界坐标(X_k，Y_k，Z_k)；根据步骤(d)，得到预处理序列图像中所有图像的清晰像素点在世界坐标系中的坐标集合{(X_k，Y_k，Z_k)|1≤k≤N}，N为序列图像的总图像数；

(e)根据目标物表面点在世界坐标系中的坐标集合{(X_k，Y_k，Z_k)|1≤k≤N}，将每个点与其周围领域中的点连接构成三角网格，由三角网格组成的面连接形成目标物表面的轮廓图形实现目标物表面在世界坐标系中三维轮廓图形的重构。

2.如权利要求1所述的一种基于车载单目聚焦序列图像构建对象三维轮廓的方法，其特征在于，像素坐标系到世界坐标系转换关系采用如下方法得到：

步骤一，将拍摄单元固定在移动载体之上；

步骤二，将标定物固定在一个平面上；通过调整标定物或拍摄单元的方向，为标定物拍摄一些不同方向的照片，将这组照片通过张正友标定法得到相机成像线性模型中的4个内部参数：u₀、v₀、f_x、f_y，分别表示主点的像素坐标和相机的有效焦距；2个外部参数：R、t，分别表示相机坐标系与世界坐标系的旋转关系和平移关系，z_c表示主点在相机坐标系下的z坐标，根据这七个参数即可计算出像素坐标系到世界坐标系转换关系：

3.如权利要求1或2所述的一种基于车载单目聚焦序列图像构建对象三维轮廓的方法，其特征在于，拍摄单元采用CCD图像采集发送装置，移动载体为汽车。

Images