CN108257092A - 一种车身环视图像底部显示方法 - Google Patents

一种车身环视图像底部显示方法 Download PDF

Info

Publication number
CN108257092A
CN108257092A CN201810048527.XA CN201810048527A CN108257092A CN 108257092 A CN108257092 A CN 108257092A CN 201810048527 A CN201810048527 A CN 201810048527A CN 108257092 A CN108257092 A CN 108257092A
Authority
CN
China
Prior art keywords
vehicle
image
point
angle
vehicle body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810048527.XA
Other languages
English (en)
Inventor
王艳明
王波
胡振程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Software Technology (shanghai) Co Ltd
Original Assignee
New Software Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Software Technology (shanghai) Co Ltd filed Critical New Software Technology (shanghai) Co Ltd
Priority to CN201810048527.XA priority Critical patent/CN108257092A/zh
Publication of CN108257092A publication Critical patent/CN108257092A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种车身环视图像底部显示方法，包括以下步骤：S1，获取车辆的车身环视图像；S2，估计所述车辆的运动轨迹；S3，根据所述车辆的运动轨迹，估计所述车身环视图像中的车底缺失图像的四个顶点的运动轨迹；S4，根据所述四个顶点的运动轨迹，获取所述车底缺失图像的历史图像；S5，将所述历史图像填充到所述车身环视图像的当前帧中进行拼接融合。本发明的车身环视图像底部显示方法，通过获取车辆运动轨迹，进而获取车辆底部阴影的运动轨迹来得到车辆底部的历史图像，然后填充到当前帧图像中进行拼接融合，使得车身环视图像得以补全，保证了车辆底部能够实时显示。

Description

一种车身环视图像底部显示方法
技术领域
本发明涉及车身环视图像领域，尤其涉及一种车身环视图像底部显示方法。
背景技术
传统的车辆的全景影像显示***，其拼接融合后的效果只能显示车身周围摄像头拍摄的可见范围，不能对车身底部进行显示，使得用户无法实时得到车身底部的环境信息。
当前车辆全景环视***主要采用4个摄像头分布于车身四周来采集车身图像，其具体实现原理为：将每个摄像头采集到的部分车身图像通过图像算法拼接成完整的车身周围图像后，和车身模型一起显示在用户屏幕上。然而在显示的时候，因为摄像头无法捕捉到车身模型底部区域的图像，导致车身模型底部出现无法显示的阴影区域，不仅显示效果差，也会影响驾驶人员在车辆行驶过程中对于位置的判断和路况的分析。
发明内容
本发明的目的在于解决上述技术问题，提供一种车身环视图像底部显示方法，使得车身环视图像中的底部阴影部分得以显示。
为实现上述发明目的，本发明提供一种车身环视图像底部显示方法，所述方法包括：S1，获取车辆的车身环视图像；S2，估计所述车辆的运动轨迹；S3，根据所述车辆的运动轨迹，估计所述车身环视图像中的车底缺失图像的四个顶点的运动轨迹；S4，根据所述四个顶点的运动轨迹，获取所述车底缺失图像的历史图像；S5，将所述历史图像填充到所述车身环视图像的当前帧中进行拼接融合。
优选地，所述步骤S2包括：S21，检测所述车身环视图像中的角点；
S22，通过LK跟踪光流法对所述角点进行跟踪，获取所述角点在下一帧图像中的跟踪点；S23，通过车载传感器和车辆运动模型获取所述车辆的第一运动信息；S24，基于所述第一运动信息，对所述角点进行筛选；S25，对所述角点进行二次筛选得到最佳矩阵模型，通过所述矩阵模型计算所述车辆的第二运动信息；S26，将所述第一运动信息和所述第二运动信息进行卡尔曼滤波融合，得到所述车辆的运动轨迹。
优选地，所述步骤S21包括：S211，分别计算被测像素点与预定半径上的多个像素点之间的多个像素差的绝对值；S212，如果所述多个像素差的绝对值中有预定数量的像素差的绝对值大于阈值，则将所述被测像素点作为特征点；S213，判断所述特征点为中心的邻域内是否只有所述特征点这一个特征点，如果只有一个特征点，则将所述特征点作为所述角点。
优选地，所述步骤S21还包括：如果所述特征点为中心的邻域内存在多个特征点，则计算每个特征点的得分值，所述得分值为所述特征点与所述多个像素点之间的多个像素差的绝对值的总和；如果所述特征点的得分值最大，则将所述特征点作为所述角点。
优选地，所述步骤S23包括：通过所述车载传感器获取所述车辆的方向盘转角和车速信息；基于所述车辆运动模型和所述方向盘转角计算出所述车辆的转弯半径；基于所述转弯半径、所述方向盘转角、所述车速信息计算所述车辆的移动距离和偏角。
优选地，在计算出所述车辆的移动距离和偏角之后，根据世界坐标系和图像坐标系的关系，将所述车辆的移动距离和偏角转换为图像的移动量和转角。
优选地，步骤S24包括：S241，基于所述图像的移动量和转角设置预定值；S242，通过所述车辆运动模型估计所述角点在下一帧图像中的位置点；S243，确定所述跟踪点是否在以所述位置点为中心以所述预定值为半径的区域内；S244，如果所述跟踪点在所述区域内，则保留所述角点，否则删除所述角点。
优选地，在步骤S24之后并且在步骤S25之前，还可以使用LK光流跟踪法对筛选后的角点进行筛选，包括：
使用LK光流正向跟踪算法，确定上一帧中的所述角点在当前帧图像中的正向跟踪角点；使用LK光流后向跟踪算法，确定所述正向跟踪角点在所述上一帧中的后向跟踪角点；计算所述上一帧中所述角点与所述后向跟踪角点之间的距离，如果所述距离小于预定阈值，则保留所述角点。
优选地，在步骤25中，使用RANSAC算法对筛选后的角点进行二次筛选，包括：从所述当前帧图像和所述上一帧图像中随机选取3对匹配的角点，这3对角点不共线，得到变换矩阵模型；计算其他所有角点与所述变换矩阵模型的投影误差，如果投影误差小于设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重新选择3对匹配的角点，得到新的变换矩阵模型，并计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于所述设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重复上述选取匹配角点和计算投影误差的步骤，得到相对应的多个内点集；选择多个内点集中含有角点数量最多的内点集作为最优内点集，并将所述最优内点集对应的变换矩阵模型作为最佳矩阵模型。
优选地，通过RANSAC算法得到的所述最佳矩阵模型为：
通过所述最佳矩阵模型H和所述车身环视图像中车辆的后轴中点处的坐标(xc，yc)，计算得到车辆转角δ以及所述车身环视图像中车辆沿水平方向的运动距离dx和沿竖直方向的运动距离dy：
结合两帧图像之间的时间差Δt和所述车身环视图像中每像素所代表的实际距离pixel_d，计算得出所述车辆的运动距离D和运动速度V：
优选地，步骤S26包括：分别根据所述第一运动信息和所述第二运动信息建立所述车辆的状态参数；设置卡尔曼滤波融合方程式的矩阵参数，将所述车辆的状态参数代入所述卡尔曼滤波融合方程式计算所述车辆的运动轨迹。
优选地，重复所述步骤S1-S5直至车辆停止，并保存最后一张图像作为下次车辆启动前的历史图像。
根据本发明的车身环视图像底部显示方法，通过获取车辆底部阴影的运动轨迹进而得到车辆底部的历史图像，然后填充到当前帧图像中进行拼接融合，使得车身环视图像得以补全，从而保证了车辆底部也能够实时地显示，有助于驾驶人员在车辆行驶过程中对位置或路况的分析。
此外，利用车载传感器获取的车辆运动信息得到车辆的移动距离和偏角并转换为图像的移动量和转角，然后通过对角点检测、筛选，筛选后得到最佳矩阵模型，通过最佳矩阵模型计算车辆的第二运动信息得到图像的运动信息，并最终将图像的移动量和转角与图像的运动信息进行融合，得到车辆的运动轨迹。相比于现有技术中单独使用车载传感器或图像光流法来估计车辆运动轨迹的方法而言，使得两种方法形成很好的互补，规避了各自方法的不足，使车辆不管在高速还是低速的情况下，都能以较高的精度对车辆的轨迹进行估计，即保证了对于车辆底部阴影图像运动轨迹估计的精确性，从而有利于保证获取的车辆底部历史图像的精确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示意性表示根据本发明的车身环视图像底部显示方法的流程图；
图2是示意性表示车辆的摄像装置的设置图；
图3是示意性表示车身环视图像未补全时的示图；
图4是示意性表示估计车辆运动轨迹方法的流程图；
图5是示意性表示根据本发明的FAST角点检测方法检测角点的流程图；
图6是示意性表示FAST角点检测方法的示图；
图7(a)是示意性表示车辆双轨运动模型的示图；
图7(b)是示意性表示车辆单轨运动模型的示图；
图8是示意性表示本发明使用车辆单轨运动模型计算车辆的运动的示图；
图9是示意性表示角点筛选方法的流程图；
图10是示意性表示角点筛选方法的示图；
图11示意性表示采用LK光流跟踪法对角点进行筛选的示图；
图12是示意性表示截取黑色块历史图像填充到当前帧图像的示图；
图13是示意性表示车身环视图像底部图像补全的示图。
具体实施方式
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
图1是示意性表示根据本发明的车身环视图像底部显示方法的流程图。如图1所示，根据本发明的车身环视图像底部显示方法包括以下步骤：S1，获取车辆的车身环视图像；S2，估计车辆的运动轨迹；S3，根据车辆的运动轨迹，估计车身环视图像中的车底缺失图像的四个顶点的运动轨迹；S4，根据四个顶点的运动轨迹，获取车底缺失图像的历史图像；S5，将历史图像填充到车身环视图像的当前帧中进行拼接融合。
在本发明的方法中，首先在步骤S1中获取车辆的车身环视图像。具体地，获取车辆的车身环视图像需要通过安装在车身上的多个摄像头来采集车辆四周的图像，然和对采集到的图像进行标定拼接融合得到车身环视图像。
图2是示意性表示根据本发明的车辆的摄像装置的设置图。图3是示意性表示车身环视图像未补全时的示图。
如图2所示，可以在车身周围安装四个摄像头采集车身周围图像，其中L是左摄像头，F是前摄像头，R是右摄像头，B为后摄像头。通过对四个摄像头采集到的图像标定图像畸变参数，并矫正图像畸变参数，然后提取图像中的特征将多个图像拼接融合，生成车身环视图像。例如，如图3所示，生成的环视图像为车身周围图像的俯视图像。注意，安装多个摄像头以及如何获取车身环视图像可以采用现有技术的多种方式，本文将不再赘述。
此时生成的车身环视图像中存在黑色块，即车辆的底部无法得到实时的显示。为使得车底图像能够实时的显示，还需进一步的对车身环视图像进行处理。在获取车身环视图像之后，接着进行步骤S2，估计车辆的运动轨迹。
图4是示意性表示根据本发明估计车辆运动轨迹方法的流程图。如图4所示，估计车辆的运动运动轨迹可以包括以下步骤：S21，检测车身环视图像中的角点；S22，通过LK跟踪光流法对角点进行跟踪，获取角点在下一帧图像中的跟踪点；S23，通过车载传感器和车辆运动模型获取车辆的第一运动信息；S24，基于第一运动信息，对角点进行筛选；S25，对角点进行二次筛选得到最佳矩阵模型，通过矩阵模型计算车辆的第二运动信息；S26，将第一运动信息和第二运动信息进行卡尔曼滤波融合，得到车辆的运动轨迹。
具体来说，根据本发明的一种实施方式，在步骤S21中，可以采用FAST角点检测的方法来检测车身环视图像中的角点。
图5是示意性表示根据本发明的FAST角点检测方法检测角点的流程图。图6是示意性表示FAST角点检测方法的示图。
如图5所示，采用FAST角点检测方法检测车身环视图像中的角点可以包括：S211，分别计算被测像素点与预定半径上的多个像素点之间的多个像素差的绝对值；S212，如果多个像素差的绝对值中有预定数量的像素差的绝对值大于阈值，则将被测像素点作为特征点；S213，判断以特征点为中心的邻域内是否只有这一个特征点，如果只有一个特征点，则将该特征点作为角点。以下以图6为例具体说明FAST角点检测方法。
具体如图6所示，以被测像素点p为中心，在半径为3(该半径可根据需要进行设置)的圆形邻域内，共有16个像素点(p1-p16)。设定一个阈值，分别计算像素点p1-p16与被测像素点P之间的像素差的绝对值，如果16个像素点与被测像素点p的像素差的绝对值中至少有9个像素差的绝对值大于设定的阈值，则将被测像素点p作为特征点。否则，被测像素点p不是特征点。然后，再对下一个像素点进行检测。
在具体的角点检测中，也可以首先计算p与p1、p9的像素差的绝对值，如果两个值都小于阈值，则p不是角点。如果两个值中至少一个大于阈值，则计算p与p1、p9、p5、p13的像素差的绝对值，如果有三个绝对值超过阈值，则再计算p与p1-p16的像素差的绝对值。如果有9个绝对值大于阈值，则将p确定为特征点。
在确定特征点之后，还需要确定以像素点p为中心的邻域(例如，3×3，5×5)内是否存在多个特征点。如果存在，则计算每个特征点的得分值，如果被测像素点p的得分值最大，则将被测像素点p作为角点。具体地，计算每个特征点的得分值的方法是：计算特征点与邻域内的多个像素点的像素差的绝对值得总和，例如，p与p1-p16的像素差的绝对值的总和。如果以像素点p为中心的邻域内只有像素点p一个特征点，则将该特征点p作为角点。
接着，进行到步骤S22，通过LK跟踪光流法对角点进行跟踪，获取角点在下一帧图像中的跟踪点，然后进行到步骤S23，通过车载传感器和车辆运动模型获取车辆的第一运动信息。根据得到的第一运动信息，得到车辆的移动距离和偏角。车辆传感器可以包括方向盘转角传感器和速度传感器。具体地，步骤S23可以包括：通过方向盘转角传感器和速度传感器获取车辆的方向盘转角和车速信息；基于车辆运动模型、方向盘转角、车速信息计算车辆的转弯半径；基于得到的车辆转弯半径、方向盘转角、车速信息计算车辆的移动距离和偏角。
以下参照图7和图8进行具体的说明。图7是示意性表示车辆双轨运动模型和车辆单轨运动模型的示图。图8是示意性表示本发明使用车辆单轨运动模型计算车辆的运动的示图。
在本实施方式中，车辆运动模式为基于单轨的车辆运动模型。在图7(a)所示的双轨运动模型中，可以将双轨运动的两前轮近似处理为一个处于两前轮中间位置(图示W/2处，W表示左右轮的间距)的中间位置轮，并以此位置作为车辆前轮，同理将两后轮近似处理为处于两后轮的中间位置的一个中间位置轮，并以此位置作为车辆后轮，从而得到图7(b)所示的单轨模型，其中L表示前后轮的距离。
图8中示出了车辆在k时刻和k+1时刻的单轨模型示图。图中的R1和R2分别是后轮和前轮的转弯半径，图中的虚线框是车辆在k+1时刻的单轨模型位置，实线框是车辆在k时刻的单轨模型位置，δ表示的是方向盘的转角，γ表示的是车辆的偏角。
现在要通过计算获取车辆的移动距离和偏角，实际就是计算从车辆位置(x，y)k到车辆位置(x，y)k+1的距离以及偏角γ的值。计算时首先要计算出车辆前轮和后轮的转弯半径R2和R1：
然后，基于得出的转弯半径、方向盘转角以及车速计算车辆的移动距离dx、dy和车身偏角γ，计算公式如下：
γ＝v*dt/R2
其中v表示车辆速度，dt表示车辆运动时间，d表示车辆移动距离，dx表示车辆在x方向上的移动距离，dy表示车辆在y方向上的移动距离。
在计算出车辆的移动距离和偏角后，根据世界坐标系和图像坐标系的对应关系，将车辆的移动距离和偏角转换为图像的移动量和转角。具体地，首先明确世界坐标系和图像坐标系的对应关系，即明确图像经过标定后每像素所代表的实际距离a，然后计算出相对应的图像信息的移动量Dx、Dy和转角θ：
Dx＝dx/a
Dy＝dy/a
θ＝γ
在通过车载传感器和车辆运动模型获取到车辆的第一运动信息之后，对之前检测的角点可以进行筛选。以下参照图9至图10进行详细描述。
图9是示意性表示角点筛选方法的流程图。图10是示意性表示角点筛选方法的示图。图9和图10所示的筛选过程是角点的第一次筛选。
如图9所示，角点的第一次筛选可以包括：S241，基于图像的移动量和转角设置预定值；S242，通过车辆运动模型估计角点在下一帧图像中的位置点；S243，确定步骤S22中获取的跟踪点是否在以位置点为中心以预定值为半径的区域内；S244，如果跟踪点在该区域内，则保留角点，否则删除角点。以下以图10为例具体说明角点筛选方法。其中，在步骤S241中，本领域技术人员基于噪声(波动)等因素并结合经验来设置用于筛选角点的预定值。
具体如图10所示，P0表示上一帧图像的角点，r表示基于图像的移动量和转角设置的预定值，P1表示通过车辆运动模型估计角点P0在下一帧图像中的位置点，P2表示根据步骤S3获得的跟踪点，判断跟踪点P2是否在以P1为中心以r为半径的区域内，如图10所示，跟踪点P2不在上述区域内，则删除角点P0，如果跟踪点P0在区域内，则保留角点P0。
此后，在根据本发明的车身环视图像底部显示方法中，还需要对角点进行二次筛选，得到最佳矩阵模型，由此提高车辆运行轨迹估计的精度。当然，为进一步提高通过角点得到的最佳矩阵模型的精度，可以在二次筛选之前使用其他方法对角点先进行筛选，即在步骤S24之后并且在步骤S25之前还可以对角点进行多次筛选。
参照图11，例如可以在步骤S24之后并且在步骤S25之前使用LK光流跟踪法对角点进行筛选，具体过程可以为：首先使用金字塔LK光流正向跟踪算法，确定上一帧中的角点(例如，图11中的T0)在当前帧图像中的正向跟踪角点(例如，图11中的T01)；然后使用金字塔LK光流后向跟踪算法，确定正向跟踪角点(T01)在上一帧中的后向跟踪角点(例如，图11中的T10)；最后计算角点(T0)与后向跟踪角点(T10)之间的距离，如果两者之间的距离小于预定阈值d，则将角点保留进行下一步骤。如果两者之间的距离大于预定阈值d，则将此角点去除。注意，如何利用LK光流跟踪算法得到正向跟踪角点和后向跟踪角点对于本领域技术人员来说是公知的，因此本文不再赘述。
在基于车辆的第一运动信息或基于车辆的第一运动信息以及LK跟踪光流对角点进行筛选后，使用RANSAC算法对角点进行二次筛选，可以包括以下步骤：从当前帧图像和上一帧图像中随机选取3对匹配的角点，这3对角点不共线，得到变换矩阵模型；计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于设定的阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重新选取3对匹配的角点，得到新的变换矩阵模型，并计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于设定的阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重复上述选取匹配角点和计算投影误差的步骤，得到相对应的多个内点集；选择多个内点集中含有角点数量最多的内点集作为最优内点集，并将最优内点集对应的变换矩阵模型作为最佳矩阵模型。
总的来说，角点的二次筛选是通过RANSAC算法寻找到一个最佳变换矩阵模型，使得满足该变换矩阵模型的角点最多。具体地，可以假定变换矩阵H的定义如下：
假设当前帧正向跟踪角点坐标为(x’，y’)，上一帧匹配的角点坐标为(x，y)，则有：
由上述矩阵可以看出，一对匹配角点可以构造2个方程，但矩阵有6个未知参数，因此至少要3对匹配角点，通过3对匹配角点即可求出变换矩阵H。然后按照下列关系式将之前通过LK光流法筛选的其他的匹配角点带入到矩阵中计算投影误差。
其中t表示设定阈值，如果角点对满足上述关系式则将角点对加入内点集。然后重复上述选择角点和计算投影误差的步骤，得到多个内点集。通过比较多个内点集中的角点数量，将含有角点数量最多的内点集作为最优内点集。例如，通过某4对角点对得到矩阵模型H1，满足矩阵模型H1的内点集中具有的角点的数量最多，即H1矩阵模型为最佳矩阵模型。注意，如何利用RANSAC算法来得到矩阵模型H对于本领域技术人员来说是公知的，因此这里不再赘述。
此后，基于通过RANSAC算法对角点筛选后得到的最佳矩阵模型计算车辆第二运动信息。通过上述最佳矩阵模型H和车身环视图像中车辆的后轴中点处的坐标(xc，yc)，可以计算得出车辆转角δ以及车身环视图像中车辆沿水平方向的运动距离dx、沿竖直方向的运动距离dy。
具体来说，众所周知车辆在运动过程中，转弯时绕着两后轮的中点(后轴中点)处做旋转运动，由于车身环视图像中车辆模型大小与车辆的实际大小存在一定的对应关系，即车身环视图像中的车辆两后轮的轮间距与车辆实际的两后轮的轮间距存在一定的比例关系，由此可以得到车身环视图像中车辆后轴中心处的坐标(xc，yc)。
另外，环视图像中上一帧和当前帧图像的位置关系也可以用以下变换矩阵模型H1来表示：
假设在车身环视图像中，车辆的转角为δ，车辆的水平移动距离为dx，车辆的垂直移动距离为dy(注意：这里的距离都是像素距离)，则有：
x1＝scale*cos(δ)
x2＝-scale*sin(δ)
x3＝(dx-xc)*r1+(dy-yc)*x2+xc
x4＝scale*cos(δ)
x5＝scale*sin(δ)
x6＝(dx-xc)*r4+(dy-yc)*x5+yc
上述6个公式中scale是一个尺度变换因子。比较H和H1可以知道,其实车身环视图像的上一帧和当前帧之间的关系可以由RANSAC算法直接求解出来。也就是说，x1…x6与r1…r6是相等的。因此，可以将r1-r6代入上述公式内计算出车辆转角δ、车身环视图像中车辆的水平移动距离dx，车辆的垂直移动距离dy：
此后，结合前后两帧图像之间的时间间隔Δt和车身环视图像中每像素所代表的实际距离pixel_d，可以计算出车辆的运动距离D、运动速度V：
此外，需要指出的是，除了通过最佳矩阵模型计算车辆的转角信息之外，还可以根据最优内点集中的角点来得到车辆的转角信息，计算方式如下：在上一帧中选取两个距离相距较远的角点，比如A(x0，y0)，B(x1，y1)，如果两个角点的距离AB大于预定值d，则计算AB直线的角度α。同时在当前帧中计算对应直线A’B’直线的角度β，其中A’是与A匹配的正向跟踪角点，B’是与B匹配正向跟踪角点。车辆的转角为δ＝|β-α|。当存在多个相距较远的角点AB时，此时会求出多个车辆转角δ，主要的处理方法是将多个转角δ进行加权平均，将平均值作为最后的车辆转角。
需要特别说明的是，在本发明的技术方案中，随着车辆的行进，之前检测到的图像中角点的数量会减少，因为检测出的角点可能已经不在下一帧图像中。因此，会预先设置一个角点数量的阈值，当某一帧图像中的角点数量小于该阈值时，在保留现有角点的基础上，再次进行角点检测、角点筛选等操作，从而增加新的角点，进而保证运动参数估计的准确性。
此后，将步骤S23和步骤S25得出的第一运动信息和第二运动信息进行卡尔曼滤波融合得到车辆的运动轨迹。卡尔曼滤波融合主要由两部分组成，即先验部分和后验部分。在本发明的实施例中，先验部分的数据是通过车辆运动模型得到的，即上面所述的第一运动信息，后验部分的数据是通过角点得到的，即上面所述的第二运动信息。
具体可以包括：分别根据第一运动信息和第二运动信息建立车辆的状态参数；设置卡尔曼滤波融合方程式的矩阵参数(例如，状态转移矩阵、观测矩阵、预测估计的协方差矩阵、鼓励噪声的协方差矩阵、测量噪声协方差矩阵等)，将车辆的状态参数代入卡尔曼滤波融合方程式计算车辆的运动轨迹。
注意，卡尔曼滤波融合中使用的矩阵参数、方程式以及具体的融合计算对于本领域的技术人员来说是公知的，因此不再赘述。
至此完成步骤S2的内容，接着进行到步骤S3，根据得到的车辆运动轨迹，估计车身环视图像中的车底缺失图像的四个顶点的运动轨迹。但应该注意，本发明并不限于使用上述估计运动轨迹的方法，本发明也可以采用本领域的任何其他运动轨迹方法来实现车底图像的补全。
以图3为例，根据车辆的运动轨迹能够获取到图3中所示黑色块四个顶点的运动轨迹信息，然后根据黑色块四个顶点的运动轨迹获取车底缺失图像的历史图像，即能够得到当前帧图像中的黑色块在历史影像下的图片信息，历史影像可以通过程序进行保存。
最后，将车辆底部的历史图像(黑色块的历史图片信息)填充到当前帧车身环视图像中进行拼接融合。即在车辆行驶过程中，不断按照当前预测的黑色块的位置，从上一帧图像中截取黑色块的历史图像，并填充到当前帧图像中拼接融合。
图12是示意性表示截取黑色块历史图像填充到当前帧图像的示图。图13是示意性表示车身环视图像底部图像补全的示图。
如图12所示，图中黑色块部分表示当前帧车辆底部缺失图像，按照上述方式估计出黑色块四个顶点的运动轨迹，获取黑色块的历史图像，截取图中虚线框部分填充到当前帧黑色块区域，得到当前帧图像与黑色块历史图像的组合，具体的拼接融合过程可采用本领域技术人员公知的方式进行，本文将不再赘述。在车辆运动过程中，不断的重复步骤S1-S5，使得车身环视图像的底部得以实时显示，显示结果参照图13所示。
另外，在根据本发明的车身环视图像底部显示方法中，在车辆行驶过程中重复步骤S1-S5实时显示车辆底部图像，在车辆停止时，保存最后一张图像作为下次车辆启动前的历史图像。
根据本发明的车身环视图像底部显示方法，通过获取车辆底部阴影的运动轨迹进而得到车辆底部的历史图像，然后填充到当前帧图像中进行拼接融合，使得车身环视图像得以补全，从而保证了车辆底部也能够实时地显示，有助于驾驶人员在车辆行驶过程中对位置或路况的分析。
此外，利用车载传感器获取的车辆运动信息得到车辆的移动距离和偏角并转换为图像的移动量和转角，然后通过对角点检测、筛选，筛选后基于剩余的角点计算出图像的运动信息，并最终将图像的移动量和转角与图像的运动信息进行融合，得到车辆的运动轨迹。相比于现有技术中单独使用车载传感器或图像光流法来估计车辆运动轨迹的方法而言，使得两种方法形成很好的互补，规避了各自方法的不足，使车辆不管在高速还是低速的情况下，都能以较高的精度对车辆的轨迹进行估计，即保证了对于车辆底部阴影图像运动轨迹估计的精确性，从而有利于保证获取的车辆底部历史图像的精确性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种车身环视图像底部显示方法，其特征在于，所述方法包括以下步骤：
S1，获取车辆的车身环视图像；
S2，估计所述车辆的运动轨迹；
S3，根据所述车辆的运动轨迹，估计所述车身环视图像中的车底缺失图像的四个顶点的运动轨迹；
S4，根据所述四个顶点的运动轨迹，获取所述车底缺失图像的历史图像；
S5，将所述历史图像填充到所述车身环视图像的当前帧中进行拼接融合。
2.根据权利要求1所述的车身环视图像底部显示方法，其特征在于，所述步骤S2包括：
S21，检测所述车身环视图像中的角点；
S22，通过LK跟踪光流法对所述角点进行跟踪，获取所述角点在下一帧图像中的跟踪点；
S23，通过车载传感器和车辆运动模型获取所述车辆的第一运动信息；
S24，基于所述第一运动信息，对所述角点进行筛选；
S25，对所述角点进行二次筛选得到最佳矩阵模型，通过所述矩阵模型计算所述车辆的第二运动信息；
S26，将所述第一运动信息和所述第二运动信息进行卡尔曼滤波融合，得到所述车辆的运动轨迹。
3.根据权利要求2所述的车身环视图像底部显示方法，其特征在于，所述步骤S21包括：
S211，分别计算被测像素点与预定半径上的多个像素点之间的多个像素差的绝对值；
S212，如果所述多个像素差的绝对值中有预定数量的像素差的绝对值大于阈值，则将所述被测像素点作为特征点；
S213，判断所述特征点为中心的邻域内是否只有所述特征点这一个特征点，如果只有一个特征点，则将所述特征点作为所述角点。
4.根据权利要求3所述的车身环视图像底部显示方法，其特征在于，所述步骤S21还包括：
如果所述特征点为中心的邻域内存在多个特征点，则计算每个特征点的得分值，所述得分值为所述特征点与所述多个像素点之间的多个像素差的绝对值的总和；
如果所述特征点的得分值最大，则将所述特征点作为所述角点。
5.根据权利要求2所述的车身环视图像底部显示方法，其特征在于，所述步骤S23包括：
通过所述车载传感器获取所述车辆的方向盘转角和车速信息；
基于所述车辆运动模型和所述方向盘转角计算出所述车辆的转弯半径；
基于所述转弯半径、所述方向盘转角、所述车速信息计算所述车辆的移动距离和偏角。
6.根据权利要求5所述的车身环视图像底部显示方法，其特征在于，在计算出所述车辆的移动距离和偏角之后，根据世界坐标系和图像坐标系的关系，将所述车辆的移动距离和偏角转换为图像的移动量和转角。
7.根据权利要求6所述的车身环视图像底部显示方法，其特征在于，步骤S24包括：
S241，基于所述图像的移动量和转角设置预定值；
S242，通过所述车辆运动模型估计所述角点在下一帧图像中的位置点；
S243，确定所述跟踪点是否在以所述位置点为中心以所述预定值为半径的区域内；
S244，如果所述跟踪点在所述区域内，则保留所述角点，否则删除所述角点。
8.根据权利要求2所述的车身环视图像底部显示方法，其特征在于，在步骤S24之后并且在步骤S25之前，还可以使用LK光流跟踪法对筛选后的角点进行筛选，包括：
使用LK光流正向跟踪算法，确定上一帧中的所述角点在当前帧图像中的正向跟踪角点；
使用LK光流后向跟踪算法，确定所述正向跟踪角点在所述上一帧中的后向跟踪角点；
计算所述上一帧中的所述角点与所述后向跟踪角点之间的距离，如果所述距离小于预定阈值，则保留所述角点。
9.根据权利要求2或8所述的车身环视图像底部显示方法，其特征在于，在步骤S25中，使用RANSAC算法对筛选后的角点进行二次筛选，包括：
从所述当前帧图像和所述上一帧图像中随机选取3对匹配的角点，这3对角点不共线，得到变换矩阵模型；
计算其他所有角点与所述变换矩阵模型的投影误差，如果投影误差小于设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；
重新选择3对匹配的角点，得到新的变换矩阵模型，并计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于所述设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；
重复上述选取匹配角点和计算投影误差的步骤，得到相对应的多个内点集；
选择多个内点集中含有角点数量最多的内点集作为最优内点集，并将所述最优内点集对应的变换矩阵模型作为最佳矩阵模型。
10.根据权利要求9所述的车身环视图像底部显示方法，其特征在于，通过RANSAC算法得到的所述最佳矩阵模型为：
通过所述最佳矩阵模型H和所述车身环视图像中车辆的后轴中点处的坐标(xc，yc)，计算得到车辆转角δ以及所述车身环视图像中车辆沿水平方向的运动距离dx和沿竖直方向的运动距离dy：
结合两帧图像之间的时间差Δt和所述车身环视图像中每像素所代表的实际距离pixel_d，计算得出所述车辆的运动距离D和运动速度V：
11.根据权利要求2所述的车身环视图像底部显示方法，其特征在于，步骤S26包括：
分别根据所述第一运动信息和所述第二运动信息建立所述车辆的状态参数；
设置卡尔曼滤波融合方程式的矩阵参数，将所述车辆的状态参数代入所述卡尔曼滤波融合方程式计算所述车辆的运动轨迹。
12.根据权利要求1所述的车身环视图像底部显示方法，其特征在于，重复所述步骤S1-S5直至车辆停止，并保存最后一张图像作为下次车辆启动前的历史图像。
CN201810048527.XA 2018-01-18 2018-01-18 一种车身环视图像底部显示方法 Withdrawn CN108257092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810048527.XA CN108257092A (zh) 2018-01-18 2018-01-18 一种车身环视图像底部显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810048527.XA CN108257092A (zh) 2018-01-18 2018-01-18 一种车身环视图像底部显示方法

Publications (1)

Publication Number Publication Date
CN108257092A true CN108257092A (zh) 2018-07-06

Family

ID=62726886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810048527.XA Withdrawn CN108257092A (zh) 2018-01-18 2018-01-18 一种车身环视图像底部显示方法

Country Status (1)

Country Link
CN (1) CN108257092A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636263A (zh) * 2019-09-20 2019-12-31 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载***
CN110969574A (zh) * 2018-09-29 2020-04-07 广州汽车集团股份有限公司 一种车载全景地图创建方法及装置
CN113674363A (zh) * 2021-08-26 2021-11-19 龙岩学院 一种全景泊车影像拼接标定方法及其标定物
CN114333105A (zh) * 2020-09-30 2022-04-12 比亚迪股份有限公司 图像处理方法、装置、设备、车辆及介质
US20220327659A1 (en) * 2021-04-08 2022-10-13 Raytheon Company Mitigating transitions in mosaic images
CN115209037A (zh) * 2021-06-30 2022-10-18 惠州华阳通用电子有限公司 一种车辆底部透视方法及装置
US11910092B2 (en) 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969574A (zh) * 2018-09-29 2020-04-07 广州汽车集团股份有限公司 一种车载全景地图创建方法及装置
CN110636263A (zh) * 2019-09-20 2019-12-31 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载***
CN110636263B (zh) * 2019-09-20 2022-01-11 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载***
CN114333105A (zh) * 2020-09-30 2022-04-12 比亚迪股份有限公司 图像处理方法、装置、设备、车辆及介质
CN114333105B (zh) * 2020-09-30 2023-04-07 比亚迪股份有限公司 图像处理方法、装置、设备、车辆及介质
US11910092B2 (en) 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system
US20220327659A1 (en) * 2021-04-08 2022-10-13 Raytheon Company Mitigating transitions in mosaic images
US11769224B2 (en) * 2021-04-08 2023-09-26 Raytheon Company Mitigating transitions in mosaic images
CN115209037A (zh) * 2021-06-30 2022-10-18 惠州华阳通用电子有限公司 一种车辆底部透视方法及装置
CN113674363A (zh) * 2021-08-26 2021-11-19 龙岩学院 一种全景泊车影像拼接标定方法及其标定物
CN113674363B (zh) * 2021-08-26 2023-05-30 龙岩学院 一种全景泊车影像拼接标定方法及其标定物

Similar Documents

Publication Publication Date Title
CN108257092A (zh) 一种车身环视图像底部显示方法
CN108280847A (zh) 一种车辆运动轨迹估计方法
US10640041B2 (en) Method for dynamically calibrating vehicular cameras
CN107229908B (zh) 一种车道线检测方法
CN108198248A (zh) 一种车辆底部图像3d显示方法
CN109813335B (zh) 数据采集***的标定方法、装置、***及存储介质
CN104854637B (zh) 移动物***置姿态角推定装置及移动物***置姿态角推定方法
CN106054191A (zh) 车轮检测和其在物体跟踪以及传感器配准中的应用
CN107284455B (zh) 一种基于图像处理的adas***
JP2001506369A (ja) １つまたは複数の移動カメラの初期位置および向きを校正するための方法ならびに固定対象の３次元的位置測定に対してのこの方法の応用
WO2018202464A1 (en) Calibration of a vehicle camera system in vehicle longitudinal direction or vehicle trans-verse direction
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN110223354A (zh) 一种基于sfm三维重建的相机自标定方法
CN109871739A (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN110546456A (zh) 用于底盘测量的方法和设备
Smuda et al. Multiple cue data fusion with particle filters for road course detection in vision systems
WO2006087542A1 (en) Vehicle location
CN113744308A (zh) 位姿优化方法、装置、电子设备、介质及程序产品
Yao et al. Selective stabilization of images acquired by unmanned ground vehicles
CN108765462A (zh) 一种车辆速度鉴定方法
CN108256484A (zh) 一种车辆运动参数估算方法
CN111316337A (zh) 车载成像装置的安装参数的确定与驾驶控制方法及设备
CN112308786B (zh) 一种基于摄影测量解算车载视频中目标车辆运动的方法
Rabe Detection of moving objects by spatio-temporal motion analysis
CN112396557B (zh) 一种基于近景摄影测量解算监控视频中车辆运动的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201203 Shanghai Pudong New Area free trade trial area, 1 spring 3, 400 Fang Chun road.

Applicant after: Shanghai Sen Sen vehicle sensor technology Co., Ltd.

Address before: 201210 301B room 560, midsummer Road, Pudong New Area Free Trade Zone, Shanghai

Applicant before: New software technology (Shanghai) Co., Ltd.

CB02 Change of applicant information
WW01 Invention patent application withdrawn after publication

Application publication date: 20180706

WW01 Invention patent application withdrawn after publication