CN113978456B - 一种带目标显示的倒车影像显示方法 - Google Patents

Abstract

本发明属于车联网技术领域，涉及一种带目标检测的倒车影像方法。包括获取方向盘转角和转向，并计算前轮转角；根据前轮转向角计算倒车行驶区域；通过检测到目标的像素坐标计算目标的位置；目标位置和行驶区域判定；计算后轮行驶轨迹线；显示倒车辅助影像；传统的倒车影像只是显示倒车轨迹，仅通过倒车估计无法精准判断车辆后方的目标或障碍是否存在碰撞风险；本发明能够自动检测到后视图像中的目标，并且通过实时计算目标和行驶区域的距离，来提示用户该目标是否有碰撞的安全隐患。本发明提高了倒车影像的安全辅助性能，让用户更直观的观察到倒车过程中潜在的风险。

Description

一种带目标显示的倒车影像显示方法

技术领域

本发明属于车联网技术领域，涉及一种带目标显示的倒车影像显示方法。

背景技术

倒车影像又称泊车辅助***，广泛应用于各类大、中、小车辆倒车或行车安全铺助领域。倒车影像的工作方式是挂入倒档时，该***会自动接通位于车尾的摄像头，将车后状况显示在中控显示屏上。更高级的倒车影像***则可以在视频影像上标注引导线，方向盘转动时倒车引导线也实时的变化，从而准确的描出倒车的轨迹。

随着技术进步，越来越的的车辆上开始装配自动泊车控制器用来实现自动泊车。但是自动泊车的效率和泊车场景覆盖度上仍然受限，倒车影像依然实用。

出于车辆网络布局的考虑，自动泊车控制器通常包集成了自动泊车、360度全景环视和倒车影像功能。由于车辆使用的摄像头为超广角镜头或鱼眼镜头，这样的镜头存在严重的畸变，尽管用户可以通过倒车影像观察到行人或障碍，但对于行人和障碍的位置不太容易判断。

发明内容

本发明所要解决的技术问题是克服了现有技术存在的倒车影像无法自动检测到目标是否存在碰撞安全隐患问题，提供了一种带目标显示的倒车影像显示方法。

为了提高倒车影像的安全辅助能力，本发明实现一种带目标显示的倒车影像方法。该方法除了显示倒车的行驶轨迹外，还基于深度学习的目标显示技术实现对特定目标的检测。检测的目标包括：行人，骑行者，手推车，水桶，垃圾桶，婴儿车，路障，车位地锁，猫，狗等。同时表示出目标的位置信息。

为解决上述技术问题，本发明是采用如下技术方案实现的，结合附图说明如下：

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

一种带目标显示的倒车影像显示方法，包括以下步骤：

步骤一：获取方向盘转角和转向，并计算前轮转角；

步骤二：根据前轮转向角计算倒车行驶区域；

步骤三：通过后视图像检测到目标的像素坐标计算目标的位置；

步骤四：目标位置和行驶区域判定；

步骤五：计算后轮行驶轨迹线；

步骤六：将后视图像、目标框信息、轨迹线融合显示。

步骤一中获取方向盘转角和转向，并计算前轮转角，具体内容为：

从车辆网络总线上获取方向盘的转角和转向，方向盘转角除以转向比得到前轮转向角γ，设方向盘转向为D,左转为-1，右转为+1。

步骤二中所述根据前轮转向角计算倒车行驶区域，具体内容为：

前轮转向角γ为0时，车辆的倒车行驶轨迹是直线；γ不为0时，车辆的倒车行驶轨迹是一个圆；后轴中心圆的半径为R＝L_dtanγ，L_d为轴距；设后轴中心的初始坐标为(0,0)，则后轴轨迹的圆心O的坐标为(D×R,0)，车身上所有点的行驶轨迹都是以O为圆心的圆。

进一步地，行驶区域计算方法：

将后轴轨迹每间隔Δ距离进行采样，每个采样点的坐标为(x₀,y₀),(x₁,y₁)...(x_n,y_n),其中(x₀,y₀)为初始坐标(0,0)，采样轨迹计算如下：

为车辆倒车行驶Δ距离转过的弧度；

弧线A的每个采样点的坐标为(x′₀,y′₀),(x′₁,y′₁)...(x′_h,y′_h)，计算方法如下：

弧线B的每个采样点的坐标为(x″₀,y″₀),(x″₁,y″₁)...(x″_m,y″_m)，计算方法如下：

w为车宽，d₁为车头到后轴距离，d₂为车尾到后轴距离；

弧线A和弧线B之间是车辆即将行驶的区域，该区域内的所有物体都会造成碰撞。

步骤三中通过后视图像检测到目标的像素坐标计算目标的位置，具体内容如下：

通过基于深度学习的目标识别算法来检测后视图像中的目标，检测到的目标位置信息是图像中的像素坐标，根据像素坐标来计算目标在物理世界(真实世界的位置坐标)的位置坐标。

像素坐标为(X,Y)，由于鱼眼摄像头存在畸变，需要根据内参矩阵K和畸变(k₀,k₁,k₂,k₃)系数计算畸变校正后的坐标(X_c,Y_c)。

(u,v)归一化图像平面坐标，θ为入射角，θ为畸变后的入射角；

将校正后的坐标(X_c,Y_c)通过映射矩阵A映射到地面的坐标(X_w,Y_w)，计算过程如下：

(X_t,Y_t,Z_t)为映射后的坐标。

步骤四中目标位置和行驶区域判定，具体内容如下：

目标的物理坐标(X_w,Y_w)和行驶区域在x轴的距离作为判断根据，按如下规则来显示目标信息：

(1)当目标距离车辆1米内，将目标用红色框标出；

(2)当目标距离车辆1米外且在行驶轨迹内，将目标用黄色框标出；

(3)当目标距离车辆1米外且在行驶轨迹外，将目标用绿色框标出。

步骤五中所述计算后轮行驶轨迹线，具体内容如下：

如步骤一将左后轮和右后轮轨迹每间隔Δ距离进行采样；

左后轮轨迹采样点(X′₀,Y′₀),(X′₁,Y′₁)...(X′_i,Y′_i)，计算如下：

右后轮轨迹采样点(X″₀,Y″₀),(X″₁,Y″₁)...(X″_j,Y″_j)，计算如下：

取轨迹线上任意点(x,y)将其映射到后视图像的像素坐标(x_P,y_P)；计算过程如下：

计算相机坐标系的坐标(x_c,z_c,y_c)：

由相机坐标(x_c,z_c,y_c)计算归一化图像平面坐标(u,v)

将归一化图像平面坐标(u,v)进行畸变运算，得到映射到后视图像的坐标(x_P,y_P)。

θ_d＝θ+k₀θ³+k₁θ⁵+k₂θ⁷+k₃θ⁹

θ为入射角，θ_d为畸变后的入射角，K为内参矩阵。

步骤六中所述将后视图像、目标框信息、轨迹线融合显示，具体内容如下：

将后视图像、目标框信息、轨迹线融合到一副图像由车载中控屏幕显示。

与现有技术相比本发明的有益效果是：

传统的倒车影像只是显示倒车轨迹，仅通过倒车估计无法精准判断车辆后方的目标或障碍是否存在碰撞风险。本发明能够自动检测到后视图像中的目标，并且通过实时计算目标和行驶区域的距离，来提示用户该目标是否有碰撞的安全隐患。本发明提高了倒车影像的安全辅助性能，让用户更直观的观察到倒车过程中潜在的风险。

附图说明

下面结合附图对本发明作进一步的说明：

图1为本发明所述一种带目标显示的倒车影像显示方法流程图；

图2倒车轨迹示意图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

下面结合附图对本发明作详细的描述：

参阅图1、图2，一种带目标显示的倒车影像显示方法，包括以下步骤：

步骤一：获取方向盘转角和转向，并计算前轮转角；

从车辆网络总线上获取方向盘的转角和转向，方向盘转角除以转向比得到前轮转向角γ，设方向盘转向为D,左转为-1，右转为+1。

步骤二：根据前轮转向角计算倒车行驶区域；

前轮转向角γ为0时，车辆的倒车行驶轨迹是直线；γ不为0时，车辆的倒车行驶轨迹是一个圆。其中后轴中心圆的半径为R＝L_dtanγ，L_d为轴距；设后轴中心的初始坐标为(0,0)，则后轴轨迹的圆心O的坐标为(D×R,0)，车身上所有点的行驶轨迹都是以O为圆心的圆。

行驶区域计算方法：

将后轴轨迹每间隔Δ距离进行采样，每个采样点的坐标为(x₀,y₀),(x₁,y₁)...(x_n,y_n),其中(x₀,y₀)为初始坐标(0,0)，采样轨迹计算如下

弧线A的每个采样点的坐标为(x′₀,y′₀),(x′₁,y′₁)...(x′_h,y′_h)，计算方法如下：

弧线B的每个采样点的坐标为(x″₀,y″₀),(x″₁,y″₁)...(x″_m,y″_m)，计算方法如下

w为车宽，d₁为车头到后轴距离，d₂为车尾到后轴距离

弧线A和弧线B之间是车辆即将行驶的区域，该区域内的所有物体都会造成碰撞。

步骤三：通过检测到目标的像素坐标计算目标的位置；

通过基于深度学习的目标识别算法来检测后视图像中的目标，检测到的目标位置信息是图像中的像素坐标，根据像素坐标来计算目标在物理世界的位置坐标。

像素坐标为(X,Y)，由于鱼眼摄像头存在畸变，需要根据内参矩阵K和畸变(k₀,k₁,k₂,k₃)系数计算畸变校正后的坐标(X_c,Y_c)。

将校正后的坐标(X_c,Y_c)通过映射矩阵A映射到物理坐标(X_w,Y_w)，计算过程如下：

步骤四：目标位置和行驶区域判定；

目标的物理坐标(X_w,Y_w)和行驶区域在x轴的距离作为判断根据，按如下规则来提示用户：

(4)当目标距离车辆1米内，将目标用红色框标出；

(5)当目标距离车辆1米外且在行驶轨迹内，将目标用黄色框标出；

(6)当目标距离车辆1米外且在行驶轨迹外，将目标用绿色框标出。

步骤五：计算后轮行驶轨迹线；

如步骤一将左后轮和右后轮轨迹每间隔Δ距离进行采样。

左后轮轨迹采样点(X′₀,Y′₀),(X′₁,Y′₁)...(X′_i,Y′_i)，计算如下：

右后轮轨迹采样点(X″₀,Y″₀),(X″₁,Y″₁)...(X″_j,Y″_j)，计算如下：

两个后轮轨迹为物理世界坐标，取轨迹线上任意点(x,y)将其映射到后视图像的像素坐标(x_P,y_P)。计算过程如下

将物理坐标(x,y)映射到相机坐标(x_c,z_c,y_c)：

由相机坐标(x_c,z_c,y_c)计算成像平面坐标(u,v)

将成像平面坐标(u,v)进行畸变运算，得到映射到后视图像的坐标(x_P,y_P)。

步骤六：显示倒车辅助影像。

将融合了后视摄像头影像、目标信息和后轮轨迹线的图像由车载中控屏幕显示。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。

Claims (4)

1.一种带目标显示的倒车影像显示方法，其特征在于，包括以下步骤：

步骤一：获取方向盘转角和转向，并计算前轮转角；

步骤二：根据前轮转向角计算倒车行驶区域；

步骤三：通过后视图像检测到目标的像素坐标计算目标的位置；

步骤四：目标的位置和倒车行驶区域判定；

步骤五：计算后轮行驶轨迹线；

步骤六：将后视图像、目标框信息、后轮行驶轨迹线融合显示；

步骤一中获取方向盘转角和转向，并计算前轮转角，具体内容为：

从车辆网络总线上获取方向盘的转角和转向，方向盘转角除以转向比得到前轮转向角γ，设方向盘转向为D,左转为-1，右转为+1；

步骤二中所述根据前轮转向角计算倒车行驶区域，具体内容为：

前轮转向角γ为0时，车辆的倒车行驶轨迹是直线；γ不为0时，车辆的倒车行驶轨迹是一个圆；后轴中心圆的半径为R＝L_dtanγ，L_d为轴距；设后轴中心的初始坐标为(0,0)，则后轴轨迹的圆心O的坐标为(D×R,0)，车身上所有点的行驶轨迹都是以O为圆心的圆；

倒车行驶区域计算方法：

将后轴轨迹每间隔Δ距离进行采样，每个采样点的坐标为(x₀,y₀),(x₁,y₁)...(x_n,y_n),其中(x₀,y₀)为初始坐标(0,0)，采样轨迹计算如下：

为车辆倒车行驶Δ距离转过的弧度；

弧线A的每个采样点的坐标为(x′₀,y′₀),(x′₁,y′₁)...(x′_h,y′_h)，计算方法如下：

弧线B的每个采样点的坐标为(x″₀,y″₀),(x″₁,y″₁)...(x″_m,y″_m)，计算方法如下：

w为车宽，d₁为车头到后轴距离，d₂为车尾到后轴距离；

弧线A和弧线B之间是车辆即将倒车行驶的区域，该区域内的所有物体都会造成碰撞；

步骤四中目标的位置和倒车行驶区域判定，具体内容如下：

物理世界的位置坐标(X_w,Y_w)和倒车行驶区域在x轴的距离作为判断根据，按如下规则来显示目标信息：

(1)当目标距离车辆1米内，将目标用红色框标出；

(2)当目标距离车辆1米外且在行驶轨迹内，将目标用黄色框标出；

(3)当目标距离车辆1米外且在行驶轨迹外，将目标用绿色框标出。

2.根据权利要求1所述的一种带目标显示的倒车影像显示方法，其特征在于：

步骤三中通过后视图像检测到目标的像素坐标计算目标的位置，具体内容如下：

通过基于深度学习的目标识别算法来检测后视图像中的目标，检测到的目标位置信息是图像中的像素坐标，根据像素坐标来计算目标在物理世界的位置坐标；

像素坐标为(X,Y)，由于鱼眼摄像头存在畸变，需要根据内参矩阵K和畸变(k₀,k₁,k₂,k₃)系数计算畸变校正后的坐标(X_c,Y_c)；

(u,v)归一化图像平面坐标，θ为入射角，θ_d为畸变后的入射角；

将校正后的坐标(X_c,Y_c)通过映射矩阵A映射到物理世界的位置的坐标(X_w,Y_w)，计算过程如下：

(X_t,Y_t,Z_t)为映射后的坐标。

3.根据权利要求2所述的一种带目标显示的倒车影像显示方法，其特征在于：

步骤五中所述计算后轮行驶轨迹线，具体内容如下：

如步骤一将左后轮和右后轮轨迹每间隔Δ距离进行采样；

左后轮轨迹采样点(X′₀,Y′₀),(X′₁,Y′₁)...(X′_i,Y′_i)，计算如下：

右后轮轨迹采样点(X″₀,Y″₀),(X″₁,Y″₁)...(X″_j,Y″_j)，计算如下：

取轨迹线上任意点(x,y)将其映射到后视图像的像素坐标(x_P,y_P)；计算过程如下：

计算相机坐标系的坐标(x_c,z_c,y_c)：

由相机坐标(x_c,z_c,y_c)计算归一化图像平面坐标(u,v)

将归一化图像平面坐标(u,v)进行畸变运算，得到映射到后视图像的坐标(x_P,y_P)；

θ_d＝θ+k₀θ³+k₁θ⁵+k₂θ⁷+k₃θ⁹

θ为入射角，θ_d为畸变后的入射角，K为内参矩阵。

4.根据权利要求3所述的一种带目标显示的倒车影像显示方法，其特征在于：

步骤六中所述将后视图像、目标框信息、轨迹线融合显示，具体内容如下：

将后视图像、目标框信息、后轮行驶轨迹线融合到一副图像由车载中控屏幕显示。