CN113592949B - 用于车辆无线泊车影像的控制***及方法 - Google Patents

Abstract

本发明公开了一种用于车辆无线泊车影像的控制***及方法。该***通过图像采集模块采集目标车辆四周的视频数据，再通过无线传输模块将视频数据传输给图像处理模块进行环境图像提取、俯视变换以及图像拼接等操作，最后生成全景俯视图。通过本实施例能够使驾驶人员快速确定车与周围环境的位置关系，从而使驾驶人员在泊车时更加方便、安全。并且本实施例采用了无线传输模块，免去了复杂的安装过程，并节省了较高的线束成本。本发明可广泛应用于汽车环视技术领域内。

Description

用于车辆无线泊车影像的控制***及方法

技术领域

本发明涉及汽车环视技术领域，尤其是用于车辆无线泊车影像的控制***及方法。

背景技术

360°全景环视***(AVM，Around View Monitor)通过安装在商用车上前后左右四个鱼眼摄像头获取车身周围360°的环境信息，然后把四个摄像头的鱼眼图像传输到控制器经过图像处理最终合成一幅车身周围环境的全景图像反馈给驾驶员，从而消除视野盲区。但是，相关技术中的全景图像显示的只有周围环境，从而使得驾驶人员无法快速确定车与周围环境的位置关系。

并且在图像传输过程中，由于商用车车身尺寸大，一般需要长达十几米的线束来进行摄像头供电和图像传输，走线很复杂，安装非常不方便，线束成本也比较高。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供用于车辆无线泊车影像的控制***和方法，其能够通过安装在车身无线鱼眼摄像头采集四周的环境图像，然后根据当前车辆将环境图像进行俯视变换并生成周围环境的全景俯视图，从而消除视野盲区。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种用于车辆无线泊车影像的控制***，包括：

图像采集模块，用于采集目标车辆正前方、正后方、正左方和正右方的视频数据；

无线传输模块，用于传输所述视频数据；

图像处理模块，用于接收所述无线传输模块传输的所述视频数据，提取所述视频数据内的环境图像，将所述环境图像根据当前车辆进行俯视变换，将俯视变换后的环境图像拼接成全景俯视图；

显示模块，用于将所述全景俯视图进行输出显示。

进一步地，所述图像处理模块包括：处理器、无线收发模块以及视频编解码模块；

所述无线收发模块用于接收所述无线传输模块传输的视频数据；

所述视频编解码模块用于将所述无线收发模块接收到的视频数据进行解码，并传输给所述处理器；

所述处理器提取解码后的视频数据中的环境图像，对所述环境图像根据当前车辆进行俯视变换，将俯视变换后的环境图像拼接成所述全景俯视图。

进一步地，在所述对所述环境图像根据当前车辆进行俯视变换之前，还包括：

获取若干张棋盘格标定板，并获取每一个角点的像素坐标；

根据所述棋盘格标定板定义的世界坐标确定所述每一个角点的物理坐标；

根据所述像素坐标和所述物理坐标进行相机标定，得到所述图像采集模块的内参矩阵、外参矩阵和畸变系数。

进一步地，在所述对所述环境图像根据当前车辆进行俯视变换之前，还包括：

根据所述内参矩阵、外参矩阵和畸变系数对所述环境图像的分别进行图像坐标变换、映射操作和插值操作。

进一步地，所述对所述环境图像根据当前车辆进行俯视变换，包括：

获取插值操作后的环境图像上的四个坐标点；

根据所述四个坐标点确定单应性矩阵；

根据所述单应性矩阵对插值操作后的环境图像上的所有角点坐标进行俯视变换。

进一步地，所述将俯视变换后的环境图像拼接成所述全景俯视图，包括：

构建优化矩阵；

采用所述优化矩阵提取俯视变换后的环境图像的特征点；

构建尺度空间矩阵；

采用所述尺度空间矩阵对所述特征点进行定位，得到特征点描述子；

根据所述特征点描述子确定所述特征点之间的欧式距离；

根据所述欧式距离确定匹配度；

根据所述匹配度进行特征点匹配，得到配对点；

根据所述配对点生成变换矩阵；

采用所述变换矩阵生成与俯视变换后的环境图像对应的另一张环境图像的映射图像；

确定环境图像在所述映射图像上的映射坐标；

根据所述映射坐标对所述环境图像进行拼接，得到全景俯视图。

进一步地，在所述根据所述映射坐标对环境图像进行拼接后，还包括：

对拼接后的图像进行加权平均融合处理。

进一步地，在所述得到所述图像采集模块的内参矩阵、外参矩阵和畸变系数后，还包括：

采用最小二乘优化对所述内参矩阵、所述外参矩阵和所述畸变系数进行处理。

进一步地，所述图像采集模块包括无线鱼眼摄像头，所述用于车辆无线泊车影像的控制***还包括供电模块，所述供电模块包括可充电电池，所述可充电电池用于给所述无线鱼眼摄像头供电。

第二方面，本发明实施例提出了一种用于车辆无线泊车影像的控制方法，包括以下步骤：

采集目标车辆正前方、正后方、正左方和正右方的视频数据；

提取所述视频数据内的环境图像；

将所述环境图像根据当前车辆进行俯视变换；

将俯视变换后的环境图像拼接成全景俯视图；

将所述全景俯视图进行输出显示。

本发明公开了一种用于车辆无线泊车影像的控制***，具备如下有益效果：

本实施例通过图像采集模块采集目标车辆四周的视频数据，再通过无线传输模块将视频数据传输给图像处理模块进行环境图像提取、俯视变换以及图像拼接等操作，最后生成全景俯视图。通过本实施例能够使驾驶人员快速确定车与周围环境的位置关系，从而使驾驶人员在泊车时更加方便、安全。并且本实施例采用了无线传输模块，免去了复杂的安装过程，并节省了较高的线束成本。

附图说明

为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1为本发明具体实施例的一种用于车辆无线泊车影像的控制***的结构示意图；

图2为本发明具体实施例的一种用于车辆无线泊车影像的控制方法的流程示意图；

图3为本发明具体实施例的一种用于车辆无线泊车影像的控制***的具体连接图；

图4为本发明具体实施例的一种用于车辆无线泊车影像的控制***的图像处理过程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明实施例提供了用于车辆无线泊车影像的控制***，其包括：

图像采集模块101、用于采集目标车辆正前方、正后方、正左方和正右方的视频数据。

在一些实施例中，图像处理模块可以采用数个无线鱼眼摄像头，全部鱼眼摄像头分别安装在目标车辆的四周。可以理解的是，无线鱼眼摄像头不限于安装在目标车辆的正前方、正后方、正左方和正右方，只要能够采集到目标车辆周围360°的视频数据即可。

可选地，无线鱼眼摄像头可使用可充电电池供电，能够有效减少电源线束的使用，从而免去了复杂的安装过程，并节省了较高的线束成本。同时，为了节省可充电电池的电量，在全景俯视图的触发上可以采用遥控器手动触发和车辆CAN信号自动触发两种方式。在一般情况下无线收发模块处于休眠状态，并且不开启摄像头以节省电量。当驾驶员需要全景环视或者某个方位的视角时，可通过遥控器操控无线收发模块发射信号，以通过发射的信号唤醒一个或多个无线鱼眼摄像头进行工作。另外，在较慢的车速下，如低于10km/h时，处理器在接收到左转信号时，会自动唤醒左视摄像头；在接收到右转信号时，会自动唤醒右视摄像头；在接收到倒车信号时会自动开启后方摄像头，并开启倒车影像模式。在达到一定的车速后，如车速超过15km/h时，自动关闭***，以最大程度节省电池电量。

无线传输模块102、用于传输视频数据。无线传输模块可使用WIFI等进行无线数据传输。

图像处理模块103、用于接收无线传输模块传输的所述视频数据，提取所述视频数据内的环境图像，将所述环境图像根据当前车辆进行俯视变换，将俯视变换后的环境图像拼接成全景俯视图。

具体地，参照图3，图像处理模块包括处理器、无线收发模块以及视频编解码模块。无线收发模块用于接收无线传输模块传输的视频数据，并通过视频编解码模块将无线收发模块接收到的视频数据进行解码，将解码后的视频数据传输给处理器。处理器接收到解码后的视频数据后，提取其中的环境图像，并对环境图像根据当前车辆进行俯视变换，再将俯视变换后的环境图像拼接成全景俯视图。

具体地，参照图4，图像处理模块在进行数据处理时，主要包括五个步骤，分别是标定内外参数、畸变矫正、俯视变换、图像拼接以及图像融合优化。

第一步标定内外参数中，使用张正友标定法来获取摄像头内外参数和畸变系数。其中，张正友标定法是相机标定的一种方法，能够求解相机参数。首先使用无线鱼眼摄像头从不同角度拍摄数十张棋盘格标定板，利用相应的角点检测算法得到每一个角点的像素坐标。预先定义好标定板的世界坐标，然后可以计算得到每一个角点在世界坐标系下的物理坐标。利用每一角点的像素坐标、每一个角点在世界坐标系下的物理坐标等信息，进行相机标定，从而获得相机的内外参矩阵和畸变系数。用该方法获得的参数存在一定的误差，所以在一些实施例中，需要利用L-M(Levenberg-Marquardt)算法对参数进行优化，减小误差，为下一步的畸变校正做准备。其中，L-M算法是非线性回归中回归参数最小二乘估计的一种估计方法，这种方法是把最速下降法和线性化方法加以综合的一种方法，可以较快地找到最优值。

因为鱼眼摄像头所拍摄的视频数据会产生畸变，因此需要对图像进行畸变矫正。第二步畸变矫正中，畸变矫正采用标定校正法，使用标定所获取的内外参数矩阵和畸变系数来将图像坐标变换为相机坐标，并进行映射和插值操作，从而完成图像的畸变校正。

第三步俯视变换中，采用基于坐标点标定的变换方法，在校正后的图像上选取四个坐标点即可确定完成变换的单应性矩阵，根据该单应性矩阵，可以完成图像所有角点坐标的变换，从而完成俯视变换。

第四步图像拼接中，采用基于特征点配准的方法，采用SURF算法进行特征点提取、描述、匹配。其中，SURF(Speed-up robust features)是用于特征提取的一种算法，SURF最大的特征在于采用了Harr特征以及积分图像的概念，大大加快了程序运行的时间。该算法对图像的局部特征、旋转、尺度具有不变性，对视角变化、仿射变换以及噪声干扰也具有很强的稳定性，并且有运行速度快的优点，可以满足***所需的实时性。在使用SURF算法时，首先需要构建Hessian矩阵，用于提取特征点，然后构建尺度空间进行特征点的定位，生成特征点描述子从而确定特征点之间的欧式距离，再根据特征点之间的欧式距离确定匹配度从而进行特征点匹配。最后通过配对点，生成变换矩阵，对图像应用变换矩阵生成与另一图像相对应的映射图像。配对点经过映射后投影到新图像上，在该映射坐标中标出衔接两幅图像的配对点即可完成拼接。对各个方向上的图像进行两两拼接，即可实现全景环视图。

第五步图像融合优化，为了对图像进一步优化，可以对该全景环视图进行加权平均融合，消除拼接时产生的拼接缝和平均图像与图像之间的亮度，使显示效果更好。

显示模块104、用于将所述全景俯视图进行输出显示。显示模块可选用10寸LCD显示屏。

参照图2，本发明实施例提出的一种用于车辆无线泊车影像的控制方法，包括以下步骤：

步骤201、采集目标车辆正前方、正后方、正左方和正右方的视频数据；

步骤202、提取所述视频数据内的环境图像；

步骤203、将所述环境图像根据当前车辆进行俯视变换；

步骤204、将俯视变换后的环境图像拼接成全景俯视图；

步骤205、将所述全景俯视图进行输出显示。

上述***实施例中的内容均适用于本方法实施例中，本方法实施例所具体实现的功能与上述***实施例相同，并且达到的有益效果与上述***实施例所达到的有益效果也相同。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.用于车辆无线泊车影像的控制***，其特征在于，包括：

图像采集模块，用于采集目标车辆正前方、正后方、正左方和正右方的视频数据；

无线传输模块，用于传输所述视频数据；

图像处理模块，用于接收所述无线传输模块传输的所述视频数据，提取所述视频数据内的环境图像，对所述环境图像根据当前车辆进行俯视变换，将俯视变换后的环境图像拼接成全景俯视图；

显示模块，用于将所述全景俯视图进行输出显示；

其中，所述图像处理模块包括：处理器，所述处理器提取解码后的视频数据中的环境图像，对所述环境图像根据当前车辆进行俯视变换，将俯视变换后的环境图像拼接成所述全景俯视图；

其中，在所述对所述环境图像根据当前车辆进行俯视变换之前，还包括：

获取若干张棋盘格标定板，并获取每一个角点的像素坐标，根据所述棋盘格标定板定义的世界坐标确定所述每一个角点的物理坐标，根据所述像素坐标和所述物理坐标进行相机标定，得到所述图像采集模块的内参矩阵、外参矩阵和畸变系数；

采用标定校正法，根据所述内参矩阵、所述外参矩阵和所述畸变系数对所述环境图像进行图像坐标变换，将图像坐标变换为相机坐标，并进行映射和插值操作，以对图像进行畸变校正；

其中，所述将俯视变换后的环境图像拼接成所述全景俯视图，包括：

构建优化矩阵；

采用所述优化矩阵提取俯视变换后的环境图像的特征点；

构建尺度空间矩阵；

采用所述尺度空间矩阵对所述特征点进行定位，得到特征点描述子；

根据所述特征点描述子确定所述特征点之间的欧式距离；

根据所述欧式距离确定匹配度；

根据所述匹配度进行特征点匹配，得到配对点；

根据所述配对点生成变换矩阵；

采用所述变换矩阵生成与俯视变换后的环境图像对应的另一张环境图像的映射图像；

确定环境图像在所述映射图像上的映射坐标；

根据所述映射坐标对所述环境图像进行拼接，得到全景俯视图。

2.根据权利要求1所述的用于车辆无线泊车影像的控制***，其特征在于，所述图像处理模块还包括：无线收发模块以及视频编解码模块；

所述无线收发模块用于接收所述无线传输模块传输的视频数据；

所述视频编解码模块用于将所述无线收发模块接收到的视频数据进行解码，并传输给所述处理器。

3.根据权利要求1所述的用于车辆无线泊车影像的控制***，其特征在于，所述对所述环境图像根据当前车辆进行俯视变换，包括：

获取插值操作后的环境图像上的四个坐标点；

根据所述四个坐标点确定单应性矩阵；

根据所述单应性矩阵对插值操作后的环境图像上的所有角点坐标进行俯视变换。

4.根据权利要求1所述的用于车辆无线泊车影像的控制***，其特征在于，在所述根据所述映射坐标对环境图像进行拼接后，还包括：

对拼接后的图像进行加权平均融合处理。

5.根据权利要求1所述的用于车辆无线泊车影像的控制***，其特征在于，在所述得到所述图像采集模块的内参矩阵、外参矩阵和畸变系数后，还包括：

采用最小二乘优化对所述内参矩阵、所述外参矩阵和所述畸变系数进行处理。

6.根据权利要求1所述的用于车辆无线泊车影像的控制***，其特征在于，所述图像采集模块包括无线鱼眼摄像头，所述用于车辆无线泊车影像的控制***还包括供电模块，所述供电模块包括可充电电池，所述可充电电池用于给所述无线鱼眼摄像头供电。

7.用于车辆无线泊车影像的控制方法，其特征在于，包括以下步骤：

采集目标车辆正前方、正后方、正左方和正右方的视频数据；

提取所述视频数据内的环境图像；

对所述环境图像根据当前车辆进行俯视变换；

将俯视变换后的环境图像拼接成全景俯视图；

将所述全景俯视图输出至显示模块，所述显示模块用于显示所述全景俯视图；

其中，在所述对所述环境图像根据当前车辆进行俯视变换之前，还包括：

获取若干张棋盘格标定板，并获取每一个角点的像素坐标，根据所述棋盘格标定板定义的世界坐标确定所述每一个角点的物理坐标，根据所述像素坐标和所述物理坐标进行相机标定，得到图像采集模块的内参矩阵、外参矩阵和畸变系数；

根据所述内参矩阵、所述外参矩阵和所述畸变系数对所述环境图像的分别进行图像坐标变换，并进行映射和插值操作，以对图像进行畸变校正；

其中，所述将俯视变换后的环境图像拼接成所述全景俯视图，包括：

构建优化矩阵；

采用所述优化矩阵提取俯视变换后的环境图像的特征点；

构建尺度空间矩阵；

采用所述尺度空间矩阵对所述特征点进行定位，得到特征点描述子；

根据所述特征点描述子确定所述特征点之间的欧式距离；

根据所述欧式距离确定匹配度；

根据所述匹配度进行特征点匹配，得到配对点；

根据所述配对点生成变换矩阵；

采用所述变换矩阵生成与俯视变换后的环境图像对应的另一张环境图像的映射图像；

确定环境图像在所述映射图像上的映射坐标；

根据所述映射坐标对所述环境图像进行拼接，得到全景俯视图。