CN109741241A - 鱼眼图像的处理方法、装置、设备和存储介质 - Google Patents

Abstract

本发明提供一种鱼眼图像的处理方法、装置、设备和存储介质，该方法包括：获取设置在车辆上的鱼眼相机采集的鱼眼图像，根据鱼眼相机成像模型，获取鱼眼图像对应的去畸变的平面图像，鱼眼相机成像模型为根据鱼眼相机的相机参数得到的，对去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像。这样，提高了样本利用率，增大了车辆的可视范围，从而更全面的感知车辆周围的物体，提高了车辆行驶的安全性。

Description

鱼眼图像的处理方法、装置、设备和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种鱼眼图像的处理方法、装置、设备和存储介质。

背景技术

在智能汽车辅助驾驶、自动驾驶领域，通常利用机器学习、深度学习技术为基础的目标检测和识别方法对汽车周围目标物的准确检测与识别。这类方法通常需要大量的样本作为学习的基础，因此，如何获取有效的图像学习样本成为了解决目标检测和识别的关键问题。

由于鱼眼相机的特性，鱼眼图像中存在严重的畸变，为了机器学习算法、深度学习算法不会学习到鱼眼图像中的畸变特征，通常需要对鱼眼图像进行去畸变操作，对于鱼眼图像来说，去畸变操作会以一个确定的视角对图像进行去畸变计算，例如：对鱼眼图像正中目标的视角。

然而，由于鱼眼图像的尺寸是固定的，上述去畸变操作会使得位于鱼眼图像边缘位置的内容缺失，减少鱼眼图像的内容，使得样本利用率下降，同时，由于鱼眼图像内容缺失，减小了汽车的可视范围，影响行车安全。

发明内容

为解决现有技术中存在的问题，本发明提供一种鱼眼图像的处理方法、装置、设备和存储介质，提高了样本利用率，增大了车辆的可视范围，从而更全面的感知车辆周围的物体，提高了车辆行驶的安全性。

第一方面，本发明实施例提供一种鱼眼图像的处理方法，包括：

获取设置在车辆上的鱼眼相机采集的所述鱼眼图像；

根据鱼眼相机成像模型，获取所述鱼眼图像对应的去畸变的平面图像，所述鱼眼相机成像模型为根据所述鱼眼相机的相机参数得到的；

对所述去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像。

可选的，所述获取设置在车辆上的鱼眼相机采集的所述鱼眼图像之前，所述方法还包括：

获取所述鱼眼相机采集的多个鱼眼图像；

根据所述鱼眼相机采集的多个鱼眼图像，获取所述鱼眼相机的相机参数；

根据所述鱼眼相机的所述相机参数，确定所述鱼眼相机成像模型。

可选的，所述方法还包括：

采用数据标注工具对所述多个平面图像中的同一个目标物进行标注，获取图像学习样本，所述图像学习样本为车辆目标检测和识别算法的学习来源。

可选的，所述鱼眼相机设置在所述车辆的车头，所述对所述平面图像进行视角变换，获取多个不同视角下的多个平面图像，包括：

对所述平面图像进行前视角变换，获取所述平面图像前方视角的图像；

所述鱼眼相机设置在所述车辆的车尾，所述对所述平面图像进行视角变换，获取多个不同视角下的多个平面图像，包括：

对所述平面图像进行后视角变换，获取所述平面图像后方视角的图像。

可选的，所述鱼眼相机设在所述车辆的左侧，所述对所述平面图像进行视角变换，获取多个不同视角下的多个平面图像，包括：

对所述平面图像进行左视角变换，获取所述平面图像的左视图；

所述鱼眼相机设在所述车辆的右侧，所述对所述平面图像进行视角变换，获取多个不同视角下的多个平面图像，包括：

对所述平面图像进行右视角变换，获取所述平面图像的右视图。

可选的，所述获取所述鱼眼相机采集的多个鱼眼图像，包括：

获取所述鱼眼相机采集的多个方位的多个不同标定板图像，所述鱼眼图像包括所述标定板图像。

可选的，所述根据所述鱼眼相机采集的多个鱼眼图像，获取所述鱼眼相机的相机参数，包括：

根据所述鱼眼相机采集的多个方位的多个不同标定板图像，建立每个标定板图像和三维坐标系中实际图像的对应关系；

根据所述对应关系，计算得到所述鱼眼相机的相机参数。

第二方面，本发明实施例提供一种鱼眼图像的处理装置，包括：

获取模块，用于获取设置在车辆上的鱼眼相机采集的所述鱼眼图像；

根据鱼眼相机成像模型，获取所述鱼眼图像对应的去畸变的平面图像，所述鱼眼相机成像模型为根据所述鱼眼相机的相机参数得到的；

处理模块，用于对所述去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像。

可选的，所述获取模块，还用于：

获取所述鱼眼相机采集的多个鱼眼图像；

根据所述鱼眼相机采集的多个鱼眼图像，获取所述鱼眼相机的相机参数；

所述装置还包括：

确定模块，用于根据所述鱼眼相机的所述相机参数，确定所述鱼眼相机成像模型。

可选的，所述鱼眼相机设置在所述车辆的车头，所述处理模块，还用于：

对所述平面图像进行前视角变换，获取所述平面图像前方视角的图像；

所述鱼眼相机设置在所述车辆的车尾，所述处理模块，还用于：

对所述平面图像进行后视角变换，获取所述平面图像后方视角的图像。

可选的，所述鱼眼相机设在所述车辆的左侧，所述处理模块，还用于：

对所述平面图像进行左视角变换，获取所述平面图像的左视图；

所述鱼眼相机设在所述车辆的右侧，所述处理模块，还用于：

对所述平面图像进行右视角变换，获取所述平面图像的右视图。

可选的，所述获取模块，还用于：

获取所述鱼眼相机采集的多个方位的多个不同标定板图像，所述鱼眼图像包括所述标定板图像。

可选的，所述确定模块，还用于：

根据所述鱼眼相机采集的多个方位的多个不同标定板图像，确定每个标定板图像和三维坐标系中实际图像的对应关系；

所述处理模块，还用于根据所述对应关系，计算得到所述鱼眼相机的相机参数。

第三方面，本发明实施例提供一种车载设备，包括：

处理器；

存储器；以及

计算机程序；

其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第一方面所述的方法的指令。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得车载终端执行第一方面所述的方法。

本发明提供的鱼眼图像的处理方法、装置、设备和存储介质，该方法包括：获取设置在车辆上的鱼眼相机采集的鱼眼图像，根据鱼眼相机成像模型，获取鱼眼图像对应的去畸变的平面图像，鱼眼相机成像模型为根据鱼眼相机的相机参数得到的，对去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像。这样，提高了样本利用率，增大了车辆的可视范围，从而更全面的感知车辆周围的物体，提高了车辆行驶的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的鱼眼图像的处理方法的流程示意图一；

图2a为本发明实施例提供的鱼眼图像和去畸变平面图像的示意图；

图2b为本发明实施例提供的鱼眼图像和去畸变平面图像的另一示意图；

图3a为本发明实施例提供的不同视角下平面图像的观测射线的示意图；

图3b为本发明实施例提供的视角变换后的图像的示意图；

图4为本发明实施例提供的鱼眼图像的处理方法的流程示意图二；

图5a为本发明实施例提供的鱼眼相机标定板的示意图；

图5b为本发明实施例提供的多方位拍摄的图像的示意图；

图6为本发明实施例提供的鱼眼图像的处理方法的流程示意图三；

图7为本发明实施例提供的目标物体的示意图；

图8为本发明实施例提供的鱼眼图像的处理装置的结构示意图；

图9为本发明实施例提供的车载设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的鱼眼图像的处理方法可以应用于需要根据鱼眼图像识别周围环境的物体的应用场景中，如车辆行驶场景中。目前，智能汽车辅助驾驶、自动驾驶领域，通常利用机器学习、深度学习技术为基础的目标检测和识别方法对汽车周围目标物的准确检测与识别。这类方法通常需要大量的样本作为学习的基础，因此，如何获取有效的图像学习样本成为了解决目标检测和识别的关键问题。由于鱼眼相机的特性，鱼眼图像中存在严重的畸变，为了机器学习算法、深度学习算法不会学习到鱼眼图像中的畸变特征，通常需要对鱼眼图像进行去畸变操作，对于鱼眼图像来说，去畸变操作会以一个确定的视角对图像进行去畸变计算，例如：对鱼眼图像正中目标的视角。

然而，由于鱼眼图像的尺寸是固定的，上述去畸变操作会使得位于鱼眼图像边缘位置的内容缺失，减少鱼眼图像的内容，使得样本利用率下降，同时，由于鱼眼图像内容缺失，减小了汽车的可视范围，影响行车安全。

本发明实施例考虑到上述问题，提出一种鱼眼图像的处理方法，通过获取设置在车辆上的鱼眼相机采集的鱼眼图像，根据鱼眼相机成像模型，获取鱼眼图像对应的去畸变的平面图像，鱼眼相机成像模型为根据鱼眼相机的相机参数得到的，对去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像。这样，提高了样本利用率，增大了车辆的可视范围，从而更全面的感知车辆周围的物体，提高了车辆行驶的安全性。

下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明实施例提供的鱼眼图像的处理方法的流程示意图一。本发明实施例提供了一种鱼眼图像的处理方法，该方法可以由任意执行鱼眼图像的处理方法的装置来执行，该装置可以通过软件和/或硬件实现。本实施例中，该装置可以集成在车载设备中。如图1所示，本发明实施例提供的鱼眼图像的处理方法包括如下步骤：

S101、获取设置在车辆上的鱼眼相机采集的鱼眼图像。

鱼眼相机是指带有鱼眼镜头的相机，是一种焦距极短并且视角接近或等于180°的镜头，是一种极端的广角镜头。但鱼眼相机所获取的鱼眼图像具有非常严重的畸变，不利于人眼观察和机器识别。本方案旨在对鱼眼图像进行处理，以便人眼观察和机器识别，从而可供智能车辆目标检测和识别算法的图像学习样本大幅增多。

车辆上可以设置多个鱼眼相机，可以分别设置在车辆的车头、车尾、两侧，用于采集车辆不同方向的鱼眼图像。

S102、根据鱼眼相机成像模型，获取鱼眼图像对应的去畸变的平面图像。

鱼眼相机成像模型为根据鱼眼相机的相机参数得到的。

需要说明的是，在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，几何模型是根据相机参数得到的，这个求解参数的过程就称之为相机标定。

这里的相机成像的几何模型可以为本步骤中的鱼眼相机成像模型。

可选的，根据三维空间坐标系中物体表面某一点的三维几何位置与其在鱼眼图像中对应点之间的对应关系，计算得到鱼眼相机的相机参数，再根据鱼眼相机的相机参数得到鱼眼相机成像模型。

可选的，当鱼眼相机设置在车辆车头时，可以在车头设置标定板，鱼眼相机采集标定板的鱼眼图像，然后提取鱼眼图像的特征点，得到满足要求的特征点之后，可以将该在鱼眼图像上的特征点地坐标和三维几何坐标匹配，然后计算得到鱼眼相机的相机参数。

然后，根据鱼眼相机的相机参数，获取鱼眼相机成像模型。

在本步骤中，根据鱼眼相机成像模型，可以将鱼眼图像上的点映射到三维几何空间，然后根据三维几何空间上点获取对应的去畸变的平面图像。

图2a为本发明实施例提供的鱼眼图像和去畸变平面图像的示意图，图2b 为本发明实施例提供的鱼眼图像和去畸变平面图像的另一示意图，如图2a所示，去畸变的平面图像更便于人眼观察和机器识别。

如图2b所示，去畸变的平面图像缺失了鱼眼图像中的区域1，去畸变的平面图像和鱼眼图像的尺寸大小相同，鱼眼图像到平面图像转化通常是四周延伸。

S103、对去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像。

由于去畸变的平面图像存在内容的缺失，而在目标检测和识别的学***面图像进行视角变换，以得到多个视角完整的图像。

图3a为本发明实施例提供的不同视角下平面图像的观测射线的示意图，如图3a所示，A为去畸变的图像(矩形框)，鱼眼相机分别从左视图、正视图、右视图采集图像(从图3a左往右看)，每个方位下鱼眼相机对应四条观测射线。

图3b为本发明实施例提供的视角变换后的图像的示意图，如图3b所示，包括左视图、正视图和右视图，三张图像结合起来可以得到鱼眼图像中完整的内容。

另外，鱼眼图像可以设置在车辆的不同位置，举例来说，鱼眼相机设置在车辆的车头，那么该鱼眼相机主要用于采集车辆前方的环境图像，包括障碍物、限速标志、停车标志位等，则步骤S103包括：

对平面图像进行前视角变换，获取平面图像前方视角的图像。

同理，鱼眼相机设置在车辆的车尾，那么该鱼眼相机主要用于采集车辆后障碍物等，则步骤S103包括：

对平面图像进行后视角变换，获取平面图像后方视角的图像。

同理，鱼眼相机设在车辆的左侧，主要用于采集左侧车辆、行人、停车标志位等，则步骤S103包括：

对平面图像进行左视角变换，获取平面图像的左视图。

鱼眼相机设在车辆的右侧，则步骤S103包括：

对平面图像进行右视角变换，获取平面图像的右视图。

本方案仅以左视图、正视图、右视图为例进行说明，并不是对视角的限制，也可以为左偏45°的视角或者右偏45°的视角。

本发明实施例提供的鱼眼图像的处理方法，通过获取设置在车辆上的鱼眼相机采集的鱼眼图像，根据鱼眼相机成像模型，获取鱼眼图像对应的去畸变的平面图像，鱼眼相机成像模型为根据鱼眼相机的相机参数得到的，对去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像。这样，提高了样本利用率，增大了车辆的可视范围，从而更全面的感知车辆周围的物体，提高了车辆行驶的安全性。

在上述实施例的基础上，图4为本发明实施例提供的鱼眼图像的处理方法的流程示意图二。如图4所示，本发明实施例提供的鱼眼图像的处理方法还包括如下步骤：

S201、获取鱼眼相机采集的多个鱼眼图像。

标定板在机器视觉、图像测量、摄影测量、三维重建等应用中，可以校正镜头畸变；确定物理尺寸和像素间的换算关系；以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型。通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定板。

可选的，本步骤中的多个鱼眼图像为鱼眼相机在不同方位采集的图像。可以使用鱼眼相机采集多个方位对应的标定板图像，鱼眼图像包括标定板图像，相应的，车载终端获取鱼眼相机采集的多个方位的多个不同标定板图像。图5a为本发明实施例提供的鱼眼相机标定板的示意图，图5b为本发明实施例提供的多方位拍摄的图像的示意图，如图5a所示，该标定板由黑白相间的格子组成，鱼眼相机1可以在不同方位拍摄该标定板，图中只示出两个方位的观测射线。图5b为本发明实施例提供的多方位拍摄的图像的示意图。

需要说明的是，图5a仅举例说明不同方位的拍摄，并不是限定拍摄方案仅限于图5a提供的拍摄方位，本方案可以有多种拍摄方位，对此不做限制。

S202、根据鱼眼相机采集的多个鱼眼图像，获取鱼眼相机的相机参数。

S203、根据鱼眼相机的相机参数，确定鱼眼相机成像模型。

在上述步骤中，根据鱼眼相机采集的多个鱼眼图像，可以得到其在空间物体表面某点的三维几何位置，计算得到鱼眼相机的相机参数，从而确定鱼眼相机成像模型，具体的实现过程和现有技术中的过程类似。

相机参数包括内参数和外参数，内参数是相机本身的参数，只有相机来决定的，不会因为外界环境而改变，如焦距f。外参数可以包括位置信息等。结合相机内参数和外参数，可以得到鱼眼相机成像模型，以使真实的三维点投影到二维的平面图像。

在一种可能的实现方式中，根据鱼眼相机采集的多个方位的多个不同标定板图像，确定每个标定板图像和三维坐标系中实际图像的对应关系，根据所述对应关系，计算得到鱼眼相机的相机参数。

具体地，可以根据图像二值化特征提取算法提取标定板图像的特征点，当特征点的数量满足预设特征点阈值时，将特征点在标定板图像上的坐标和三维实测坐标匹配，计算得到鱼眼相机的相机参数。进一步，可能存在标定布实测位置测量误差或图像质量导致的特征点检测中特征点位置错误，根据最小二乘法，优化算法对得到的相机参数进行多次优化得到最优的参数。

本实施例提供的鱼眼图像的处理方法，获取鱼眼相机采集的多个鱼眼图像，根据鱼眼相机采集的多个鱼眼图像，获取鱼眼相机的相机参数，根据鱼眼相机的相机参数，确定鱼眼相机成像模型。能够得到准确的鱼眼相机的相机参数和成像模型，以便后续获取相应的平面图像。

在上述图1、图4实施例的基础上，图6为本发明实施例提供的鱼眼图像的处理方法的流程示意图三，如图6所示，本发明实施例提供的鱼眼图像的处理方法具体包括如下步骤：

S301、获取设置在车辆上的鱼眼相机采集的鱼眼图像。

S302、根据鱼眼相机成像模型，获取所述鱼眼图像对应的去畸变的平面图像。

S303、对去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像。

步骤S301-S303和步骤S101-S103的具体实现过程类似，在此不再赘述。

S304、采用数据标注工具对多个平面图像中的同一个目标物进行标注，获取图像学习样本。

数据标注工具可以为软件实现的一种工具，在开发的数据标注工具对视角的样本进行标注，标注利用矩形框包围目标物体，整张图的所有矩形框都会以xml的格式保存，因此每个图像只要被标注过，之后可以将平面图像和xml文件导入该工具中，便可以显示标注的矩形框，无需重新标注。

图像学习样本为车辆目标检测和识别算法的学习来源，参考图7，图7 为本发明实施例提供的目标物体的示意图，如图7所示，目标物一般包括“限速5km/s”标志，“前进”标志、“禁止通行”标志、“区域A”、“区域B”、“区域C”，以区域为例，在左视图中，标注了“区域A”、“区域B”，正视图中标注了“区域B”，右视图中标注了“区域B”、“区域C”，这些被标注的图像样本为算法要学习的样本，保证了图像样本的丰富性。

本发明实施例提供的鱼眼图像的处理方法，获取设置在车辆上的鱼眼相机采集的鱼眼图像，根据鱼眼相机成像模型，获取鱼眼图像对应的去畸变的平面图像，鱼眼相机成像模型为根据鱼眼相机的相机参数得到的，对去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像，采用数据标注工具对多个平面图像中的同一个目标物进行标注，获取图像学习样本。这样，提高了样本利用率，增大了车辆的可视范围，从而更全面的感知车辆周围的物体，提高了车辆行驶的安全性。

图8为本发明实施例提供的鱼眼图像的处理装置的结构示意图。该鱼眼图像的处理装置可以为独立的车载设备，也可以为集成在车载设备中的装置，该鱼眼图像的处理装置80可以通过软件、硬件或者软硬件结合的方式实现。如图8所示，该装置包括：获取模块11、处理模块12、确定模块13，其中：

获取模块11，用于获取设置在车辆上的鱼眼相机采集的所述鱼眼图像；

根据鱼眼相机成像模型，获取所述鱼眼图像对应的去畸变的平面图像，所述鱼眼相机成像模型为根据所述鱼眼相机的相机参数得到的；

处理模块12，用于对所述去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像。

可选的，所述获取模块11，还用于：

获取所述鱼眼相机采集的多个鱼眼图像；

根据所述鱼眼相机采集的多个鱼眼图像，获取所述鱼眼相机的相机参数；

确定模块13，用于根据所述鱼眼相机的所述相机参数，确定所述鱼眼相机成像模型。

可选的，所述鱼眼相机设置在所述车辆的车头，所述处理模块12，还用于：

对所述平面图像进行前视角变换，获取所述平面图像前方视角的图像；

所述鱼眼相机设置在所述车辆的车尾，所述处理模块，还用于：

对所述平面图像进行后视角变换，获取所述平面图像后方视角的图像。

可选的，所述鱼眼相机设在所述车辆的左侧，所述处理模块12，还用于：

对所述平面图像进行左视角变换，获取所述平面图像的左视图；

所述鱼眼相机设在所述车辆的右侧，所述处理模块12，还用于：

对所述平面图像进行右视角变换，获取所述平面图像的右视图。

可选的，所述获取模块11，还用于：

获取所述鱼眼相机采集的多个方位的多个不同标定板图像，所述鱼眼图像包括所述标定板图像。

可选的，所述确定模块13，还用于：

根据所述鱼眼相机采集的多个方位的多个不同标定板图像，确定每个标定板图像和三维坐标系中实际图像的对应关系；

所述处理模块12，还用于根据所述对应关系，计算得到所述鱼眼相机的相机参数。

本发明实施例提供的车辆位置信息的纠偏装置，可以执行上述的方法实施例，其实现原理和技术效果类似，在此不再赘述。

图9为本发明实施例提供的车载设备的硬件结构示意图，如图9所示，本实施例的车载设备90包括：处理器901以及存储器902；其中：

存储器902，用于存储计算机执行指令；

处理器901，用于执行存储器存储的计算机执行指令，以实现上述实施例中接收设备所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。

可选地，存储器902既可以是独立的，也可以跟处理器901集成在一起。

当存储器902独立设置时，该语音交互设备还包括总线903，用于连接所述存储器902和处理器901。

本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行前述任一实施例提供的鱼眼图像的处理方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等) 或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器 (PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种鱼眼图像的处理方法，其特征在于，包括：

获取设置在车辆上的鱼眼相机采集的所述鱼眼图像；

根据鱼眼相机成像模型，获取所述鱼眼图像对应的去畸变的平面图像，所述鱼眼相机成像模型为根据所述鱼眼相机的相机参数得到的；

对所述去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像。

2.根据权利要求1所述的方法，其特征在于，所述获取设置在车辆上的鱼眼相机采集的所述鱼眼图像之前，所述方法还包括：

获取所述鱼眼相机采集的多个鱼眼图像；

根据所述鱼眼相机采集的多个鱼眼图像，获取所述鱼眼相机的相机参数；

根据所述鱼眼相机的所述相机参数，确定所述鱼眼相机成像模型。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用数据标注工具对所述多个平面图像中的同一个目标物进行标注，获取学习样本，所述图像学习样本为车辆目标检测和识别算法的学习来源。

4.根据权利要求1所述的方法，其特征在于，所述鱼眼相机设置在所述车辆的车头，所述对所述平面图像进行视角变换，获取多个不同视角下的多个平面图像，包括：

对所述平面图像进行前视角变换，获取所述平面图像前方视角的图像；

所述鱼眼相机设置在所述车辆的车尾，所述对所述平面图像进行视角变换，获取多个不同视角下的多个平面图像，包括：

对所述平面图像进行后视角变换，获取所述平面图像后方视角的图像。

5.根据权利要求1所述的方法，其特征在于，所述鱼眼相机设置在所述车辆的左侧，所述对所述平面图像进行视角变换，获取多个不同视角下的多个平面图像，包括：

对所述平面图像进行左视角变换，获取所述平面图像的左视图；

所述鱼眼相机设置在所述车辆的右侧，所述对所述平面图像进行视角变换，获取多个不同视角下的多个平面图像，包括：

对所述平面图像进行右视角变换，获取所述平面图像的右视图。

6.根据权利要求2所述的方法，其特征在于，所述获取所述鱼眼相机采集的多个鱼眼图像，包括：

获取所述鱼眼相机采集的多个方位的多个不同标定板图像，所述鱼眼图像包括所述标定板图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述鱼眼相机采集的多个鱼眼图像，获取所述鱼眼相机的相机参数，包括：

根据所述鱼眼相机采集的多个方位的多个不同标定板图像，确定每个标定板图像和三维坐标系中实际图像的对应关系；

根据所述对应关系，计算得到所述鱼眼相机的相机参数。

8.一种鱼眼图像的处理装置，其特征在于，包括：

获取模块，用于获取设置在车辆上的鱼眼相机采集的所述鱼眼图像；

根据鱼眼相机成像模型，获取所述鱼眼图像对应的去畸变的平面图像，所述鱼眼相机成像模型为根据所述鱼眼相机的相机参数得到的；

处理模块，用于对所述去畸变的平面图像进行视角变换，获取多个不同视角下的多个平面图像。

9.一种车载设备，其特征在于，包括：

处理器；

存储器；以及

计算机程序；

其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-7任一项所述的方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行权利要求1-7任一项所述的方法。