CN109754363A - 基于鱼眼相机的环视图像合成方法和装置 - Google Patents

Abstract

本发明提供一种基于鱼眼相机的环视图像合成方法和装置，该方法包括：获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像，根据预先获取的多个鱼眼相机之间的对应关系，对多个鱼眼图像进行拼接，获取多个鱼眼图像对应的平面环视图像，对应关系用于表示多个鱼眼相机采集的鱼眼图像之间的位置关系，对多个鱼眼图像中相同的空间物体进行空间对齐处理，获取平面环视图像对应的立体环视图像。通过该方法，能够获得车辆四周实景的环视图像，提高了用户体验，同时消除了车辆行驶时的盲区，提升了行驶安全性。

Description

基于鱼眼相机的环视图像合成方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于鱼眼相机的环视图像合成方法和装置。

背景技术

在汽车行驶尤其在倒车过程中，为了行驶安全，能够清楚地显示车辆周围的实景图像信息至关重要。

现有技术中，车辆上设置的相机大多是独立工作，这些相机采集的图像通常不进行拼接就返回给用户，用户体验不好；另外，虽然一些高端车型具备环视功能，主要是在车辆上设置有广角镜头，但是由于广角镜头视角狭窄，并且返回的一般都是平面视图，用户体验较差。

发明内容

为解决现有技术中存在的问题，本发明提供一种基于鱼眼相机的环视图像合成方法和装置，以提供给用户车辆四周实景的环视图像，提高了用户体验，同时消除了车辆行驶时的盲区，提升了行驶安全性。

第一方面，本发明实施例提供一种基于鱼眼相机的环视图像合成方法，包括：

获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像；

根据预先获取的所述多个鱼眼相机之间的对应关系，对所述多个鱼眼图像进行拼接，获取所述多个鱼眼图像对应的平面环视图像，所述对应关系用于表示所述多个鱼眼相机采集的鱼眼图像之间的位置关系；

对所述多个鱼眼图像中相同的空间物体进行空间对齐处理，获取所述平面环视图像对应的立体环视图像。

可选的，所述方法还包括：

对所述平面环视图像进行优化，获取优化后的平面环视图像。

可选的，所述方法还包括：

获取所述多个鱼眼相机采集的多个标定板图像，所述鱼眼图像包括所述标定板图像；

根据所述多个标定板图像，获取所述多个鱼眼相机的对应关系。

可选的，所述根据所述多个标定板图像，获取所述多个鱼眼相机的对应关系，包括：

根据特征点检测算法，获取所述多个标定板图像的特征点；

根据所述多个标定板图像的特征点，获取所述特征点的位置坐标；

根据所述特征点的位置坐标，获取所述多个鱼眼相机的对应关系。

可选的，所述对所述多个鱼眼图像中相同的空间物体进行空间对齐处理，获取所述平面环视图像对应的立体环视图像，包括：

对所述多个鱼眼图像中相同的空间物体进行空间对齐处理，获取第一立体环视图像；

对所述第一立体环视图像进行颜色混合处理，获取第二立体环视图像；

根据所述第二立体环视图像，以及预先建立的三维模型，获取所述平面环视图像对应的立体环视图像，所述立体环视图像为第二立体环视图像在所述预先建立的三维模型上的投影。

可选的，所述方法还包括：

显示所述平面环视图像对应的立体环视图像。

可选的，所述鱼眼相机的数量为四个。

第二方面，本发明实施例提供一种基于鱼眼相机的环视图像合成装置，包括：

获取模块，用于获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像；

处理模块，用于根据预先获取的所述多个鱼眼相机之间的对应关系，对所述多个鱼眼图像进行拼接，获取所述多个鱼眼图像对应的平面环视图像，所述对应关系用于表示所述多个鱼眼相机采集的鱼眼图像之间的位置关系；

对所述多个鱼眼图像中相同的空间物体进行空间对齐处理，获取所述平面环视图像对应的立体环视图像。

可选的，所述处理模块，还用于对所述平面环视图像进行优化，获取优化后的平面环视图像。

可选的，所述获取模块，还用于获取所述多个鱼眼相机采集的多个标定板图像，所述鱼眼图像包括所述标定板图像；

根据所述多个标定板图像，获取所述多个鱼眼相机的对应关系。

可选的，所述获取模块，还用于根据特征点检测算法，获取所述多个标定板图像的特征点；

根据所述多个标定板图像的特征点，获取所述特征点的位置坐标；

根据所述特征点的位置坐标，获取所述多个鱼眼相机的对应关系。

可选的，所述处理模块，还用于对所述多个鱼眼图像中相同的空间物体进行空间对齐处理，获取第一立体环视图像；

对所述第一立体环视图像进行颜色混合处理，获取第二立体环视图像；

所述获取模块，还用于根据所述第二立体环视图像，以及预先建立的三维模型，获取所述平面环视图像对应的立体环视图像，所述立体环视图像为第二立体环视图像在所述预先建立的三维模型上的投影。

可选的，所述装置还包括：

显示模块，用于显示所述平面环视图像对应的立体环视图像。

可选的，所述鱼眼相机的数量为四个。

第三方面，本发明实施例提供一种车载设备，包括：

处理器；

存储器；以及

计算机程序；

其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行第一方面所述的方法的指令。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行第一方面所述的方法。

本发明提供的基于鱼眼相机的环视图像合成方法和装置，该方法包括：获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像，根据预先获取的多个鱼眼相机之间的对应关系，对多个鱼眼图像进行拼接，获取多个鱼眼图像对应的平面环视图像，对应关系用于表示多个鱼眼相机采集的鱼眼图像之间的位置关系，对多个鱼眼图像中相同的空间物体进行空间对齐处理，获取平面环视图像对应的立体环视图像。通过该方法，能够获得车辆四周实景的环视图像，提高了用户体验，同时消除了车辆行驶时的盲区，提升了行驶安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于鱼眼相机的环视图像合成方法的流程示意图一；

图2为本发明实施例提供的鱼眼图像的示意图；

图3为本发明实施例提供的俯视平面环视图像的示意图；

图4为本发明实施例提供的基于鱼眼相机的环视图像合成方法的流程示意图二；

图5为本发明实施例提供的标定板的示意图；

图6为本发明实施例提供的基于鱼眼相机的环视图像合成方法的流程示意图三；

图7为本发明实施例提供的拼接鱼眼图像的示意图；

图8为本发明实施例提供的立体环视图像的示意图；

图9为本发明实施例提供的基于鱼眼相机的环视图像合成装置的结构示意图；

图10为本发明实施例提供的车载设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的鱼眼相机的环视图像合成方法可以应用于需要查看车辆四周环境的应用场景中，如车辆行驶或停车过程中。车辆行驶或停车过程，为保证安全，司机需要查看车辆四周是否有障碍物，目前大多数车辆上设置的相机大多是独立工作，这些相机采集的图像通常不进行拼接就返回给用户，给予用户不自然的实景体验，用户体验不好；另外，虽然一些高端车型具备环视功能，主要是在车辆上设置有广角镜头，但是由于广角镜头视角狭窄比较固定，并且返回的一般都是平面视图，并不能提供给用户三维立体环视图像，以供用户手动触摸旋转三维力图环视图像至任一视角，并且返回图像的速度较慢、价格昂贵，导致用户体验差。

本发明实施例考虑到上述问题，提出一种鱼眼相机的环视图像合成方法，该方法中车载设备获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像，根据预先获取的多个鱼眼相机之间的对应关系，对多个鱼眼图像进行拼接，获取多个鱼眼图像对应的平面环视图像，对应关系用于表示多个鱼眼相机采集的鱼眼图像之间的位置关系，对多个鱼眼图像中相同的空间物体进行空间对齐处理，获取平面环视图像对应的立体环视图像。通过该方法，能够获得车辆四周实景的环视图像，提高了用户体验，同时消除了车辆行驶时的盲区，提升了行驶安全性。

下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明实施例提供的基于鱼眼相机的环视图像合成方法的流程示意图一。本发明实施例提供了一种鱼眼相机的环视图像合成方法，该方法可以由任意执行鱼眼相机的环视图像合成方法的装置来执行，该装置可以通过软件和/或硬件实现。本实施例中，该装置可以集成在车载设备中。如图1所示，本发明实施例提供的鱼眼相机的环视图像合成方法包括如下步骤：

S101、获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像。

车辆上可以设置有多个鱼眼相机，可以分别设置在车辆的四周，用于采集车辆不同方向的图像。本方案对于鱼眼相机的数量没有特别限制，只要鱼眼相机采集的图像能合成，并完整显示车辆四周的环境即可。

可选的，鱼眼相机的数量为4个，可以分别设置在车辆的车头、车尾、左侧和右侧。

S102、根据预先获取的多个鱼眼相机之间的对应关系，对多个鱼眼图像进行拼接，获取多个鱼眼图像对应的平面环视图像。

该对应关系用于表示多个鱼眼相机采集的鱼眼图像之间的位置关系，若鱼眼相机的位置没有发生变化，则该对应关系就是固定的。

可选的，该对应关系可以为几何转换关系。

以车辆上设置有4个鱼眼相机为例，结合图2、图3进行说明，图2为本发明实施例提供的鱼眼图像的示意图，图3为本发明实施例提供的俯视平面环视图像的示意图。

由图2可知，车辆上设置的4个鱼眼相机分别设置在车辆的车头、车尾、左侧和右侧，由于鱼眼相机的最大拍摄范围为180°，则鱼眼相机1采集的鱼眼图像和鱼眼相机2采集的鱼眼图像有重叠区域，鱼眼相机2和鱼眼相机3采集的鱼眼图像有重叠区域，鱼眼相机3和鱼眼相机4采集的鱼眼图像有重叠区域，鱼眼相机4和鱼眼相机1采集的鱼眼图像有重叠区域，则可以根据四个鱼眼相机采集的四个鱼眼图像之间的位置关系，对各个鱼眼相机采集的各个鱼眼图像进行拼接，获得这四张鱼眼图像对应的平面环视图像。

需要说明的是，这里的拼接就是将有重叠区域的任意两张鱼眼图像进行拼接，当重叠区域完全重合，拼接完成，然后进行第二轮拼接，直到四张鱼眼图像拼接在一起，得到一个完整的平面图像。

进一步，预先建立二维模型，过滤不需要的信息展示给用户的目标，比如：天空中的物体，结合该二维模型，可以得到图3所示的俯视平面环视图像。

S103、对多个鱼眼图像中相同的空间物体进行空间对齐处理，获取平面环视图像对应的立体环视图像。

在立体环视图像中俯视的平面环视图像中地面上的物体基本对齐(拼接完成)，而空间中的物体在对齐时，还存在偏差，故需要对空间存在对齐偏差的集合物体进行空间对齐处理。

在一种可能的实现方式中，可以先对多个鱼眼图像中相同的空间物体进行空间对齐处理，获取第一立体环视图像，然后对第一立体环视图像进行颜色混合处理，获取第二立体环视图像，再根据第二立体环视图像，以及预先建立的三维模型，获取平面环视图像对应的立体环视图像，立体环视图像为第二立体环视图像在预先建立的三维模型上的投影。

具体地，空间兑取处理可以为根据不同鱼眼图像中相同物体几何形状、外观颜色等，计算得到外观函数，该函数可以是自定义的一个反映不同鱼眼图像的变化率，如：颜色深浅变化率等，以颜色举例说明，若该颜色深浅变化率大于预设相同物体颜色深浅变化率阈值，可以对深色区域进行拉伸，或者对浅色区域进行缩小，以使同一个物体在显示上颜色自然。

空间对齐处理后得到第一立体环视图像，由于各个鱼眼相机的入射光线不同，不同鱼眼图像在亮度上存在差异，不同鱼眼图像中的相同物体颜色上的差异可能比较大，因此需要对不同鱼眼图像进行颜色混合以在视觉上自然，具体地，可以计算同一个物体在不同鱼眼图像上的单位亮度值，求取平均值，然后重新给不同鱼眼图像中的该物体重新着色，从而得到第二立体环视图像。

预先建立三维模型，该三维模型用于过滤不需要展示给用户的物体，该三维模型上的点和立体图像的点有预设对应关系。

可选的，该三维模型可以为碗装网络的三维模型，本方案对于三维模型的形状不做限制。

则可以将得到的第二立体环视图像投影到该三维模型上，得到平面环视图像对应的立体环视图像。

本实施例提供的鱼眼相机的环视图像合成方法，该方法中车载设备获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像，根据预先获取的多个鱼眼相机之间的对应关系，对多个鱼眼图像进行拼接，获取多个鱼眼图像对应的平面环视图像，对应关系用于表示多个鱼眼相机采集的鱼眼图像之间的位置关系，对多个鱼眼图像中相同的空间物体进行空间对齐处理，获取平面环视图像对应的立体环视图像。通过该方法，能够获得车辆四周实景的环视图像，提高了用户体验，同时消除了车辆行驶时的盲区，提升了行驶安全性。

在上述图1实施例的基础上，图4为本发明实施例提供的基于鱼眼相机的环视图像合成方法的流程示意图二，如图4所示，该方法还包括以下步骤：

S201、获取多个鱼眼相机采集的多个标定板图像。

标定板可以设置在车辆的四周的地面上，鱼眼相机可以设置在车辆的四周，用于采集标定板图像，鱼眼图像包括标定板图像。

可选的，标定板数量为4个，分别设置在车辆的四周。

本方案中标定板的类型不限，图5中的标定布为黑白两个正方形(黑在外圈，白在内圈)，还可以为一个正方形(黑白相间)。

S202、根据多个标定板图像，获取多个鱼眼相机的对应关系。

根据鱼眼相机采集的多个标定板图像，可以确定包括同一个标定板在不同标定板图像的位置，可以确定多个标定板图像的位置关系，从而得到多个鱼眼相机的对应关系。

在一种可能的实现方式中，根据特征点检测算法，获取多个标定板图像的特征点，根据多个标定板图像的特征点，获取特征点的位置坐标，根据特征点的位置坐标，获取多个鱼眼相机的对应关系。

具体地，结合图5对本步骤进行说明，图5为本发明实施例提供的标定板的示意图，如图5所示，标定板设置在车辆的左前、左后、右前、右后，车辆位于最中心，鱼眼相机分别设置在车辆的车头、车尾、左侧和右侧，每个鱼眼相机均可采集至少两个标定板图像。

图5中的特征点可以为黑色正方形和白色正方形的顶点，数量为8个。

然后初始设定左前的标定板的左上角点A为坐标原点，预先测量得到每个标定板相对于坐标原点的位置坐标。

进一步，根据确定特征点的位置坐标，对不同鱼眼图像进行配对，以两张标定板图像为例，即在标定板图像1中找到标定板图像2中特征点M的匹配点N，由于两个鱼眼图像之间有重叠区域，参考图2的具体过程，再结合每个特征点M、N的位置坐标，获取标定板图像1和标定板图像2的位置关系，同理，还可按照此方法依次完成与标定板图像3、标定板图像4的特征点的匹配，从而得到四个鱼眼相机的对应关系。

本实施例提供的鱼眼相机的环视图像合成方法，车载设备获取多个鱼眼相机采集的多个标定板图像，鱼眼图像包括所述标定板图像，根据多个标定板图像，获取多个鱼眼相机的对应关系，由此预先获得建立了设置在车辆上的多个鱼眼相机的对应关系，在实际的车辆行驶过程中，可以根据预先获得的对应关系，以及实时获取的鱼眼图像，获得车辆四周实景的环视图像，提高了用户体验。

在上述图1、图4实施例的基础上，结合图6对本方案的具体实施过程进行说明，图6为本发明实施例提供的基于鱼眼相机的环视图像合成方法的流程示意图三，如图6所示，该方法具体包括以下步骤：

S301、获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像。

S302、根据预先获取的多个鱼眼相机之间的对应关系，对多个鱼眼图像进行拼接，获取多个鱼眼图像对应的平面环视图像。

S303、对平面环视图像进行优化，获取优化后的平面环视图像。

由于步骤S202中预先测量得到每个标定板相对于坐标原点的位置坐标，由于各种原因，测量得到的位置坐标存在一定的误差，因此，得到的鱼眼相机之间的对应关系也会存在一定误差，则得到的平面环视图像中可能会存在不同鱼眼图像中的同一物体不对齐的情况，使得拼接后的图像不是那么完美，需要进行优化。

具体地，结合图7进行具体说明，图7为本发明实施例提供的拼接鱼眼图像的示意图，如图7所示，以两张鱼眼图像拼接为例，鱼眼图像1和鱼眼图像2包括重叠区域，按照以上方法，鱼眼图像1和鱼眼图像2初步拼接后，没有完全重合，误差为区域A，当检测到没有完全重合后，将鱼眼图像1和鱼眼图像2的重叠区域分别朝对方方向进行拉伸，以消除误差区域A。

S304、对多个鱼眼图像中相同的空间物体进行空间对齐处理，获取平面环视图像对应的立体环视图像。

步骤S301-S302和步骤S101-S103的实现过程类似，步骤S304和步骤S103的实现过程类似，在此不再赘述。

S305、显示平面环视图像对应的立体环视图像。

图8为本发明实施例提供的立体环视图像的示意图，如图8所示，呈现给用户的是一个车辆四周实景的立体环视图像，中间的黑色区域为车辆，具体地，可以在车载设备的显示屏上将得到的立体环视图像进行显示，并且根据用户需求，可以将该立体环视图像旋转至任一视角，使得用户更加直观且真实的感知车辆四周实景信息。

本实施例提供的鱼眼相机的环视图像合成方法，该方法中车载设备获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像，根据预先获取的多个鱼眼相机之间的对应关系，对多个鱼眼图像进行拼接，获取多个鱼眼图像对应的平面环视图像，对应关系用于表示多个鱼眼相机采集的鱼眼图像之间的位置关系，对平面环视图像进行优化，获取优化后的平面环视图像，对多个鱼眼图像中相同的空间物体进行空间对齐处理，获取平面环视图像对应的立体环视图像。通过该方法，能够获得车辆四周实景的环视图像，提高了用户体验，同时消除了车辆行驶时的盲区，提升了行驶安全性。

图9为本发明实施例提供的基于鱼眼相机的环视图像合成装置的结构示意图，该基于鱼眼相机的环视图像合成装置可以为独立的车载设备，也可以为集成在车载设备中的装置，该装置可以通过软件、硬件或者软硬件结合的方式实现。如图9所示，基于鱼眼相机的环视图像合成装置10包括：获取模块11、处理模块12、显示模块13；

获取模块11，用于获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像；

处理模块12，用于根据预先获取的所述多个鱼眼相机之间的对应关系，对所述多个鱼眼图像进行拼接，获取所述多个鱼眼图像对应的平面环视图像，所述对应关系用于表示所述多个鱼眼相机采集的鱼眼图像之间的位置关系；

对所述多个鱼眼图像中相同的空间物体进行空间对齐处理，获取所述平面环视图像对应的立体环视图像。

可选的，所述处理模块12，还用于对所述平面环视图像进行优化，获取优化后的平面环视图像。

可选的，所述获取模块11，还用于获取所述多个鱼眼相机采集的多个标定板图像，所述鱼眼图像包括所述标定板图像；

根据所述多个标定板图像，获取所述多个鱼眼相机的对应关系。

可选的，所述获取模块11，还用于根据特征点检测算法，获取所述多个标定板图像的特征点；

根据所述多个标定板图像的特征点，获取所述特征点的位置坐标；

根据所述特征点的位置坐标，获取所述多个鱼眼相机的对应关系。

可选的，所述处理模块12，还用于对所述多个鱼眼图像中相同的空间物体进行空间对齐处理，获取第一立体环视图像；

对所述第一立体环视图像进行颜色混合处理，获取第二立体环视图像；

所述获取模块11，还用于根据所述第二立体环视图像，以及预先建立的三维模型，获取所述平面环视图像对应的立体环视图像，所述立体环视图像为第二立体环视图像在所述预先建立的三维模型上的投影。

显示模块12，用于显示所述平面环视图像对应的立体环视图像。

可选的，所述鱼眼相机的数量为四个。

本发明实施例提供的鱼眼相机的环视图像合成装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图10为本发明实施例提供的车载设备的硬件结构示意图，如图10所示，本实施例的车载设备80包括：处理器801以及存储器802；其中：

存储器802，用于存储计算机执行指令；

处理器801，用于执行存储器存储的计算机执行指令，以实现上述实施例中接收设备所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。

可选地，存储器802既可以是独立的，也可以跟处理器801集成在一起。

当存储器802独立设置时，该语音交互设备还包括总线803，用于连接所述存储器802和处理器801。

本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行前述任一实施例提供的基于鱼眼相机的环视图像合成方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于鱼眼相机的环视图像合成方法，其特征在于，包括：

获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像；

根据预先获取的所述多个鱼眼相机之间的对应关系，对所述多个鱼眼图像进行拼接，获取所述多个鱼眼图像对应的平面环视图像，所述对应关系用于表示所述多个鱼眼相机采集的鱼眼图像之间的位置关系；

对所述多个鱼眼图像中相同的空间物体进行空间对齐处理，获取所述平面环视图像对应的立体环视图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述平面环视图像进行优化，获取优化后的平面环视图像。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述多个鱼眼相机采集的多个标定板图像，所述鱼眼图像包括所述标定板图像；

根据所述多个标定板图像，获取所述多个鱼眼相机的对应关系。

4.根据权利要求3所述的方法，其特征在于，所述根据所述多个标定板图像，获取所述多个鱼眼相机的对应关系，包括：

根据特征点检测算法，获取所述多个标定板图像的特征点；

根据所述多个标定板图像的特征点，获取所述特征点的位置坐标；

根据所述特征点的位置坐标，获取所述多个鱼眼相机的对应关系。

5.根据权利要求1所述的方法，其特征在于，所述对所述多个鱼眼图像中相同的空间物体进行空间对齐处理，获取所述平面环视图像对应的立体环视图像，包括：

对所述多个鱼眼图像中相同的空间物体进行空间对齐处理，获取第一立体环视图像；

对所述第一立体环视图像进行颜色混合处理，获取第二立体环视图像；

根据所述第二立体环视图像，以及预先建立的三维模型，获取所述平面环视图像对应的立体环视图像，所述立体环视图像为第二立体环视图像在所述预先建立的三维模型上的投影。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

显示所述平面环视图像对应的立体环视图像。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述鱼眼相机的数量为四个。

8.一种基于鱼眼相机的环视图像合成装置，其特征在于，包括：

获取模块，用于获取设置在车辆上的多个鱼眼相机采集的多个鱼眼图像；

处理模块，用于根据预先获取的所述多个鱼眼相机之间的对应关系，对所述多个鱼眼图像进行拼接，获取所述多个鱼眼图像对应的平面环视图像，所述对应关系用于表示所述多个鱼眼相机采集的鱼眼图像之间的位置关系；

对所述多个鱼眼图像中相同的空间物体进行空间对齐处理，获取所述平面环视图像对应的立体环视图像。

9.一种车载设备，其特征在于，包括：

处理器；

存储器；以及

计算机程序；

其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-7任一项所述的方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行权利要求1-7任一项所述的方法。