CN108564551A - 鱼眼图像处理方法及鱼眼图像处理装置 - Google Patents

Abstract

本发明公开一种鱼眼图像处理方法及装置，该方法包括确定输出图像中每一个像素点与输入图像中的像素点的映射关系，形成映射关系对应表，将映射关系对应表发送至图像处理电路；将输入图像的数据发送至图像处理电路；并且，图像处理电路接收输入图像的数据后，根据映射关系对应表的映射关系对输入图像的数据进行插值计算，获得输出图像每一个像素点的数据。该装置包括处理器以及图像处理电路，用于实现上述的鱼眼图像处理方法。本发明能够提高鱼眼图像的处理效率，并且节省图像矫正过程中所占用的硬件电路的带宽。

Description

鱼眼图像处理方法及鱼眼图像处理装置

技术领域

本发明涉及图像处理领域，尤其涉及一种针对通过带有鱼眼镜头的拍摄设备所拍摄获得的图像进行处理的方法以及实现这种方法的装置。

背景技术

随着拍摄设备的发展，人们广泛应用各种广角镜头拍摄照片，其中鱼眼镜头是一种具有极宽视角的广角镜头。使用鱼眼镜头拍摄的照片通常被称为鱼眼图像，由于鱼眼图像的视场角大，单个鱼眼相机可以获取180度视场信息的内容，该特性使鱼眼镜头越来越多的应用于自动驾驶、全景监控、虚拟现实等领域。

然而，由于鱼眼图像本身存在较大畸变，因此需要通过适当的映射关系及畸变矫正算法对鱼眼图像进行矫正，输出符合人体视觉特性的非畸变图像。受限于映射关系的不确定性以及畸变矫正算法对数据源的要求，对鱼眼图像进行矫正时，目前的处理方法大多是应用软件程序实现图像的矫正，随着图像的像素越来越高，通过软件程序的方式实现鱼眼图像的矫正将导致图像输出的实时性较差，无法实现以视频方式的实时直播。

如果使用硬件电路，如图像处理电路的方式对鱼眼图像进行实时矫正，目前大多采用缓存多行原始像素或直接从整幅图像中获取对应像素点进行畸变矫正计算，但这种方法导致图像处理电路面积大，动态随机存储器的读写效率低的问题对带宽需求较大，硬件要求较高。

具体的，现在对鱼眼图像的处理大多采用缓存多行原始像素或直接从整幅图像中获取对应像素点进行畸变矫正计算，对于多行原始数据缓存方案，必须存储足够多行的图像数据才能确保即畸变矫正过程中能拿到正确的数据进行计算，这样需要静态存储器SRAM的面积非常大以满足数据存储的要求，并且需要采用滚动的方式或按行重复加载部分数据的方式进行静态存储器SRAM数据的更新，操作复杂、引入过多无效动态随机存储器的带宽。除此之外，该方法中使用的静态存储器SRAM深度受图像规格制约，不便于芯片规格的升级换代。而直接从整幅图像中获取对应像素点进行畸变矫正计算的方法，获取数据时地址跳变大且不连续，动态随机存储器效率低、同样引入过多无效的动态随机存储器带宽。

发明内容

本发明的主要目的是提供一种通过软件程序与硬件电路协同矫正鱼眼图像的鱼眼图像处理方法。

本发明的另一目的是提供一种减小硬件电路实现难度并且减小带宽的鱼眼图像处理装置。

为了实现上述的主要目的，本发明提供的鱼眼图像处理方法包括确定输出图像中每一个像素点与输入图像中的像素点的映射关系，形成映射关系对应表，将映射关系对应表发送至图像处理电路；将输入图像的数据发送至图像处理电路；并且，图像处理电路接收输入图像的数据后，根据映射关系对应表的映射关系对输入图像的数据进行插值计算，获得输出图像每一个像素点的数据。

由上述方案可见，图像处理方法通过软件程序实现映射关系的对应，而图像处理电路则用于根据映射关系对应表对输入图像进行插值计算并且获得输出图像，这样，通过软件程序与硬件电路的协同工作，一方面可以避免纯粹通过软件程序对鱼眼图像处理而导致图像矫正效率低下的问题，另一方面还可以避免通过硬件电路加载大量的图像数据而导致占用带宽过大的问题。

一个优选的方案是，将输出图像划分为多个图像块，并确定每一个图像块对应于输入图像中的源数据块，图像处理电路每次计算一个图像块的像素点的数据；其中，将映射关系对应表发送至图像处理电路包括：发送与待处理的图像块对应的映射关系对应表的数据；其中，将输入图像的数据发送至图像处理电路包括：将输入图像中与待处理的图像块对应的源数据块的数据发送至图像处理电路。

由此可见，对输出图像进行分块处理，图像处理电路每次可以仅接收少量的数据，例如每次只接收待处理的图像块相应的映射关系对应表的数据以及源数据块图像的数据，这样可以大大减小每次输入到图像处理电路的数据量，从而减小占用的从DDR存储器到图像处理电路的带宽。

进一步的方案是，将映射关系对应表发送至图像处理电路前，对映射关系对应表的数据进行压缩，将压缩后的映射关系对应表的数据发送至图像处理电路；图像处理电路接收到压缩后的映射关系对应表的数据后，对收的数据进行解压缩。优选的，对映射关系对应表的数据进行压缩包括：对映射关系对应表的数据进行等距采样压缩。

可见，由于映射关系对应表的数据经过压缩，这样处理器发送至图像处理电路的数据量很少，有效的减小处理器与图像处理电路之间传输的数据量。并且，采用等距采样压缩的技术可以有效降低数据压缩以及解压的难度，

更进一步的方案是，图像处理电路对压缩后的映射关系对应表的数据进行解压缩计算包括：对图像块边缘坐标值进行行列插值计算，对图像块中间区域的坐标值进行双线性插值计算。

由此可见，通过对边缘坐标值与中间区域的坐标值不同方式的处理，可以提高解压后的数据的准确性。

更进一步的方案是，将输入图像中与待处理的图像块对应的源数据块的数据发送至图像处理电路包括：发送当前待处理的图像块的源数据块数据前，判断上一相邻的图像块对应的源数据块与当前的源数据块是否存在重叠区域，如确定存在重叠区域，则将重叠区域以外数据发送至图像处理电路。

可见，通过判断两个相邻的图像块对应的源数据块是否存在重叠区域，并且将重叠区域的数据消除后再传输，可以避免重复传输重叠区域的数据，有效减小图像处理电路占用的带宽。

更进一步的方案是，将输入图像中与待处理的图像块对应的源数据块的数据发送至图像处理电路包括：判断当前源数据块的数据量是否大于预设阈值，如是，将当前计算的图像块划分成多个图像子块，并确定每一个图像子块对应的源数据块，每次发送一个图像子块对应的源数据块的数据至图像处理电路。

由此可见，通过对图像块进行再次分块，可以确保每次加载到图像处理电路的源数据块的数据量不会超出阈值，这样可以减小图像处理电路的缓存器的面积，不但可以减小图像处理电路的面积，还可以降低图像处理电路的成本。

更进一步的方案是，发送与待处理的图像块对应的映射关系对应表的数据包括：一次向图像处理电路发送与二个以上的图像块对应的映射关系对应表的数据。

可见，通过一次发送多个图像块对应的映射关系对应表的数据，可以减小处理器向图像处理电路发送数据的次数，从而提高鱼眼图像的矫正效率。

为了实现上述的另一目的，本发明还提供的鱼眼图像处理装置包括处理器以及图像处理电路，其中，处理器在执行计算机程序时用于实现：确定输出图像中每一个像素点与输入图像中的像素点的映射关系，形成映射关系对应表，将映射关系对应表发送至图像处理电路；将输入图像的数据发送至图像处理电路；其中，图像处理电路用于：接收处理器传输的输入图像的数据后，根据映射关系对应表的映射关系对输入图像的数据进行插值计算，计算输出图像每一个像素点的数据。

一个优选的方案是，处理器还用于实现：将输出图像划分为多个图像块，并确定每一个图像块对应于输入图像中的源数据块，图像处理电路每次计算一个图像块的像素点的数据；其中，将映射关系对应表发送至图像处理电路时，发送与待处理的图像块对应的映射关系对应表的数据；其中，将输入图像的数据发送至图像处理电路时，将输入图像中与待处理的图像块对应的源数据块的数据发送至图像处理电路。

由上述方案可见，图像处理装置包括处理器以及图像处理电路，处理器通过软件程序实现映射关系的对应，而图像处理电路则用于根据映射关系对应表对输入图像进行插值计算并且获得输出图像，这样，通过软件程序与硬件电路的协同工作，不但可以避免纯粹通过软件程序对鱼眼图像处理而导致图像矫正效率低下的问题，还可以避免通过硬件电路加载大量的图像数据而导致占用带宽过大的问题。

附图说明

图1是本发明鱼眼图像处理方法实施例的流程图。

图2是本发明鱼眼图像处理装置实施例的结构框图。

图3是本发明鱼眼图像处理方法实施例所矫正的鱼眼图像多个坐标系的示意图。

图4是本发明鱼眼图像处理方法实施例鱼眼图像处理过程中坐标系计算的流程图。

图5是本发明鱼眼图像处理方法实施例中对输出图像进行分块的示意图。

图6是本发明鱼眼图像处理方法实施例中映射关系对应表与图像块的示意图。

图7是本发明鱼眼图像处理装置实施例中的参数解析单元工作流程图。

图8是本发明鱼眼图像处理装置实施例中的源数据块再分块的流程图。

图9是本发明鱼眼图像处理装置实施例中的数据源分块加载单元的工作流程图。

图10是本发明鱼眼图像处理方法实施例中相邻的两个图像块对应的源数据块的示意图。

图11是本发明鱼眼图像处理装置实施例中的双线性插值单元的工作流程图。

图12是本发明鱼眼图像处理装置实施例中的插值结果输出单元的工作流程图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的鱼眼图像处理方法应用在各种拍摄设备上，如照相机、监控设备等，也可以应用在具有拍照功能的移动设备上，如智能手机、平板电脑或者行车记录仪等电子设备上。本发明的鱼眼图像处理装置可以是应用在各种拍摄设备上的通过处理器以及图像处理电路实现的装置。

本发明的主要构思是通过软件程序与硬件电路相结合的方式对鱼眼图像进行处理。由于鱼眼图像是由带有鱼眼镜头的拍摄设备所拍摄的，所拍摄获得的图像是一张发生了畸变的二维图像，因此，图像的每一个像素均具有自己的行坐标与列坐标，本实施例中，由拍摄设备所拍摄获得的原始图像被称为输入图像，也就是输入到鱼眼图像处理装置的图像。相应的，矫正后的图像也是一张二维图像，图像中的每一个像素均具有自己的行坐标与列坐标，矫正获得的图像称为输出图像，也就是鱼眼图像处理装置输出的图像。

因此，本实施例中，首先需要确定输出图像中每一个像素点的行坐标对应于输入图像中的哪些行坐标的像素，并确定输出图像的每一个像素点的列坐标对应于输入图像中的哪些列坐标的像素。在确定输出图像与输入图像之间的像素的对应关系以后，形成一个映射关系对应表，然后由图像处理电路根据映射关系对应表的数据对输入图像的数据进行矫正，如进行插值进行，从而获得输出的图像。

本实施例的鱼眼图像处理方法如图1所示，首先执行步骤S1，确定输出图像中每一个像素点与输入图像之间的像素点之间的映射关系，然后执行步骤S2，根据步骤S1确定的对应关系形成映射关系对应表，并且将映射关系对应表发送至图像处理电路，因此，本实施例中，步骤S1至步骤S3由处理器实现，即由处理器执行计算机程序所实现的步骤，而步骤S4至步骤S9是由图像处理电路实现，即由集成电路所实现的步骤。

参见图2，鱼眼图像处理装置包括有处理器10以及图像处理电路20、DDR控制器12，其中处理器10需要实现建立映射关系对应表，并且对映射关系对应表进行压缩。图像处理电路20包括数据源分块加载单元21、参数解析单元22、双线性插值单元23以及插值结果输出单元24，图像处理电路20通过DDR控制器12从DDR存储器11中读取数据，如读取输入图像的数据，并且将输出图像的数据通过DDR控制器12输出DDR存储器11。

下面结合图3与图4介绍建立输出图像与输入图像的映射关系对应表的过程。根据鱼眼镜头的成像原理，可以将鱼眼镜头近似看作一个半球模型，如图3上半部分所示的半球模型。世界坐标系中的一点通过旋转矩阵R和平移矩阵T投影到相机坐标系，由于光线是通过鱼眼镜头多组镜片的折射后达成像平面，所以相机坐标系到成像平面的投影模型是非线性变换过程，通过一条多阶公式的计算，可以将成像平面中的像素点可根据相机的内参矩阵A变换到图像坐标系。根据鱼眼镜头的成像模型，本发明主要采用公知的OpenCV或OCamCalib标定工具对相机进行参数标定，获取相机的旋转矩阵R和平移矩阵T、内参矩阵A和畸变系数等参数。

为使径向畸变严重的鱼眼图像更适合人眼观看，本发明采用等矩形全景展开的方案对输入的图像进行矫正。鱼眼镜头成像被近似看作一个半球模型，当将其所成图像展开到矩形平面时，可按球面的经纬度来映射图像。根据单位球鱼眼图与矩形展开面的映射关系，可将输出图像上的每一点(xd，yd)根据映射关系S投影到3D球面，得到3D坐标(X,Y,Z)，将3D坐标根据旋转矩阵R和平移矩阵T变换到摄像机坐标系(X’,Y’,Z’)，根据投影模型F可得到投影在相机成像平面的位置(x,y)，最后通过相机内参矩阵A计算其在鱼眼图像中的投影点(xs, ys)，鱼眼图像矫正过程中建立输出图像与输入图像像素点之间的映射关系的过程如图4所示。中国发明专利申请CN201511019998.0公开了一种输出图像与输入图像像素点之间的映射关系的计算过程，在此不再赘述。

本实施例中，在确定拍摄设备的参数以后，处理器10可以根据现有的标定工具确定输出图像每一个像素点与输入图像的像素点之间的映射关系，根据该映射关系，形成一个映射关系对应表，例如，映射关系对应表中记录输出图像的每一个像素点行坐标对应于输入图像中哪些像素点的行坐标，并记录输出图像的每一个像素点列坐标对应于输入图像中哪些像素点的列坐标。

由于映射关系对应表的数据需要发送至图像处理电路20，为减小发送至图像处理电路20的数据量，本实施例需要对映射关系对应表的数据进行压缩。例如，对映射关系对应表中的坐标进行等距采样的方式进行数据压缩，如采用计算平均值的方法计算出采样点的像素对应的行坐标、列坐标的数据，优选的，相邻的两个采样点之间的距离是相等的。压缩后的数据并不包括采样点以外的数据，因此，图像处理电路接收到映射关系对应表的数据以后，需要进行解压缩，也就是采用插值的方式将采样点以外的数据补充完整，从而获得原始的映射关系对应表的数据。为了确保解压缩获得的数据不会严重失真，采样的距离不宜过长，如间隔三个或者五个像素点应该设置一个采样点。

随着拍摄设备的像素不断提高，输出图像的像素点有不断的增加，如果图像处理电路20每次处理一整张输出图像的数据，则需要图像处理电路20有较大的面积，为此，需要对输出图像进行分块，即执行步骤S3。如图5所示，将输出图像划分成多个图像块，如block_00、block_01…block_mn等，优选的，每一个图像块的大小是相等的，即每一个图像块的长度、高度相等。

对输出图像进行分块以后，图像处理电路20每次可以只计算一个图像块的数据，因此，图像处理电路20每次的计算量较少，电路面积也可以减小。由于图像处理电路20每次只需要处理一个图像块的数据计算，因此，每次发送至图像处理电路20的映射关系对应表的数据也可以是仅仅包含相应图像块的数据即可，也就是需要对映射关系对应表进行拆分，并且获取每一个图像块中相应的映射关系对应表的数据。

当然，由于映射关系对应表的数据量通常较少，为了避免多次从处理器10向图像处理电路20发送数据，可以一次向图像处理电路20发送多个图像块对应的映射关系对应表的数据。例如，一次发送相邻的多个图像块的映射关系对应表的数据。这样，在当前的一组的多个映射关系对应表相应的多个图像块解析完毕以后，再获取下一组映射关系对应表的数据。

如图6所示，图像处理电路20每次处理一个图像块的数据，因此，本实施例中，设置每一图像块对应的数据表格LUT，每一个数据表格LUT包含有源数据块ROI的描述信息及该图像块对应的映射关系对应表的数据。其中，源数据块ROI的描述信息包括图像矫正时插值重建各个输出图像数据块所需的源数据块信息和有效标志位。例如，确定输出图像的一个图像块的边界以后，可以根据该图像块的边界信息，应用映射关系对应表可以确定该图像块对应于输入图像中的像素点的边界，位于输入图像中的像素点边界以内的图像块为该图像块对应的源数据块ROI，因此，每一图像块均有自己对应的源数据块。

在将输出图像划分为多个图像块以后，确定了每一个图像块对应的源数据块以及映射关系对应表中的数据以后，执行步骤S4，确定当前处理的图像块，例如计算当前需要处理的是哪一块图像块，然后执行步骤S5，图像处理电路加载当前处理的图像块对应的源数据块的数据，此时，图像处理电路20中的参数解析单元22将接收当前处理的图像块的源数据块的数据以及映射关系对应表的数据。

参数解析单元22加载当前处理的图像块的源数据块的数据以及映射关系对应表的数据时，执行图7所示的步骤，首先，执行步骤S11，加载映射关系对应表以及源数据块的数据，然后，执行步骤S12，对映射关系对应表的数据进行解压缩。由于在步骤S2中，对映射关系对应表中的数据进行压缩，因此，步骤S12需要对压缩后的数据进行解压缩的处理。例如，解压缩时，对每个图像块的边缘坐标值采用行插值和列插值的方法计算，而对于图像块中的中间区域的坐标值通过双线性插值的方法计算，从而获得原始计算的映射关系对应表的数据。

然后，执行步骤S13，获取插值指导信息，如获取进行插值计算的源数据块的边界信息，并且根据源数据块的边界确定插值计算的方式，如通过加权平均值、加权滤波等方式计算还是通过其他的方式计算，并且获取加权系数等参数。

并且，在执行步骤S11后，还执行步骤S14，对源数据块的数据进行解析，如获取指导双线性插值计算所需的源数据块位置信息等，然后执行步骤S15，获取源数据块的加载指导信息，如获取的源数据块的参数，提取出包括当前源数据块再分块标志、当前源数据块或再分块源数据块位置信息等，以便于指导当前源数据块数据源的加载。

虽然每一个图像块的大小是确定的，但是每一个图像块对应的源数据块的大小却是不确定的，如果当前处理的图像块所对应的源数据块的数据过大，则图像处理电路需要接收的源数据块的数据量也非常大。由于图像处理电路20内的缓存空间往往有限，因此，如果源数据块的数据量过大，将导致图像处理电路20内的缓存器不能存储一个图像块对应的源数据块的所有数据。

因此，本实施例需要判断源数据块的数据量是否过大，如果源数据块的数据量过大，则需要对当前处理的图像块进行再次分块，如将一个图像块划分为多个图像子块，这样，每一个图像子块对应的源数据块的面积将大大减小，相应的数据量也减小。因此，步骤S15所获取源数据块的加载指导信息中包括当前源数据块再分块标志，也就是如果当前的源数据块数据量大于预设的阈值时，将产生再分块标志，此时，图像处理电路20每次加载的并不是一个图像块的源数据块的数据，而是一个图像子块对应的源数据块的数据。

因此，图像处理电路20加载源数据块前，处理器还需要判断向图像处理电路输出多少套的边界信息，其中，每一套边界信息对应于一次向图像处理电路发送的源数据块的边界。参见图8，首先，执行步骤S21，判断源数据块的数据量是否大于阈值，本实施例中，该阈值是预先设定的阈值，可以根据图像处理电路20的缓存器的大小设定该阈值。如果源数据块的数据量大于阈值，表示当前解析的图像块对应的源数据块无法一次读入到图像处理电路20的缓存器中，则执行步骤S23，向图像处理电路20输出四套源数据块的边界信息，四套源数据块对应于四个图像子块。如果源数据块的数据量不是大于阈值，则执行步骤S22，向图像处理电路20输出一套源数据块的边界信息，也就是当前解析的图像块对应的源数据块的边界。

可见，通过对图像块进行再分块，可以根据当前解析的图像块对应源数据块的大小自适应的决定当前源数据块是否再继续分块，将过大的源数据块通过多次搬运的方式完成加载，节约缓存器资源。另外，需要说明的是，对图像块进行分块不限于划分成四个图像子块，也可以划分成二个、三个或者八个等，可以根据源数据块的大小进行相应的调节。

本实施例中，图像处理电路20中的数据源分块加载单元21用于实现源数据块的数据加载，即执行步骤S5。由于鱼眼图像畸变严重，输出图像相邻两个图像块或者图像子块对应的源数据块存在重叠区域的概率较大。故数据源分块加载单元21获取当前源数据块参数之前，需分析当前解析的图像块对应的源数据块是否与上一图像块对应的源数据块区域存在重叠区域，若存在，需要进行当前图像块对应的源数据块重叠区域冗余数据的消除，其后将非重叠区域源数据块数据加载到图像处理电路，如通过动态随机存储器DDR进行数据的加载。

如图9所示，数据源分块加载单元21首先执行步骤S31，判断当前需要接收的源数据块与上一源数据块是否存在重叠区域。参见图10，相邻的两块图像对应的源数据块存在重叠区域有多种情况，图10显示了其中几种常见的情况。其中，图10中各种情况下，A、B两点分别是为当前源数据块图像的左上角、右下角的顶点，C、D两点分别为上一源数据块图像的左上角、右下角的顶点，从图10可见，前面五种情况下，上一源数据块的区域与当前源数据块的区域存在重叠区域，例如，图10中各种情况下的E、F两点分别为重叠区域图像的左上角、右下角的顶点。

如果确定当前源数据块与相邻的图像块对应的源数据块之间不存在重叠区域，例如图10所示的最后一种情况，则执行步骤S32，将当前源数据块的数据加载到图像处理电路20。如果当前源数据块与相邻的图像块对应的源数据块之间存在重叠区域，则执行步骤S33消除两个源数据块之间的冗余数据，也就是将重叠区域以外的数据清除，然后将重叠区域以外的数据加载到图像处理电路20。

可见，通过对重叠区域的冗余数据进行清除，可以减小从DDR存储器读取到图像处理电路20的缓存器的数据量，发明人通过对鱼眼图像的实际处理发现，通过消除冗余数据的方式，可以减少大部分重叠区域的数据加载，并且可以减小DDR存储器与图像处理电路20之间使用带宽的55%带宽。

加载输入图像的源数据块以后，执行步骤S6，对源数据块的图像数据进行插值计算，例如，图像处理电路20的双线性插值单元23对当前的源数据块的图像数据进行插值计算，如执行如图11所示的步骤。首先，执行步骤S41，提取插值位置信息，并且获取插值数据源。由于源数据块的图像数据包含有大量的像素，插值计算就是根据映射关系对应表上的输出图像的像素点与输入图像的像素点的对应关系，将输入图像的像素点的色度、亮度值等进行相应的计算，获得输出图像对应像素点的色度、亮度值。因此，步骤S41就是从步骤S13的插值指导信息中获取插值位置的信息，同时获取插值数据源，也就是获取源数据块中的相应的位置的像素的数据。

然后，执行步骤S42，获取插值参数，进行双线性插值计算。例如，本实施例通过加权滤波的方式完成双向性插值，因此，插值计算时需要获取加权滤波的参数，如滤波矩阵的参数、加权系数等，在获取插值参数以后，随即执行双线性插值计算。最后，执行步骤S43，对插值计算的结果进行缓存，如将插值计算的结果输出至插值计算结果的缓存器中，供插值结果输出单元24使用。

最后，由插值结果输出单元24完成插值结果的输出，如图12所示，插值结果输出单元24首先从双线性插值单元23中获取插值计算的结果，即执行步骤S51，然后执行步骤S52，获取输出图像的格式，并且根据输出图像的格式对插值结果进行重新排列。例如，获取的输出图像的格式可以是获取当前图像的输出方式，如获取YUV、YVU、NUV、NVU或者rotation等信息，据此进行插值缓存结果的重新排列，以最大利用当前DDR总线效率的方式将插值结果输出至DDR存储器11。

然后，执行步骤S53，根据重新排列后的插值结果数据，形成输出图像的数据，并且将输出图像的数据输出至DDR存储器11，例如图像处理电路20将输出图像数据输出至DDR控制器12，然后由DDR控制器12输出至DDR存储器11。

在当前的图像块处理完毕后，执行步骤S7，判断当前处理的图像块是否为最后一个图像块，如果是，则执行步骤S8，将当前处理的图像块的数据输出至DDR存储器11后结束，否则，执行步骤S9，加载下一图像块对应的源数据块的数据，并且返回步骤S6，对当前的图像块进行插值计算，直至所有的图像块均计算完毕。

可见，本发明对鱼眼图像的矫正处理，主要通过下面三个步骤实现：1、对鱼眼相机建立成像模型，并根据成像模型对鱼眼相机参数进行标定；2、根据等矩形全景展开方式建立输出图像与输入图像的后向映射关系，并通过软件程序生成支持硬件查询的坐标映射表、分块信息表；3、根据软件配置信息及上述坐标映射表、分块信息表，启动硬件处理单元完成双向性插值等一系列图像重建操作，输出最终图像。

本发明中，上述的步骤1、2是使用软件程序实现的，即通过处理器10执行软件程序实现，而步骤3则是采用硬件实现，例如使用图像处理电路20实现。可以理解，本发明的图像处理电路20是一块用于实现鱼眼图像矫正的图像插值计算功能的集成电路，正是由于采用软件程序与硬件电路相结合的方式对鱼眼图像进行处理，硬件电路的插值计算速度远快于软件程序，因此本发明可以避免纯粹通过软件程序实现插值计算而导致图像输出缓慢的问题。

并且，本发明通过对输出图像进行分块，则输入图像也将相应的被划分为多个源数据块，这样能够避免以往的按行加载输入图像的数据时对DDR存储器的多次、重复请求操作，因不需要使用行缓存单元，数据缓存资源较小。另外，本发明采用相邻图像块对应的源数据块的冗余数据消除技术，减小输入图像加载时占用约55%的带宽。

另外，本发明通过对映射关系对应表的数据进行压缩后传输，可以减小处理器发送至图像处理电路的数据量，也可以减小数据传输时占用的带宽。由于映射关系对应表的计算过程较为复杂，将其通过软件程序计算并传输至图像处理电路，降低了图像处理电路在图像处理过程的复杂度，使得硬件实现更加便利。

当然，上述的方案只是本发明优选的实施方案，实际应用是还可以有更多的变化，例如，映射关系对应表可以采用其他的标定工具计算，或者，对图像块的再分块可以采用固定的图像大小进行分块，这些改变都不影响本发明的实施，也应该包括在本发明的保护范围内。

Claims (10)

1.鱼眼图像处理方法，包括：

确定输出图像中每一个像素点与输入图像中的像素点的映射关系，形成映射关系对应表，将所述映射关系对应表发送至图像处理电路；

将输入图像的数据发送至所述图像处理电路；

其特征在于：

所述图像处理电路接收所述输入图像的数据后，根据所述映射关系对应表的映射关系对所述输入图像的数据进行插值计算，获得所述输出图像每一个像素点的数据。

2.根据权利要求1所述的鱼眼图像处理方法，其特征在于，该方法还包括：

将输出图像划分为多个图像块，并确定每一个所述图像块对应于所述输入图像中的源数据块，所述图像处理电路每次计算一个图像块的像素点的数据；

其中，将所述映射关系对应表发送至图像处理电路包括：发送与待处理的图像块对应的映射关系对应表的数据；

其中，将所述输入图像的数据发送至所述图像处理电路包括：将所述输入图像中与待处理的图像块对应的源数据块的数据发送至所述图像处理电路。

3.根据权利要求2所述的鱼眼图像处理方法，其特征在于：

将所述映射关系对应表发送至所述图像处理电路前，对所述映射关系对应表的数据进行压缩，将压缩后的映射关系对应表的数据发送至所述图像处理电路；

所述图像处理电路接收到压缩后的映射关系对应表的数据后，对所接收的数据进行解压缩。

4.根据权利要求3所述的鱼眼图像处理方法，其特征在于：

对所述映射关系对应表的数据进行压缩包括：对所述映射关系对应表的数据进行等距采样压缩。

5.根据权利要求4所述的鱼眼图像处理方法，其特征在于：

所述图像处理电路对压缩后的所述映射关系对应表的数据进行解压缩计算包括：对所述图像块边缘坐标值进行行列插值计算，对所述图像块中间区域的坐标值进行双线性插值计算。

6.根据权利要求2至5任一项所述的鱼眼图像处理方法，其特征在于：

将所述输入图像中与待处理的图像块对应的源数据块的数据发送至所述图像处理电路包括：

发送当前待处理的图像块的源数据块数据前，判断上一相邻的图像块对应的源数据块与当前的源数据块是否存在重叠区域，如确定存在重叠区域，则将重叠区域以外数据发送至所述图像处理电路。

7.根据权利要求2至5任一项所述的鱼眼图像处理方法，其特征在于：

将输入图像中与待处理的图像块对应的源数据块的数据发送至所述图像处理电路包括：

判断当前源数据块的数据量是否大于预设阈值，如是，将当前计算的图像块划分成多个图像子块，并确定每一个图像子块对应的源数据块，每次发送一部分所述图像子块对应的源数据块的数据至所述图像处理电路。

8.根据权利要求2至5任一项所述的鱼眼图像处理方法，其特征在于：

发送与待处理的图像块对应的映射关系对应表的数据包括：一次向所述图像处理电路发送与二个以上的图像块对应的映射关系对应表的数据。

9.鱼眼图像处理装置，包括处理器以及图像处理电路，其中，所述处理器在执行计算机程序时用于实现：

确定输出图像中每一个像素点与输入图像中的像素点的映射关系，形成映射关系对应表，将所述映射关系对应表发送至图像处理电路；

将输入图像的数据发送至所述图像处理电路；

其特征在于：

所述图像处理电路用于：接收所述处理器传输的输入图像的数据后，根据所述映射关系对应表的映射关系对所述输入图像的数据进行插值计算，计算所述输出图像每一个像素点的数据。

10.根据权利要求9所述的鱼眼图像处理装置，其特征在于，所述处理器还用于实现：

将输出图像划分为多个图像块，并确定每一个所述图像块对应于所述输入图像中的源数据块，所述图像处理电路每次计算一个图像块的像素点的数据；

其中，将所述映射关系对应表发送至图像处理电路时，发送与待处理的图像块对应的映射关系对应表的数据；

其中，将所述输入图像的数据发送至所述图像处理电路时，将输入图像中与待处理的图像块对应的源数据块的数据发送至所述图像处理电路。