CN106204427A - 一种基于Bayer图像生成全景图像的方法和*** - Google Patents

Abstract

本发明公开了一种基于Bayer图像生成全景图像的方法和***，直接基于Bayer图像实现全景图像的生成，达到保持原始数据精度和避免中间转化环节的效果。其技术方案为：首先由图像采集模块采集多张原始Bayer图像，然后经过Bayer全景生成模块基于投影融合的方式完成原始Bayer图像到Bayer全景图像的转换。

Description

一种基于Bayer图像生成全景图像的方法和***

技术领域

本发明涉及全景图像技术，尤其涉及一种基于Bayer图像的全景图生成方法和***。

背景技术

Bayer格式图像是相机内原始图像格式，每个像素保留了感光的红色、绿色或蓝色分量。Bayer图像一般有12位和14位存储，保留了CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。CMOS图像传感器通过彩色滤波阵列获得图像的彩色信息，每个像素处只保存有一种颜色分量。

全景图像的传统输入数据为RGB图像，输出的全景图像一般也为RGB数据。当使用Bayer数据做拼合时，需要将高精度的Bayer数据转换为8位的RGB数据，在转换中一方面丢失了像素精度，一方面需要额外的转化过程。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种基于Bayer图像生成全景图像的方法和***，直接基于Bayer图像实现全景图像的生成，达到保持原始数据精度和避免中间转化环节的效果。

本发明的技术方案为：本发明揭示了一种基于Bayer图像生成全景图像的方法，包括：

采集原始Bayer图像；

基于投影融合的方式完成原始Bayer图像到Bayer全景图像的转换。

根据本发明的基于Bayer图像生成全景图像的方法的一实施例，在完成Bayer全景图像的转换后，还对Bayer全景图像进行处理，经数据转换为包括RGB或YUV在内的图像格式。

根据本发明的基于Bayer图像生成全景图像的方法的一实施例，投影融合的方式具体包括：

基于原始Bayer图像生成投影参数；

依据投影参数生成查找表；

利用查找表生成Bayer全景图像。

根据本发明的基于Bayer图像生成全景图像的方法的一实施例，基于原始Bayer图像生成投影参数的步骤具体包括：

将原始Bayer图像转换为灰度图像；

对灰度图像进行特征提取和匹配，利用匹配点优化投影参数。

根据本发明的基于Bayer图像生成全景图像的方法的一实施例，依据投影参数生成查找表的步骤具体包括：

创建与作为目标的Bayer全景图像的尺寸匹配的查找表；

依据投影参数为查找表分配原始Bayer图像坐标映射关系；

依据原始Bayer图像与Bayer全景图像的重叠关系为查找表分配融合权重系数。

根据本发明的基于Bayer图像生成全景图像的方法的一实施例，利用查找表生成Bayer全景图像的步骤具体包括：

创建设定宽高比的作为目标的Bayer全景图像；

按照查找表进行数据插值，获得Bayer全景图像各像素点的投影结果；

将各像素点的投影结果使用融合权重系数进行加权融合，输出Bayer全景图像。

本发明还揭示了一种基于Bayer图像生成全景图像的***，包括：

图像采集模块，采集原始Bayer图像；

Bayer全景生成模块，基于投影融合的方式完成原始Bayer图像到Bayer全景图像的转换。

根据本发明的基于Bayer图像生成全景图像的***的一实施例，***还包括：

数据转换模块，对Bayer全景图像进行处理，经数据转换为包括RGB或YUV在内的图像格式。

根据本发明的基于Bayer图像生成全景图像的***的一实施例，Bayer全景生成模块包括：

图像拼合模块，基于原始Bayer图像生成投影参数；

查找表生成模块，依据投影参数生成查找表；

图像投影融合模块，利用查找表生成Bayer全景图像。

根据本发明的基于Bayer图像生成全景图像的***的一实施例，图像拼合模块包括：

灰度图像转换单元，将原始Bayer图像转换为灰度图像；

投影参数优化单元，对灰度图像进行特征提取和匹配，利用匹配点优化投影参数。

根据本发明的基于Bayer图像生成全景图像的***的一实施例，查找表生成模块包括：

查找表创建单元，创建与作为目标的Bayer全景图像的尺寸匹配的查找表；

坐标映射单元，依据投影参数为查找表分配原始Bayer图像坐标映射关系；

融合权重系数分配单元，依据原始Bayer图像与Bayer全景图像的重叠关系为查找表分配融合权重系数。

根据本发明的基于Bayer图像生成全景图像的***的一实施例，图像投影融合模块包括：

目标图像创建单元，创建设定宽高比的作为目标的Bayer全景图像；

投影单元，按照查找表进行数据插值，获得Bayer全景图像各像素点的投影结果；

加权融合单元，将各像素点的投影结果使用融合权重系数进行加权融合，输出Bayer全景图像。

本发明对比现有技术有如下的有益效果：本发明首先由图像采集模块采集多张原始Bayer图像，然后经过Bayer全景生成模块基于投影融合的方式完成原始Bayer图像到Bayer全景图像的转换。较佳的，Bayer全景图像可以根据需要通过数据转换模块转换成例如RGB或者YUV等图像格式。和传统技术相比，本发明的原始输入和全景输出均为Bayer数据，输出全景保留了原始图像的数据精度。本发明克服了传统RGB数据生成全景损失原图精度和附加转换环节的缺陷，直接使用Bayer数据作为投影融合的输入数据，依据目标Bayer图像采样位置的分量对原始Bayer数据进行采样，生成Bayer全景图像。本方法可保持原有数据的精度并减少不必要的转化步骤。

附图说明

图1示出了本发明的基于Bayer图像生成全景图像的方法的较佳实施例的流程图。

图2至4示出了图1所示的方法中的相关步骤的细化流程图。

图5示出了本发明的基于Bayer图像生成全景图像的***的较佳实施例的原理图。

图6示出了原始Bayer图像(GRBG格式)的示意图。

图7示出了一种Bayer插值算法的示意图。

具体实施方式

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

基于Bayer图像生成全景图像的方法

图1示出了本发明的基于Bayer图像生成全景图像的方法的较佳实施例的流程。请参见图1，下面是对本实施例的方法的实施步骤的详细描述。

步骤S1：采集原始Bayer图像。

多张原始Bayer图像如图6所示。

步骤S2：基于原始Bayer图像生成投影参数。

这一步骤细化为如图2所示。

步骤S21：将原始Bayer图像转换为灰度图像。

步骤S22：对灰度图像进行特征提取和匹配，利用匹配点优化投影参数。

投影参数确定了全景图像到原始图像坐标映射关系。

本实施例的拼接投影的方法仅为示例，当然还可以有其他的方法来实现。

步骤S3：依据投影参数生成查找表。

这一步骤细化为如图3所示。

步骤S31：创建与作为目标的Bayer全景图像的尺寸匹配的查找表。

步骤S32：依据投影参数为查找表分配原始Bayer图像坐标映射关系。

设全景图像坐标为(pano_x,pano_y),则根据图像反变换，计算得到对应的原始图像坐标为(img_x,img_y)。设原始图像整数坐标为(I,J),双线性内插系数dx,dy,则有：

$\left\{\begin{array}{c}I=floor(img\_x)\\ J=floor(img\_y)\end{array}\right.$

$\left\{\begin{array}{c}dx=img\_x-I\\ dy=img\_y-J\end{array}\right.$

当然，内插方法可以不限制为双线性内插，还可以用其他方法来实现。

步骤S33：依据原始Bayer图像与Bayer全景图像的重叠关系为查找表分配融合权重系数。

步骤S4：利用查找表生成Bayer全景图像。

这一步骤细化为如图4所示。

步骤S41：创建设定宽高比的作为目标的Bayer全景图像。

例如，创建宽高比为2:1的作为目标的Bayer全景图像。

步骤S42：按照查找表进行数据插值，获得Bayer全景图像各像素点的投影结果。

Bayer图像的数据插值是根据邻域像素的通道值内插出目标像素处的指定通道值。

逐行遍历查找表，获取原始图像坐标(I,J)，对以(I,J)为左上角的“田”字邻域像素进行Bayer数据插值，并通过双线性内插系数(dx,dy)加权，获取各点的投影结果。Bayer数据插值是根据目标像素的通道，在原始Bayer图像上根据相同通道的邻域像素线性插值生成目标通道值。如图7所示，目标Bayer全景图像上的点(pano_x,pano_y)根据Bayer图像格式，需要插值绿色通道，对“田”字邻域像素的绿色通道进行插值，以一种简单均值加权为例，有：

$\left\{\begin{array}{c}{G}_{I,J}=G1\\ G_{I+1,J}=(G1+G2+G3+G4)/4\\ G_{I,J+1}=(G1+G4+G5+G6)/4\\ G_{I+1,J+1}=G4\end{array}\right.$

设Bayer全景输出绿色通道值为G，双线性内插系数为(dx,dy),则：

$\left\{\begin{array}{c}{G}_{up}=(1-dx)G_{I,J}+{\mathrm{dxG}}_{I+1,J}\\ G_{dn}=(1-dx)G_{I,J+1}+{\mathrm{dxG}}_{I+1,J+1}\\ G=(1-dy)G_{up}+{\mathrm{dyG}}_{dn}\end{array}\right.$

步骤S43：将各像素点的投影结果使用融合权重系数进行加权融合，输出Bayer全景图像。

较佳的，在完成Bayer全景图像的转换后，还对Bayer全景图像进行处理，经数据转换为包括RGB或YUV在内的图像格式，转换的方法也是Bayer数据插值。

基于Bayer图像生成全景图像的***

图5示出了本发明的基于Bayer图像生成全景图像的***的较佳实施例的原理。请参见图5，本实施例的***包括图像采集模块1、Bayer全景生成模块2。

图像采集模块1用于采集原始Bayer图像。Bayer全景生成模块2是基于投影融合的方式完成原始Bayer图像到Bayer全景图像的转换。

较佳的，***还包括数据转换模块，对Bayer全景图像进行处理，经数据转换为包括RGB或YUV在内的图像格式。

Bayer全景生成模块2进一步包括图像拼合模块21、查找表生成模块22以及图像投影融合模块23。图像拼合模块21是基于原始Bayer图像生成投影参数，投影参数确定了全景图像到原始图像坐标映射关系。查找表生成模块22是依据投影参数生成查找表。图像投影融合模块23是利用查找表生成Bayer全景图像。

图像拼合模块21包括灰度图像转换单元210、投影参数优化单元211。灰度图像转换单元210将原始Bayer图像转换为灰度图像。投影参数优化单元211对灰度图像进行特征提取和匹配，利用匹配点优化投影参数。

查找表生成模块22包括查找表创建单元220、坐标映射单元221和融合权重系数分配单元222。查找表创建单元220创建与作为目标的Bayer全景图像的尺寸匹配的查找表。

坐标映射单元221依据投影参数为查找表分配原始Bayer图像坐标映射关系。设全景图像坐标为(pano_x,pano_y),则根据图像反变换，计算得到对应的原始图像坐标为(img_x,img_y)。设原始图像整数坐标为(I,J),双线性内插系数dx,dy,则有：

$\left\{\begin{array}{c}I=floor(img\_x)\\ J=floor(img\_y)\end{array}\right.$

$\left\{\begin{array}{c}dx=img\_x-I\\ dy=img\_y-J\end{array}\right.$

当然，内插方法可以不限制为双线性内插，还可以用其他方法来实现。

融合权重系数分配单元222依据原始Bayer图像与Bayer全景图像的重叠关系为查找表分配融合权重系数。

图像投影融合模块23包括目标图像创建单元230、投影单元231以及加权融合单元232。目标图像创建单元230创建设定高宽比的作为目标的Bayer全景图像，例如，创建宽高比为2:1的作为目标的Bayer全景图像。

投影单元231按照查找表进行数据插值，获得Bayer全景图像各像素点的投影结果。Bayer图像的数据插值是根据邻域像素的通道值内插出目标像素处的指定通道值。

逐行遍历查找表，获取原始图像坐标(I,J)，对以(I,J)为左上角的“田”字邻域像素进行Bayer数据插值，并通过双线性内插系数(dx,dy)加权，获取各点的投影结果。Bayer数据插值是根据目标像素的通道，在原始Bayer图像上根据相同通道的邻域像素线性插值生成目标通道值。如图7所示，目标Bayer全景图像上的点(pano_x,pano_y)根据Bayer图像格式，需要插值绿色通道，对“田”字邻域像素的绿色通道进行插值，以一种简单均值加权为例，有：

$\left\{\begin{array}{c}{G}_{I,J}=G1\\ G_{I+1,J}=(G1+G2+G3+G4)/4\\ G_{I,J+1}=(G1+G4+G5+G6)/4\\ G_{I+1,J+1}=G4\end{array}\right.$

设Bayer全景输出绿色通道值为G，双线性内插系数为(dx,dy),则：

$\left\{\begin{array}{c}{G}_{up}=(1-dx)G_{I,J}+{\mathrm{dxG}}_{I+1,J}\\ G_{dn}=(1-dx)G_{I,J+1}+{\mathrm{dxG}}_{I+1,J+1}\\ G=(1-dy)G_{up}+{\mathrm{dyG}}_{dn}\end{array}\right.$

加权融合单元232将各像素点的投影结果使用融合权重系数进行加权融合，输出Bayer全景图像。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体***的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (12)

1.一种基于Bayer图像生成全景图像的方法，其特征在于，包括：

采集原始Bayer图像；

基于投影融合的方式完成原始Bayer图像到Bayer全景图像的转换。

2.根据权利要求1所述的基于Bayer图像生成全景图像的方法，其特征在于，在完成Bayer全景图像的转换后，还对Bayer全景图像进行处理，经数据转换为包括RGB或YUV在内的图像格式。

3.根据权利要求1所述的基于Bayer图像生成全景图像的方法，其特征在于，投影融合的方式具体包括：

基于原始Bayer图像生成投影参数；

依据投影参数生成查找表；

利用查找表生成Bayer全景图像。

4.根据权利要求3所述的基于Bayer图像生成全景图像的方法，其特征在于，基于原始Bayer图像生成投影参数的步骤具体包括：

将原始Bayer图像转换为灰度图像；

对灰度图像进行特征提取和匹配，利用匹配点优化投影参数。

5.根据权利要求3所述的基于Bayer图像生成全景图像的方法，其特征在于，依据投影参数生成查找表的步骤具体包括：

创建与作为目标的Bayer全景图像的尺寸匹配的查找表；

依据投影参数为查找表分配原始Bayer图像坐标映射关系；

依据原始Bayer图像与Bayer全景图像的重叠关系为查找表分配融合权重系数。

6.根据权利要求3所述的基于Bayer图像生成全景图像的方法，其特征在于，利用查找表生成Bayer全景图像的步骤具体包括：

创建设定宽高比的作为目标的Bayer全景图像；

按照查找表进行数据插值，获得Bayer全景图像各像素点的投影结果；

将各像素点的投影结果使用融合权重系数进行加权融合，输出Bayer全景图像。

7.一种基于Bayer图像生成全景图像的***，其特征在于，包括：

图像采集模块，采集原始Bayer图像；

Bayer全景生成模块，基于投影融合的方式完成原始Bayer图像到Bayer全景图像的转换。

8.根据权利要求7所述的基于Bayer图像生成全景图像的***，其特征在于，***还包括：

数据转换模块，对Bayer全景图像进行处理，经数据转换为包括RGB或YUV在内的图像格式。

9.根据权利要求7所述的基于Bayer图像生成全景图像的***，其特征在于，Bayer全景生成模块包括：

图像拼合模块，基于原始Bayer图像生成投影参数；

查找表生成模块，依据投影参数生成查找表；

图像投影融合模块，利用查找表生成Bayer全景图像。

10.根据权利要求9所述的基于Bayer图像生成全景图像的***，其特征在于，图像拼合模块包括：

灰度图像转换单元，将原始Bayer图像转换为灰度图像；

投影参数优化单元，对灰度图像进行特征提取和匹配，利用匹配点优化投影参数。

11.根据权利要求9所述的基于Bayer图像生成全景图像的***，其特征在于，查找表生成模块包括：

查找表创建单元，创建与作为目标的Bayer全景图像的尺寸匹配的查找表；

坐标映射单元，依据投影参数为查找表分配原始Bayer图像坐标映射关系；

融合权重系数分配单元，依据原始Bayer图像与Bayer全景图像的重叠关系为查找表分配融合权重系数。

12.根据权利要求9所述的基于Bayer图像生成全景图像的***，其特征在于，图像投影融合模块包括：

目标图像创建单元，创建设定宽高比的作为目标的Bayer全景图像；

投影单元，按照查找表进行数据插值，获得Bayer全景图像各像素点的投影结果；

加权融合单元，将各像素点的投影结果使用融合权重系数进行加权融合，输出Bayer全景图像。