CN105430368A - 一种两视点立体图像合成方法及*** - Google Patents

Abstract

本发明公开了一种两视点立体图像合成方法及***，包括利用双MIPI接口采集双视点图像；对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据；通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显示。本发明中的匹配提取的左右视图的特征更能有效地应对了“焦距突变”等移动终端拍摄时经常遇到的图像突变问题，增强了匹配稳定性、提高抗噪声能力，从而显示出高质量的立体图像。

Description

一种两视点立体图像合成方法及***

技术领域

本发明涉及立体成像技术，尤指一种两视点立体图像合成方法及***。

背景技术

人类获取信息最有效的渠道是通过视觉。由于人的双眼看到的是自然界中真实的三维景物，因此，能够在屏幕上再现真实的三维景物一直是人类追求的目标。立体成像技术就是基于这样的需求逐步发展起来的，可以用于科研、军事、教育、工业、医疗等诸多领域。通过立体成像技术，可以记录、传输和显示立体彩色图像，使观众产生身临其境的感觉。

空间复用方式立体成像技术是将立体图像对同时显示在屏幕上，通过一些特殊的手段，使两眼分别同时观看到不同的画面，从而获得立体感。从光学原理上讲，不戴眼镜而利用各种光学面即可观看到立体图像，被称为双视点自由立体(auto-stereoscopic)显示方式。常用的光学面包括：透镜柱板(LenticularPlate)、视差栅栏(ParallaxBarrier)、光栅阵列(IPLensArray)等。对于双视点自由立体显示方式，一般情况下，通过在CRT显示器或者平板显示器前加入透镜柱面或者视差栅栏，控制各像素光线的射出方向，使左视点的图像仅射入左眼，右视点的图像仅射入右眼，利用双目视差，产生立体视觉。

透镜柱面由一排垂直排列的半圆形柱面透镜组成，利用每个柱面镜头对光的折射作用，把两幅不同的平面图像导向双眼分别对应的视域，使左眼图像聚焦于观看者左眼，右眼图像聚焦于观看者右眼，由此来产生立体视觉。

视差栅栏是安装在显示前方的垂直平板，对每只眼睛，它都阻挡了屏幕的一部分，使左视点所有像素的光线均射入左眼视域，右视点所有像素的光线均射入右眼视域。视差档板的作用类似透镜柱面，区别在于它是利用档板挡住部分像素显示，而不是通过折射改变方向。

图1为现有狭缝前置式LCD自由立体显示器的结构示意图，如图1所示，将狭缝光栅置于液晶屏前适当位置，狭缝会遮挡人眼的部分视线。人眼透过狭缝光栅观看液晶屏，由于狭缝光栅的遮挡，人的单眼透过一条狭缝只能观看到一列像素。比如，右眼只能看到Rn列像素，左眼只能看到Ln列像素。如果Rn列像素与Ln列像素分别显示右眼和左眼的图像，那么，人眼观看此图像会在大脑中形成立体图像。

立体视频最终通过移动屏幕显示，让人的左右眼分别观看到具有一定视差的两个视图，从而使人脑恢复出视图中的三维信息。考虑到移动终端的显示屏幕较小、电池驱动等特点，采用两个视点足以满足观看的需要。

现有技术中，存在利用单摄像头完成立体图像采集显示的方案，方法是对单帧图像进行人工地视差平移，产生出另一张与其视差不同的图像，再将这两张图像用于立体合成。由于人工模拟的视差只是单纯地对图像进行左右整体平移而不改变图像中各景深景物的相对距离，其立体显示效果不佳；此外，由于采集时只使用一路摄像头，当出现摄像头被遮挡或是图像噪声较大的情况时，会对立体图像的质量产生较大影响。而且，在移动终端在摄像头被遮挡、采集的立体图像素材噪声较大的情况下，不能以较快的速度采集、合成、显示出高质量的立体图像。

发明内容

为了解决上述技术问题，本发明提供一种两视点立体图像合成方法及***，能够克服图像突变问题，增强匹配稳定性、提高抗噪声能力，从而显示出高质量的立体图像。

为了达到本发明目的，本发明提供了一种两视点立体图像合成方法，包括：利用双移动行业处理器接口MIPI接口采集双视点图像；

对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据；

通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显示。

该方法还包括：对述采集到的双视点图像进行视频驱动处理。

所述对采集到的双视点图像进行匹配、合成处理包括：

利用两个并行执行的预览线程，分别提取出所述采集到的双视点图像中的左右视图每一帧图像的数据，再对其进行匹配、合成处理。

所述进行匹配、合成处理包括：

在内存中注册用于照相机预览显示的专用缓冲区；从所述采集到的双视点图像中中获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中；

利用帧数据时间戳对获得的左右两路视频单帧数据进行同步处理；

将采集到的YUV格式的数据转换为RGB格式；

对格式转换后的左右视图进行图像平滑和尺寸变换处理；

采用尺度不变特征变换匹配算法SIFT特征匹配算法提取并匹配的经过图像平滑和尺寸变换处理后的左右视图的特征；

通过预先设置的特定的像素排列方式对左右视图像素点进行排列，生成一帧可在光栅下显示的立体图像数据。

所述图像平滑处理应用高斯低通滤波器实现。

该方法还包括：利用随机取样一致性算法RANSAC剔除所述匹配后的左右视图的特征中的误匹配的特征点。

所述像素排列方式为：以纵向列为单位，合成图的第一列排布左视图的第一列像素，合成图的第二列排布右视图的第一列像素；合成图的第三列排布左视图第二列像素，合成图的第四列排布右视图第二列像素，以此类推，直至左右视图像素完全排布进入合成图中。

所述生成一帧可在光栅下显示的立体图像数据之前还包括：验证所述左右视图是否被遮挡，如果存在被遮挡，修复遮挡区域。

所述修复遮挡区域包括：采用另一视图中像素点的灰度值修正对某一视图中对应的被异物遮挡的区域。

该方法还包括：利用中值滤波器检测所述修复遮挡后的左右视图的噪声，并对噪声点加以标注；

对于确定为噪声的点进行噪声点修复。

所述进行噪声修复包括：采用另一视点对应像素点的灰度值修正确认出的噪声点内各像素灰度值。

本发明还提供了一种两视点立体图像合成***，至少包括采集单元、处理单元，以及显示单元；其中，

采集单元，用于利用双MIPI接口采集双视点图像；

处理单元，用于对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据并输出给显示单元；

显示单元，用于通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显示。

所述采集单元至少包括两路具有MIPI接口的后置摄像头，分别用于采集左右两路视图；

两路摄像头分别挂载在不同的I²C总线上，采用独立的数据线路与内存和中央处理器交互，并利用每一帧图像的时间戳进行帧同步。

所述摄像头的为Omnivision公司的OV5640芯片。

所述采集单元还包括摄像头驱动模块，用于对采集到的两路视图进行驱动处理后输出给处理单元。

所述摄像头驱动模块采用V4L2视频驱动框架来实现。

所述处理单元至少包括预处理模块、提取模块、匹配模块，合成模块；其中，

预处理模块，用于在内存中注册用于照相机预览显示的专用缓冲区；获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中；同时，利用帧数据时间戳功能进行软件同步；将采集到的YUV格式的数据转换为RGB格式；对格式转换后的左右视图进行图像平滑和尺寸变换处理后输出给提取模块；

提取模块，用于采用SIFT特征匹配算法提取预处理后的左右视图的特征，生成32维度的SIFT特征描述子；

匹配模块，用于采用SIFT特征匹配算法匹配提取的左右视图的特征，将右视图中欧式距离最近的点作为当前左视图SIFT关键点的匹配点，记录匹配点对的坐标信息；

合成模块，用于通过预先设置的特定的像素排列方式对左右视图像素点进行排列，生成一帧可在光栅下显示的立体图像数据。

还包括剔除模块，用于采用RANSAC算法剔除误匹配的特征点，并估计左右视图像素坐标映射模型。

还包括遮挡修复模块，用于利用估计得到的左右视图像素坐标映射模型确定存在遮挡区时，对对某一视图中被异物遮挡的区域用另一视图对应像素点的灰度值修正，以实现遮挡区域的修复。

还包括噪声修复模块，用于利用中值滤波器检测左右视图的噪声，并对噪声点加以标注后输出给合成模块。

与现有技术相比，本申请技术方案包括利用双MIPI接口采集双视点图像；对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据；通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显示。本发明中采用SIFT特征匹配算法，匹配提取的左右视图的特征更能有效地应对了“焦距突变”等移动终端拍摄时经常遇到的图像突变问题，增强了匹配稳定性、提高抗噪声能力。

进一步地，通过确定当前场景左右视图之间像素坐标映射模型，并根据该坐标映射模型对单视点低质量立体素材进行遮挡修复和去噪处理，再生成两视点立体图像，解决了现有技术中立体素材质量一般、合成处理效率不高的问题。

进一步地，通过对遮挡区域的修复及噪声修复，实现了在移动终端在摄像头被遮挡、采集的立体图像素材噪声较大的情况下，以较快的速度采集、合成、显示出高质量的立体图像。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为现有狭缝前置式LCD自由立体显示器的结构示意图；

图2为本发明两视点立体图像合成方法的流程图；

图3为本发明左右视图像素排列示意图；

图4为本发明两视点立体图像合成***的组成结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

立体视频是利用人眼的双目视差原理，双目各自独立地接收来自同一场景的特定摄像点的左右图像来获取立体感，与传统的单通道视频相比，要处理的数据量成倍增加。在便携式媒体中，为克服在高速数据传输情况下，并行数据总线带来的高功耗和电磁干扰(EMI)噪声，需要设计适合更大频宽和传输速率的总线设计，以呈现出同等级的图像和多媒体的效果。除了手机外、便携式媒体播放器(PMP)、便携数字多功能光盘(DVD)、数码照相机(DSC)等便携式多媒体设备也都会面对这样的问题。为此，多个标准化组织应运而生。主要由瑞萨科技和精工爱普生联合制定的MVI(一种摄像机输出的视频格式)标准基于低电压差分信号(LVDS)技术，能有效减少EMI；由国家半导体提出的移动像素链路(MPL，MobilePixelLink)总线标准采用自有专利的Whisperbus(一种物理层接口)，包括索尼-爱立信等手机巨头都有与之合作；更***分多址(CDMA)技术的起草者高通推出的面向移动终端的高速串列接口(MDDI)标准，同样基于低电压差分信号(LVDS)物理传输规范；当然最庞大、最引人注目的是移动行业处理器接口(MIPI，MobileIndustryProcessorInterface)标准，它由诺基亚、高级精简指令集机器(ARM)、意法半导体、德州仪器、英特尔、飞思卡尔等终端及方案提供商联合组织并发布此规范。在众多的技术标准中，MIPI标准经过多年的锤炼，在业界已具备相当的影响力。

采用MIPI接口的模组，相较于其他标准具有布线少、速度快、传输数据量大、功耗低、抗干扰强、适应性强等优点。MIPI组织下的高速多点连接工作小组推出的串行摄像头接口(CSI)和串行显示接口(DSI)都是以数字物理层(D-PHY，MIPI协议中的一项)为物理传输层基础，制定出的摄像头和显示模块接口规范。规范中详细定义了其物理连接、协议处理和上层应用。D-PHY采用1.2伏、源同步可升级的低压信令技术、摆幅200mV的差分信号对，最多可支持4个通道，每个通道的速率最高可达1千兆每秒Gbps，理论上4个通道共可以达到4Gbps的传输速率，且静态功耗为零。针对便携设备应用的DSI规范同时定义了最高可以支持扩展图形阵列(XGA)分辨率。对于CSI接口规范，除了支持三原色色彩空间(RGB)、Bayer(一种图像格式)和灰度色彩空间(YUV)等原始图像数据外，更可以支持用户自定义的数据类型或者压缩数据格式。DSI接口应用方式基本与CSI相同。MIPI针对不同的应用需求已经把具体应用接口细化到各自的子规范中，所以在以手机为主的手持电子产品应用中，MIPI接口规范基本可以支持任何速度和分辨率的数据传输需求。

但是，MIPI标准没有解决立体采集的问题。在现有的终端CPU芯片中，有预留两个MIPI接口用来图像采集的趋势，例如德州仪器(TI)公司的OMAP4系列、OMAP5系列芯片。但是在移动终端上，对于双MIPI接口的应用是前置/后置双摄像头采集，无法满足对于实时、同步性要求很高的立体采集功能。

图2为本发明两视点立体图像合成方法的流程图，如图2所示，包括：

步骤200：利用双MIPI接口采集双视点图像。

本步骤的具体实现是：从两个采集位置、角度不同的拍摄装置(如摄像头)进行同步拍摄，以获取包括左右视图的图像数据的双视点图像。即采用双MIPI后置摄像头，满足了立体采集所需要的高带宽、高同步性、低功耗、低噪声等要求。

比如，可在德州仪器公司的OMAP4系列处理器芯片组开发平台附带的双MIPI接口的基础上，通过在I²C总线上挂载两路摄像头，实现双摄像头实时图像的采集。与传统采集平台相比，具有布线少、速度快、传输数据量大、功耗低、抗干扰强、适应性强等优点。

本领域技术人员知道，OMAP4系列处理器芯片提供了2个主频1.2G的ARMCortex-A9处理器、1个TMS320C64+处理器、2个ARMCortex-M3处理器、1GB大小的DRAM内存、2路MIPI串行摄像头数据接口：CSI-2_1与CSI-2_2，以及直接内存读写直接内存读取(DMA)控制器等模块。可以满足快速、高质量地采集、合成、显示立体图像的处理需求。其中，关于OMAP4系列处理器芯片的应用属于本领域技术人员的惯用技术手段，这里不再赘述。

本发明中的两路摄像头为在水平方向排列两个光学特性、几何特性、成像特性几乎一致的两个摄像头，摄像头之间的距离可以为35mm。两个摄像头挂载在不同的I²C总线上，采用独立的数据线路与内存和中央处理器交互,并利用每一帧图像的时间戳进行帧同步。在DMA控制器“透明”工作模式下，DMA与中央处理器CPU可交替访内存。DMA控制器控制着图像数据直接从摄像头传送至内存，在传送过程中不需要中央处理器CPU的参与,硬件为内存与输入输出设备开辟一条直接传送数据的通路，使CPU的效率大为提高。

本发明中的摄像头芯片可以选择Omnivision公司的OV5640芯片，OV5640的接口是基于MIPI接口扩展的，MIPI接口中定义的摄像头控制接口CCI是与I2C标准一致的，有两个端口，分别称为串行时钟线(SCL)和串行数据线(SDA)，其中SCL为单向控制时钟信号线，SDA为双向控制线。摄像头扩展接口中的RESET线、SHUTTER线、STROBE线、时钟总线和电源地线可以由两个摄像头共用，因此不需做过多处理，直接将两路摄像头并联在其上即可。摄像头芯片OV5640与中央处理器OMAP4460的扩展接口之间如何实现连接属于本领域技术人员的惯用技术手段，这里不再赘述。

进一步地，在视频驱动方面，本发明可以采用Linux视频驱动(V4L2，VideoforLinux2)视频驱动框架，V4L2是一个双层驱动***，上层为视频设备(VideoDevice)模块，是注册了设备功能函数的字符设备。下层为V4L2驱动，利用注册函数注册V4L2驱动和设备节点，在打开设备节点后，在对设备文件的操作时则替换成由v4l2_ioctl_ops结构定义的各种符合V4L2标准的接口来完成。在访问视频硬件设备时，先调用Android内核中的V4L2驱动模块，然后V4L2模块再调用具体的设备驱动。两路摄像头所使用的驱动框架和流程完全相同。V4L2驱动框架的主要作用是：对视频数据的时序和数据缓冲区的内存管理，借助I²C总线、外设部件互连标准(PCI)接口等驱动来控制硬件和获得图像数据。

摄像头驱动模块启动时将调用的初始化操作函数完成一系列初始化工作，包括硬件供电、总线控制器MIPI时钟设置、I2C总线端口初始化、MIPI数据端口初始化、视频设备检测与绑定等。在摄像头驱动模块内部管理着位于内存的两个视频帧缓存区(BufferQueues)队列，一个作为输入缓存队列，另一个作为输出缓存队列。对于摄像头设备而言，当开始采集数据后，输入队列中的缓存区(Buffer)被填充满图像数据以后将自动变为输出队列，等待视频驱动调用出队命令(VIDIOC_DQBUF)将数据传递给上层进行处理以后，再重新调用入队命令(VIDIOC_QBUF)将缓冲区重新放进输入队列。

利用V4L2视频驱动框架，进行视频流图像采集步骤大致包括：打开视频设备文件；获取设备的功能列表，检测视频支持的制式；设置视频帧捕获格式和帧大小；向内存申请若干个帧缓存区域，作为输入输出缓存队列。多个缓存可以用于建立队列，以提高视频采集的效率；获取每个缓存的信息，并映射到上层***空间的缓存信息；开始采集视频流；取出输出队列头部缓存中已经采样的一帧数据，传递给上层进行处理；将刚刚处理完的一帧缓冲重新放入输入队列尾，以循环采集；停止采集视频流；关闭视频设备。

步骤200中，在对安卓操作***的照相机子***进行全面定制的基础上，以德州仪器公司的OMAP4系列中央处理器为硬件平台核心，通过双MIPI串行数据链路实现双摄像头实时同步的图像采集工作，与传统采集平台相比，具有布线少、速度快、传输数据量大、功耗低、抗干扰强、适应性强等优点。

步骤201：对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据。

本步骤利用两个并行执行的预览线程(PreviewThread)，通过V4L2框架提供的函数接口(如果进行了视频驱动的话)，从***内核驱动层分别提取出步骤200中采集到的双视点图像中的左右视图每一帧图像的数据，再对其进行匹配、合成处理，大致包括：

在内存中注册用于照相机预览显示的专用缓冲区；从所述采集到的双视点图像中中获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中；

利用帧数据时间戳对获得的左右两路视频单帧数据进行同步处理；

将采集到的YUV格式的数据转换为RGB格式；

对格式转换后的左右视图进行图像平滑和尺寸变换处理；

采用SIFT特征匹配算法提取并匹配的经过图像平滑和尺寸变换处理后的左右视图的特征；

通过预先设置的特定的像素排列方式对左右视图像素点进行排列，生成一帧可在光栅下显示的立体图像数据。

进一步地，还包括修复、去噪等处理，最后将合成后的图像数据传递给安卓显示子***(Surface)***库，显示到应用层界面上。

具体地，以利用定制的安卓照相机子***硬件抽象层库为例，安卓照相机子***(AndroidCamera)架构主要基于Android***本身的层次结构，对应的层次主要由应用程序层(CameraApp)、应用程序框架层(CameraService)、硬件抽象层(CameraHal)、内核驱动层(CameraDriver)组成。整个照相机子***实际分成客户端(Clinet)和服务端(Service)两个进程。本步骤对采集到的双视点图像进行匹配、合成处理包括：

注册预览显示缓存区。在安卓显示Surface***库中为照相机预览显示在内存里注册专用缓冲区，并指定图像数据类型。

获取单帧原始图像数据即步骤200中采集到的双视点图像中的左右视图每一帧图像的数据，即在硬件抽象层库中调用Linux内核中的V4L2接口函数，获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中；同时，利用安卓照相机子***提供的帧数据时间戳功能进行软件同步。

采集到的YUV格式的数据转换为RGB格式：YUV色彩空间是欧洲电视***中采用的一种颜色编码方法，Y代表亮度(灰度)，UV代表色差(R-Y)(B-Y)。通常摄像头采集的数据是YUV格式的像素信息矩阵，而立体图像在合成及显示均要求为RGB格式，所以这里需要将采集到的原始数据类型转化成与预览显示缓存注册类型相一致的类型。

对图像进行预处理：对取得的左右视图进行图像平滑和尺寸变换处理。其中，图像平滑处理可以应用高斯低通滤波器实现，高斯低通滤波器可以有效克服振铃效应，并对消除噪声效果明显，具体如何实现属于本领技术人员的惯用技术手段，这里不再赘述；尺寸变换处理为，在保证搜索质量和处理速度的情况下根据实际需求调整图像尺寸的，具体如何实现属于本领技术人员的惯用技术手段，这里不再赘述。

提取并匹配预处理后的左右视图的特征，比如可以采用SIFT特征匹配算法来实现。尺度不变特征变换匹配算法(SIFT，ScaleInvariantFeatureTransform)是DavidLowe于1999年提出的局部特征描述子，并于2004年进行了更深入的发展和完善。SIFT特征匹配算法可以处理两幅图像之间发生视角变化、遮挡、亮度变化、旋转、噪声和尺度变换情况下的匹配问题，具有很强的匹配能力。SIFT算法由兴趣点检测和特征描述生成两部分组成，生成的SIFT算子是一种局部特征描述子，描述了图像的兴趣区域的灰度梯度分布情况。SIFT算法在基于图像匹配和目标检测技术的领域有着十分广泛的应用，对目标定位精度也非常高。具体包括：

提取预处理后的左右视图的特征：首先构建高斯差分(DoG)尺度空间；其次对每个像素点在其图像空间和DoG尺度空间的邻域中搜索极值点，初步得到特征点的位置；然后通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度)，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；最后利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性，生成32维度的SIFT特征描述子；

匹配提取的左右视图的特征：首先，对左右两视点间的变换假设一个变换模型；然后根据匹配对每个特征点的位置、尺度和旋转信息，用关键点特征向量的欧氏距离来作为两幅图像关键点的相似性特征度量，按假设的变换模型计算出每个匹配对的变换参数；最后用右视图中欧式距离最近的点作为当前左视图SIFT关键点的匹配点，记录匹配点对的坐标信息。

由于采用了具备“尺度不变”和“旋转不变”的SIFT特征匹配算法对左右视图素材进行匹配，利用特征点的位置等信息，根据最小平方准则估计出变换模型，并且在丢弃了不符合该变换模型的匹配对后再利用剩余匹配对根据最小平方准则重新计算模型参数。与传统的匹配算法相比较，本发明中的匹配提取的左右视图的特征更能有效应对了“焦距突变”等移动终端拍摄时经常遇到的图像突变问题。

进一步地，剔除误匹配的特征点，比如可以采用随机取样一致性算法(RANSAC，RandomSampleConsensus)，把匹配点在图片特征点集中的位置信息作为参数，估计两图片间的映射关系。通过调整RANSAC中的阈值，就可以准确地估计出两图之间的映射关系，对SIFT的匹配点进行筛选，从而达到了去除错匹配点的作用。其中，RANSAC是由Fishler和Bolles提出的一种鲁棒性估计方法。其基本思想是：在进行参数估计时，不是不加区分地对待所有可能的输入数据，而是首先针对具体问题设计出一个搜索引擎，利用此搜索引擎迭代地剔除那些与所估计参数不一致的输入数据(Outliers)，然后利用正确的输入数据来估计参数。其中，

坐标映射模关系的估计包括：从匹配点对集合S中随机选取一个数据点集本，并由这个子集初始化模型；找出按照阈值Td成为当前模型的支撑点集Si，集合Si就是样本的一致集，被定义为有效点；如果集合Si的大小超过了某个阈值T，用Si重新估计模型并结束；如果集合Si的大小小于阈值Ts，选取一个新的样本，重复上面的步骤。经过N次尝试，最大的一致集Si被选中，用它来重新估计模型，得到最后的结果。仅保留符合坐标映射模型的正确匹配点对，即Si中的点集，与得到的左右视图像素坐标映射模型一同保存为本帧图像参考信息。

循环执行上述对采集到的双视点图像进行匹配、合成处理的过程，仅保留最新采集到的4帧图像的图像参考信息，建立队列。每采集一帧立体素材，将队头帧信息删除，将最新帧参考信息存入队尾。

完成左右视图预处理和匹配后，将左右视图像素点通过特定的像素排列方式，如图3所示，生成一帧可在光栅下显示的立体图像数据，以实现立体图像的合成处理。其中，特定的像素排列方式为：以纵向列为单位，合成图的第一列排布左视图的第一列像素，合成图的第二列排布右视图的第一列像素；合成图的第三列排布左视图第二列像素，合成图的第四列排布右视图第二列像素……以此类推，周而复始直至左右视图像素完全排布进入合成图中。排列形式特殊之处在于，合成后的图像横向像素数量是原图像的2倍。

进一步地，上述循环执行完成后，采用当前模型队列前三帧求解平均像素坐标映射模型，验证左右视图是否遮挡。将左右视图各自平均切分为8块，对每一块取平均灰度值，对左右视图相应区块的平均灰度值进行对比，若区块平均灰度值相对差异在10％以上，则将低灰度值区块视为破损区块，若破损区块数为0，表示无遮挡，则进行噪声处理。

如果若破损区块数不为0，表示有遮挡，本步骤还包括：修复遮挡区域，即对某一视图中被异物遮挡的区域用另一视图对应像素点的灰度值修正，以确保移动终端在摄像头被遮挡的情况下，仍能够获得质量相对较高的左右视图素材，解决了现有技术中立体素材质量一般、合成处理效率不高的问题。破损复包括：精确确定破损区域，在破损区块中，利用Sobel算子检测灰度突变边缘；采用当前场景左右视图的坐标映射模型确定破损区域在另一视图中坐标信息；采用正常视图中相应区域图像内容替换当前破损区域图像内容；进行边缘修复，对于利用Sobel算子检测到的灰度突变边缘，利用左右两视图对应像素点灰度值的平均数修正每像素点3×3临域内各像素灰度值。这里，对于已经匹配好的左右视图，若某一区块平均灰度值相对差异在10％以上，则灰度值较低的那块视图区块被标记为破损区块。由于左右视图已完成匹配，此处，可用灰度值较高的那块视图区块(即上面提到的另一视图)代替灰度值较低的区块(即上面提到的某一视图中被异物遮挡的区域)，以实现破损修复。

在进行遮挡区域修复之后，由于坐标映射模型的局限性，会伴随有少量椒盐噪声，因此，本步骤还包括：利用中值滤波器检测左右视图的噪声，并对噪声点加以标注。即在当前点N×N临域内(N为奇数)，取灰度的最大值、最小值和均值，如果当前点的灰度值是这个临域内的最大或最小值，且超过预先设置的阈值，则有可能为噪点，标记为可疑点。其中阈值为实验中的经验值，一般可以取整幅图像的平均灰度值。此时，通过坐标映射模型确定可疑点在另一视图中位置区域，将当前点置于此位置中，再次进行灰度比较，进而确定当前点是否为噪声点；

对于确定为噪声的点进行噪声点修复，可以采用另一视点对应像素点的灰度值修正确认出的噪声点3×3临域内各像素灰度值。与现有其他除噪方法(现有的其他除噪方法大多是将出现噪声的图像整体进行滤波处理，容易影响图像质量)相比较，本发明中的噪声修复方法更简单、计算量更小，去噪效果更显著，对合成后的立体图像观感影响更小。

步骤202：通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显示。

本步骤中，硬件抽象层***库通过回调函数，向照相机子***的服务端发送预览消息。服务端收到该消息后调用ISurface***库完成对预览显示缓存区的数据填充工作。以安卓操作***为例，包括：在安卓操作***应用程序层通过2个Camera对象实例及其关联的Surface预览控件，分别实现了应用程序框架层中的Android.Hardware.Camera类提供给上层应用的预览相关接口，将立体图像从安卓***的硬件抽象层提出上来，交由安卓***的ISurface***库来完成数据逻辑处理，最后显示到预览界面上。

由于本方法采用了前置适配光栅的LED立体显示器，传送至应用层的立体图像数据将按照原图像素等比例的方式投映到2D显示屏上。与同类产品相比，本发明所提出的技术方案数据处理量小，硬件成本较低且易于制作。

对应特定的2D显示屏像素大小及观看条件，为使观看者的左右眼透过光栅能观看到相应的立体视差图像，就必须精确设计狭缝光栅透光条和挡光条的宽度、2D显示屏与狭缝光栅之间的距离等结构参数。对于给定的2D显示屏，其显示条件为：视差图像数(视点数)为K，2D显示屏子像素宽度为W_p。观看条件为：最佳观看距离为L，相领视差图像的视点间距为Q，其取值可等于或小于两眼瞳孔间距。一般而言，可设Q＝E/N，其中E为人眼瞳孔间距，N为自然数，此时，在最佳观看距离上，若左眼看到第i幅视差图像，则右眼看到的是第(i+N)幅视差图像。当N＝1时，相邻视差图像的视点间距即为人眼瞳孔间距。狭缝光栅参数为：光栅节距W_s，其中，透光条与挡光条宽度分别为W_w和W_b，2D显示屏与狭缝光栅的距离为D。

本发明方法中，通过线程Loop循环机制，硬件抽象层***库不断循环步骤201所述的对采集到的双视点图像进行匹配、合成处理的过程，将两个摄像头硬件设备采集的图像数据帧匹配、合成、送到预览显示缓冲区，最后显示到应用程序界面上。

需要说明的是，对于单帧拍照功能，按照上述步骤即可实现两视点立体图像的裸眼显示；对于视频录制功能，在步骤201的立体图像合成处理之后，将数据格式再转换为YUV格式，以便于存储，再将图像数据传递给安卓***的视频录像机子***(VideoRecorder)进行编码处理；之后再执行步骤202。

图4为本发明两视点立体图像合成***的组成结构示意图，如图4所示，至少包括采集单元、处理单元，以及显示单元；其中，

采集单元，用于利用双MIPI接口采集双视点图像。具体地，

采集单元至少包括两路具有MIPI接口的后置摄像头即图4中的第一摄像像头和第二摄像头，分别用于采集左右两路视图。两路摄像头为在水平方向排列两个光学特性、几何特性、成像特性几乎一致的两个摄像头，摄像头之间的距离可以为35mm。两路摄像头分别挂载在不同的I²C总线上，采用独立的数据线路与内存和中央处理器交互,并利用每一帧图像的时间戳进行帧同步。其中，摄像头芯片可以选择Omnivision公司的OV5640芯片。

进一步地，采集单元还包括摄像头驱动模块，用于对采集到的两路视图进行驱动处理后输出给处理单元。摄像头驱动模块可以采用V4L2视频驱动框架来实现。

处理单元，用于对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据并输出给显示单元。处理单元可采用德州仪器公司的OMAP4系列处理器芯片来实现。具体地，

处理单元至少包括预处理模块、提取模块、匹配模块，合成模块；其中，

预处理模块，用于在内存中注册用于照相机预览显示的专用缓冲区；获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中；同时，利用帧数据时间戳功能进行软件同步；将采集到的YUV格式的数据转换为RGB格式；对格式转换后的左右视图进行图像平滑和尺寸变换处理后输出给提取模块。

提取模块，用于采用SIFT特征匹配算法提取预处理后的左右视图的特征，生成32维度的SIFT特征描述子。

匹配模块，用于采用SIFT特征匹配算法匹配提取的左右视图的特征，将右视图中欧式距离最近的点作为当前左视图SIFT关键点的匹配点，记录匹配点对的坐标信息。

合成模块，用于通过预先设置的特定的像素排列方式对左右视图像素点进行排列，生成一帧可在光栅下显示的立体图像数据。

进一步地，还包括剔除模块，用于采用RANSAC算法剔除误匹配的特征点，并估计左右视图像素坐标映射模型。

进一步地，还包括遮挡修复模块，用于利用估计得到的左右视图像素坐标映射模型确定存在遮挡区时，对对某一视图中被异物遮挡的区域用另一视图对应像素点的灰度值修正，以实现遮挡区域的修复。

进一步地，还包括噪声修复模块，用于利用中值滤波器检测左右视图的噪声，并对噪声点加以标注后输出给合成模块。

显示单元，用于通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显示。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种两视点立体图像合成方法，其特征在于，包括：利用双移动行业处理器接口MIPI接口采集双视点图像；

对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据；

通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显示。

2.根据权利要求1所述的两视点立体图像合成方法，其特征在于，该方法还包括：对述采集到的双视点图像进行视频驱动处理。

3.根据权利要求1或2所述的两视点立体图像合成方法，其特征在于，所述对采集到的双视点图像进行匹配、合成处理包括：

利用两个并行执行的预览线程，分别提取出所述采集到的双视点图像中的左右视图每一帧图像的数据，再对其进行匹配、合成处理。

4.根据权利要求3所述的两视点立体图像合成方法，其特征在于，所述进行匹配、合成处理包括：

在内存中注册用于照相机预览显示的专用缓冲区；从所述采集到的双视点图像中中获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中；

利用帧数据时间戳对获得的左右两路视频单帧数据进行同步处理；

将采集到的YUV格式的数据转换为RGB格式；

对格式转换后的左右视图进行图像平滑和尺寸变换处理；

采用尺度不变特征变换匹配算法SIFT特征匹配算法提取并匹配的经过图像平滑和尺寸变换处理后的左右视图的特征；

通过预先设置的特定的像素排列方式对左右视图像素点进行排列，生成一帧可在光栅下显示的立体图像数据。

5.根据权利要求4所述的两视点立体图像合成方法，其特征在于，所述图像平滑处理应用高斯低通滤波器实现。

6.根据权利要求4所述的两视点立体图像合成方法，其特征在于，该方法还包括：利用随机取样一致性算法RANSAC剔除所述匹配后的左右视图的特征中的误匹配的特征点。

7.根据权利要求4所述的两视点立体图像合成方法，其特征在于，所述像素排列方式为：以纵向列为单位，合成图的第一列排布左视图的第一列像素，合成图的第二列排布右视图的第一列像素；合成图的第三列排布左视图第二列像素，合成图的第四列排布右视图第二列像素，以此类推，直至左右视图像素完全排布进入合成图中。

8.根据权利要求4或6所述的两视点立体图像合成方法，其特征在于，所述生成一帧可在光栅下显示的立体图像数据之前还包括：验证所述左右视图是否被遮挡，如果存在被遮挡，修复遮挡区域。

9.根据权利要求8所述的两视点立体图像合成方法，其特征在于，所述修复遮挡区域包括：采用另一视图中像素点的灰度值修正对某一视图中对应的被异物遮挡的区域。

10.根据权利要求8所述的两视点立体图像合成方法，其特征在于，该方法还包括：利用中值滤波器检测所述修复遮挡后的左右视图的噪声，并对噪声点加以标注；

对于确定为噪声的点进行噪声点修复。

11.根据权利要求10所述的两视点立体图像合成方法，其特征在于，所述进行噪声修复包括：采用另一视点对应像素点的灰度值修正确认出的噪声点内各像素灰度值。

12.一种两视点立体图像合成***，其特征在于，至少包括采集单元、处理单元，以及显示单元；其中，

采集单元，用于利用双MIPI接口采集双视点图像；

处理单元，用于对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据并输出给显示单元；

显示单元，用于通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显示。

13.根据权利要求12所述的两视点立体图像合成***，其特征在于，所述采集单元至少包括两路具有MIPI接口的后置摄像头，分别用于采集左右两路视图；

两路摄像头分别挂载在不同的I²C总线上，采用独立的数据线路与内存和中央处理器交互，并利用每一帧图像的时间戳进行帧同步。

14.根据权利要求13所述的两视点立体图像合成***，其特征在于，所述摄像头的为Omnivision公司的OV5640芯片。

15.根据权利要求13所述的两视点立体图像合成***，其特征在于，所述采集单元还包括摄像头驱动模块，用于对采集到的两路视图进行驱动处理后输出给处理单元。

16.根据权利要求15所述的两视点立体图像合成***，其特征在于，所述摄像头驱动模块采用V4L2视频驱动框架来实现。

17.根据权利要求12所述的两视点立体图像合成***，其特征在于，所述处理单元至少包括预处理模块、提取模块、匹配模块，合成模块；其中，

预处理模块，用于在内存中注册用于照相机预览显示的专用缓冲区；获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中；同时，利用帧数据时间戳功能进行软件同步；将采集到的YUV格式的数据转换为RGB格式；对格式转换后的左右视图进行图像平滑和尺寸变换处理后输出给提取模块；

提取模块，用于采用SIFT特征匹配算法提取预处理后的左右视图的特征，生成32维度的SIFT特征描述子；

匹配模块，用于采用SIFT特征匹配算法匹配提取的左右视图的特征，将右视图中欧式距离最近的点作为当前左视图SIFT关键点的匹配点，记录匹配点对的坐标信息；

合成模块，用于通过预先设置的特定的像素排列方式对左右视图像素点进行排列，生成一帧可在光栅下显示的立体图像数据。

18.根据权利要求17所述的两视点立体图像合成***，其特征在于，还包括剔除模块，用于采用RANSAC算法剔除误匹配的特征点，并估计左右视图像素坐标映射模型。

19.根据权利要求18所述的两视点立体图像合成***，其特征在于，还包括遮挡修复模块，用于利用估计得到的左右视图像素坐标映射模型确定存在遮挡区时，对对某一视图中被异物遮挡的区域用另一视图对应像素点的灰度值修正，以实现遮挡区域的修复。

20.根据权利要求19所述的两视点立体图像合成***，其特征在于，还包括噪声修复模块，用于利用中值滤波器检测左右视图的噪声，并对噪声点加以标注后输出给合成模块。