CN104574331B - 一种数据处理方法、装置、计算机存储介质及用户终端 - Google Patents

一种数据处理方法、装置、计算机存储介质及用户终端 Download PDF

Info

Publication number
CN104574331B
CN104574331B CN201310500005.6A CN201310500005A CN104574331B CN 104574331 B CN104574331 B CN 104574331B CN 201310500005 A CN201310500005 A CN 201310500005A CN 104574331 B CN104574331 B CN 104574331B
Authority
CN
China
Prior art keywords
view
mapping model
pixel coordinate
coordinate mapping
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310500005.6A
Other languages
English (en)
Other versions
CN104574331A (zh
Inventor
李飞
王云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201310500005.6A priority Critical patent/CN104574331B/zh
Priority to PCT/CN2014/075991 priority patent/WO2014180255A1/zh
Publication of CN104574331A publication Critical patent/CN104574331A/zh
Application granted granted Critical
Publication of CN104574331B publication Critical patent/CN104574331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种数据处理方法、装置、计算机存储介质及用户终端，其中，该方法包括：对采集的每帧立体图像数据进行预处理时，对每帧立体图像数据的左视图和右视图分别提取特征值并进行匹配，根据匹配结果得到左右视图之间的像素坐标映射模型；每帧立体图像数据对应一个左右视图之间的像素坐标映射模型，根据多帧立体图像数据对应的左右视图之间的像素坐标映射模型得到平均像素坐标映射模型；基于所述平均像素坐标映射模型进行图像处理。采用本发明，至少解决了不能得到稳定的立体图像数据的问题，能对得到的立体图像数据进行优化重建。

Description

一种数据处理方法、装置、计算机存储介质及用户终端
技术领域
本发明属于多媒体应用技术领域，尤其涉及一种数据处理方法、装置、计算机存储介质及用户终端。
背景技术
SIFT是SIFT局部特征描述算法中涉及的局部特征描述子，SIFT特征独特性好，信息量丰富，并且对大多数图像变换具有很强的不变性。在Mikolajczyk对包括SIFT算子在内的十种局部描述子所做的不变性对比实验中，SIFT及其扩展算法已被证实在同类描述子中具有最强的鲁棒性，所谓鲁棒性是指稳定性的一种描述。
SIFT算法包含了两个部分：一个尺度不变的兴趣区域检测器和一个基于兴趣区域的灰度阶梯分布的特征描述符。其主要特点如下：
a)SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。
b)独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。
c)多量性，即使少数的几个物体也可以产生大量SIFT特征向量。
d)高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。
e)可扩展性，可以很方便的与其他形式的特征向量进行联合。
SIFT特征匹配算法主要包括两个阶段，第一阶段是SIFT特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量；第二阶段是SIFT特征向量的匹配。
如今，SIFT算法已经广泛应用于目标识别、图像复原、图像拼接等领域。
随机取样一致性算法（RANSAC，random sample consensus）是由Fishler和Bolles提出的一种鲁棒性估计方法。如今，RANSAC技术已经成为线性、非线性模型估计重要方法。
本申请发明人在实现本申请实施例技术方案的过程中，至少发现现有技术中存在如下技术问题：
在用户终端，例如移动终端的多媒体应用领域，采集设备利用采集的图像数据进行立体成像，立体图像的合成工作包括立体数据的准备、子像素判断准则、各视点像素子采样、各视点子像素排列合成、立体图像的压缩传输与显示几个部分。
在两视点立体图像采集合成过程中，由于每一帧立体数据只有左右视点两张图片，所以合成算法容错率较低。在使用移动终端采集双视点立体图像数据时，由于用户操作不稳定的问题，容易出现手指遮挡等问题，当采集设备出现噪声较大，摄像头遮挡等问题的时候，容易造成立体图像数据的不可用，稳定性差，从而最终合成错误或者质量较差的立体图片。可见，在整个立体图像采集合成过程中，作为数据源的立体图像数据的稳定性对最终合成立体图片起着至关重要的作用，然而，对于如何得到稳定的立体图像数据尚未存在有效的解决方案。
发明内容
有鉴于此，本发明的主要目的在于提供一种数据处理方法、装置及用户终端，至少解决了不能得到稳定的立体图像数据的问题，能对得到的立体图像数据进行优化重建。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供了一种数据处理方法，包括：
对采集的每帧立体图像数据进行预处理时，对每帧立体图像数据的左视图和右视图分别提取特征值并进行匹配，根据匹配结果得到左右视图之间的像素坐标映射模型；
每帧立体图像数据对应一个左右视图之间的像素坐标映射模型，根据多帧立体图像数据对应的左右视图之间的像素坐标映射模型得到平均像素坐标映射模型；
基于所述平均像素坐标映射模型进行图像处理。
上述方案中，所述对每帧立体图像数据的左视图和右视图分别提取特征值并进行匹配，具体包括：
对左视图和右视图分别提取SIFT特征，获得左视图和右视图分别对应的SIFT特征描述子；
将左视图和右视图分别对应的SIFT特征描述子进行SIFT特征点匹配，获得左右视图的SIFT特征点的匹配点对。
上述方案中，所述根据匹配结果得到左右视图之间的像素坐标映射模型，具体包括：
以所述匹配点对作为输入参数来得到所述左右视图之间的像素坐标映射模型。
上述方案中，所述以所述匹配点对作为输入参数来得到所述左右视图之间的像素坐标映射模型，具体包括：
从由所述匹配点对构成的集合S中随机选取一个数据点集进行初始化；
从所述数据点集中按照预设阈值过滤出符合的支撑点集Si，作为一致集；
根据Si的大小与预设阈值的比对来不断选取新的数据样本及估计左右视图之间的像素坐标映射模型直至获得最大的一致集，根据所述最大的一致集为最终数据样本得到所需的左右视图之间的像素坐标映射模型。
上述方案中，所述根据多帧立体图像数据对应的左右视图之间的像素坐标映射模型得到平均像素坐标映射模型，具体包括：
获取立体图像合成前最新采集的指定个数的多帧立体图像数据对应的左右视图之间的像素坐标映射模型，对所述多帧立体图像数据对应的左右视图之间的像素坐标映射模型取平均，得到平均像素坐标映射模型。
上述方案中，所述基于所述平均像素坐标映射模型进行图像处理，具体包括：
基于所述平均像素坐标映射模型进行破损区域的修复处理；
基于所述平均像素坐标映射模型进行降噪处理。
上述方案中，所述基于所述平均像素坐标映射模型进行破损区域的修复处理，具体包括：
检测到破损区域，基于所述平均像素坐标映射模型确定破损区域在另一正常视图中的坐标信息，用正常视图中相应区域的图像内容替换当前破损区域的图像内容，对检测到破损区域的边缘，用左右两视图对应像素点灰度值的平均数修正。
上述方案中，所述基于所述平均像素坐标映射模型进行降噪处理，具体包括：
检测到可疑噪声点，基于所述平均像素坐标映射模型确定可疑噪声点在另一视图中的位置区域，进行灰度比较确定可疑噪声点是否为噪声点；
将确定的噪声点按照预定位置区域的邻域内各像素灰度值用另一视图对应像素点的灰度值进行修正。
本发明实施例还提供了一种数据处理装置，包括：
预处理单元，用于对采集的每帧立体图像数据进行预处理时，对每帧立体图像数据的左视图和右视图分别提取特征值并进行匹配，根据匹配结果得到左右视图之间的像素坐标映射模型；
图像处理单元，用于基于所述平均像素坐标映射模型进行图像处理；每帧立体图像数据对应一个左右视图之间的像素坐标映射模型，根据多帧立体图像数据对应的左右视图之间的像素坐标映射模型得到所述平均像素坐标映射模型。
上述方案中，所述预处理单元，进一步包括：特征匹配子单元；
所述特征匹配子单元，用于对左视图和右视图分别提取SIFT特征，获得左视图和右视图分别对应的SIFT特征描述子；将左视图和右视图分别对应的SIFT特征描述子进行SIFT特征点匹配，获得左右视图的SIFT特征点的匹配点对。
上述方案中，所述预处理单元，进一步包括：模型估计子单元；
所述模型估计子单元，用于以所述匹配点对作为输入参数来得到所述左右视图之间的像素坐标映射模型。
上述方案中，所述模型估计子单元，用于从由所述匹配点对构成的集合S中随机选取一个数据点集进行初始化；从所述数据点集中按照预设阈值过滤出符合的支撑点集Si，作为一致集；根据Si的大小与预设阈值的比对来不断选取新的数据样本及估计左右视图之间的像素坐标映射模型直至获得最大的一致集，根据所述最大的一致集为最终数据样本得到所需的左右视图之间的像素坐标映射模型。
上述方案中，所述图像处理单元，进一步包括：模型均值获取子单元；
所述模型均值获取子单元，用于获取立体图像合成前最新采集的指定个数的多帧立体图像数据对应的左右视图之间的像素坐标映射模型，对所述多帧立体图像数据对应的左右视图之间的像素坐标映射模型取平均，得到平均像素坐标映射模型。
上述方案中，所述图像处理单元，进一步包括：第一处理子单元和第二处理子单元；
所述第一处理子单元，用于基于所述平均像素坐标映射模型进行破损区域的修复处理；
第二处理子单元，用于基于所述平均像素坐标映射模型进行降噪处理。
上述方案中，所述第一处理子单元，进一步用于检测到破损区域，基于所述平均像素坐标映射模型确定破损区域在另一正常视图中的坐标信息，用正常视图中相应区域的图像内容替换当前破损区域的图像内容，对检测到破损区域的边缘，用左右两视图对应像素点灰度值的平均数修正。
上述方案中，所述第二处理子单元，进一步用于检测到可疑噪声点，基于所述平均像素坐标映射模型确定可疑噪声点在另一视图中的位置区域，进行灰度比较确定可疑噪声点是否为噪声点；将确定的噪声点按照预定位置区域的邻域内各像素灰度值用另一视图对应像素点的灰度值进行修正。
本发明实施例又提供了一种计算机存储介质，所述计算机存储介质包括一组指令，当执行所述指令时，引起至少一个处理器执行所述如权利要求1至8任一项所述的数据处理方法。
本发明实施例还提供了一种用户终端，所述用户终端包括如上述的数据处理装置。
本发明的方法包括：对采集的每帧立体图像数据进行预处理时，对每帧立体图像数据的左视图和右视图分别提取特征值并进行匹配，根据匹配结果得到左右视图之间的像素坐标映射模型；每帧立体图像数据对应一个左右视图之间的像素坐标映射模型，根据多帧立体图像数据对应的左右视图之间的像素坐标映射模型得到平均像素坐标映射模型；基于所述平均像素坐标映射模型进行图像处理。
采用本发明，由于对采集的每帧立体图像数据进行预处理以获取左右视图之间的像素坐标映射模型，对该模型进行优化得到平均像素坐标映射模型，最终基于该平均像素坐标映射模型进行图像处理，能对得到的立体图像数据进行优化重建。
附图说明
图1为本发明实施例方法原理的实现流程图；
图2为本发明实施例装置基本组成结构示意图；
图3本发明实施例SIFT特征提取的实现流程图；
图4为本发明实施例估计坐标映射模型的实现流程图；
图5为本发明实施例破损修复的实现流程图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述。
本发明实施例的数据处理方法的应用场景是用户终端，尤其是移动终端的多媒体应用技术领域，例如，两视点立体图像采集合成过程中两视点裸眼立体图像数据优化重建的数据处理方案，至少解决了现有技术中不能得到稳定的立体图像数据的问题，确保用户终端，尤其是移动终端采集立体图像数据时不会因为摄像头遮挡、噪声较大而导致产生的立体图像数据不可用时仍能最终合成质量相对较高的立体图片。
本发明实施例主要基于SIFT算法和RANSAC算法，是通过RANSAC算法利用左右视图的SIFT匹配点建立左右视图像素映射模型，根据该左右视图像素映射模型，用正常视图对破损的视图进行修复和重建，为合成算法提供合格的立体图像数据，采用本发明实施例，最终能得到修改好的立体图像数据，采用该左右视图像素映射模型对于修复破损图像较为精准，计算量较小，修复效果好。
其中，SIFT算法在之前已经介绍过了，而RANSAC算法的基本思想是：在进行参数估计时，不是不加区分地对待所有可能的输入数据，而是首先针对具体问题设计出一个搜索引擎，利用此搜索引擎迭代地剔除那些与所估计参数不一致的输入数据（Outliers），然后利用正确的输入数据来估计参数。本发明实施例采用RANSAC算法的具体实现来得到左右视图像素映射模型。
立体成像是基于视差创造立体的原理，所谓视差创造立体的原理，是指人的两只眼睛从不同的角度观看世界，即左眼看到的物体与右眼看到的同一物体之间有细微的差别，人的双眼平均间距约65mm，因而描述场景轮廓的方式也不尽相同。大脑根据这两个有细微差别的场景进行综合处理(生理融合作用)，产生精确的三维物体感知以及该物体在场景中的定位，这就是具有深度的立体感。
立体成像***的工作就是对每个场景至少产生两幅图像，一幅代表左眼所看到的图像，另一幅代表右眼所看到的图像，这两幅有关联的图像称为立体图像对(stereopair)。而立体显示***必须使左眼只能看到左图像，右眼只能看到右图像。本发明实施例所针对的显示方法是双视点自由立体显示方法，即左右视点两幅图像，通过对子像素点的重新排列组合，生成立体图像，送至显示装置。通过在CRT显示器或者平板显示器前加入透镜柱面或者视差栅栏，控制各像素光线的射出方向，使左视点的图像仅射入左眼，右视点的图像仅射入右眼，利用双目视差，产生立体视觉。
立体图像合成工作包括立体数据的准备、子像素判断准则、各视点像素子采样、各视点子像素排列合成、立体图像的压缩传输与显示几个部分，本发明实施例主要针对立体图像数据的准备环节，是对得到的立体图像数据进行优化重建，经过本发明实施例的优化重建立体图像数据后，即便用户终端，尤其是移动终端采集立体图像数据时因为摄像头遮挡、噪声较大而导致产生的立体图像数据不可用时，仍能最终合成质量相对较高的立体图片。
本发明实施例的数据处理方法，如图1所示，包括：
步骤101、对采集的每帧立体图像数据进行预处理时，对每帧立体图像数据的左视图和右视图分别提取特征值并进行匹配，根据匹配结果得到左右视图之间的像素坐标映射模型；
这里，立体图像数据也可以成为立体图像素材，不做赘述。
步骤102、每帧立体图像数据对应一个左右视图之间的像素坐标映射模型，根据多帧立体图像数据对应的左右视图之间的像素坐标映射模型得到平均像素坐标映射模型；
步骤103、基于所述平均像素坐标映射模型进行图像处理。
本发明实施例的数据处理装置，如图2所示，包括：
预处理单元，用于对采集的每帧立体图像数据进行预处理时，对每帧立体图像数据的左视图和右视图分别提取特征值并进行匹配，根据匹配结果得到左右视图之间的像素坐标映射模型。
图像处理单元，用于基于所述平均像素坐标映射模型进行图像处理；每帧立体图像数据对应一个左右视图之间的像素坐标映射模型，根据多帧立体图像数据对应的左右视图之间的像素坐标映射模型得到所述平均像素坐标映射模型。
本发明实施例的计算机存储介质，所述计算机存储介质包括一组指令，当执行所述指令时，引起至少一个处理器执行所述数据处理方法。
本发明实施例的用户终端，包括本发明实施例的数据处理装置的基本结构及其各种变形和等同替换，不做赘述。
以下对本发明实施例的一应用场景（用户终端为手机拍照时的场景）具体阐述：
在该手机拍照时的场景下，本发明实施例的数据处理方法具体为两视点裸眼立体图像数据优化重建处理方案，用户使用手机拍摄立体图片时，均需要先进行预览，用户按下快门键前一端时间，一般来说处于相对稳定可靠的立体数据采集状态，而按下快门的过程容易出现突发噪声。为了实现本发明实施例的目的，采用本发明实施例需要在拍照前进行预处理，以便得到稳定的立体图像数据，对预览图片左右视图提取SIFT特征，并进行匹配，进而确定当前场景左右视图之间像素坐标映射模型，根据此映射模型，我们对单视点低质量立体数据进行遮挡修复和去噪处理，从而生成可靠的双视点立体数据
以下为详细步骤说明，其中第一步到第六步是在图像预览过程中实现（即上述预处理的过程），第七步到第十一步是在按下快门键进行拍照后实现的步骤（即基于预处理的过程得到的优化和重建的立体图像数据进行立体图像的合成，经破损图像修复和去噪后得到最终的结果）。
第一步：在预览时对预览左右视图图像进行预处理，包括尺度缩放和图像平滑。由于手机预览模式与拍照模式设置不同，所以先对预览模式下采集到的图片进行缩放，如5Mp。由于SIFT特征描述算法具有尺度不变性，所以不会影响到SIFT特征提取和匹配。图像平滑应用高斯低通滤波器，因为高斯低通滤波器可以有效克服振铃效应，并对消除噪声效果明显。在这一步中，起到的有益效果为：用高斯低通滤波器进行图像平滑处理，主要是为了减小尺度缩放对于图片质量的影响，以保证坐标映射模型的可靠性。
第二步：对处理过的左右视图图像提取SIFT特征。
这里，SIFT匹配的流程如图3所示，左视图的操作步骤（步骤111-116）和右视图的操作步骤（步骤121-126）是一样的处理，以左视图为例，包括：
步骤111、准备提取图像的SIFT特征；
步骤112、构建尺度空间；
步骤113、检测空间极值点；
步骤114、精确定位空间极值点；
步骤115、去除边缘响应点；
步骤116、生成SIFT特征描述子。
由左视图的操作步骤（步骤111-116）得到SIFT特征描述子，以及通过右视图的操作步骤（步骤121-126）得到SIFT特征描述子后，执行步骤13。
步骤13、最终通过对由左视图的操作步骤（步骤111-116）得到的SIFT特征描述子，与通过右视图的操作步骤（步骤121-126）得到的SIFT特征描述子进行SIFT特征点匹配，以便获取左右视图的SIFT特征点匹配点对，后续简称为匹配点对。
综上所述，图3流程的基本点主要为：
（a）检测尺度空间极值点，包括尺度空间的生成，空间极值点检测。
具体的，SIFT使用了高斯差分（DoG）尺度空间，它由相邻尺度的高斯差分核与输入图像卷积而成。DoG核不仅是对LoG的线性近似，而且大大简化了尺度空间的计算。对每个像素点在其图像空间和DoG尺度空间的邻域中搜索极值点，初步得到特征点的位置。中间的待检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点构成的邻域中比较，以确保在尺度空间和二维图像空间都检测到极值点。一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。
（b）精确定位空间极值点，包括去除低对比度的关键点，去除边缘响应点。
（c）生成128维SIFT特征描述子。
具体的，实际计算过程中，为了增强匹配的稳健性，对每个关键点使用4×4共16个种子点来描述，每个种子点有8个方向向量信息，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。
第三步：对左右视图的SIFT特征点进行匹配。当两幅图像（图像1和图像2）的SIFT特征向量生成后，下一步采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量。欧氏距离定义如公式1所示：
公式1
取左视图中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，然后按照distance-ratio准则进行匹配，即在这两个关键点中，如果最近的距离d1除以次近的距离d2得到ratio，若ratio大于某个比例阈值ε，则接受这一对匹配点。该比例阈值根据实验结果可以是1.5，该比例阈值取1.5可以保证匹配点对数量足够用，又可以有效控制计算量，匹配点对数量随该比例阈值提高而降低，降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。定义如公式2所示。
ratio=d1/d2
公式2
随着ratio取值的提高，SIFT匹配点数量会下降，但精度会提高。由于在本发明实施例中对SIFT匹配点对的精度要求较高，而且左右视图差异较小，会造成匹配点数量过高，使得计算量太大。所以本例中ratio的取值应该适当增高，在本实现中，ratio取值为1.8。
记录匹配点对的坐标信息。
也可以用右视图中欧式距离最近的点作为当前左视图SIFT关键点的匹配点，记录匹配点对的坐标信息。
第四步：用RANSAC算法估计当前场景左右视图之间的像素坐标映射模型。
这里，估计左右视图之间的像素坐标映射模型的流程如图4所示，包括：
步骤201、随机选取8组匹配点对，用于初始化该左右视图之间的像素坐标映射模型。
步骤202、找出当前模型的支撑点集。
步骤203、判断支撑点集的大小是否满足阈值，如果是，则执行步骤204，否则，执行步骤201。
这里，所述阈值根据实验结果可以是整个数据点集的百分之六十七，阈值取整个数据点集的百分之六十七能保证模型的有效性。
步骤204、估计出该左右视图之间的像素坐标映射模型。
图4的流程是把匹配点对分别在左右视图中的坐标信息作为RANSAC模型估计***的输入参数，来估计出左右视图像素映射模型。
综上所述，图4流程的基本点主要为：
（a）从匹配点对集合S中随机选取一个数据点集，并由这个子集初始化模型。
（b）找出按照阈值Td成为当前模型的支撑点集Si，集合Si就是样本的一致集，被定义为有效点；
（c）如果集合Si的大小超过了某个阈值T，用Si重新估计模型并结束；
（d）如果集合Si的大小小于阈值Ts，选取一个新的样本，重复上面的步骤；
经过N次尝试，最大的一致集Si被选中，用它来重新估计模型，得到最后的结果。本例中左右视图像素坐标信息分别为P1和P2，由对极几何原理可知，左右视图通过两幅图像的基本矩阵F相关联，满足P2TFP1=0。该步骤中模型估计的过程实际上便是对F求解的过程，由于匹配点对足够多，所以能够生成可靠的坐标映射模型。
第五步：仅保留符合步骤四中左右视图之间的像素坐标映射模型的正确匹配点对，即Si中的点集，与得到的左右视图像素坐标映射模型一同保存为本帧图像参考信息。
第六步：无限循环第一步到第五步，仅保留最新采集到的四帧图像的图像参考信息，建立队列。每采集一帧立体图像数据，将队头帧信息删除，将最新帧参考信息存入队尾。
第七步：拍照，并对左右视图进行平滑处理，用当前左右视图之间的像素坐标映射模型队列前三帧求解平均像素坐标映射模型。拍照后，由用户选择是否需要修复视图，若需要，则继续。
第八步：验证是否遮挡。将左右视图各自平均切分为8块，对每一块取平均灰度值，对左右视图相应区块的平均灰度值进行对比，若区块平均灰度值相对差异在10%以上，则将低灰度值区块视为破损区块，若破损区块数为0，则跳至第十步。
第九步：修复遮挡区域。
这里，破损修复流程如图5所示，包括：
步骤301、精确检测破损区域（sobel算子）。
步骤302、计算破损区域在正常视图中的坐标信息。
步骤303、修复破损区域。
步骤304、修复边缘。
综上所述，图5流程的基本点主要为：
（a）精确确定破损区域。在破损区块中，用sobel算子检测灰度突变边缘。该算子包含两组3×3矩阵，分别为横向和纵向，将之与图像做平面卷积，即可分别得出横向及纵向的亮度差分近似值。
（b）用当前场景左右视图坐标映射模型确定破损区域在另一视图中坐标信息。
（c）用正常视图中相应区域图像内容替换当前破损区域图像内容。
（d）边缘修复。对（a）中检测到的边缘，每像素点3×3临域内各像素灰度值用左右两视图对应像素点灰度值的平均数修正。
第十步：噪声点检测。在拍照过程中，左右视图均可能伴有一定的椒盐噪声，同时在第九步过后，由于坐标映射模型的局限性，将伴随有少量椒盐噪声，本例用中值滤波器检测左右视图的噪声，并对噪声点加以标注。即在当前点N×N临域内（N为奇数），取灰度的最大值、最小值和均值，如果当前点的灰度值是这个临域内的最大或最小值，且超过设定阈值（该邻域内平均灰度值60%-150%为基本阈值，此范围之外为超过设定阈值），则有可能为噪点，标记为可疑点。此时通过坐标映射模型确定可疑点在另一视图中位置区域，将当前点置于此位置中，再次进行灰度比较，进而确定当前点是否为噪声点。
第十一步：修复噪声点。将第十步中确认的噪声点3×3邻域内各像素灰度值用另一视点对应像素点的灰度值修正。
第十二步：将优化后的立体图像数据提交到合成算法，利用现有的合成算法进行立体图像的合成。
本发明实施例所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (18)

1.一种数据处理方法，其特征在于，所述方法包括：
对采集的每帧立体图像数据进行预处理时，对每帧立体图像数据的左视图和右视图分别提取特征值并进行匹配，根据匹配结果得到左右视图之间的像素坐标映射模型；
每帧立体图像数据对应一个左右视图之间的像素坐标映射模型，根据多帧立体图像数据对应的左右视图之间的像素坐标映射模型得到平均像素坐标映射模型；
基于所述平均像素坐标映射模型进行图像处理。
2.根据权利要求1所述的方法，其特征在于，所述对每帧立体图像数据的左视图和右视图分别提取特征值并进行匹配，具体包括：
对左视图和右视图分别提取SIFT特征，获得左视图和右视图分别对应的SIFT特征描述子；
将左视图和右视图分别对应的SIFT特征描述子进行SIFT特征点匹配，获得左右视图的SIFT特征点的匹配点对。
3.根据权利要求2所述的方法，其特征在于，所述根据匹配结果得到左右视图之间的像素坐标映射模型，具体包括：
以所述匹配点对作为输入参数来得到所述左右视图之间的像素坐标映射模型。
4.根据权利要求3所述的方法，其特征在于，所述以所述匹配点对作为输入参数来得到所述左右视图之间的像素坐标映射模型，具体包括：
从由所述匹配点对构成的集合S中随机选取一个数据点集进行初始化；
从所述数据点集中按照预设阈值过滤出符合的支撑点集Si，作为一致集；
根据Si的大小与预设阈值的比对来不断选取新的数据样本及估计左右视图之间的像素坐标映射模型直至获得最大的一致集，根据所述最大的一致集为最终数据样本得到所需的左右视图之间的像素坐标映射模型。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据多帧立体图像数据对应的左右视图之间的像素坐标映射模型得到平均像素坐标映射模型，具体包括：
获取立体图像合成前最新采集的指定个数的多帧立体图像数据对应的左右视图之间的像素坐标映射模型，对所述多帧立体图像数据对应的左右视图之间的像素坐标映射模型取平均，得到平均像素坐标映射模型。
6.根据权利要求5所述的方法，其特征在于，所述基于所述平均像素坐标映射模型进行图像处理，具体包括：
基于所述平均像素坐标映射模型进行破损区域的修复处理；
基于所述平均像素坐标映射模型进行降噪处理。
7.根据权利要求6所述的方法，其特征在于，所述基于所述平均像素坐标映射模型进行破损区域的修复处理，具体包括：
检测到破损区域，基于所述平均像素坐标映射模型确定破损区域在另一正常视图中的坐标信息，用正常视图中相应区域的图像内容替换当前破损区域的图像内容，对检测到破损区域的边缘，用左右两视图对应像素点灰度值的平均数修正。
8.根据权利要求6所述的方法，其特征在于，所述基于所述平均像素坐标映射模型进行降噪处理，具体包括：
检测到可疑噪声点，基于所述平均像素坐标映射模型确定可疑噪声点在另一视图中的位置区域，进行灰度比较确定可疑噪声点是否为噪声点；
将确定的噪声点按照预定位置区域的邻域内各像素灰度值用另一视图对应像素点的灰度值进行修正。
9.一种数据处理装置，其特征在于，所述装置包括：
预处理单元，用于对采集的每帧立体图像数据进行预处理时，对每帧立体图像数据的左视图和右视图分别提取特征值并进行匹配，根据匹配结果得到左右视图之间的像素坐标映射模型；
图像处理单元，用于基于平均像素坐标映射模型进行图像处理；每帧立体图像数据对应一个左右视图之间的像素坐标映射模型，根据多帧立体图像数据对应的左右视图之间的像素坐标映射模型得到所述平均像素坐标映射模型。
10.根据权利要求9所述的装置，其特征在于，所述预处理单元，进一步包括：特征匹配子单元；
所述特征匹配子单元，用于对左视图和右视图分别提取SIFT特征，获得左视图和右视图分别对应的SIFT特征描述子；将左视图和右视图分别对应的SIFT特征描述子进行SIFT特征点匹配，获得左右视图的SIFT特征点的匹配点对。
11.根据权利要求10所述的装置，其特征在于，所述预处理单元，进一步包括：模型估计子单元；
所述模型估计子单元，用于以所述匹配点对作为输入参数来得到所述左右视图之间的像素坐标映射模型。
12.根据权利要求11所述的装置，其特征在于，所述模型估计子单元，用于从由所述匹配点对构成的集合S中随机选取一个数据点集进行初始化；从所述数据点集中按照预设阈值过滤出符合的支撑点集Si，作为一致集；根据Si的大小与预设阈值的比对来不断选取新的数据样本及估计左右视图之间的像素坐标映射模型直至获得最大的一致集，根据所述最大的一致集为最终数据样本得到所需的左右视图之间的像素坐标映射模型。
13.根据权利要求9至12任一项所述的装置，其特征在于，所述图像处理单元，进一步包括：模型均值获取子单元；
所述模型均值获取子单元，用于获取立体图像合成前最新采集的指定个数的多帧立体图像数据对应的左右视图之间的像素坐标映射模型，对所述多帧立体图像数据对应的左右视图之间的像素坐标映射模型取平均，得到平均像素坐标映射模型。
14.根据权利要求13所述的装置，其特征在于，所述图像处理单元，进一步包括：第一处理子单元和第二处理子单元；
所述第一处理子单元，用于基于所述平均像素坐标映射模型进行破损区域的修复处理；
第二处理子单元，用于基于所述平均像素坐标映射模型进行降噪处理。
15.根据权利要求14所述的装置，其特征在于，所述第一处理子单元，进一步用于检测到破损区域，基于所述平均像素坐标映射模型确定破损区域在另一正常视图中的坐标信息，用正常视图中相应区域的图像内容替换当前破损区域的图像内容，对检测到破损区域的边缘，用左右两视图对应像素点灰度值的平均数修正。
16.根据权利要求14所述的装置，其特征在于，所述第二处理子单元，进一步用于检测到可疑噪声点，基于所述平均像素坐标映射模型确定可疑噪声点在另一视图中的位置区域，进行灰度比较确定可疑噪声点是否为噪声点；将确定的噪声点按照预定位置区域的邻域内各像素灰度值用另一视图对应像素点的灰度值进行修正。
17.一种计算机存储介质，其特征在于，所述计算机存储介质包括一组指令，当执行所述指令时，引起至少一个处理器执行所述如权利要求1至8任一项所述的数据处理方法。
18.一种用户终端，其特征在于，所述用户终端包括如权利要求9至16任一项所述的数据处理装置。
CN201310500005.6A 2013-10-22 2013-10-22 一种数据处理方法、装置、计算机存储介质及用户终端 Active CN104574331B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310500005.6A CN104574331B (zh) 2013-10-22 2013-10-22 一种数据处理方法、装置、计算机存储介质及用户终端
PCT/CN2014/075991 WO2014180255A1 (zh) 2013-10-22 2014-04-22 一种数据处理方法、装置、计算机存储介质及用户终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310500005.6A CN104574331B (zh) 2013-10-22 2013-10-22 一种数据处理方法、装置、计算机存储介质及用户终端

Publications (2)

Publication Number Publication Date
CN104574331A CN104574331A (zh) 2015-04-29
CN104574331B true CN104574331B (zh) 2019-03-08

Family

ID=51866712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310500005.6A Active CN104574331B (zh) 2013-10-22 2013-10-22 一种数据处理方法、装置、计算机存储介质及用户终端

Country Status (2)

Country Link
CN (1) CN104574331B (zh)
WO (1) WO2014180255A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10122996B2 (en) * 2016-03-09 2018-11-06 Sony Corporation Method for 3D multiview reconstruction by feature tracking and model registration
WO2019019160A1 (zh) * 2017-07-28 2019-01-31 深圳配天智能技术研究院有限公司 一种图像信息获取方法、图像处理设备及计算机存储介质
CN107786866B (zh) * 2017-09-30 2020-05-19 深圳睛灵科技有限公司 一种双目视觉图像合成***及方法
CN110147598B (zh) * 2019-05-10 2023-08-22 上海理工大学 基于图像处理的超高速撞击碎片云建模及损伤评估方法
CN110321858B (zh) * 2019-07-08 2022-06-14 北京字节跳动网络技术有限公司 视频相似度确定方法、装置、电子设备及存储介质
CN110599513B (zh) * 2019-09-04 2022-02-11 南京邮电大学 一种双目视觉图像边缘检测与目标跟踪方法
CN113362233B (zh) * 2020-03-03 2023-08-29 浙江宇视科技有限公司 图片处理方法、装置、设备、***及存储介质
CN112215871B (zh) * 2020-09-29 2023-04-21 武汉联影智融医疗科技有限公司 一种基于机器人视觉的移动目标追踪方法及装置
CN112562063B (zh) * 2020-12-08 2024-07-02 上饶市纯白数字科技有限公司 用于对物体进行立体尝试的方法、装置、设备及存储介质
CN113421248B (zh) * 2021-06-30 2024-02-09 上海申瑞继保电气有限公司 变电站设备旋转图像数值处理方法
CN116630203B (zh) * 2023-07-19 2023-11-07 科大乾延科技有限公司 集成成像三维显示质量提升方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1463154A (zh) * 2002-05-28 2003-12-24 华为技术有限公司 视讯***中的错误掩盖方法
CN1774920A (zh) * 2003-02-19 2006-05-17 索尼电子有限公司 拷贝保护的方法和***
CN102081687A (zh) * 2010-12-30 2011-06-01 上海电机学院 一种三维立体发型设计方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100556153C (zh) * 2007-12-05 2009-10-28 宁波大学 一种多视点图像的预处理方法
JP4737573B2 (ja) * 2009-02-05 2011-08-03 富士フイルム株式会社 ３次元画像出力装置及び方法
CN102096915B (zh) * 2011-02-09 2013-08-07 北京航空航天大学 一种基于精准图像拼接的摄像机镜头去污方法
CN103345736B (zh) * 2013-05-28 2016-08-31 天津大学 一种虚拟视点绘制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1463154A (zh) * 2002-05-28 2003-12-24 华为技术有限公司 视讯***中的错误掩盖方法
CN1774920A (zh) * 2003-02-19 2006-05-17 索尼电子有限公司 拷贝保护的方法和***
CN102081687A (zh) * 2010-12-30 2011-06-01 上海电机学院 一种三维立体发型设计方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种新的基于条件数的图像配准算法;马丽涛 等;《中国图象图形学报》;20080229;第13卷(第2期);第279页右栏第5段
基于Harris角点检测的立体视觉里程计;彭勃 等;《兵工学报》;20071231;第28卷(第12期);第1499页1.3节第1段
基于SIFT特征描述子的立体匹配算法;宰小涛，赵宇明;《微计算机信息》;20070725;第23卷(第8-3期);285-287

Also Published As

Publication number Publication date
WO2014180255A1 (zh) 2014-11-13
CN104574331A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104574331B (zh) 一种数据处理方法、装置、计算机存储介质及用户终端
Lu et al. Depth enhancement via low-rank matrix completion
Zhu et al. Depth image based view synthesis: New insights and perspectives on hole generation and filling
CN104205826B (zh) 用于重建高密度三维图像的设备和方法
KR100793076B1 (ko) 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
Cheng et al. Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays
Lin et al. Real photographs denoising with noise domain adaptation and attentive generative adversarial network
CN101610425B (zh) 一种评测立体图像质量的方法和装置
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN103345736A (zh) 一种虚拟视点绘制方法
Luo et al. Foreground removal approach for hole filling in 3D video and FVV synthesis
Ling et al. Image quality assessment for DIBR synthesized views using elastic metric
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
CN109302600B (zh) 一种立体场景拍摄装置
Tian et al. A full-reference image quality assessment metric for 3D synthesized views
DE102004026782A1 (de) Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element
CN109712230B (zh) 三维模型补充方法、装置、存储介质及处理器
Lee et al. Automatic 2d-to-3d conversion using multi-scale deep neural network
CN116823863A (zh) 一种红外图像轮廓提取方法及装置
Sun et al. Seamless view synthesis through texture optimization
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
Liu et al. Texture-adaptive hole-filling algorithm in raster-order for three-dimensional video applications
Balure et al. A Survey--Super Resolution Techniques for Multiple, Single, and Stereo Images
Wu et al. Deep learning‐based super‐resolution with feature coordinators preservation for vision‐based measurement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant